Lisätty todellisuus

Lisätty todellisuus (engl. augmented reality, lyh. ar tai AR) viittaa näkymään, johon on lisätty tietokonegrafiikalla tuotettuja elementtejä ja jota käyttäjä tarkastelee läpikatseltavien (see-through) näyttöjen kautta. Se on siis järjestelmä, jossa keinotekoista, tietokoneella tuotettua tietoa (kuva, ääni, video, teksti, GPS-informaatio) on lisätty näkymään todellisesta ympäristöstä.

Tunnettu esimerkki lisätystä todellisuudesta on Pokémon GO -peli, joka luo pääasiassa lisättyä todellisuutta oikean maailman kartalle, mutta tarjoaa pelaajille myös mahdollisuuden nähdä virtuaalista sisältöä mobiililaitteen kamerakuvan kautta.

Laajennettu todellisuus on kattotermi, joka sisältää lisätyn todellisuuden.

Määritelmä

Schnabelin jatkumo

Milgramin jatkumo

Yhdysvalloissa asuva Ronald Azuma määritteli vuonna 1997 lisätyn todellisuuden seuraavasti:

• Yhdistää todelliset ja virtuaaliset objektit todellisessa ympäristössä
• Toimii interaktiivisesti ja reaaliaikaisesti
• Kohdistaa todelliset ja virtuaaliset objektit toistensa kanssa

Lisätty todellisuus liittyy jatkumoon, jossa on liukuva jatkumo kevyesti lisätystä todellisuudesta kohti täydellisempää immersiota virtuaalitodellisuuteen. Tehostettu todellisuus (mixed reality) on jatkumolla yhdistelmä lisättyä todellisuutta ja virtuaalitodellisuutta.

Historia ja kehitysvaiheet

• 1957–1962: Elokuvien tekijä Morton Heilig keksi ja patentoi Sensoraman, laitteen joka yhdistää kuvaa, ääntä, tärinää ja tuoksuja.
• 1966: Ivan Sutherland keksi silmikkonäytön – ”ikkuna virtuaalimaailmaan”.
• 1975: Myron Krueger kehitti Videoplacen, joka mahdollistaa käyttäjän vuorovaikutuksen virtuaalisten esineiden kanssa.
• 1989: Jaron Lanier lanseerasi käsitteen virtuaalitodellisuus ja luo ensimmäisen virtuaalimaailmoihin keskittyneen kaupallisen yrityksen.
• 1990: Tom Caudell lanserasi ”lisätyn todellisuuden” käsitteen työskennellessään Boeingilla.
• 1992: L.B. Rosenberg kehitti yhden ensimmäisistä lisätyn todellisuuden järjestelmistä Yhdysvaltain ilmavoimien tutkimuslaboratoriossa ja demonstroi sen hyödyllisyyttä ihmisen toimintakyvylle.
• 1992: Steven Feiner, Blair MacIntyre ja Doree Seligmann kirjoittivat ensimmäisen merkittävän tutkimuksen virtuaalisen todellisuuden järjestelmän prototyypistä (KARMA) Graphics Interface- konferenssissa. Laajasti viitattu artikkeli julkaistaan vuonna 1993.
• 1993: Loral WDL suoritti ensimmäisen demonstraation joka yhdistää AR-ohjatut ajoneuvot ja ihmisten käyttämät simulaattorit. (Unpublished paper, J. Barrilleaux, ”Experiences and Observations in Applying Augmented Reality to Live Training”, 1999.)
• 1994: Julie Martin loi ensimmäisen AR-teatteriproduktion, Australia Council for the Artsin rahoittaman esityksen Dancing In Cyberspace, joka esittää tanssijoiden ja akrobaattien ohjaamia, ihmisen kokoisia virtuaalisia objekteja reaaliajassa, heijastettuna samalle näyttämölle. Akrobaatit sekoittuvat virtuaaliseen ympäristöön. Installaatio käyttää Silicon Graphicsin tietokoneita ja Polhemus- järjestelmää.
• 1994: Paul Milgram määritteli virtuaalisen jatkumon. Lisätty todellisuus on sijoittuu tässä jatkumossa laajennetun todellisuuden alakäsitteen alle.
• 1997: Ronald Azuma julkaisi lisätyn todellisuuden kentän määrittelevän tutkimusraportin.
• 2000: Bruce H. Thomas kehitti ARQuaken, ensimmäisen lisätyn todellisuuden ulkoilmapelin. Tämä esitellään International Symposium on Wearable Computers -konferenssissa.
• 2002: Steven Feinero esitteli tutkimuksen ”Augmented Reality: A New Way of Seeing: Computer scientists are developing systems that can enhance and enrich a user's view of the world”. Scientific American, April 2002.
• 2005: Ensimmäinen kameralaitteisto, joka kykeni analysoimaan fyysisen ympäristön reaaliajassa ja suhteuttamaan reaalisen tilan ja virtuaaliobjektit toisiinsa. Tämä toimii myöhempien todellisia ympäristöjä ja virtuaalisia objekteja yhdistävien lisätyn todellisuuden järjestelmien pohjana.
• 2005: Daniel Palanker, Alexander Vankov ja Phil Huie kehittivät "bionisen silmän".
• 2007: Ensimmäiset lääketieteelliset sovellukset, muun muassa MS-potilaiden tasapainoa visuaalisin signaalein parantava järjestelmä.
• 2008: Wikitude AR Travel Guide julkaistiin Android-puhelimille.
• 2009: Saqoshan kehittämä FLARToolkit käännettiin Adobe Flash -ympäristöön, tuoden näin lisätyn todellisuuden työkalut verkkoselaimille.

Teknologia

Laitteisto

Näytöt

Lisätyn todellisuuden näyttöteknologiat voidaan jakaa kolmeen kategoriaan:

1. päässä pidettävä (head worn)
2. kädessä pidettävä (handheld)
3. projisoitava (projective)

Päässä pidettävät näytöt

Päässä pidettävät näytöt voidaan jakaa kahteen luokkaan, optisiin näyttöihin ja videonäyttöihin. Optisissa näytöissä käyttäjä näkee todellisuuden läpinäkyvän pinnan läpi ja virtuaalinen informaatio liitetään tähän pintaan. Videonäytöissä todellisuus kuvataan päässä pidettävän kameran läpi ja tämä informaatio liitetään virtuaaliseen informaatioon ennen sen esittämistä käyttäjälle näytön kautta.

Molemmilla näyttötekniikoilla on omat hyvät ja huonot puolensa. Optinen näyttö on selkeästi parempi esittämään kuvaa reaalimaailmasta, koska tätä kuvaa ei ole tarpeen käsitellä mitenkään tai esittää näytöstä, jonka erottelukyky ei vastaa silmän erottelukykyä. Optinen näyttö myös säilyttää silmien syvyysvaikutelman muuttumattomana, kun taas videonäytöissä syvyysvaikutelma on toteutettava stereonäyttöjen avulla. Stereonäytöissä molemmille silmille on oma näyttö sekä oma kamera, jotka kuvaavat todellisuutta samoilta paikoilta kuin silmät luoden syvyysvaikutelman.

Optinen näyttö on huonompi todellisuuden ja virtuaalisen informaation yhdistämisessä uskottavasti, koska virtuaalista informaatiota ei saada esitettyä niin, että se peittäisi kokonaan todellisen näkymän. Tällöin seurauksena voi olla haamukuvamainen vaikutelma, joka voi haitata informaation havaittavuutta.^lähde?

Optisten näyttöjen toinen ongelma on niiden jokaiselle käyttäjälle erikseen tehtävä aikaa vievä kalibrointi. Kalibrointia tarvitaan, jotta virtuaalinen informaatio saadaan kohdistettua tarkasti todelliseen näkymään. Käytännössä optiset näytöt täytyy kalibroida joka kerta, kun ne otetaan pois ja laitetaan takaisin päähän tai kun näytön etäisyys käyttäjän silmistä muuttuu.^lähde?

Optisten ja virtuaalisten näyttöjen lisäksi eräs kehitysasteella oleva teknologia on virtuaalinen verkkokalvonäyttö (virtual retinal display) . Tekniikka perustuu matalatehoiseen laseriin, jolla piirretään kuva suoraan käyttäjän verkkokalvolle. Tulevaisuudessa saattaa myös olla mahdollista hankkia silmään verkkokalvolle asennettava implantti, johon virtuaalinen informaatio voidaan välittää suoraan.

Kädessä pidettävät näytöt

Kädessä pidettävä näyttö voi olla esimerkiksi kannettava tietokone tai matkapuhelin varustettuna kameralla, jolloin laitteen näytöllä esitetään kameran kautta kuvattu ympäristö täydennettynä lisätyn todellisuuden informaatiolla. Kannettavien tietokoneiden heikkoutena on niiden kalleus, melko suuri koko ja lyhyt käyttöaika suuren virrankulutuksen vuoksi, matkapuhelimissa puolestaan pienet näytöt sekä tehoiltaan vaatimattomat prosessorit. Matkapuhelinten ja kämmentietokoneiden ominaisuuksien kehittyessä ja hintojen laskiessa nopeasti niistä on tullut houkuttelevia vaihtoehtoja lisätyn todellisuuden näyttölaitteiksi. Lähes kaikissa matkapuhelimissa on kamera sekä muita lisätyn todellisuuden mahdollistavia teknologioita, kuten kompassi ja GPS.

Vaikka vaikuttaisikin siltä, että matkapuhelinten pienet näytöt olisivat huonoja lisätyn todellisuuden informaation esittämiseen, Hwangin ja kumppaneiden 2006 tekemässä tutkimuksessa todetaan, että käyttäjän saadessa liikuttaa ruutua vapaasti luo se uppoutumisen elämyksen, joka on verrattavissa näkymään suuremmalla näytöllä.

Suomessa merkittäviä tutkimuksia aiheesta ovat Nokian MARA sekä VTT:n lisätty todellisuus- työryhmän tutkimukset.

Projektionäytöt

Nykyisin videoprojektori ei ole enää keskikokoista matkapuhelinta suurempi, ja tämän vuoksi kiinnostus kannettavia videoprojektoreja kohtaan lisätyn todellisuuden näyttölaitteina on lisääntynyt. Massachusetts Institute on Technologyssa (MIT) on kehitetty SixthSense- järjestelmä, joka hyödyntää kannettavaa projektoria virtuaalisen informaation heijastamiseen mille pinnalle tahansa, esimerkiksi sanomalehden pinnalle. .

Projektoreita on aiemmin tutkittu käytettäväksi mm. lääketieteellisissä sovelluksissa, koska leikaussalissa lisätty todellisuus olisi helpompaa toteuttaa paikallaan olevalla projektorilla kuin tarkkaa kalibrointia ja reaaliaikaista seurantaa vaativalla päässä pidettävällä näytöllä. .

Seuranta (tracking)

Yksi lisätyn todellisuuden yleistymistä rajoittava ongelma on todellisuuden ja virtuaalisen informaation kohdistaminen. Todellisen ja virtuaalisen informaation täytyy olla tarkasti toisiinsa kohdistettua, jotta informaation yhtenäisyyden illuusio ei hajoaisi. Kohdistusongelman ratkaisuun voidaan käyttää useita seurantamenetelmiä . Useita menetelmiä vaaditaan, koska yksi menetelmä voi toimia hyvin jossain tilanteessa, mutta pettää täysin toisessa tilanteessa. Esimerkiksi GPS voi toimia hyvin ulkotiloissa mutta menettää sisätiloissa välttämättömän yhteyden GPS- satelliitteihin. Usein käytetäänkin usean eri menetelmän yhdistelmää, jotta varmistetaan luotettavin ja tarkin seuranta sekä kohdistus. Näitä menetelmiä ovat mm. kiihtyvyysanturit, gyroskoopit, ultraääni, magneettikentät, GPS- seuranta sekä optinen seuranta.^lähde?

Vuorovaikutus

Jotta käyttöliittymät olisivat intuitiivisia ja helppokäyttöisiä, tulee myös käyttäjän vuorovaikutukseen eli interaktioon virtuaalisen tiedon kanssa kehittää mahdollistavaa teknologiaa. Yksinkertaisimmillaan vuorovaikutus toteutetaan tietokoneen näppäimistön ja hiiren avulla, mutta tämä ei ole helppokäyttöisin vuorovaikutusmalli käytettäessä järjestelmää, jota ei välttämättä käytetä pöydän ääressä. Käytettäessä kämmenessä pidettävää näyttöä voidaan hyödyntää esimerkiksi kosketusnäyttöä.^lähde?

MIT:n SixthSense- järjestelmässä interaktio on toteutettu erivärisillä sormiin asetettavilla seurantamerkeillä. Näiden avulla järjestelmä tunnistaa kameran kuvasta, missä mikäkin merkitsevä sormi sijaitsee, ja tekee päätökset interaktiosta sen perusteella.

Tinmith- järjestelmässä interaktioon käytetään käsineitä, joihin on yhdistetty seurantamerkit sekä käyttäjän sormien painallukset tunnistava laitteisto.

Tietokone

Tietokone analysoi visuaalisen datan ja paikkatiedot ja käyttää näitä tietoja reaalisen näkymän ja lisätyn todellisuuden elementtien mahdollisimman täsmälliseen yhdistämiseen.

Sovellusalueet

Lisätyn todellisuuden sovellukset voidaan jaotella useaan eri luokkaan Ronald T. Azuman ja kumppaneiden kirjoittamien artikkeleiden mukaan. Vuonna 1997 Azuma lajitteli artikkelissaan sovellukset kuuteen eri luokkaan käyttötarkoituksen mukaan. Myöhemmässä artikkelissa vuonna 2001 Azuma ja kumppanit lajittelivat lisätyn todellisuuden sovellukset hieman yleisempiin kategorioihin:

• kannettaville laitteille suunnatut,
• yhteistyön mahdollistavat ja
• kaupalliset sovellukset.

On huomioitava myös muita sovellusryhmiä, joista osa on myös mainittu Azuman aiemmassa artikkelissa ja joiden sovittaminen edellä mainittuihin kategorioihin on hankalaa, mutta kyse on kuitenkin hyvin tärkeistä sovellusalueista:

• lääketiede,
• asentaminen ja kunnossapito
• sotilasilma-alukset
• rakentaminen
• logistiikka
• koulutus

Kannettavat laitteet

Kannettavien laitteiden käyttöä on tutkittu pitkään etukäteen valmistelluissa sisätiloissa . Yhtenä esimerkkinä on NaviCam, joka perustuu kannettavan videokameran kuvaan . Liikuttavalle alueelle on asetettu laitteiston tunnistamia kuvia (fiducials), joiden perusteella ympäristöön voidaan asettaa lisätyn todellisuuden objekteja, kuten tietoa uusista julkaisuista, jotka löytyvät kirjahyllystä.

Ensimmäinen ulkoilmaan suunniteltu sovellus oli Touring Machine, joka kehitettiin Kolumbian yliopistossa. Sovellus näyttää käyttäjälle tietoja ympäristöstä, esimerkiksi talojen nimiä ja niihin liittyviä tietoja. Sovellusta on kehitetty niin, että nykyään on mahdollista näyttää vanhoja jo purettuja rakennuksia ympäri yliopiston aluetta ja osoittaa reittejä, joita pitkin käyttäjä pääsee haluamaansa kohteeseen. Toisen samankaltaisen järjestelmän (Battlefield Augmented Reality System) on kehittänyt The Naval Research Lab. Järjestelmän avulla voidaan ympäristöön lisätä 3D-objekteja, kuten vaarallisia alueita ja sotilasoperaatioiden kohteita. Samankaltaista alustaa hyödyntää myös ARQuake, jossa käyttäjä näkee todellisessa maailmassa virtuaaliobjekteja eli vihollisia ja pyrkii tuhoamaan ne . Nähtävyyksiä pyritään elävöittämään kannettavien laitteiden avulla, mistä hyvänä esimerkkinä on Archeoguide-projekti.

Yhteistyö

Useat lisätyn todellisuuden sovelluksista hyötyvät mahdollisuudesta, että useampi ihminen voi samaan aikaan katsella, keskustella ja olla vuorovaikutuksessa kolmiulotteisten mallien kanssa. Voidaan erotella kaksi toisistaan poikkeavaa tapaa, joiden avulla voidaan toteuttaa yhteistyön mahdollistava vuorovaikutus.

Mille tahansa tasaiselle pinnalle heijastetaan projektorin avulla lisätyn todellisuuden objekteja, jotka on mahdollista kaikkien nähdä ja olla vuorovaikutuksessa, mutta samalla mahdollisuudet ovat hyvin rajatut ja sidotut kyseiseen pintaan. Esimerkkinä voidaan pitää J.Rekimoton esittelemää lisätyn todellisuuden tasoa, jolle voidaan asettaa virtuaalisia objekteja kaikkien tarkasteltavaksi. Toisena vaihtoehtona on toistensa kanssa synkronisoidut lasit, joiden läpi käyttäjät katsovat. Tämä mahdollistaa kolmiulotteisten objektien asettamisen mihin tahansa ympäristöön. Esimerkkinä järjestelmästä on Studierstube , joka käyttää apuna laseja, joiden avulla käyttäjät voivat olla vuorovaikutuksessa kolmiulotteisten objektien kanssa.

On myös esitetty useita vaihtoehtoisia järjestelmiä, jotka mahdollistaisivat käyttäjäkohtaisesti muokattavan käyttöliittymän. Tämä lisäisi mahdollisuuksia lisätä yksityistä tietoa, jota muut eivät voi nähdä, mutta samalla antaa eritasoisille käyttäjille mahdollisuuden lisätä enemmän tietoa omaan näkymään, mikä helpottaa heidän työskentelyään.

Kaupallinen

Lisättyä todellisuutta on hyödynnetty useaan otteeseen kaupallisiin tarkoituksiin. Erityisesti urheilussa on voitu hyödyntää lisättyä todellisuutta tuomalla tv-lähetykseen lisäsisältöä, joka helpottaa lähetyksen seuraamista, kuten FoxTrax -järjestelmä, jota on hyödynnetty jääkiekossa helpottamaan kiekon huomaamista.

Suomessa rakennusalan tiettävästi ensimmäinen kaupallinen lisättyä todellisuutta käyttävä palvelu on FCG Finnish Consulting Groupin ja VTT:n yhteistyönä tarjoama paikkamallinnus, jota käytetään rakennusten ja aluesuunnitelmien havainnollistamiseen paikan päällä. Palvelua on käytetty muun muassa Helsingin kaupungin suunnitteluhankkeissa (www.fcg.fi/paikkamallinnus).^lähde?

Lääketiede

Lääkäreille lisätty todellisuus tuo paremman näkymän ihmisen sisään ja toimii apuna kirurgian harjoittelussa. Erilaisilla kuvausmenetelmillä, kuten magneettikuvaus, tietokonetomografia tai ultraäänikuvaus, voidaan luoda näkymä ihmisen "sisään", mikä helpottaa esimerkiksi tähystysleikkauksia. Lisätty todellisuus antaa mahdollisuuden ohjata neulaa ihmisruumiin sisällä, mikä helpottaa esimerkiksi koepalan ottamisen rintasyöpätutkimuksissa.

Asennus ja kunnossapito

Asennusta ja kunnossapitoa pyritään helpottamaan luomalla kolmiulotteinen näkymä henkilön silmien eteen ja näyttämällä vaihe kerrallaan miten asennus tai korjaus pitää tehdä. Samalla järjestelmällä voidaan lähettää kuva eri asiantuntijoille, jotka voivat neuvoa korjaajaa.

Erityisesti digitaaliseen ympäristöön siirretty ohjeistus helpottaa monimutkaisten järjestelmien korjaamista, kuten lentokoneiden sähköjärjestelmiä.

Sotilasilma-alukset

Sotilaslentokoneissa ja -helikoptereissa on käytössä heijastusnäyttö ja kypärään asennettu näyttö, jotka auttavat lentäjää näyttämällä esimerkiksi navigointia helpottavaa tietoa. Laitteistolla voidaan osoittaa kohteita maassa ja ilmassa, jotka ovat oleellisia sotilasoperaatioiden kannalta. On myös mahdollista ohjata esimerkiksi helikopterin tykkiä pelkän katseen avulla, joka helpottaa tähtäämistä.

Rakentaminen

Ennen rakentamisen aloittamista lisätyn todellisuuden avulla voidaan luoda tulevalle ostajalle realistinen kuva rakennettavasta talosta vaikka suoraan tontilla. Suunnitteluvaiheessa on mahdollista tulevaisuudessa sovittaa esimerkiksi ovet ja ikkunat paikoilleen, mikä antaa suunnittelijalle paremman kuvan suunniteltavasta rakennuksesta.^{lähde tarkemmin?} Varsinaisessa rakennusvaiheessa voidaan osoittaa mistä esimerkiksi viemäriputket menevät, joka auttaa maansiirtokoneiden kuljettajia muokkaamaan maata oikealla tavalla. Toisin sanoen erityisesti rakentamisessa on useita osa-alueita, joissa voidaan hyödyntää lisättyä todellisuutta ja samalla helpottaa tulevaisuuden rakentamista.

Logistiikka

Logistiikassa AR-teknologiaa käytetään tiedon rikastamiseen. AR-lasien avulla voi varaston työntekijä nähdä, mitä varaston hyllyssä on, mihin osoitteeseen tavara on menossa, mitä merikonttiin tulee lastata tai mitä tavararyhmää lentokoneesta on purettava. Virtuaalitodellisuus vähentää virheiden määrää ja toiminnasta tulee nopeampaa sekä turvallisempaa.

Koulutus

Lisättyä todellisuutta käytetään laajasti koulutuksessa mm. varhaiskasvatuksessa, suomalaisessa esi- ja perusopetuksessa ja lukio-opetuksessa. Pientenkin lasten kanssa lisättyä todellisuutta voidaan käyttää mm. lasten osallistamiseen oman ympäristön suunnitteluun. Valmiita ja ilmaisia tuntisuunnitelmia lisätyn todellisuuden käytöstä esi- ja perusopetuksessa löytyy mm. suomalaisen koulutusteknologiayrityksen 3DBear sivuilta sekä ilmaisesta 3DBear AR appista. Koulutuksessa käytetyin lisätyn todellisuuden laite on tabletti tai älypuhelin, mutta myös vaativampia sovelluksia käytetään kuten Microsoft Hololensia.

Lähteet

• Milgram & Kishino: A Taxonomy Of Mixed Reality Displays https://web.cs.wpi.edu/~gogo/hive/papers/Milgram_IEICE_1994.pdf (Arkistoitu – Internet Archive)

Aiheesta muualla

• Kuvia tai muita tiedostoja aiheesta Lisätty todellisuus Wikimedia Commonsissa

• Vuosittain pidettävä AR-konferenssi ISMAR