Interaktiivisten Järjestelmien Interaktiivisten Järjestelmien Tekniikan SuunnitteluTekniikan Suunnittelu

GAZEGAZE

Oulussa 24.4.2003Oulussa 24.4.2003

Tekijät:Tekijät:Juha HämäläinenJuha HämäläinenJuha Tuikkanen Juha Tuikkanen Jari KolisevaJari Koliseva

1. Johdanto1. JohdantoGAZE = KatseohjausGAZE = KatseohjausNykyiset tiedonsyöttötavat perustuvat Nykyiset tiedonsyöttötavat perustuvat jonkin laitteen käyttämiseenjonkin laitteen käyttämiseenKatseohjaus käyttää ihmisen Katseohjaus käyttää ihmisen luonnollista käyttäytymistä tiedon luonnollista käyttäytymistä tiedon syöttämiseksisyöttämiseksiUseita sovelluskohteita: esim. Useita sovelluskohteita: esim. käyttöliittymätestaus, langaton hiiri, käyttöliittymätestaus, langaton hiiri, manuaalit, sanakirjat jne.manuaalit, sanakirjat jne.

2. Katseohjauksen toteutus ja 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijättoteutukseen vaikuttavat tekijät

Silmän rakenne ja Silmän rakenne ja käyttäytyminenkäyttäytyminen

- pupilli, iiris, verkkokalvo ja - pupilli, iiris, verkkokalvo ja sarveiskalvosarveiskalvo

- näkökentän 3 aluetta: Foveal- näkökentän 3 aluetta: Foveal (1 aste ~ 1cm), Parafovea ja(1 aste ~ 1cm), Parafovea ja PeripheralPeripheral - Fiksaatio- Fiksaatio - Saccade- Saccade

0 1 5

Parafoveal

Peripheral

Foveal

[deg]

2. Katseohjauksen toteutus ja 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijättoteutukseen vaikuttavat tekijät

Fyysiseen kontaktiin perustuvat Fyysiseen kontaktiin perustuvat menetelmät:menetelmät:

- jännitemuutosten mittaus - jännitemuutosten mittaus elektrodeillaelektrodeilla

- kontakti linssit- kontakti linssit

2. Katseohjauksen toteutus ja 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijättoteutukseen vaikuttavat tekijät

Videokuvaukseen perustuvat menetelmät:Videokuvaukseen perustuvat menetelmät: - videokamera kuvaa käyttäjän kasvoja- videokamera kuvaa käyttäjän kasvoja - kuvan siirto tietokoneelle, jossa- kuvan siirto tietokoneelle, jossa kuvankäsittelysovellus etsii kuvastakuvankäsittelysovellus etsii kuvasta toisen silmän ja arvioi silmän asennontoisen silmän ja arvioi silmän asennon - mitataan kahden eri kohdan liikettä, jotka- mitataan kahden eri kohdan liikettä, jotka liikkuvat toisiinsa nähden eri tavalla liikkuvat toisiinsa nähden eri tavalla

katseen katseen absoluuttisen suunnan ja pään asennon absoluuttisen suunnan ja pään asennon muuttuessamuuttuessa

Bright pupil

Corneal reflection

2. Katseohjauksen toteutus ja 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijättoteutukseen vaikuttavat tekijät

Videokuvaukseen perustuvat Videokuvaukseen perustuvat menetelmätmenetelmät

- infrapuna videokamera - infrapuna videokamera (myös peilin kautta)(myös peilin kautta)

- gazepoint- gazepoint - käyttäjän vapaa - käyttäjän vapaa

liikkuminenliikkuminen - auringonvalon ja - auringonvalon ja fluorescenttien valojenfluorescenttien valojen käyttö heikentää tarkkuuttakäyttö heikentää tarkkuutta

2. Katseohjauksen toteutus ja 2. Katseohjauksen toteutus ja toteutukseen vaikuttavat tekijättoteutukseen vaikuttavat tekijät

Kuka voi käyttää Gaze systeemejäKuka voi käyttää Gaze systeemejä - käytöllä ei ole muita kuin silmään liittyviä - käytöllä ei ole muita kuin silmään liittyviä rajoituksiarajoituksia - kyky katsoa ylös, alas ja sivuille- kyky katsoa ylös, alas ja sivuille - kyky tarkentaa katsetta ja pitää sitä - kyky tarkentaa katsetta ja pitää sitä

hetkenhetken paikallaanpaikallaan - lukukyvystä hyötyä- lukukyvystä hyötyä - kyky muistaa asioita- kyky muistaa asioita - toimii myös silmälasien kanssa- toimii myös silmälasien kanssa

iEye projektiiEye projektiTampereen yliopiston tutkimus.Tampereen yliopiston tutkimus.Tutkimus on tehty yhteistyössä Tutkimus on tehty yhteistyössä saksalaisten, englantilaisten, italialaisten saksalaisten, englantilaisten, italialaisten ja helsinkiläisten partnerien kanssa. ja helsinkiläisten partnerien kanssa. Tässä tutkittiin mahdollisuuksia hyödyntää Tässä tutkittiin mahdollisuuksia hyödyntää katseenseurantaa apuna kun mukautetaan katseenseurantaa apuna kun mukautetaan ohjelman toimintaa käyttäjän ohjelman toimintaa käyttäjän toimenpiteitä vastaavaksi. toimenpiteitä vastaavaksi.

iEye projektiiEye projektiPäätavoite tutkia miten silmänliikkeistä Päätavoite tutkia miten silmänliikkeistä saatavaa dataa voidaan käyttää saatavaa dataa voidaan käyttää parantamaan ihmisen ja tietokoneen parantamaan ihmisen ja tietokoneen vuorovaikutusta.vuorovaikutusta.Tutkimuksessa tehty sovellus iDict eli Tutkimuksessa tehty sovellus iDict eli vieraskielisten tekstien lukemisen vieraskielisten tekstien lukemisen apuväline.apuväline.

Miksi iDict?Miksi iDict?Tavoitteena apuväline, jonka avulla vieraskielisen Tavoitteena apuväline, jonka avulla vieraskielisen sanan käännös tuodaan lukijan näyttöön ilman sanan käännös tuodaan lukijan näyttöön ilman että niitä tarvitsee erikseen ohjata.että niitä tarvitsee erikseen ohjata.Sen avulla saadaan vieraskielisten tekstien luku Sen avulla saadaan vieraskielisten tekstien luku huomattavasti nopeammaksi ja tehokkaammaksihuomattavasti nopeammaksi ja tehokkaammaksiLaite toimii englannin, ruotsin, saksan ja suomen Laite toimii englannin, ruotsin, saksan ja suomen kielen käännöksissä. Esim. voit lukea saksaa ja kielen käännöksissä. Esim. voit lukea saksaa ja haluta englanninkielisen vastineen haluta englanninkielisen vastineen ongelmasanalle. Käännöskieli valitaan ennen ongelmasanalle. Käännöskieli valitaan ennen lukemisen alkamista.lukemisen alkamista.

Miksi iDict?Miksi iDict?

IDictin toimintaIDictin toimintalukuprosessin kannalta mielenkiintoiset lukuprosessin kannalta mielenkiintoiset silmänliikkeet jakautuvat silmänliikkeet jakautuvat Fiksaatioihin Fiksaatioihin ja ja sakkadeihinsakkadeihinfiksaationfiksaation aikana silmä pysyy paikallaan, aikana silmä pysyy paikallaan, ja sen aikana tapahtuu näköhavainnon ja sen aikana tapahtuu näköhavainnon siirtyminen hermojärjestelmäänsiirtyminen hermojärjestelmäänSakkaditSakkadit ovat siirtymiä ovat siirtymiä fiksaatioistafiksaatioista toiseen.toiseen.

IDictin toimintaIDictin toimintaOngelmakohtia syntyy sillä Ongelmakohtia syntyy sillä katseen pysähtyminen ei ole katseen pysähtyminen ei ole riittävä indikaattori.riittävä indikaattori.

Fiksaatiot eri henkilöillä eri pituisiaFiksaatiot eri henkilöillä eri pituisiasanan pituuden kasvaessa katseen kesto piteneesanan pituuden kasvaessa katseen kesto piteneemiten yleinen sana onmiten yleinen sana on

– toimiakseen sovellukselta edellytetääntoimiakseen sovellukselta edellytetään tietoa tietoa siitä miten katse käyttäytyy tekstiä siitä miten katse käyttäytyy tekstiä luettaessa, ja minkä tyyppisissä sanoissa ja luettaessa, ja minkä tyyppisissä sanoissa ja rakenteissa esiintyy ongelmia.rakenteissa esiintyy ongelmia.

– Nykyään E-Z Reader lukumalliNykyään E-Z Reader lukumalli

Olemassa oleva laitteistoOlemassa oleva laitteistotäällä hetkellä tarkin laitteisto on projektiin täällä hetkellä tarkin laitteisto on projektiin osallistuvalla laitevalmistajalla osallistuvalla laitevalmistajalla SensoMotoric : llaSensoMotoric : lla– laitteistossa pupillia seurataan laitteistossa pupillia seurataan

infrapunavalolla ja kuvataan infrapunavalolla ja kuvataan videokamerallavideokameralla

– lisälaitteiden hinta noin 300 000 mklisälaitteiden hinta noin 300 000 mk

KehityslaitteistoKehityslaitteistoseuraa molempia silmiäseuraa molempia silmiäpääripusteinen optiikkapääripusteinen optiikkakaksi tietokonettakaksi tietokonetta– toinen ohjaukseen toinen ohjaukseen – toinen aiheeseentoinen aiheeseen

näytteenottotaajuus 250 HZnäytteenottotaajuus 250 HZHyvin tarkka ¨0.5 - 1 astetta.Hyvin tarkka ¨0.5 - 1 astetta.Laitteen huonopuoli:Laitteen huonopuoli:– Iso päähän ripustettava laite epämiellyttävä käyttääIso päähän ripustettava laite epämiellyttävä käyttää

Hankkeessa kehitettävä laiteHankkeessa kehitettävä laitekäytettävyyden kehittäminen on sovelluksen käytettävyyden kehittäminen on sovelluksen ydin.ydin.– Katseenseuranta laitteita on Katseenseuranta laitteita on

olemassa( edellinen kalvo)olemassa( edellinen kalvo)kehitettävä laite silmälasien kokoluokkaa.kehitettävä laite silmälasien kokoluokkaa.– Tampereen yliopisto suunnitellut siihen Tampereen yliopisto suunnitellut siihen

käyttösoftan käyttösoftan kehittäjät arvioivat laitteen hinnan tippuvan kehittäjät arvioivat laitteen hinnan tippuvan alle 1000 markan kunhan laite tulee alle 1000 markan kunhan laite tulee massatuotantoonmassatuotantoon

Hankkeeseen kehitetty laiteHankkeeseen kehitetty laite

toimintaperiaate:toimintaperiaate:– sama kuin muissa sovelluksissasama kuin muissa sovelluksissa

kamera kuvaa silmääkamera kuvaa silmääkahdesta pisteestä silmän asento kahdesta pisteestä silmän asento kuvankäsittelyohjelmalla kuvankäsittelyohjelmalla

Tässä käytettyTässä käytetty kuvaus tekniikka kuvaus tekniikka– infrapuna videokamera peilin kauttainfrapuna videokamera peilin kautta– informaatio tietokoneelle usb kaapelin kauttainformaatio tietokoneelle usb kaapelin kautta

Kehitetyn laitteen tekniset tiedotKehitetyn laitteen tekniset tiedotKevit ja pieni (mukava käyttää)Kevit ja pieni (mukava käyttää)koko 21x21x25 mmkoko 21x21x25 mmpaino 35 gpaino 35 gkiinnitysalusta esim silmälasitkiinnitysalusta esim silmälasitNäytteenottotaajuss 50 HZNäytteenottotaajuss 50 HZedellinen laite 250 HZedellinen laite 250 HZtarkkuus hieman huonompi kuin tarkkuus hieman huonompi kuin edellisessä n. 1 asteedellisessä n. 1 aste

ArkkitehtuuriArkkitehtuuri

Projektiin aikatauluProjektiin aikataulu

määrittely prototyypit katseseuranta evaluointi perustutkimuksia toimnall.

katseen käytt. Hiiriohjauksella

<----------------------------------> <----------------> <---------->1.1.2000 1.1.2001 1.1.2002 - 31.6.2002

SovellutuksiaSovellutuksia

Smart-NavSmart-Nav

Smart-NavSmart-Nav

Täysin kädet vapaana tietokoneen Täysin kädet vapaana tietokoneen kursoriohjauskursoriohjausMerkkipisteen ja Merkkipisteen ja infrapunakameran infrapunakameran avulla toteutttuavulla toteutttu

ToimintaToiminta

• Infrapunavaloa lähetetään neljällä ledillä

• Kameralla kuvataan ympäristöä

• Kuvasta etsitään tietyntyyppistä heijastumaa

•Lopullinen analysointi tapahtuu tietokoneella missä tieto yhdistetään kursorin ohjaukseen

Kameran katseohjattu Kameran katseohjattu tarkennustarkennus

Kamera tulkitsee kuvaajan katseen Kamera tulkitsee kuvaajan katseen perusteella kohteen ja tarkentaa perusteella kohteen ja tarkentaa siihensiihen

ToimintaToimintaKamerassa on 8 infrapunalediäKamerassa on 8 infrapunalediäNiistä toimii tilanteesta riippuen 2-8Niistä toimii tilanteesta riippuen 2-8Heijastuneesta kuvasta Heijastuneesta kuvasta päätellään pupillin asentopäätellään pupillin asentoAsennosta voidaan Asennosta voidaan päätellä mihin kuvaaja päätellä mihin kuvaaja katsoo etsimessäkatsoo etsimessä

Toiminta (2)Toiminta (2)Kamera tarkentaa tähän havaittuun Kamera tarkentaa tähän havaittuun kohtaankohtaanHeijastunut kuva tulee tietenkin Heijastunut kuva tulee tietenkin samaa reittiä takaisin kameraan kuin samaa reittiä takaisin kameraan kuin kuvaajan katsekin, joten tarvitaan kuvaajan katsekin, joten tarvitaan erikois linsejä välissä jotta erotellaan erikois linsejä välissä jotta erotellaan infrapuna heijastus normaalista infrapuna heijastus normaalista valosta.valosta.

LähteetLähteet

• www.canon.com

•www.naturalpoint.com

•www.cs.uta.fi/hci/ieye