Porównanie dokładności i precyzji śledzenia wzroku: GazeFlow vs SMI RED 250

1

SIMPLY USER User Experience Lab www.simplyuser.pl

Porównanie dokładności i precyzji śledzenia wzroku: GazeFlow vs SMI RED 250 Wersja dokumentu 1.1, sierpień, 2013 SIMPLY USER, User Experience Lab Kraków, 6 sierpnia 2013

2


Abstrakt Raport opisuje wyniki badań porównujących Dokładność i Precyzję oprogramowania do śledzenia wzroku GazeFlow na podstawie obrazu z kamer internetowych z urządzeniem SMI RED 250, standardowym eye trackerem wykorzystującym światło podczerwone do śledzenia pozycji oka. Pomiar Dokładności i Precyzji został dokonany metodą proponowaną przez Tobii Technology. Uzyskane rezultaty wskazują na wystarczające wyniki w zakresie dokładności oraz bardzo wysokie w zakresie precyzji oprogramowania GazeFlow. Oznacza to możliwość komercjalizacji oprogramowania w celu wykorzystania w zakresie komercyjnych badań marketingowych oraz do kontrolowania wzrokiem komputera, czyli bezdotykowego interfejsu komputerowego.

3


Spis treści 1. Wprowadzenie 1.1. Urządzenia do śledzenia wzroku 1.2. Testy porównawcze 2. Metodologia 2.1. Osoby badane 2.2. Czas i miejsce badania 2.3. Aparatura badawcza 2.4. Procedura eksperymentalna 3. Wyniki 3.1. Wyniki dla pomiarów Dokładności (Accuracy) w procedurach ze swobodną głową 3.2. Wyniki dla pomiarów Dokładności (Accuracy) w procedurach z unieruchomioną głową na podstawce 3.3. Wyniki dla pomiarów Precyzji (Precision) w procedurach ze swobodną głową 3.4. Wyniki dla pomiarów Precyzji (Precision) dla procedur z unieruchomioną głową na podstawce 4. Podsumowanie 5. Literatura cytowana 6. Załączniki

4


1. Wprowadzenie 1.1. Urządzenia do śledzenia wzroku Urządzenia do śledzenie wzroku (eye trackery) są w ostatnich latach niezwykle popularnym narzędziem badawczym. Dynamiczny rozwój i wzrost dostępności urządzeń (spadek cen) sprawił, że badania eye trackingowe są powszechnie wykorzystywane komercyjnie. Przede wszystkim badania eye trackingowe zagościły wśród metod badań marketingowych oraz badań użyteczności stron internetowych. Najbardziej rozpowszechnionym urządzeniami do śledzenia wzroku są aktualnie eye trackery wykorzystujące światło podczerwone do śledzenia źrenicy oka. Na rynku wśród eye trackerów stacjonarnych stosowanych w badaniach komercyjnych dominują dwa rozwiązania firm: Tobii Technology oraz SMI Vision. Co więcej w ciągu ostatnich dwóch lat pojawiły się pierwsze komercyjne rozwiązania, które do śledzenia wzroku wykorzystują kamery internetowe. Najczęściej tego typu usługi udostępniane są online i podobnie jak eye trackery oparte o podczerwień są wykorzystywane w badaniach marketingowych i badaniach stron internetowych. Aktualnie dostępne są trzy rozwiązania firm: YouEye (www.youeye.com), Gazehawk (www.gazehawk.com) oraz EyeTrackShop (www.eyetrackshop.com). Wśród praktyków badań, rozwiązania wykorzystujące kamery webowe są krytykowane za niską dokładność i znaczne rozbieżności wyników w porównaniu z rozwiązaniami opartymi na świetle podczerwonym (por. Aga Bojko1). Warto zwrócić uwagę, że urządzenia do śledzenia wzroku, zwłaszcza oparte na ogólnodostępnych rozwiązaniach mają ogromny potencjał wykorzystania jako narzędzia do kontrolowania maszyn. Śledzenie wzroku może stać jedną z kolejnych możliwości interakcji człowiek - komputer, dzięki której możliwe będzie kontrolowanie i wchodzenie w interakcje jedynie za pomocą wzroku. W głównej mierze takie rozwiązania mogą być wykorzystywane w rozrywce, np. w grach do kontroli postaci oraz rozgrywki, jednak najbardziej obiecującym obszarem zastosowań jest neurorehabilitacja, czyli możliwość wykorzystania komputerów kontrolowanych wzrokiem do porozumiewania się przez osoby, które utraciły możliwość komunikacji lub obsługi urządzeń w standardowy sposób. Celem raportu jest porównanie wyników i danych otrzymywanych w dwóch rozwiązaniach: eye trackerze opartym na świetle podczerwonym oraz oprogramowaniu wykorzystującym kamerę webową. 1 Wpis na blogu http://rosenfeldmedia.com/books/eye-tracking/blog/the_truth_about_webcam_eye_tra/

5


Eye tracker działający w oparciu o światło podczerwone to standardowe rozwiązanie firmy SMI, RED 250, urządzenie o wysokiej rozdzielczości wyposażone w oprogramowanie umożliwiające skuteczne badania komercyjne. Drugie rozwiązanie to GazeFlow, autorskie rozwiązanie Szymona Deji oparte na analizie przepływu optycznego obrazu z kamery webowej. Oprogramowanie, które aktualnie można wykorzystać jako rozwiązanie standalone, przeznaczone jest do dalszej komercjalizacji. 1.2. Testy porównawcze W badaniach porównawczych zastosowano rozwiązanie proponowane przez Tobii Technology opisane w raporcie Accuracy and precision test method for remote eye trackers (Tobii, 2011). Metoda, którą proponuje Tobii ma na celu zobiektywizowanie i możliwość porównania urządzeń produkowanych przez różnych dostawców. Według tej metody oceniana jest dokładność i precyzja wszystkich urządzeń produkowanych przez Tobii Technology. Urządzenia ocenia się tą metodą w dwóch wymiarach Dokładności (Accuracy) i Precyzji (Precision). Dokładność (Accuracy) jest wskazaniem średniej różnicy między pozycją bodźca a mierzoną pozycją oka. Natomiast Precyzja (Precision) to możliwość urządzenia do powtarzania rzetelnych pomiarów. Matryca przedstawia wszystkie możliwości i zależności dokładności i precyzji pomiarów pozycji oka przez urządzenia do śledzenia wzroku.

Wysoka dokładność Wysoka precyzja

Wysoka dokładność Niska precyzja

Niska dokładność Wysoka precyzja

Niska dokładność Niska precyzja

Tylko systemy z wysoką dokładnością i precyzją dostarczają rzetelnych i trafnych pomiarów pozycji oka na ekranie. Oznacza to, że na podstawie wskazań systemu otrzymujemy informacje na temat rzeczywistej pozycji oka i pomiar jest powtarzalny. Za dobry pomiar dokładności uznaje się średnią mniejszą < 0.8˚ w idealnych warunkach (pomiar z unieruchomioną głową, w warunkach oświetleniowych ok. 300 luxów) Dobry pomiar precyzji oznacza średnią precyzję mniejszą niż <0.5˚ w warunkach idealnych.

6


Poziom wymaganej dokładności urządzeń do śledzenia wzroku zależy w dużej mierze od typu badań oraz rodzaju analizowanych bodźców. Im mniejsze bodźce są analizowane lub uwzględniany jest proces czytania, tym wymagania dotyczące dokładności i precyzji są wyższe. W przypadku powszechnie stosowanych w analizach eye trackingowych materiałów marketingowych lub badaniach stron www, zwłaszcza w zdalnych badaniach, w przypadku swobodnego śledzenia bodźców przez badanych wymagania są bardziej liberalne. W Teście Dokładności i Precyzji proponowanym przez Tobii (2011) porównywane są wyniki z różnych warunków eksperymentalnych, m.in: - idealne warunki - różny kąt oka - różne warunki światła - różne pozycje głowy. W przypadku poniższych badań, szczególnie uwzględniono warunek różnych pozycji głowy, ze względu na duży wpływ pozycji głowy na pomiary dokonywane przez oprogramowanie wykorzystujące kamery webowe. W literaturze przedmiotu toczy się dyskusja dotycząca dokonywania pomiarów na jednym dominującym (oku) lub średniej pomiaru dla obu oczu (por. Tobii, 2011). W poniższym badaniu wykorzystany jest pomiar binokularny.

7


2. Metoda 2.1. Osoby badane W eksperymencie wzięło udział 30 osób - 13 mężczyzn i 17 kobiet. Średnia wieku osób badanych wyniosła 27 lat (najmłodszy badany miał 21 lat, najstarszy 39). Wykształcenie osób badanych było następujące: 14 legitymowało się wykształceniem średnim, 12 wykształceniem wyższym i 4 wykształceniem licencjackim. Podsumowanie demograficzne osób badanych zamieszczono w Tabeli 1. Osoby badane reprezentowały losową próbkę z grupy wiekowej 20-40 lat. W trakcie rekrutacji do badania wykluczono osoby posiadające wadę wzroku i noszące okulary, ze względu na wymagania badań urządzeniem do śledzenia wzroku wykorzystującym światło podczerwone.

Lp. Płeć Wiek Wykształcenie B1 M 25 licencjat

B2 M 28 średnie

B3 K 28 wyższe

B4 K 39 średnie B5 K 23 licencjat

B6 K 38 średnie

B7 M 31 średnie

B8 K 25 wyższe

B9 K 28 wyższe

B10 K 25 średnie B11 K 23 średnie

B12 M 29 wyższe

B13 K 30 wyższe

B14 M 26 średnie

B15 K 23 licencjat

B16 K 39 wyższe B17 M 27 średnie

B18 M 37 średnie

B19 K 24 średnie

B20 K 23 licencjat

B21 M 29 wyższe

B22 K 30 wyższe B23 M 22 wyższe

B24 K 23 wyższe

B25 K 38 wyższe

B26 M 25 wyższe

B27 M 25 średnie

B28 M 21 średnie B29 K 24 średnie

B30 M 28 średnie

Tabela 1. Podsumowanie danych demograficznych osób badanych

8


2.2. Czas i miejsce badania Badania odbyły się w laboratorium firmy Simply User w dniach 13-17 czerwca 2013. Pokój badań został zaaranżowany tak, by uzyskać stałe i kontrolowane warunki przeprowadzenia eksperymentu. Badani siedzieli przy biurku przed monitorem, na którym zamontowano zdalne urządzenie do śledzenia wzroku firmy SMI RED 250 oraz 4 kamery webowe. Zdalny eye tracker umieszczony był pod ekranem monitora, natomiast kamery webowe zostały umieszczone zarówno nad monitorem, jak i pod monitorem - Zdjęcie 1. przedstawia monitor, na którym prezentowano badanym procedurę eksperymentalną. Monitor był umieszczony około 65-70 cm od oczu osób badanych (standardowa odległość rekomendowana w badaniach śledzenia wzroku z użyciem zdalnych eye trackerów).

Zdjęcie 1. Rozmieszczenie kamer webowych.

W dwóch wariantach procedury, w celu unieruchomienia głowy osób badanych wykorzystano podpórkę pod głowę (tzw. chinrest) umieszczoną 70 cm od monitora. Zdjęcie 2. prezentuje umieszczenie głowy osoby badanej na podpórce.

9


Zdjęcie 2. Unieruchomienie głowy za pomocą podpórki.

Wszystkie eksperymenty odbyły się w kontrolowanych warunkach oświetleniowych. Oświetlenie stanowiły dwie lampy typu softbox. Luminancja w pomieszczeniu wyniosła około 350 luxów. W trakcie eksperymentu nie zmieniano warunków oświetleniowych. Badania przeprowadzane zostały pod nadzorem wykwalifikowanego technika oraz badacza.

10


2.3. Aparatura badawcza W badaniu wykorzystano zdalne urządzenie do śledzenia wzroku (eye tracker) firmy SMI RED 250 Hz z systemem iView X wer. 2.8 (zainstalowanym na dedykowanym laptopie będącym integralną częścią urządzenia). Bodźce eksperymentalne wyświetlano na monitorze LCD 22’’ firmy Dell o rozdzielczości 1680x1050. Dodatkowo śledzono wzrok za pomocą oprogramowania GazeFlow wykorzystującego kamery webowe. W badaniu zastosowano 4, różnie umieszczone, kamery webowe: 1. Microsoft Lifecam 5000 (CAM_0) - umieszczona nad monitorem 2. Logitech pro 9000 (CAM_1) - umieszczona pod monitorem 3. Logitech HD Pro Webcam C920 (CAM_2) - umieszczona nad monitorem 4. Microsoft Playstation PsEye (CAM_3) - umieszczona pod monitorem Parametry kamer to rozdzielczość 640 na 480 oraz częstotliwość 30 klatek na sekundę (fps). Procedura badawczą odpowiedzialną za prezentacją bodźców kontrolowano za pomocą dedykowanego oprogramowania wykorzystującego iViewX SDK na laptopie firmy Samsung RF711 z 17” ekranem. Parametry komputera:

Procesor: IntelCore i7-2630QM 2 GHz RAM: 6,00 GB System operacyjny: Windows 7 Home Premium (wersja 64-bitowa) Rozmiar ekranu: 17,3” (16:9, LCD) Rozdzielczość: 1600 x 900px Głębia kolorów: 32 bit

Oprogramowanie, zostało połączone z urządzeniem SMI RED 250 za pomocą sieci Wi-Fi. Obraz i dane z kamer webowych oraz dane z eye trackera był rejestrowane równocześnie. Do analizy wyników wykorzystano także dedykowane oprogramowanie, obliczające Dokładność i Precyzję na podstawie wzorów proponowanych w artykule opisującym metodę Tobii (Tobii, 2011).

11


2.4. Procedura eksperymentalna 2.4.1 Instrukcja Procedurę badawczą rozpoczynano od poinformowania osób badanych o celu badania, jakim było oglądanie prezentowanych zdjęć oraz zrzutów stron internetowych. Poinformowano badanych także o konieczności dokładnego śledzenia wzrokiem środka poruszającego się punktu na ekranie monitora w trakcie kalibracji obu eye trackerów (urządzenia SMI i oprogramowania GazeFlow). Instrukcja dla badanych zawierała szczegółową informację o sposobie poruszania i zmianach pozycji głowy w trakcie procedury kalibracji głowy oraz korzystania z prezentowanej na monitorze informacji zwrotnej. W trakcie trwania procedury nie udzielano badanym dodatkowych informacji poza przypomnieniem o konieczności dokładnego śledzenia punktu w trakcie kalibracji. 2.4.2 Kalibracja Eksperyment składał się z dziewięciu procedur badawczych. Każda z procedur zawierała kombinację kalibracji, walidacji oraz prezentowanych bodźców. W siedmiu procedurach badani mieli swobodną głowę, w dwóch unieruchomioną na podpórce (por. zdjęcie 2). W badaniu zastosowano podwójną kalibrację urządzeń ze względu na wykorzystanie dwóch rozwiązań. Poniżej opisano kalibrację dla obu z nich: 1. Kalibracja SMI RED 250 - kalibracja 9-punktowa za pomocą poruszającego się

biało-czerwonego punktu na szarym tle; 4-punktowa walidacja z pomocą tego samego punktu;

2. Kalibracja GazeFlow - kalibracja 10-30 punktowa (w zależności od skuteczności procedury) za pomocą wyświetlanego czerwonego, pulsującego punktu na szarym tle; walidacja za pomocą zielonego punktu.

Dodatkowo w procedurach ze swobodną głową uwzględniono w procesie kalibracji ruch głowy (kalibracja z ruchomą głową) lub jego brak (kalibracja z nieruchomą głową). Kalibracja z uwzględnieniem ruchu głowy odbywała się na podstawie wizualnej informacji zwrotnej (kalibracja z ruchomą głową). Badanym prezentowano na ekranie w różnych pozycjach żółty punkt ze strzałką, wskazującą kierunek przesunięcia głowy. Po uzyskaniu żądanej pozycji głowy, punkt zmieniał kolor na czerwony i wyświetlano kolejny punkt kalibracyjny. W trakcie procedury wstępnej badani mieli możliwość przetestowania ten sposób kalibracji. W trakcie procedury badawczej wyświetlano badanym informację zwrotną w przypadku niewłaściwej pozycji głowy (w postaci czerwonej imitacji głowy), zadaniem badanych było poprawienie pozycji głowy w celu uzyskania poprawnej informacji zwrotnej.

12


2.4.3 Bodźce eksperymentalne W badaniu wykorzystano zdjęcia z ogólnie dostępnych darmowych baz danych ze zrównoważoną wyrazistością uwagową (salience) oraz zrzuty najpopularniejszych stron internetowych w Polsce (wg. rankingu Gemius). Wyświetlenie bodźców poprzedzono prezentacją punktu fiksacji na tle, którego kolor był średnią kolorów zdjęcia w celu zrównoważenia luminacji prezentowanych bodźców eksperymentalnych. 2.4.4 Warianty procedury badawczej Wszystkie procedury eksperymentalne składały się z następujących etapów: 1. Instrukcja 2. Inicjalizacja głowy 3. Kallibracja SMI 4. Walidacja SMI 5. Kalibracja GazeFlow 6. Walidacja GazeFlow 7. Prezentacja bodźców 8. Walidacja GazeFlow

13


W tabeli poniżej przedstawiono wszystkie warianty zastosowanych w badaniu procedur eksperymentalnych.

Procedura Nazwa własna

Kalibracja z nieruchomą

głową

Kalibracja z ruchomą

głową

Podstawka pod głowę

Typy bodźców i czas

wyświetlania

Procedura 1 Into

_ TAK _ _

Procedura 2 HeatMapSet1

_ TAK _ 10 zdjęć 5 sek z punktem fiksacji

Procedura 3 HeatMapSet2

TAK _ _ 10 zdjęć 5 sek z punktem fiksacji

Procedura 4 HeatMapWWW1

TAK _ _ 5 zrzutów www 9 sek z punktem fiksacji

Procedura 5 ReadText

_ TAK _ czytanie tekstu na głos

Procedura 8 Glass_2_HeatMap_Set4

TAK _ _ 10 zdjęć 5 sek z punktem fiksacji

Procedura 9 Glass_3_HeatMap_www2

_ TAK _ 5 zrzutów www 9 sek z punktem fiksacji

Procedura 6 Statyw_WalidationColor

_ _ TAK _

Procedura 7 Statyw_HeatMapPodstawkaSet3

_ _ TAK 10 zdjęć 5 sek z punktem fiksacji

Tabela 2. Warunki dla wszystkich procedur eksperymentalnych wykorzystanych w badaniu.

14


3. Wyniki Analizę wyników zrealizowano zgodnie z metodami pomiarów Dokładności i Precyzji w publikacji Tobii (2011). Zgodnie ze wskazaniami metodologicznymi do analizy wykorzystano tylko wyniki prób z poprawną kalibracją. Najlepszy poziom kalibracji dla oprogramowania GazeFlow uzyskano w procedurze nr 4 HeatMapWWW1, natomiast dla urządzenia SMI RED 250 (dalej SMI) w procedurze nr 8 Glass_2_HeatMap_Set4. Tabelę zawierającą procentowe dane dokładności kalibracji zaprezentowano w Załączniku 1. Zwraca uwagę niższy poziom kalibracji eye trackera SMI, co jednak mogło być spowodowane trudnościami w kalibracji urządzenia, ze względu na błędy i opóźnienia w prezentacji punktów kalibracyjnych. Poniżej znajdują się dane dla wszystkich czterech kamer webowych zastosowanych w badaniu. Dla każdej z kamer wyliczono miarę Dokładności i Precyzji dla GazeFlow oraz SMI. Tabele prezentują szczegółowe porównanie wyników. Osobno zaprezentowano wyniki procedur ze swobodną głową oraz z głową unieruchomioną. Wszystkie prezentowane wyniki wyrażone są w stopniach odchylenia między punktem na ekranie a pomiarem pozycji oka.

15


3.1. Wyniki dla pomiarów Dokładności (Accuracy) w procedurach ze swobodną głową Tabele przedstawiają wyniki pomiarów Dokładności dla GazeFlow oraz SMI w tych procedurach, w których badani mieli swobodną pozycję głowy standardowo stosowaną w badaniach ze zdalnym eye trackerem.

Kamera Nazwa procedury

Średnia WebCam AccuracyX

Średnia WebCam AccuracyY

Średnia SMI AccuracyX

Średnia SMI AccuracyY

Cam_0 0,94488479 1,070045699 0,956618552

0,674499497

Into 1,026403714 1,058630381 0,889618905

0,623168333

HeatMapSet1 1,039534917 0,984184792 0,879858292

0,598922042

HeatMapSet2 0,806336957 1,078214609 1,116748739

0,677186783

HeatMapWww1

0,860038 0,881491905 0,844814238

0,646282333

ReadText 0,980167529 1,418166941 0,954960118

0,749193588

Glass_2_HeatMap_Set4

0,84559465 0,99993015 0,9970957 0,72923725

Glass_3_HeatMap_WWW2

1,084348235 1,161597353 1,023253 0,736735471

Tabela 3. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 1 (CAM_0) w procedurach ze swobodną głową w GazeFlow (WebCam) i SMI

16







Cam_1 1,09356004 1,176071508 0,939732234 0,662699089

Into 1,33037145 1,3028553 0,8438387 0,61381745

HeatMapSet1 1,143760048 1,200061429 0,828500048 0,608644238

HeatMapSet2 0,948090826 1,153010304 1,026425783 0,646012261

HeatMapWww1

0,934483611 1,122464778 0,845122444 0,6821635

ReadText 1,058331111 1,354267111 1,009833333 0,647873556


1,033065222 1,031861722 1,015450833 0,737642556


1,215207133 1,139263533 1,070994 0,724743733

Tabela 4. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 2 (CAM_1) w procedurach ze swobodną głową w GazeFlow (WebCam) i SMI Kamera Nazwa

procedury Średnia WebCam AccuracyX




Cam_2 1,031819868 1,156535076 0,955698528 0,667993042

Into 1,307013762 1,11921319 0,890103286 0,619831429

HeatMapSet1 0,94959672 1,24239868 0,84591404 0,60782996

HeatMapSet2 0,841246174 1,242968348 1,116748739 0,677186783

HeatMapWww1

0,975540143 0,994712143 0,844814238 0,646282333

ReadText 1,095747824 1,349947941 0,916929647 0,721256647


1,046537905 1,056947857 1,055455429 0,711300238


1,0596775 1,08471 1,0376175 0,727056

Tabela 5. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 3 (CAM_2) w procedurach ze swobodną głową w GazeFlow (WebCam) i SMI

17







Cam_3 1,066661694 1,221480898 0,889155694 0,653861592

Into 1,332723 1,385011182 0,923244818 0,566182

HeatMapSet1 1,0975465 1,166807167 0,882522583 0,5409855

HeatMapWww1

0,854962 1,2553629 0,7372276 0,6221437

ReadText 0,873405143 1,167121714 0,924754 0,725906


1,085828444 1,099141556 0,997456778 0,890734556

Tabela 6. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 4 (CAM_3) w procedurach ze swobodną głową w GazeFlow (WebCam) i SMI Wykres prezentuje podsumowanie średnich Dokładności dla wszystkich kamer dla obu rozwązań.

Wykres 1. Porównanie uśrednionych pomiarów Dokładności dla warunków ze swobodną głową dla GazeFlow (WebCam) vs SMI

18


Podsumowując wyniki testów należy zwrócić uwagę, że wyniki pomiarów Dokładności są nieznacznie lepsze dla urządzenia SMI w przypadku pomiaru dokładności w osi X (poziomej), natomiast znacznie lepsze dla pomiarów Dokładności w osi Y. W przypadku GazeFlow najlepsze wyniki dla Dokładności otrzymano dla kamery nr 1 (CAM_0), czyli umieszczonej centralnie nad monitorem. We wszystkich przypadkach otrzymano lepsze wyniki Dokładności (niższa wartość odchylenia wyrażona w stopniach) z kamer umieszczonych nad monitorem. 3.2. Wyniki dla pomiarów Dokładności (Accuracy) w procedurach z unieruchomioną głową na podstawce. W tabelach zebrano wyniki dla wszystkich kamer i procedur, w których badani mieli unieruchomioną głowę na podstawce. Kamera Nazwa





Cam_0 0,838121 0,99749246 0,96628342 0,78371292

Statyw_WalidationColor

1,011000957 1,04781587 0,902361609 0,733661783

Statyw_HeatMapPodstawkaSet3

0,690852889 0,95462437 1,020735333 0,826349074

Tabela 7. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 1 (CAM_0) w procedurach z unieruchomioną głową w GazeFlow (WebCam) i SMI Kamera Nazwa





Cam_1 1,032267118 1,082964804 0,958015275 0,779070451


1,259673667 1,154732667 0,887455208 0,725882


0,830127963 1,019171148 1,020735333 0,826349074

Tabela 8. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 2 (CAM_1) w procedurach z unieruchomioną głową w GazeFlow (WebCam) i SMI

19


Kamera Nazwa





Cam_2 0,87373802 1,061464714 0,967781347 0,777237367


1,111964 1,122387435 0,906260522 0,731583739


0,662999654 1,007571538 1,022203615 0,817623269

Tabela 9. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 3 (CAM_2) w procedurach z unieruchomioną głową w GazeFlow (WebCam) i SMI Kamera Nazwa





Cam_3 0,924271957 1,02620287 0,900610174 0,713605565


1,0330376 1,0555321 0,8393879 0,6650874


0,840606077 1,003641923 0,947704231 0,750927231

Tabela 10. Porównanie średnich wartości Dokładności (Accuracy) w osi X oraz Y dla kamery 4 (CAM_3) w procedurach z unieruchomioną głową w GazeFlow (WebCam) i SMI

20


Wykres 2. Porównanie uśrednionych pomiarów Dokładności dla wszystkich warunków z nieruchomą głową dla GazeFlow (WebCam) vs SMI Wyniki w procedurach z unieruchomioną głową są niższe w porównaniu z procedurami z głową swobodną, co oznacza wyższą dokładność rozwiązań. W przypadku procedur z unieruchomioną głową wyniki dla Dokładności w osi X w GazeFlow są porównywalne z wynikami otrzymywanymi dla urządzenia SMI. Wynik jest zaskakujący, ponieważ można oczekiwać, że w przypadku warunku z nieruchomą głową, zbliżonych do idealnych, wyniki dla urządzenia wykorzystującego światło podczerwone do śledzenia wzroku powinny być lepsze. Oznaczać to może zarówno wysoką dokładność GazeFlow, porównywalną do SMI w warunkach zbliżonych do idealnych lub należy uwzględnić możliwość artefaktu badawczego wynikającego z nieoptymalnej pozycji głowy dla warunków kalibracji i przeprowadzenia testu w pozycji, w której znajdowały się osoby badane, a których głowy spoczywały na podstawce oraz znacznego zwiększenia kąta w osi X dla bodźców prezentowanych na peryferiach a pozycją oka. Uzyskane wyniki pomiarów Dokładności, czyli pomiar pozycji oka, są wyższe niż wskazywane jako pożądane w warunkach idealnych ( < 0.8˚) dla procedur ze swobodną głową, zwłaszcza dla GazeFlow, natomiast w procedurach z unieruchomioną głową pomiar Dokładności w obu przypadkach osiąga pożądany pułap.

21


3.3. Wyniki dla pomiarów Precyzji (Precision) w procedurach ze swobodną głową Poniżej zaprezentowano w tabelach wyniki pomiarów Precyzji dla oprogramowania GazeFlow oraz SMI w przypadku swobodnej pozycji głowy osób badanych. Wyniki prezentowane są osobno dla każdej kamery webowej. Kamera Nazwa

procedury Średnia WebCam PrecisionX

Średnia WebCam PrecisionY

Średnia SMI PrecisionX

Średnia SMI PrecisionY

Cam_0 0,247711692 0,257332406 0,275402364 0,269548643

Into 0,321631857 0,27725681 0,27531081 0,267714524

HeatMapSet1 0,244856208 0,267781917 0,275097333 0,273258292

HeatMapSet2 0,22354787 0,264544348 0,236990609 0,23589013

HeatMapWww1

0,223061286 0,239552524 0,246522286 0,272730143

ReadText 0,221118529 0,214340824 0,331550647 0,312985118


0,21870405 0,2405562 0,2948133 0,2579744


0,284292353 0,292902 0,284605647 0,278365353

Tabela 11. Porównanie średnich wartości Precyzji (Precision) w osi X oraz Y dla kamery 1 (CAM_0) w procedurach ze swobodną głową w GazeFlow (WebCam) i SMI

22



Średnia WebCam PrecisionX




Cam_1 0,255058645 0,26032226 0,277273282 0,266271242

Into 0,3202907 0,3233968 0,27721435 0,2717916

HeatMapSet1 0,267960571 0,25107749 0,279729238 0,281761762

HeatMapSet2 0,232992783 0,249868826 0,23701813 0,236692609

HeatMapWww1

0,251469778 0,248067222 0,259000889 0,283906722

ReadText 0,207442778 0,189246444 0,353862889 0,268749


0,230153889 0,244691111 0,289369667 0,248405111


0,246616067 0,281303067 0,297095533 0,281368067







Cam_2 0,239130458 0,262665701 0,279189674 0,270538861

Into 0,304370286 0,308151286 0,27601381 0,26883619

HeatMapSet1 0,23742324 0,2546572 0,30429952 0,28784724

HeatMapSet2 0,207789 0,273790174 0,236990609 0,23589013

HeatMapWww1

0,221426429 0,23847081 0,246522286 0,272730143

ReadText 0,211077765 0,203051176 0,315797471 0,300766059


0,236553667 0,277771238 0,292944667 0,25489519


0,257648625 0,274757938 0,29071175 0,281076688


23







Cam_3 0,297889673 0,269753941 0,294017408 0,277324408

Into 0,301578182 0,268378555 0,299079909 0,275885727

HeatMapSet1

0,310925917 0,279415333 0,280986083 0,259226917

HeatMapWww1

0,3004628 0,2573095 0,2555388 0,2620733

ReadText 0,244551429 0,244879286 0,340354571 0,307726


0,314626111 0,291727222 0,311919 0,296512778

Tabela 14. Porównanie średnich wartości Precyzji (Precision) w osi X oraz Y dla kamery 4 (CAM_3) w procedurach ze swobodną głową w GazeFlow (WebCam) i SMI Na wykresie zaprezentowano podsumowanie wyników pomiarów Precyzji wszystkich kamer dla obu rozwiązań.

Wykres 3. Porównanie uśrednionych pomiarów Precyzji dla wszystkich warunków ze swobodną głową dla GazeFlow (WebCam) vs SMI W przypadku pomiarów Precyzji, czyli powtarzalności pomiarów, w obu rozwiązaniach uzyskano porównywalne wyniki. GazeFlow w pomiarze precyzji na osi X, wyłączając kamerę nr 4 (CAM_3), uzyskuje nawet wyższe wyniki niż SMI. Należy zwrócić uwagę, że oba rozwiązania uzyskują wyniki pomiarów wskazywane jako właściwy poziom precyzji, nawet w warunkach ze swobodną głową. Pod względem powtarzalności pomiarów oba rozwiązania spełniają warunek rzetelności.

00,050,1

0,150,2

0,250,3

0,35

WebCamPrecisionX WebCamPrecisionY SMIPrecisionX SMIPrecisionY

Cam_0 Cam_1 Cam_2 Cam_3

24


3.4. Wyniki dla pomiarów Precyzji (Precision) dla procedur z unieruchomioną głową na podstawce.

Analogicznie do prezentowanych wyników tabele zawierają pomiary Precyzji dla obu rozwiązań w warunkach, w których unieruchomiono głowę osób badanych na podstawce.






Cam_0 0,194331558 0,22589244 0,30659356 0,29482526


0,188116326 0,207922304 0,325743609 0,298495478


0,199626015 0,241200333 0,290280556 0,291698778

Tabela 15. Porównanie średnich wartości Precyzji (Precision) w osi X oraz Y dla kamery 1 (CAM_0) w procedurach z unieruchomioną głową w GazeFlow (WebCam) i SMI






Cam_1 0,193082251 0,227918227 0,303640804 0,292440588


0,195894667 0,225785942 0,318671083 0,293275125


0,190582326 0,229813593 0,290280556 0,291698778


25


Kamera Nazwa

procedury Średnia WebCam PrecisionX




Cam_2 0,17964051 0,231512714 0,305915571 0,29281851


0,186365522 0,217215435 0,324216348 0,297404826


0,173691462 0,244160308 0,289726423 0,288761385







Cam_3 0,268014826 0,270949696 0,31937587 0,284119478


0,2443794 0,2346711 0,3379877 0,2817945


0,286195923 0,298856308 0,305059077 0,285907923


26


Na wykresie przedstawiono sumaryczne porównanie średnich pomiarów Precyzji dla osi X i Y w obu urządzeniach.

Wykres 4. Porównanie uśrednionych pomiarów Precyzji dla wszystkich warunków z nieruchomą głową dla GazeFlow (WebCam) vs SMI Wyniki dla warunków zbliżonych do idealnych, czyli z unieruchomioną głową osób badanych wskazują na wysoko rzetelność, zwłaszcza urządzenia GazeFlow. Oznacza to, że w tych warunkach urządzenie zwraca powtarzalne pomiary, nawet w większym stopniu niż eye tracker SMI.

27


4. Podsumowanie Wyniki uzyskane w badaniach Dokładności (Accuracy) i Precyzji (Precision) wskazują na wysokie możliwości dokonywania rzetelnych i trafnych pomiarów przez oprogramowanie GazeFlow, które dokonuje śledzenia wzroku na podstawie obrazu z kamer internetowych. Pomiary Dokładności (< 0.9˚-1.0˚) oprogramowania są, zwłaszcza w warunkach ze swobodną głową, wyższe niż wskazywane w literaturze jako pożądany poziom Dokładności, natomiast porównywalne z urządzeniem wykorzystującym światło podczerwone. W procedurach z unieruchomioną głową pomiar Dokładności osiąga pożądany pułap. Natomiast powtarzalność (pomiar Precyzji) wyników spełnia wszystkie warunki uznania oprogramowania za rzetelne na poziomie urządzeń opartych na innych rozwiązaniach, w tym przypadku eye trackerów na podczerwień. Należy zwrócić uwagę, że uzyskano zróżnicowane wyniki dla różnych typów kamer i sposobu ich umieszczenia. Rekomendowana pozycja kamery, w której uzyskiwano konsekwentnie dokładniejsze i precyzyjniejsze wyniki to umieszczenie nad ekranem monitora. Oprogramowanie GazeFlow z powodzeniem może być stosowane w badaniach marketingowych oraz badaniach stron internetowych, gdzie należy wskazywać poziom uzyskiwanej Dokładności eye trackera. Możliwości oprogramowanie w zakresie dokładności i precyzji pozwalają także na jego skuteczne wykorzystanie jako eye trackera do kontrolowania komputerów za pomocą wzroku i zastosowania rozwiązania w rozrywce lub rehabilitacji. W tym zakresie oprogramowanie gotowe jest do komercjalizacji.

28


5. Literatura cytowana Tobii Technology, Accuracy and precision test method fo remote eye trackers. Test Specification Vertion: 2.1.1. February, 2011 6. Lista załączników: 1. Tabela poprawności kalibracji GazeFlow 2. Tabela poprawności kalibracji SMI 3. Mapy ciepła 4. Ścieżki wzroku

29


Załączniki 1. Tabela poprawności kalibracji GazeFlow

Procedura GazeFlow

% niepoprawnych kalibracji

GazeFlow % poprawnych kalibracji

1_Into 24% 76% 2_WalidationHeadForce 20% 80% 3_HeatMapSet1 23% 77% 4_HeatMapSet2 7% 93% 5_HeatMapWww1 22% 78% 6_ReadText 40% 60% 7_Statyw_WalidationColor 16% 84%

9_Statyw_HeatMapPodstawkaSet3

10% 90%

Glass_2_HeatMap_Set4 13% 87% Glass_3_HeatMap_WWW2

14% 86%

Suma 20% 80% 2. Tabela poprawności kalibracji SMI

Procedura SMI

% niepoprawnych kalibracji

SMI % poprawnych

kalibracji 1_Into 38% 62% 2_WalidationHeadForce 100% 0% 3_HeatMapSet1 29% 71% 4_HeatMapSet2 17% 83% 5_HeatMapWww1 33% 67% 6_ReadText 23% 77% 7_Statyw_WalidationColor

23% 77%

9_Statyw_HeatMapPodstawkaSet3

15% 85%

Glass_2_HeatMap_Set4 9% 91% Glass_3_HeatMap_WWW2

30% 70%

Suma 31% 69%

Documents

Porównanie dokładności i precyzji śledzenia wzroku: GazeFlow vs SMI RED 250