2. semestrální práce z předmětu 36NAN

Detekce fixací a sakád

Práce se snaží automatickým způsobem, za použití Kohonenovy neuronové sítě, rozlišit v trajektoriích očních pohybů, zda se jedná o fixaci (oko setrvává pohledem na jednom místě, popřípadě se mírně pohybuje v okolí tohoto místa), nebo sakádu (oko přesouvá své zorné pole z jednoho místa na druhé).

Úkolem je klasifikace úseků záznamu očních pohybů na fixace a sakády pomocí samoorganizace, za použití Kohonenovy sítě.

Použita jsou data získaná při výzkumu dyslexie vyšetřením pacientů na zařízení iView [3].

SOMPAK 3.1b jako simulátor Kohonenovy neuronové sítě

Interpret Perlu jako prostředek pro zpracování a vizualizaci dat generováním PostScriptových výstupů.

Použita byla předzpracovaná kalibrovaná data ve dvou sadách označených 1d20 a 2d30. Obsahovaly 1162 resp. 1988 vzorků poloh zornic snímaných v konstantních časových intervalech. Data byla kalibrována na rozlišení 640 x 480 bodů. Data pocházejí z testů na stimulu č.1 v práci [3]. Navzájem se liší v pořadí procházení objektů na obrázku.

Data byla převedena dat z absolutních poloh na relativní změny a odstraněny neplatné NaN hodnoty.

K řešení byla použita Kohonenova síť se čtvercovou mřížkou neuronů o velikosti 5 x 5 a dvourozměrným vstupem. Síť pak inicializována na základě vstupních dat pravidelným lineárním rozložením vektorů. Učení jsem prováděl ve dvou fázích s 10000 kroky. V první s parametrem učení alpha=0.9 a iniciálním poloměrem okolí 10 a ve druhé s nižším alpha=0.05 a poloměrem 1.

Tyto parametry jsem zvolil jako optimální po méně úspěšných experimentech. Menší síť už nedokázala žádným neuronem postihnout okraje pole dat - dlouhé skoky typické pro sakády. První fáze učení s vysokým koeficientem alpha zajistí rychlé nastavení vah i pro data reprezentující větší skoky, sakády, kterých je v sadě poměrně málo. Druhá fáze pak váhy těchto neuronů jemněji doladí. V této fázi jsem také snížil výchozí poloměr okolí.

Odpovídají tomu následující volání SW balíku SOMPAK [2]:

lininit -xdim 5 -ydim 5 -din %NAME%.dat -cout %NAME%.in.cod -neigh bubble -topol rect
vsom -din %NAME%.dat -cin %NAME%.in.cod -cout %NAME%.out1.cod -rlen 10000 -alpha 0.9 -radius 10
vsom -din %NAME%.dat -cin %NAME%.out1.cod -cout %NAME%.out2.cod -rlen 10000 -alpha 0.05 -radius 1

Následuje grafické znázornění směrů a velikostí relativní změn zorného pole (trojnásobné měřítko). Jsou patrné zřetelné rozdíly, proto byla síť učena na datech z obou sad.

Jako neurony nejlépe reprezentující sakády jsem na základě grafického vystupu zvolil těchto 7 : (0,0), (0,1), (1,0), (2,0), (4,0), (4,1), (4,4). Je vidět, že jsou to především neurony z okraje čtvercové mřížky 5 x 5 , což souvisí s tím, že reprezentují nejdelší, od sebe vzdálené, vektory. Vyobrazený je výřez z první sady.

Výsledná klasifikace fixací a sakád (červeně) je patrná z následujících grafů.

Úspěšnost klasifikace bych vizuálně odhadl jako vyšší než 90%. Z výsledků je také patrný hlavní nedostatek faktu, že data byla jen diference souřadnic po sobě následujících vzorků. Možné vylepšení proto rozpoznání vidím v doplnění vektoru na tři dimenze, třetí by byl rozdíl mezi směrnicemi po sobě následujících vektorů v absolutní hodnotě. Během fixace je totiž zřejmě významně vyšší.

• [1] Neuronové sítě a neuropočítače, M. Šnorek, skripta FEL ČVUT, 1996.
• [2] Popis SOMPAKu, Juraj Boldiš, http://cs.felk.cvut.cz/~bratm/vyuka/nan/SOM1.HTM
• [3] Metody analýzy záznamu očních pohybů při čtení a v sekvenčních úlohách, diplomová práce, Jakub Snopek, FEL ČVUT, 2003

• nan2.zip - archív souborů úlohy