SVEUILITE U ZAGREBU FAKULTET ELEKTROTEHNIKE I RAUNARSTVA

NEURONSKE MREE

Klasifikacija EEG signala

Joko Orlovi Marko arlija Igor Vasiljevi Borislav Zori

Zagreb, sijeanj 2008.

Sadraj

1. Uvod.......................................................................................2 2. Principi elektroencefalografije ............................................32.1. Priroda EEG signala......................................................................................... 3 2.2. Vrste EEG signala............................................................................................ 5 2.3. Mjerenje EEG signala ...................................................................................... 9

3. Klasifikacija EEG signala pomou neuronskih mrea ....103.1. Umjetne neuronske mree ..............................................................................10 3.2. Ekstrakcija znaajki.........................................................................................11 3.3. Detekcija EEG signala s epileptikim znaajkama ..........................................13 3.3.1. Baza podataka EEG signala.....................................................................13 3.3.2. Ekstrakcija wavelet znaajki .....................................................................14 3.3.3. Klasifikacija znaajki pomou vieslojnog perceptrona ............................16 3.4. Klasifikacija EEG signala (misli) pokreta strelice na zaslonu monitora............17 3.4.1. Baza podataka EEG signala i ekstrakcija znaajki ...................................17 3.4.2. Klasifikacija signala pomou radijalne neuronske mree..........................18

4. Zakljuak .............................................................................20 5. Literatura .............................................................................21

1

1. UvodRazvoj novih tehnologija i metoda za obradu signala, omoguio je upotrebu EEG signala (modanih signala) za komunikaciju izme u ljudi i raunala. Mjerenjem EEG signala ljudi za vrijeme operacije mogue je kontrolirati dubinu anestezije, to je jako vano jer ne elimo da pacijent padne u komu. Mogue je konstruirati proteze ekstremiteta koje, detekcijom i raspoznavanjem modanih impulsa zaduenih za aktivaciju pokreta tijela, pokreu izvrni lan i tako pomau onesposobljenima. Komunikacija ljudi i raunala (eng. Brain Computer Interface - BCI), danas predstavlja veliki izazov za realizaciju. Postoje mnoge metode za prepoznavanje razliitih vrsta EEG signala. U ovom radu bit e vie govora o prepoznavanju EEG signala za vrijeme epilepsije, ali i drugih EEG signala. Iz rezultata dobivenih simulacijama zakljuujemo kako smo napravili veliki korak u prepoznavanju EEG signala.

2

2. Principi elektroencefalografije2.1. Priroda EEG signala

Elektrina svojstva ljudskog ivanog sustava su otkrivena jo prolog stoljea. Dobro su poznate promjene potencijala na povrini glave koje su posljedica modanih aktivnosti. Te se promjene potencijala mogu snimiti postavljanjem niza elektroda na povrinu glave, pri emu mjerimo napon izme u tih elektroda. Napone dobivene mjerenjem zatim filtriramo, pojaavamo i snimamo. Rezultati tih mjerenja su EEG signali. Slika 1 prikazuje est kanala EEG signala u trajanju od 10 sekundi. Elektrode se na povrinu glave postavljaju kako je prikazano na slici 2.

Slika 1. Primjer EEG signala sa 6 kanala

3

Slika 2. Prikaz postavljanja elektroda na glavi (sustav 10-20-10)

Svaka pozicija za postavljanje elektroda obiljeena je zasebnim slovom, koje predstavlja poziciju na glavi (F prednja strana, T bona strana, C sentralna pozicija, P i O stranja strana), i brojem koji oznaava hemisferu (parni brojevi desna strana, neparni brojevi lijeva strana). Oznaka z predstavlja elektrode postavljene na centralnu os. Stoga su EEG signali razlika potencijala izme u dvije elektrode, koji su posljedica aktivnosti velikog broja neurona u mozgu. Kako se za razliite tjelesne aktivnosti aktiviraju razliiti dijelovi mozga, mjerenjem i snimanjem EEG signala, moemo bolje razumjeti princip rada ljudskog mozga. Dananje moderne tehnike za snimanje EEG signala prikupljaju informacije o elektrinom potencijalu na povrini glave, te ih digitaliziraju i spremaju za daljnju obradu. Elektrode snimaju napone veliine nekoliko mikrovolti, koje proputaju kroz pojaalo, te ih pojaavaju oko 10000 puta. Koritenje ove tehnologije ovisi strogo o poziciji postavljenih elektroda i njihovom kontaktu. Iz tih se razloga danas elektrode rade od plemenitih metala poput zlata ili srebra s promjerom od jednog centimetra. Tako er moramo koristiti vodljivi gel kako bi se smanjio odnos signal um. Mjerenje EEG signala prikazano je na slici 3.

4

Slika 3. Snimanje EEG signala

2.2. Vrste EEG signala

Analiza kontinuiranih EEG signala (modanih signala) je jako zahtjevna zbog velikog broja informacija prikupljenih pomou elektroda na povrini glave. Stoga je jako bitno odrediti koji signali jesu, a koji nisu bitni za analizu EEG signala. Razliiti se signali, poput radio signala, svrstavaju u grupe po frekvenciji, a u nekim sluajevima po obliku. EEG signale svrstavamo u pet grupa: 1. Beta () signali: Beta signali imaju raspon frekvencija od 13Hz do 30Hz i male vrijednosti napona od 530V (slika 4). Beta signali se najee povezuju sa slijedeim aktivnostima: razmiljanjem, aktivnom prisebnosti, percipiranjem vanjskog svijeta ili rjeavanjem konkretnih problema. U sluajevima zahtjevne modane aktivnosti, frekvencije beta signala mogu dosei vrijednost od 50Hz.

5

Slika 4. Alfa () i beta () signali

2. Alfa () signali: Alfa signali imaju raspon frekvencija od 8Hz do 13Hz i vrijednosti napona od 30 50V (slika 4). Alfa signali se najee povezuju s aktivnostima poput oputene prisebnosti ili neprisebnosti. Najjae se osjeaju na stranjem i prednjem dijelu glave. Alfa signal je najizraeniji od cijelog skupa modanih signala i najvjerojatnije zauzima vei spektar frekvencija nego se dosad smatralo. esto moemo vidjeti beta signal frekvencije 20Hz s karakteristikama alfa signala. Alfa signali ee upuuju na prazan um, nego na oputeni um, ili pak na stanje bez misli, nego na pasivno stanje. Alfa signali se mogu smanjiti ili ukloniti jednostavnim otvaranjem oiju, sluanjem nepoznatih zvukova, ili pak tjeskobom ili mentalnom koncentracijom. 3. Theta () signali: Theta signali imaju raspon frekvencija od 4Hz do 7Hz i amplitudu napona najee veu od 20V (slika 5). Theta signali nastaju prilikom emocionalnog stresa, posebice zbog frustracija ili razoaranja. Theta signali se esto povezuju s nesvjesnim stanjem, kreativnom inspiracijom ili dubokom meditacijom. Theta signali dominiraju na frekvenciji od 7Hz.

6

Slika 5. Theta () signali

4. Delta () signali: Delta signali imaju raspon frekvencija od 0,5Hz do 4Hz, s promjenjivom amplitudom (slika 6). Delta signali se povezuju s dubokim snom i s fazom bu enja, a ponekad se smatra da upuuju na fizike defekte na mozgu. Signale koje uzrokuje vratni mii ili donja vilica, lako je zamijeniti s delta signalima. Razlog tomu je to je vratni mii blizu povrine koe, koji uzrokuje velike signale, dok je izvorite delta signala u dubini mozga i zbog toga biva jako priguen dok ne do e do povrine lubanje.

Slika 6. Delta () signali

5. Gama () signali: Gama signali imaju raspon frekvencija od 35Hz na vie. Povezuju se sa stanjem svijesti.

7

6. Mu signali: Mu signali su spontani signali frekvencije 8 12Hz, koji se povezuju s motorikim aktivnostima, a snimaju se na motorikom dijelu mozga (slika 8). Nastaju kao posljedica kretanja ili pomisli na kretanje. Mu signali su u istom frekvencijskom podruju kao i alfa signali (slika 7), ali mu signali nastaju u podruju malog mozga.

Slika 7. Mu signal i alfa signal

Kontroliranje raunala mogue je mjerenjem EEG signala u realnom vremenu (alfa i mu signala), zato to ljudi lako mogu nauiti kako promijeniti amplitudu ovih valova treniranjem. To se moe postii prisjeanjem neke slike ili podizanjem razine svijesti.

Slika 8. Prikaz podruja mozga

8

2.3. Mjerenje EEG signala

Kao to je ve bilo pokazano EEG signal se mjeri pomou elektroda postavljenih na glavi standardnim rasporedom sustav 10-20-10. EEG signali se mogu mjeriti unipolarno (referentna toka na nosu ili ukama) ili bipolarno (signal je razlika potencijala izme u susjednih elektroda). Za vrijeme ili nakon mjerenja potrebno je signal obraditi. Smetnje je mogue izbjei ili filtrirati. Izbjegavanje smetnje se postie odre enim protokolom u mjerenju signala. Osobu, koja je subjekt mjerenja, je potrebno psihiki i fiziki pripremiti za mjerenje. Filtriraju se poznate smetnje kao to su EMG, 50 Hz, EKG, kontakt elektroda, treperenje oka, itd. Nije mogue filtrirati pozadinsku modanu aktivnost nevezanu za mjerene aktivnosti.

9

3. Klasifikacija EEG signala pomou neuronskih mrea3.1. Umjetne neuronske mree

Jedna vrsta umjetnih neuronskih mrea koju smo koristili u ovom seminaru je vieslojni percepton. Vieslojni percepton se sastoji od ulaznog sloja, skrivenog koji moe imati vie slojeva i jednog izlaznog sloja. Broj neurona u pojedinim slojevima moe biti razliit. Takva mrea ima svojstvo uenja i generalizacije. Za treniranje mree je potreban manji skup ulaznih podataka, laka ju je implementirati i zato je najee koritena neuronska mrea. Koristili smo Quasi-Newton algoritam za treniranje mree. Osnovna ideja ove metode je:xk +1 = xk Ak g k1

gdje je Ak-1 Hessian matrica (druga derivacija) optimizacijske funkcije trenutanih vrijednosti teina i pragova. Newtonova metoda bre konvergira nego konjugirano gradijentne metode. Postoji klasa algoritama bazirana na Newtonovoj metodi, ali ne zahtjeva raunanje druge derivacije. Nazivaju se Quasi-Newton metode koje u svakoj iteraciji algoritma osvjeavaju Hessian matricu. Algoritm je implementiran u trainbfg rutini u alatu Matlab.

Slika 9. Vieslojni percepton s dva skrivena sloja

Druga vrsta mrea koju smo koristili su radijalne mree. Ta vrsta mrea se sastoji od tri sloja: ulaznog, skrivenog (ima razliitu ulogu od skrivenog sloja kod vieslojnih mrea) i izlaznog. Transformacija od ulaznog sloja do skrivenog sloja je nelinearna, a iz skrivenog do izlaznog sloja je linearna. 10

Kod upotrebe mree za probleme klasifikacije uzoraka problem se rjeava nelinearnom transformacijom ulaznih uzoraka u prostor vie dimenzije nego to je ulazni prostor. Aktivacijska funkcija skrivenog neurona je radijalna funkcija sa slike 10.1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 -3 a

-2

-1

0 n

1

2

3

Slika 10. Radijalna funkcija, radbas(n)= e

n2

3.2. Ekstrakcija znaajki

EEG signali koje klasificiramo otipkani su frekvencijom 173.61 Hz to znai da signal koji traje 23.6 sekundi ima 4096 uzoraka. Kada bi htjeli raspoznavati sirovi signal potrebno je modelirati neuronsku mreu s 4096 ulaza. U tom sluaju ulazi u neuronsku mreu cjelovita informacija o signalu, ali za uenje takve neuronske mree potrebna je velika procesorska mo, kapacitet memorije i vrijeme uenja. Prebacivanjem signala u frekvencijsku domenu Fourierovom transformacijom smanjili bi broj ulaza u neuronsku mreu, ali informacija o signalu bi bila nepotpuna.

3

3

2

2

1

1 y (vrijednost)0 2 4 6 8 x (uzorci) 10 12 14 16

y (vrijednost)

0

0

-1

-1

-2

-2

-3

-3

0

2

4

6

8 x (uzorci)

10

12

14

16

Slika 11. Prikaz dva signala istih frekvencija, a razliitih faza

11

7 6 5 s (vrijednost) 4 3 2 1 0

x 10

4

7 6 5 s(vrijednosti) 4 3 2 1 0

x 10

4

0

10

20

30

40

50 f (uzorci)

60

70

80

90

100

0

10

20

30

40

50 f (uzorci)

60

70

80

90

100

Slika 12. Spektar signala sa slike 11

Lijevi signal sa slike 11 ima iste frekvencijske komponente kao i desni signal. Iz toga slijedi da je Fourierova transformacija za oba signala ista to se vidi na slici 12. EEG signali su istog karaktera kao gore navedeni signali. Kada bi koristili Fourierovu transformaciju kao znaajke neuronske mree za klasifikaciju EEG signala neuronska mrea bi dobila nepotpunu informaciju i za sluaj EEG signala sa slike 9 klasifikacija ne bi bila uspjena. Wavelet transformacija je spektralna estimacijska metoda u kojoj se bilo koja funkcija moe izraziti kao beskonaan niz valia (engl. wavelet). Signal izraavamo kao linearnu kombinaciju odre enog skupa funkcija dobivenih pomicanjem i proirivanjem osnovne funkcije (engl. Mother function). Dekompozicijom signala dobivamo wavelet koeficijente. Signal moemo rekonstruirati kao linearnu kombinaciju wavelet funkcija odre enih teina. Teine definiraju wavelet koeficijenti. Osnovna znaajka je vremensko-frekvencijska lokalizacija to znai da je veina energije waveleta ograniena na konani vremenski interval. Primjenom ove tehnike na EEG signale dobivamo znaajke koje ukazuju na vremensku prirodu signala koja nije oigledna kroz Fourierovu transformaciju.

12

3.3. Detekcija EEG signala s epileptikim znaajkama3.3.1. Baza podataka EEG signalaKoristili smo javno dostupnu bazu podataka Andrzejak [2]. Kompletna baza se sastoji od 5 setova od kojih svaki sadri 100 jednokanalnih EEG segmenata. Segmenti su izabrani i izrezani iz neprekinuih viekanalnih EEG snimanja nakon vizualnog izdvajanja artefakata uslijed aktivnost miia ili pokreta oiju. Setovi A i B su snimljeni postavljanjem elektroda prema slici 2 i sastoje se od segmenata EEG signala 5 zdravih subjekata. Subjekti su snimani u budnom stanju s otvorenim oima (set A) i zatvorenim oima (set B). Setovi C, D i E su snimke pacijenata sa dijagnozom epilepsije. Za razliku od setova C i D set E sadri samo aktivnost epileptikog napada (isti epileptiki signal). U seminaru smo koristili setove B i E za ekstrakciju znaajki i klasifikaciju.

200 100 y1(uV) 0 -100 -200

0

500

1000

1500

2000 uzorci

2500

3000

3500

4000

2000 1000 y2 (uV) 0 -1000 -2000

0

500

1000

1500

2000 uzorci

2500

3000

3500

4000

Slika 13. Gore: Normalni EEG signal, dolje: Epileptiki EEG signal

13

3.3.2. Ekstrakcija wavelet znaajkiDWT je jednodimenzionalna diskretna wavelet transformacij koja dekomponira s obzirom na pojedini wavelet ili pripadni filtar koji se zadaje. Poevi od signala s, izraunavaju se dva skupa koeficijenata. Dobivamo vektore nastale niskopropusnim filtriranjem (aproksimacijski koeficijenti) i visokopropusnim filtriranjem (detaljni koeficijenti). Svaki vektor nakon filtriranja se podotipkava sa dvostruko manjom frekvencijom.

Slika 14. Dijagram diskrente wavelet transformacije

Kod signala s epilepsijom DWT je djelomino uspjena u detekciji jer obuhvaa vremenske znaajke i lokalizira ih u vremenu i frekvenciji zadovoljavajue. Transformacija analizira signal u razliitim frekvencijskim pojasevima i razliitom razluivou tako to ga dekomponira na grubu aproksimaciju i detaljnu informaciju. Dekompozicija signala u razliite frekvencijske opsege postignuta je uzastopnim visoko propusnim i nisko propusnim filtriranjem signala u vremenskoj domeni. Dijagram vie frekvencijske dekompozicije EEG signala je prikazana na slici 15.

Slika 15. Dijagram viefrekvencijske dekompozicije EEG signala

14

Svaki stupanj dijagrama sadri dva digitalna filtra i podotipkavanje s dvostruko manjom frekvencijom. h[.] je diskretni osnovni wavelet, on je po prirodi visokopropusan. g[.] je zrcalna slika, on je niskopropusni. Smjer kretanja dekompozicije signala ide prema sve niim frekvencijama, to znai da se svaka niskopropusna dekompozicija u novoj iteraciji smatra kao novi signal.1 2 3 4 dekompozicije 5 6 7 8 9 10 11 500 1000 1500 2000 2500 vrijeme (uzorci) 3000 3500 4000

Slika 16. Viefrekvencijska dekompozicija jednog EEG signala iz seta B

Dobiveni wavelet koeficijenti prikazuju nam raspodjelu energije EEG signala u vremenu i frekvenciji. Koliina znaajki za ulaz u neuronsku mreu je i dalje prevelika pa ih je potrebno aproksimirati. U svakoj dekompoziciji signala ekstrahirali smo etiri znaajke. To su:

Maksimalni wavelet koeficijent Minimalni wavelet koeficijent Srednja vrijednost wavelet koeficijenata Standardna devijacija wavelet koeficijenata

Tada se znaajke pretvaraju u vektor koji slui kao ulaz u neuronsku mreu.

15

3.3.3. Klasifikacija znaajki pomou vieslojnog perceptronaTopologija vieslojnog perceptrona koritenog kod klasifikacije znaajki EEG signala ima jedan ulazni, jedan skriveni i jedan izlazni sloj. Broj ulaznih neurona je vektor aproksimiranih wavelet znaajki, broj skrivenih neurona je varijabilan i u izlaznom sloju se nalazi jedan neuron koji za neepileptine EEG signale bi trebao davati na izlazu nula, a za epileptine signale jedan. Prema tablici 1 variran je broj skrivenih neurona od 1 do 20 i variran je broj uzoraka za uenje u rasponu od 5 do 80. Broj uzoraka za ispitivanje u svim sluajevima bio je 20.

Tablica 1. Rezultati klasifikacije EEG signala kod detekcije epilepsije Broj skrivenih Broj uzoraka za Broj uzoraka za Prosjena tonost neurona uenje ispitivanje raspoznavanja 5 5 66.4% 10 5 72.1% 50 5 88.25% 1 91.95% 20 5 92.1% 80 10 91.3% 15 92.1% 20 91.5%

100 90 80 Raspoznavanje uzoraka (%) 70 60 50 40 30 20 10 0

0

10

20

30 40 50 60 Uzorci za ucenje (broj)

70

80

90

Slika 17. Rezultati klasifikacije EEG signala za sluaj 5 skrivenih neurona

16

3.4. Klasifikacija EEG signala (misli) pokreta strelice na zaslonu monitora3.4.1. Baza podataka EEG signala i ekstrakcija znaajkiOvu bazu podataka nali smo na BCI natjecanju odranog 2003. godine. Set podataka je snimljen na jednom subjektu (ena, 25 godina) tijekom snimanja s vidnom povratnom vezom. Subjekt pokuava mislima obaviti neki zadatak, a referencira se osjetilom vida. Zadatak je bio kontrolirati strelicu na zaslonu monitora tako da je subjekt zamiljajui lijevi i desni pokret pomie je u lijevo i desno.0.5 y1 (mV) 0

-0.5 0.5 y2 (mV)

0

200

400

600

800

1000

0

-0.5 0.5 y3 (mV)

0

200

400

600

800

1000

0

-0.5

0

200

400

600 Uzorci

800

1000

Slika 18. Primjer EEG signala s 3 kanala

Eksperiment se sastojao od 7 mjerenja, a u svakom 40 pokuaja. Mjerenja su se obavila u istom danu s manjim pauzama izme u pojedinih mjerenja. Postoji 280 pokuaja u trajanju od 9 sekundi. Prve dvije sekunde su priprema dok za vrijeme 2. sekunde akustinim stimulansom poinje mjerenje. Tada se krii pokazuje na sredini monitora do poetka 3. sekunde. Nakon toga poinje misaoni proces pomicanja strelice u lijevo ili desno. Mjerenje EEG signala izvedeno je sa 3 bipolarna kanala na mjestima C3, Cz i C4. Frekvencija otipkavanja EEG signala je 128 Hz. Signal je proputen kroz filtar donje granine frekvencije 0.5Hz i gornje od 30Hz.

17

1

2

3 5 cm

C3

1

Cz

2

C4

3

0

1

2

3

4

5

6

7

8

9

sec

Feedback period with Cue Trigger Beep

Slika 19. Mjesto postavljanja elektroda i vremenska shema

Signal se sastoji od 3-kanalnog EEG signala. Ekstrakciju znaajki smo radili na nain da smo uzeli uzorke od 3. do 9. sekunde svakog kanala u signalu i obradili ih wavelet transformacijom kao u prethodnom sluaju. Sve kanale smo spojili u jedan vektor (ulazni vektor u neuronsku mreu).

3.4.2. Klasifikacija signala pomou radijalne neuronske mreeZnaajke EEG signala smo klasificirali pomou radijalne neuronske mree. Kako bismo nali rjeenje s najveim postotkom prepoznavanja varirali smo radijus radijalne funkcije (engl. spread). Radijus smo varirali od 0 do 3 i najbolje prepoznavanje smo postigli za radijus priblino 2.100 90 80 Uspjesna klasifikacija (%) 70 60 50 40 30 20 10 0

0

0.5

1 1.5 2 spread radijalne funkcije

2.5

3

Slika 20. Uspjenost prepoznavanja s promjenom radijusa radijalne funkcije

18

Primjeujemo da prepoznavanje uzoraka koristei radijalnu mreu je osrednje. Razlog tome je nesavreni izbor znaajki signala. Daljnjim zanimanjem za problematiku pojedinih signala u ovoj bazi podataka mogue je pronai znaajke koje vie koreliraju sa eljenom klasom.

Tablica 2. Rezultati klasifikacije EEG signala kod pokreta strelice na zaslonu monitora

Raspoznavanje signala pomou radijalnih mreaRadijus radijalne mree Uspjenost raspoznavanja (%) Radijus radijalne mree Uspjenost raspoznavanja (%) 0,00 50,00 1,60 68,57 0,20 55,00 1,80 70,00 0,40 62,14 2,00 67,85 0,60 63,57 2,20 72,85 0,80 66,43 2,40 71,43 1,00 68,57 2,60 72,14 1,20 68,57 2,80 70,00 1,40 70,71 3,00 70,71

19

4. ZakljuakU ovom radu analizirana su dva problema klasifikacije EEG signala. Prvi se odnosi na detekciju epileptikih EEG signala, a drugi na raspoznavanje misaonih pokreta lijeve ili desne ruke. Za ekstrakciju znaajki signala koristili smo wavelet transformaciju. Neuronske mree s kojima smo klasificirali podatke bile su vieslojni perceptron s povratnom propagacijom i radijalna mrea. Rezultati koje smo dobili za prvi problem bili su zadovoljavajui. Koristei znaajke prvog problema za drugi problem klasifikacije rezultati nisu bili jednako dobri. Iz toga smo zakljuili da je za drugi problem potrebno pronai znaajke koje bolje koreliraju s tim problemom. Daljnjim istraivanjem mogue je poboljati obje metode i dobiti bolju klasifikaciju.

20

5. Literatura[1] EEG Signal Classification Using Wavelet Feature Extraction and Neural Networks, Pari Jahankhani, Vassilis Kodogiannis and Kenneth Revett, 2006. [2] Andrzejak RG, Lehnertz K, Rieke C, Mormann F, David P, Elger CE (2001) Indications of nonlinear deterministic and finite dimensional structures in time series of brain electrical activity: Dependence on recording region and brain state, Phys. Rev. E, 64, 061907 [3] http://ida.first.fraunhofer.de/~blanker/competition [4] EEG Signal Classification for Brain Computer Interface Applications, ECOLE POLYTECHNIQUE FEDERALE DE LAUSANNE, Jorge Baztarrica Ochoa, Touradj Ebrahimi, March 28th, 2002

21