3 Input Zichtbaar maken van hersenactiviteit Neuronen vuren
elektrische impulsen af Meetbaar door het afvuren van groepen
Regelmaat in het afvuren: typische golfbewegingen Verschillende
technieken om te meten Elk met eigen voor- en nadelen Elk met eigen
toepassingsgebieden
Dia 4
4 (f)MRI Meet bloeddoorvoer en geen echte hersenactiviteit
Redelijke spatile resolutie (~1 mm) Lage temporele resolutie 1 scan
per ~2 seconden: 2M Niet liegen Liegen Zichtbaar in fMRI
Dia 5
5 MEG Magnetoencephalografie Meet magnetische velden als gevolg
van hersenactiviteit Matige spatile resolutie Goede temporele
resolutie Vereist magnetisch afgeschermde ruimte Duur: ~2M
Dia 6
6 EMG Elektromyografie Geen Brain maar Muscle Computer
Interaction Meet direct op een spier Hoge temporele resolutie Geen
lokalisatie problemen Veel werk om op te zetten Veel draden die in
de weg zitten Plakkertjes laten makkelijk los
Dia 7
7 EEG (1) Hoge temporele resolutie 4 KHz en hoger Niet invasief
Geen operaties of gezondheidsrisicos Relatief goedkoop Gemakkelijk
Draagbaar
Dia 8
8 EEG (2) Vatbaar voor ruis afhankelijk van omgeving
Oppervlakte meting Slechte spatile resolutie Opzetten neemt tijd in
beslag
Dia 9
9 ECoG Electrocorticografie: elektrische sensoren direct op de
cortices Hoge sensor dichtheid (100 sensoren op 16mm 2 en meer)
Invasief: (gevaarlijke) operatie nodig Beperkt toepasbaar Eigenlijk
(nu nog) enkel voor bv. ALS of Parkinson patinten
Dia 10
10 Signalen (1) P300 Aandachtssignaal: 300ms na stimulus
zichtbaar Geen training nodig ERS/ERD: Event Related
(De)Synchronization Verandering in Band Power Te zien in
tijd/frequentie diagrammen
Dia 11
11 Signalen (2) SSVEP: Steady State Visually Evoked Potentials
Laat heel snel twee verschillende plaatjes zien De frequentie
waarmee dit gebeurt zorgt voor verhoogde activiteit SSSEP: Steady
State Somatosensory Evoked Potentials Beweging (trilling) is in je
motorcortex te zien. Een Wiimote zou hiervoor gebruikt kunnen
worden
Dia 12
12 Problemen Lokalisatie, waar komt een signaal vandaan? Elk
deel van de hersenen heeft een eigen functie Lastig vanwege slechte
spatile resolutie Cocktail party effect Ruis Invloeden van buitenaf
Mobiele telefoons, TL-verlichting, spierinvloeden Artefacten
Oogbewegingen (knipperen, draaien, dichthouden) Spieractiviteit
Hoge variabiliteit in performance Tussen mensen onderling maar ook
over tijd en ruimte
Dia 13
13 Lokalisatie (1) Cocktail-party probleem: Midden in een
feestje hoor je van alle kanten stemmen komen. Een gesprek volgen
is voor mensen redelijk makkelijk Maar probeer een computer maar
eens zo ver te krijgen!
Dia 14
14 Lokalisatie (2) Blind Source Separation Stel je hebt 4
verschillende signalen Je meet op 4 verschillende punten middels
EEG Aapo Hyvrinen, Helsinki University of Technology
Dia 15
15 Lokalisatie (3) De bedoeling is zoveel mogelijk de originele
karakteristieken te kunnen zien. De schaal en het teken zijn
moeilijk te reconstrueren De karakteristieke vormen zijn echter
goed terug te zien ICA
Dia 16
16 Ruis (1) Weinig signaal, heel veel ruis Bv: spierinvloed als
je bijt is 10-100 keer groter Invloeden van buitenaf GSM
TL-verlichting Netspanning Hoog inductieve apparaten
Dia 17
17 Ruis (2) Actieve electroden Versterker in de sensor Hoog
signaal over de kabel, dus geen ruis versterken CAR: Common Average
Reference Trek het gemiddelde van alle kanalen van elk kanaal af
Effectief: enorme verbetering van het signaal
Dia 18
18 Artefacten Oogbewegingen Filteren mbv extra sensoren? Slim
filteren met Machine Learning technieken Spieractiviteit Kaken,
nekspieren (bij spanning) en ledematen Invloed op signaal verschilt
erg
Dia 19
19 Training en Classificatie Signalen zijn ontdaan van ruis en
artefacten (preprocessing) Tijdens de training worden verschillende
taken meerdere keren uitgevoerd Het classificatie algoritme
probeert een patroon te herkennen De classifier herkent na de
training de signalen en geeft via het systeem feedback
Dia 20
20 Classificatie Classificatie is het indelen van EEG- data in
bepaalde groepen Bijvoorbeeld linker- of rechterhand bewegingen De
classifier is het stukje software dat bepaalt in welke klasse de
bekeken data hoort Soort classifier hangt af van het probleem en
van de data
Dia 21
21 Machine Learning (1) Verschillende manieren om naar de
hersensignalen te kijken De rauwe signalen Tijd/frequentie
diagrammen Middelen over meerdere trials Per kanaal of per gebied
(meerdere kanalen) Afhankelijk van anatomie Etc. Afhankelijk van
het gebruikte paradigma zijn er verschillende Machine Learning
technieken toepasbaar
Dia 22
22 Machine Learning (2) Voorbeeld van preprocessing &
classificatie voor (imagined) movement: Common Average Reference
(ruis filteren) Bandpass tussen 8 en 30Hz (nuttige informatie
filteren) Common Spatial Patterns over 32 kanalen (zoekt naar de
meest relevante kanalen) Een LDA classifier op variantie (Zoekt in
de relevante kanalen naar maximale verschillen tussen klassen) De
uitspraak van de classifier wordt teruggestuurd naar de gebruiker
middels een apparaat als feedback
Dia 23
23 Feedback Feedback hangt sterk af van de toepassing Rolstoel
besturen of karakter in WoW besturen? Een speller-systeem voor
patinten of een woordspelletje voor 14 jarigen? Feedback is
belangrijk voor gebruikerservaring Benvloed direct de aandacht van
de gebruiker Kan helpen of juist tegenwerken Moet motiverend zijn
maar geen afleiding worden
Dia 24
24 Toepassingen (1) Feedback moet realtime en continu zijn: Pas
na 10 minuten weten hoe je iets gedaan hebt is niet Inter-Actief
Continue feedback kan voor motivatie van gebruiker zorgen
Toepassingen moeten slim omgaan met huidige beperkingen van
BCI
Dia 25
25 Toepassingen (2) Emotiv is bezig met betere headsets
P300-speller-systemen voor gehandicapten Aansturen van een rolstoel
mbv BCI
Dia 26
26 Toepassingen (3) Echte bewegingen in combinatie met BCI (zie
afstudeerverslag) BCI Gaming mbv SSVEPs
Dia 27
27 Toepassingen (4) BrainBasher Online en realtime Directe en
continue feedback Robuust Werkt ook buiten afgeschermde laboratoria
Breed toepasbaar: 2 of meer klassenparadigmas Werkt met allerlei
soorten ERD/ERS activiteit
Dia 28
28 BCI @ HMI (1) BrainMedia BCI bij HMI richt zich op gamen
voor gezonde gebruikers Op dit moment 4 PhDs en 2 afstudeerders
Niet alleen preprocessing en classificatie: Adaptive User
Interfaces Multimodal games Affective computing
Dia 29
29 BCI @ HMI (2) Mijn onderzoek: Actual and Imagined Movement
in BCI Gaming submitted voor AISB09 te Edinburgh Wat is het
verschil tussen echte en imaginaire beweging? Is het n beter
herkenbaar dan het ander? Is er verschil in user experience?
Dia 30
30 BCI @ HMI (3) Veel mogelijkheden voor leuke opdrachten
Innovatieve games User experience en BCI Betere
classificatiemethoden Serious gaming Neurofeedback Multiplayer
Games? Zie handouts!