Upload
immanuel-henck
View
107
Download
0
Embed Size (px)
Citation preview
Patrick Drude High Level Cognition
High Level Cognition
1. Einführung - Probleme mit neuronalen Netzen
- Kombination von Informationen
- Zielgerichtetes Handeln - Context Awareness
2. Ein neuronales Modell zur Kombination von Informationen - prinzipielle Funktionsweise und Begründung des Modells
- Versuchsreihe mit Affen
- Bestandteile des Modells:
1) Feedforward bzw. Feedback Netz
- Verhalten der Feedforward / Feedback Netze
2) Local Microcircuits
- Verhalten der Microcircuits
- Binding problem
Patrick Drude High Level Cognition
• Unmöglichkeit der Erweiterung
• Konstante (benötigte Lernzeit)/(Komplexität der Situation)
• Beides Widerspruch zur Natur
=> Wie speichern/verarbeiten Lebewesen Informationen ?
• Speicherkapazität des Gehirns < Gesamtheit visueller
Informationen
• Speicherung in Form von Modulen
• Nur die Kombinationen müssen erlernt werden
Probleme mit “herkömmlichen” neuronalen Netzen:
Patrick Drude High Level Cognition
Situationsbedingtes Handeln
• wahrgenommene Kombination
• Berücksichtigung der Gesamtsituation } Konkrete Handlung
Präsentation eines neuronalen Netzes, das
• basierend auf Versuchsreihen mit Affen,
• die Identität eines Objekts erkennt,
• aus der Identität des Objekts auf seine Position und
andere Eigenschaften schliessen lässt,
• auf diese Weise zielgerichtetes Handeln ermöglicht.
Patrick Drude High Level Cognition
Vorgehensweise:• Ausführung im Ventral Stream (VS) und im Dorsal
Stream (DS). Sind beide Bestandteil des visuellen Cortex.
• Identifizierung: object - based attention im anterior
inferotemporal cortex (AIT) des VS
• Positionsbestimmung: location - based attention bzw.
spatial attention in den niedrigeren Schichten des VS
• Übermittlung der Positionsinformation an den DS
• Weiterverarbeitung im lateral intraparietal cortex (LIP)
Patrick Drude High Level Cognition
Modell des Ventral Stream und des Dorsal Stream
VS läuft von V1 bis AIT und verarbeitet eingehende Informationen in Feedfor-ward Manier. VS ist der “Was-Strom”.
DS läuft von V1 bis zum parietal cortex (PG), zu dem auch LIP gehört. DS verarbei-tet Positions-information, ist also der “Wo-Strom”.
Patrick Drude High Level Cognition
• RF-Grösse der Neuronen wächst in jeder Schicht x(2 - 2.5)
• Retinotopische Speicherung der Informationen in V2 - PIT
• Positionsinformationen gehen in AIT verloren
• Werden wiedergewonnen durch Zusammenwirken zwischen
FeedForward (FF) und FeedBack (FB) Netzwerk
• Informationen über identifiziertes Objekt werden mit FB von
AIT in niedrigere Schichten des VS zurückgesandt
• Können hier aufgrund der retinotopischen Anordnung der
Neuronen einer bestimmten Position zugeordnet werden
• Kombinierte Informationen werden an DS weitergeleitet
Eigenschaften und Verhalten des Modells
Patrick Drude High Level Cognition
Versuchsreihe mit Affen (1)
• Woher weiss man, daß VS und DS in beschriebener Weise
zusammenarbeiten ?
• Experimente geben hierauf Hinweise:
A
B
Patrick Drude High Level Cognition
Versuchsreihe mit Affen (2)
Experiment A:
• Beobachtung einzelner AIT-Zellen
• AIT-Zellen wurden so gewählt, daß sie auf ein Objekt
stark und auf die anderen Objekte kaum ansprachen
• Dieselben AIT-Zellen sprachen sowohl auf den Hinweis
als auch das Zielobjekt an, unabhängig von der Position
=> Identifizierung des Zielobjekts unter Verlust der
Positionsinformation
Patrick Drude High Level Cognition
Versuchsreihe mit Affen (3)
Experiment B:
• Beobachtung einzelner LIP-Zellen, die mind. eines der
Objekte (nicht aber den Hinweis!) in ihrem RF hatten
• Reaktion hing vom Ort des Zielobjekts ab
• Keine Reaktion, falls Hinweis mit keinem Objekt im
RF übereinstimmte
• Falls aber Zielobjekt im RF, dann Reaktion nach dem
Hinweis, aber vor der Augenbewegung
• Reaktion spiegelte also Augenbewegung wieder
Patrick Drude High Level Cognition
Versuchsreihe mit Affen (4)
Vermutung aus Experimenten A und B:
• Identität eines Objekts wird zunächst im VS festgestellt
• VS teilt dann dem DS mit, “wohin” er gehen soll
• VS markiert also ein Objekt, auf dem DS dann eine
Aktion ausführt
Markieren erfordert Zusammenwirken von FF und FB im VS. Im Folgenden soll gezeigt werden, wie
dieser Vorgang im Detail abläuft.
Patrick Drude High Level Cognition
Bestandteile des Modells (1)
Feedforward und Feedback Netz:
• Zusammenhang in der Aktivierung der V2-PIT Neuronen
im FF bzw. FB Netz
• Wenn FF das Hinweisobjekt verarbeitet und
• FB im selben retinotopischen Bereich das Zielobjekt
verarbeitet,
• Diese grosse Übereinstimmung ist die Grundlage der
Positionsbestimmung
sollte dort grosse Übereinstimmung in den neuronalen Aktivitätsmustern auftreten=>
Patrick Drude High Level Cognition
Implementierung des Modells (1)
V1: 24x24 Matrix = 576 Receptive Fields. Jedes RF besteht aus 4 Neuronen (| _ / \) = 2304 Neuronen (N).
V2 - AIT: Dargestellt mit Hilfe von RFs aus V1, ebenso die Übergänge zwischen V2 - AIT im FF bzw. FB Netzwerk.
V2: 529N mit RF = 2x2 (V1-RF) => 16 V1-N.
V4: 441N mit RF = 4x4 (V1-RF) => 9 V2-N.
PIT: 289N mit RF = 8x8 (V1-RF) => 25 V4-N.
AIT: 4N mit RF = 24x24 (V1-RF) => 289 PIT-N.
Aktivität der N in V2 - AIT =
Patrick Drude High Level Cognition
N NN N
N NN NN NN N
N NN NN NN N
V1 RF, besteht aus 4 Neuronen
V2 Neuron verbunden mit 16
V1 Neuronen
576
529N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
N NN N
441
V4 Neuron verbunden mit 9
V2 Neuronen
Implementierung des Modells (2)
Patrick Drude High Level Cognition
Eigenschaften des Feedforward Netzes
• Hohe Geschwindigkeit der Informationsverarbeitung
lässt auf FF Netz schliessen
• Hierarchische Abfole der einzelnen Schichten V1-PIT
• Neuronen in höheren Schichten repräsentieren
zunehmend komplexere Eigenschaften
• Das FF Netz wurde mit “back - propagation” trainiert,
jedes Objekt aus dem Array an jedem Ort zu erkennen
• Als Folge dieses Trainings entwickelte das Netz eine
verteilte Darstellung der Objekte
Patrick Drude High Level Cognition
Eigenschaften des Feedback Netzes
• FB hat besteht aus denselben Schichten wie FF\{V1},
die Informationen werden aber top - down verarbeitet
• FB wurde mit der “Hebbian - learning rule” trainiert,
jedes Objekt an jedem Ort zu erkennen
• Grundlage hierfür bildeten die neuronalen Aktivitäts-
muster im FF Netz
Patrick Drude High Level Cognition
Verhalten des Feedforward / Feedback Netzes (1)
A B C D
Patrick Drude High Level Cognition
Verhalten des Feedforward / Feedback Netzes (2)
• A: Neuronale Aktivität, wenn das FF Netz das Quadrat
aus der Objektliste identifiziert
• B: Neuronale Aktivität, wenn das FF Netz alle Objekte
aus der Objektliste identifiziert
• C: Neuronale Aktivität im FB Netz, wenn ein identifizier-
tes Objekt (das Quadrat) zur Positionsbestimmung in die
niedrigeren Schichten “zurückgesendet” wird.
• D: Übereinstimmung (rot) bzw. Nichtübereinstimmung
(grün) einander entsprechender Neuronen in FF und FB
Patrick Drude High Level Cognition
Verhalten des Feedforward / Feedback Netzes (3)
• Warum werden im FB Netz auf allen retinotopischen
Positionen Neuronen aktiviert?
Resultiert aus der Art des Trainings sowie Divergenz
der FB Aktivierung
• Warum gibt es eine partielle Übereinstimmung zwischen
FB Zielobjekt und FF Ablenkungsobjekten?
Ursache ist die verteilte Darstellung, die das FF Netz
entwickelt hat, also die Fähigkeit eines Neurons, auf
unterschiedliche Merkmale anzusprechen
Patrick Drude High Level Cognition
Bestandteile des Modells (2)• Wie interagieren FF und FB miteinander?
Mit Hilfe eines Microcircuits (MC), der FF und
FB in allen retinotopischen Bereichen des VS verbindet
Patrick Drude High Level Cognition
Verhalten des Microcircuit (1)
• Kreislauf besteht aus interagierenden Neuronen
• Neuronen in A und B sind anregend, in I hemmend
• Der Kreislauf von I nach I hemmt also die hemmende
Wirkung von I auf A und B (Disinhibition)
• A erhält FF Input und seine Neuronen werden
entsprechend aktiviert
• I erhält FB Input mit ensprechender neuron. Aktivierung
• Die Aktivität der Neuronen in A, die mit dem FB Input
NICHT übereinstimmen, wird unterdrückt (Inhibition)
Patrick Drude High Level Cognition
Verhalten des Microcircuit (2)
• Die Aktivität der Neuronen in A, die mit dem FB Input
ÜBEREINSTIMMEN, wird verstärkt (Disinhibition)
• Dies wird bewirkt, indem die normalerweise hemmen-
den Neuronen in I nun ihrerseits unterdrückt werden
(Kreislauf von I nach I)
• Dies verstärkt die Aktivität in A aber nur dann, falls die
dortigen Neuronen zur selben Zeit FF Input erhalten
• Mit Disinhibition lässt sich also die Aktivierung von
“target cells” in A steuern
Patrick Drude High Level Cognition
Verhalten des Microcircuit (3)
Aktivität von A, bei Wechsel von FB Übereinstimmung
(M) zu FB Nichtübereinstimmung (NM). A erhält dabei
die ganze Zeit denselben FF Input
Patrick Drude High Level Cognition
Verhalten des Microcircuit (4)
• Starke Aktivität in A entspricht der Positionsselektion.
• Daraufhin wird B aktiviert, undzwar durch Kombination
von verstärkter Aktivität aus A und reduzierter Unter-
drückung aus I
• Prinzipiell liesse sich A auch durch direktes FB
ansprechen, also ohne den “Umweg” über den MC.
Was wäre das Ergebnis?
Patrick Drude High Level Cognition
Verhalten des Microcircuit (5)
a) entspricht Disinhibition FB von A und anschließender
Aktivierung von B
b) entspricht Direkt FB von A, kaum Aktivierung von B
Ursache: Direkt FB verstärkt sowohl A als auch Unter-
drückung durch I: Beides hebt sich gegenseitig auf
Patrick Drude High Level Cognition
Verhalten des Microcircuit (6)
In diesen beiden Fällen liegt KEIN FF Input bei A vor
c) Disinhibition FB; da in A aber kein Vergleichsinput
vorliegt, ergibt sich kaum Aktivität
d) Direkt FB führt zu gewisser Aktivierung von A auch
ohne FF, aber kaum Aktivierung von B
Patrick Drude High Level Cognition
Verhalten des Microcircuit (7)
• Aktivität von B auf den einzelnen
Schichten des VS, jeweils vor bzw. nach
Anschalten des Zielobjekts (oben) bzw.
eines Ablenkungsobjekts (unten)
• Hohe Aktivität von B entspricht der also
Auswahl einer Position
• Aktivität von B kann im LIP des DS
“location - selective” Neurone aktivieren
Patrick Drude High Level Cognition
Implementierung des Modells (3)ΤS (dIA/dt) = -IA + JA toA F(IA) - JI toA F(II) + Iff + Ibg
ΤS (dIB/dt) = -IB + JB toB F(IB) - JI toB F(II) + JA toB F(IA) + Ibg
ΤS (dII/dt) = -II + JI toI F(II) - JA toI F(IA) + (-m + nm)Ifb + Ibg
JA toA ; JA toB; JA toI = 1.0 ΤS = 5 msec JB toB = 0.3 Iff = 0.05JI toI = 0.1 Ibg = 0.025JI toA = 0.1 σ = 0.03JI toB = 1.1 Ifb = 0.025
F(I,σ) = 1 / [Tr + Tsp (I,σ)]
Patrick Drude High Level Cognition
Binding Problem (1)
• Im bisherigen Modell wurden nur Form und Position
eines Objekts kombiniert. Es sollte aber möglich sein,
noch mehr Eigenschaften, wie z.B. Farbe oder Bewegung
zu kombinieren, denn diese Eigenschaften haben alle
eines gemeinsam: die Position
• Aus der Position sollten sich also weitere Eigenschaften
ableiten lassen
• Präsentation eines Modells, das aus der Position die
Farbe eines Objekts ermitteln kann
Patrick Drude High Level Cognition
Binding Problem (2)
• Dieses Netzwerk kombiniert Farbe und Form in einer verteilten Darstellung
• Das V1 RF besteht nun aus den vier 2-D sowie drei Farbneuronen. Das Netzwerk wurde trainiert, auf dem AIT Level Form und Farbe zu erkennen
Patrick Drude High Level Cognition
Binding Problem (3)
• Ortsbestimmung erfolgt auf bekannte Weise
• Ist die Position bekannt, kann die Information im dortigen
retinotopischen Berecich genutzt werden, um die Farb-
information wiederzugewinnen
• Problem mit dieser Architektur: Farbe und Form lassen
sich nicht separat trainieren. Trainiert man viele
Kombinationen von Form und Farbe an derselben Stelle,
verliert die FB Information ihre “Fähigkeit”, zu
unterscheiden
Patrick Drude High Level Cognition
Zusammenfassung
• Modell stellt eine gute Antwort auf die vorgestellten
Testreihen dar
• Die Grundlage hierfür ist der Umstand, daß in den
niedrigen Schichten des VS alle Informationen
vorhanden sind
• Offene Fragen: Wie wird die Kombination mehrerer
Eigenschaften desselben Objekts letztlich realisiert?
• Die “Wahrheit” liegt irgendwo zwischen vollkommen
getrennter Verarbeitung und verteilter Darstellung