Neuronale Netze

Inhalt• Einführung

• Das menschliche Gehirn

• Das Neuron

• Gehirn vs. Computer

• Eigenschaften Neuronaler Netze

• Modelle Neuronaler Netze

Das menschliche Gehirn

Golgi und Ramon y CayalNeocortex (Hirnrinde)• 0,2m² groß• 2-3mm dick• Besteht aus einem Netz

von Nervenzellen – den Neuronen – welche miteinander Signale austauschen

Das Neuron

• Dendritenbaum• Zellkern (Soma)• Axon• Synapsen (Exitatorisch und Inhibitorisch)

• Neuronenklassen

Gehirn vs Computer

Gehirn Rechner# Verarbeitungselemente ca. 1011 Neuronen ca. 109 Transistoren

Art massiv parallel im allg. seriell

Speicherung assoziativ adressbezogen

Schaltzeit eines Elements ca. 1 ms (10-3 s) ca. 1 ns (10-9 s)

„Schaltvorgänge“ /s ca. 103/s ca. 109/s

#“Schaltvorgänge“ theor. ca. 1013/s ca. 1018/s

#“Schaltvorgänge“ tats. ca. 1012/s ca. 1010/s

Eigenschaften Neuronaler NetzeVorteile• Lernfähigkeit• Parallelität• Globales Wissen• höhere Fehlertoleranz• Assoziative Speicherung von Information• Entrauschen von Daten• Default-Werte• aktive Repräsentation

Eigenschaften Neuronaler Netze

Nachteile

• kaum programmierbares Wissen

• keine Introspektion möglich

• Logisches sequenzielles Schließen ist schwer

• Lernen dauert lange

Modelle Neuronaler Netze

• McCulloch und Pitts: „Logisches Schwellwertelement“

• Hebb: „Lernen durch plastische Synapsenstärken“

• Rosenblatt: „Lernen durch Musterklassen“

• Willshaw, Bunemann und Longuet-Higgins: „Matrixmodelle assoziativer Speicher“

• Hopfield: „Autoassoziation durch Hopfield-Netze“

McCulloch und Pitts• logisches Schwellwertelement mit L

Eingangsleitungen und einer Ausgangsleitung• Überschreitet die Summe der Eingangswerte einen

Schwellwert, so feuert das Neuron• Durch Kombination lässt sich jede logische

Funktion aufbauen

• Aber kein Lernen und keine Fehlertoleranz möglich

Hebb

• Eine durch eine Synapse bewirkte Verschaltung zwischen zwei Neuronen ist plastisch und ändert sich proportional zur korrelierten Aktivität vor und hinter der Synapse

• Wenn Zelle j eine Eingabe von Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöht sich das Gewicht wij (die Stärke der Verbindung von i nach j)

RosenblattPerzepton Lernalgorythmus• Perzepton besteht aus N Elementen

denen über L Leitungen Eingabe-

muster zugeführt werden• Die Zuordnung der Muster zu Klassen wird

trainiert, so dass sich auch neue Muster klassifizieren lassen

• Wenn eine Aufgabe eine Lösung besitzt, so findet der Lernalgorythmus eine Lösung nach endlich vielen Schritten

Willshaw et al.Matrixmodell assoziativen Speichers• x (Eingabemuster) und y (Ausgabemuster) werden als

binäre Vektoren dargestellt• N McCulloch-Pitts-Neuronen berechnen aus L

Eingabemustern x die Komponenten yr des Ausgabemusters y

• Die Informationsspeicherung geschieht in der Matrix der L x N „Synapsenstärken“ wir

• Dadurch wird die Information über das System verteilt, und Teile davon dürfen ausfallen, ohne das für die richtigen Muster das Erreichen der Schwelle gefährdet wird

Hopfield

• Eingabemuster ist gleich dem Ausgabemuster (Autoassoziation)• Abruf des vollen Musters aus unvollständigen Eingabefragmenten

• Es lassen sich aber nur schlecht korrelierte Muster speichern

• Ähnlichkeit wird nur nach Anzahl der übereinstimmenden Pixel erkannt, also kein Erkennen bei z.B. Translation des Musters

Ende