Statistik Master

Institut für Sportwissenschaften Johann Wolfgang Goethe-Universität Frankfurt/M.

Neuronale Netze

Vorlesung + Übung

Forschungsmethodenin den Sportwissenschaften

Statistik Master

2 Einleitung

Während Probleme, die durch einen Algorithmus in kurzer Zeit exakt zu

lösen sind, von einem Computer deutlich schneller gelöst werden können

als von einem Menschen, benötigt das menschliche Gehirn für Aufgaben

wie das Erkennen eines Gesichts wesentlich weniger Zeit. Außerdem

erreicht der Computer nicht die hohe Erkennungsleistung.

Ein weiterer Vorteil des menschlichen Gehirns ist, daß auch dann noch

korrekte Ergebnisse geliefert werden, wenn es zu einem Ausfall einiger für

die Problemlösung notwendiger Nervenzellen kommt.

Selbst wenn die "Eingaben" ungenau sind, also beispielsweise ein Text

durch Verschmutzung unleserlich geworden ist, kann das Gehirn den Text

noch erkennen. Ein Computer liefert in diesen Fällen fehlerhafte bzw.

unbrauchbare Ergebnisse.

Die Idee ist daher, die Arbeitsweise des Gehirns auf Maschinen zu

übertragen.

Statistik Master

3 Einsatzbereich neuronaler Netze

Neuronale Netze werden heutzutage in vielen Bereichen

unseres Lebens eingesetzt. Häufig sind sie dabei jedoch

nur Teile eines komplexen Systems. Dass ein Gerät/

System ein Neuronales Netz benutzt, wird jedoch häufig

nicht genannt, da der Begriff neuronales Netz negative

Assoziationen bei den Kunden auslöst.

Neuronale Netze werden eingesetzt in:

•Bildverarbeitung

•Schrifterkennung

•Spracherkennung

•Robotersteuerung

•Regelungsaufgaben (z.B. Waschmaschine)

Statistik Master

4 Erklärung

Künstliche neuronale Netze bestehen - wie das Gehirn von Tieren -

aus einer großen Anzahl kleiner Elemente, den Neuronen.

Information wird verarbeitet, indem sich die Neuronen mit Hilfe von

gerichteten Verbindungen untereinander aktivieren. Dies geschieht

im Prinzip analog zu den Vorgängen im Gehirn.

Neuronale Netze zeichnen sich durch ihre Lernfähigkeit aus. Sie

können eine Aufgabe anhand von Trainingsbeispielen erlernen,

ohne dazu explizit programmiert werden zu müssen.

Weitere Vorteile sind die hohe Parallelität bei der Informations-

verarbeitung, die hohe Fehlertoleranz und die verteilte Wissens-

repräsentation, wodurch ein zerstörtes Neuron nur einen relativ

kleinen Wissensausfall bedeutet.

Statistik Master

5 Aufbau einer Nervenzelle

Nervenzellen oder Neuronen sind die Grundbausteine des

Nervensystems. Sie bestehen aus einem 0,005 bis 0,25 mm

großen Zellkörper.

Einige Ausläufer der Neuronen, die sogenannten Dendriten,

nehmen Eingangssignale auf. Sie sind stark verästelt.

Das Axon, die normalerweise viel längere Nervenfaser, dient

dagegen der Weiterleitung von Nervenreizen an andere Zellen.

Axone können sich an ihrem Ende verästeln und besitzen dort

die Synapsen für die Reizweiterleitung. Diese enthalten die

synaptischen Vesikel mit den Neurotransmittern, die der

Übertragung von Reizen von einer Zelle auf die andere dienen.

Statistik Master

6 Aufbau einer Nervenzelle

Statistik Master

7 Modellierung von Neuronen

Ein künstliches neuronales Netz besteht aus stark idealisierten Neuronen. Wie ihr biologisches Vorbild bestehen sie aus drei Komponenten: dem Zellkörper, den Dendriten und einem Axon. Die Dendriten summieren die Eingabe des Netzes in die Zelle auf, das Axon leitet die Ausgabe der Zelle an die Dendriten nachfolgender Synapsen weiter.

Die Stärke der Synapsen wird durch einen numerischen Wert, das Verbindungsgewicht, dargestellt. Daher läßt sich die Verbindung zwischen Neuronen als direkte gewichtete Verbindung zwischen den beiden Zellen i und j darstellen.

Statistik Master

8 Fachbegriffe 1

• Aktivierungszustand Z– gibt den Aktivierungsgrad der Zelle an

• Aktivierungsfunktion fact – gibt an, wie sich ein neuer Aktivierungszustand

Zneu,j des Neurons j aus der alten Aktivierung Zalt,j und der Netzeingabe netj(t) sowie dem Schwellenwert des Neurons j ergibt

• Ausgabefunktion fout – bestimmt aus der Aktivierung die Ausgabe des

Neurons

Statistik Master

9 Fachbegriffe 2

Ein neuronales Netz kann als gerichteter, gewichteter

Graph angesehen werden. Die Kanten stellen die

Verbindungen zwischen den Neuronen dar. wi,j ist das

Gewicht (weight) der Verbindung von Neuron i nach

Neuron j, die Matrix W aller Verbindungen heißt

Gewichtsmatrix.

Das Wissen eines neuronalen Netzes ist in seinen

Gewichten gespeichert.

Die Propagierungsfunktion gibt an, wie sich die Netz-

eingabe eines Neurons aus den Ausgaben der anderen

Neuronen und den Verbindungsgewichten berechnet.

Statistik Master

10 Fachbegriffe 3

Eine Lernregel ist ein Algorithmus, nach dem das Netz

lernt, für eine vorgegebene Eingabe eine gewünschte

Ausgabe zu produzieren. Durch die wiederholte Eingabe

von Trainingsmustern wird die Stärke der Verbindungen

zwischen den Neuronen modifiziert. Dabei wird versucht,

den Fehler zwischen erwarteter und tatsächlicher

Ausgabe des Netzes zu minimieren.

Lernverfahren sind der interessanteste Aspekt der

neuronalen Netze.

Statistik Master

11 Formale Definition eines künstlichen Neurons

Ein künstliches Neuron ist ein Tupel (x, w, fa, Z, fo, o)

bestehend aus:

0. Eingabevektor x

1. Gewichtsvektor w

2. Aktivierungsfunktion fa = fa(x,w)

3. Zustand Z

4. Ausgabefunktion fo = fo(Z)

Statistik Master

12 Einfaches Beispiel

Statistik Master

13 Vergleich von biologischen und künstlichen Neuronen

Gemeinsamkeiten:

- Die massive Parallelität der Neuronen

- Relativ einfache Elemente: Neuronen verarbeiten die Aktivierungen der Vorgängerneuronen und die Stärke der Verbindung zu einer Ausgabe.

- Die Neuronen sind durch gewichtete Verbindungen miteinander verbunden.

- Die Verbindungsgewichte bei künstlichen Neuronen sind modifizierbar. Das entspricht der Plastizität der Synapsen beim biologischen Vorbild.

- Ein Neuron ist mit sehr vielen anderen Neuronen verbunden (hohe Konnektivität).

Statistik Master

14 Vergleich von biologischen und künstlichen Neuronen

Unterschiede:

Biologisches Vorbild Künstliches neuronales Netz

- ca. 1011 Neuronen - viel geringere Anzahl der

Neuronen (102 - 104)

- hohe Anzahl an Verbindungen - viel geringere Anzahl von

zwischen den Neuronen (105) Verbindungen

- Einfluß verschiedener Neuro- - Stärke einer Verbindung wird

transmitter auf die Stärke einer ausschließlich durch das Gewicht

Synapse bestimmt

- impulscodierte Informationsüber- - numerischer Aktivierungswert

tragung (Frequenzmodulation) (Amplitudenmodulation)

Statistik Master

15 Definition Neuronales Netz

Ein Neuronales Netz ist ein Paar (N, V) mit einer Menge N von

Neuronen und einer Menge V von Verbindungen. Es besitzt die

Struktur eines gerichteten Graphen, für den die folgenden

Einschränkungen und Zusätze gelten:

• Die Knoten des Graphen heißen Neuronen.

• Die Kanten heißen Verbindungen.

• Jedes Neuron kann eine beliebige Menge von Verbindungen

empfangen, über die es seine Eingabe erhält.

• Jedes Neuron kann genau eine Ausgabe über eine beliebige

Menge von Verbindungen aussenden.

• Das Neuronale Netz erhält Eingaben aus Verbindungen, die der

"Außenwelt" entspringen und gibt seine Ausgaben über in der

"Außenwelt" endende Verbindungen ab.

Statistik Master

16 Prinzipieller Aufbau eines neuronalen Netzes

Neuronales Netz mit verdeckten Schichten

Eingabeschicht verdeckte Schichten Ausgabeschicht

Statistik Master

17 Verbindungsgrafik

Statistik Master

18 Verbindungsmatrix

1 2 3 4 5 6 7 8

1 -0,5 0,8

2 0,2 -0,2 0,3

3 0 0,5

4 -0,7

5 0,8

6 0,5

7 0,1

8

Alle leeren Felder werden mit 0 gewichtet

Statistik Master

19 Netze ohne Rückkopplung (feedforward-Netze)

Bei Netzen ohne Rückkopplungen existiert kein Pfad, der von

einem Neuron direkt oder über zwischengeschaltete Neuronen

wieder zurück zu diesem Neuron führt. Daten werden also nur

in eine Richtung weitergegeben.

Mathematisch ist diese Topologie ein azyklischer Graph. In der

Matrixdarstellung ist nur die obere Dreiecksmatrix mit Werten

ungleich Null besetzt, da kein Neuron eine Verbindung zu einem

dichter an der Eingabeschicht liegenden Neuron haben kann.

Statistik Master

20 Unterschiedlich verbundene feedforward-Netze

Ebenenweise verbundene feedforward-Netze sind in

mehrere Schichten eingeteilt, wobei es nur Verbindungen

von einer Schicht zur nächsten gibt.

Man spricht von vollständig verbundenen Netzen, falls jedes

Neuron der Schicht Ui mit jedem Neuron der

darauffolgenden Schicht Ui+1 verbunden ist.

Allgemeine feedforward-Netze besitzen dagegen auch

sogenannte shortcut connections, also Verbindungen

zwischen Neuronen, die Ebenen überspringen.

Statistik Master

21 Netze mit Rückkopplungen (rekurrente Netze)

Netze mit Rückkopplungen unterteilt man meist

folgendermaßen:

Netze mit direkten Rückkopplungen (direct feedback)

Netze mit indirekten Rückkopplungen (indirect feedback)

Netze mit Rückkopplungen innerhalb einer Schicht

(lateral feedback)

Vollständig verbundene Netze

Statistik Master

22 Netze mit Rückkopplungen (rekurrente Netze)

Netze mit direkten Rückkopplungen (direct feedback)

Die Neuronen haben eine Verbindung von ihrer Ausgabe zurück

zur Eingabe und können dadurch ihre eigene Aktivierung

verstärken oder abschwächen. Diese Verbindungen bewirken oft,

daß Neuronen die Grenzzustände ihrer Aktivierungen

annehmen, weil sie sich selbst verstärken oder hemmen.

Netze mit indirekten Rückkopplungen (indirect feedback)

Diese Netze besitzen Rückkopplungen von Neuronen höherer

Ebenen zu Neuronen niederer Ebenen. Dadurch erreicht man

eine Aufmerksamkeitssteuerung auf bestimmte Bereiche von

Eingabeneuronen oder auf bestimmte Eingabemerkmale durch

das Netz.

Statistik Master

23 Netze mit Rückkopplungen (rekurrente Netze)

Netze mit Rückkopplungen innerhalb einer Schicht (lateral

feedback)

Netze mit Rückkopplungen innerhalb derselben Schicht

werden oft für Aufgaben eingesetzt, bei denen nur ein Neuron

einer Gruppe aktiv werden soll. Jedes Neuron hat dann

hemmende Verbindungen zu den anderen Neuronen und oft

noch eine aktivierende direkte Rückkopplung zu sich selbst.

Das Neuron mit der stärksten Aktivierung, der Gewinner,

hemmt dann die anderen Neuronen. Daher heißt eine solche

Topologie auch winner-takes-all- Netzwerk.

Statistik Master

24 Netze mit Rückkopplungen (rekurrente Netze)

Vollständig verbundene Netze

Vollständig verbundene Netze haben Verbindungen

zwischen allen Neuronen.

Hopfield- Netze sind ein ausführlich untersuchter

Sonderfall. Bei diesen ist die Verbindungsmatrix

symmetrisch und die Diagonale enthält nur Nullen.

Statistik Master

25 Modellierung des Lernens

Ein neuronales Netz "lernt", indem es sich gemäß einer fest vorgegebenen Vorschrift, der Lernregel, selbst modifiziert. Prinzipiell kann der Lernprozeß bestehen aus:o Entwicklung neuer Verbindungen o Löschen existierender Verbindungen o Modifikation der Verbindungsstärke (Veränderung der Gewichte) o Modifikation des Schwellenwertes o Modifikation der Aktivierungs- bzw. Ausgabefunktion o Entwicklung neuer Zellen o Löschen bestehender Zellen Von diesen Möglichkeiten wird die dritte, also das Lernen durch Veränderung der Gewichte, am häufigsten verwendet. Erst in letzter Zeit haben Verfahren an Bedeutung gewonnen, die auch eine Veränderung der Topologie beinhalten.

Statistik Master

26 Hebb‘sche Lernregel

Die erste Lernregel wurde von dem Psychologen Donald Hebb formuliert. Im Jahre 1949 veröffentlichte er einen Algorithmus, mit dem er die Lernfähigkeit des Gehirns zu erklären versuchte:

Wenn ein Axon der Zelle A nahe genug ist, um eine Zelle B zu erregen und wiederholt oder dauerhaft sich am Feuern beteiligt, geschieht ein Wachstumsprozeß oder metabolische Änderung in einer oder beiden Zellen dergestalt, daß A's Effizienz als eine der auf B ... feuernden Zellen anwächst.

Überträgt man diesen Algorithmus in das mathematische Modell, so erhält man:

Wenn Neuron j eine Eingabe von Neuron i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht wi,j

(d. h. verstärke die Verbindung von Neuron i zu Neuron j).

Statistik Master

27 Lernparadigma

Überwachtes Lernen (supervised learning)

Ein externer Lehrer gibt dem Netz zu jeder Eingabe die

korrekte Ausgabe oder die Differenz der tatsächlichen zur

korrekten Ausgabe an.

Bestärkendes Lernen (reinforcement learning)

Es wird dem Netz lediglich mitgeteilt, ob seine Ausgabe

korrekt oder inkorrekt war.

Unüberwachtes Lernen (unsupervised learning)

Das Netz versucht ohne Beeinflussung von außen die

präsentierten Daten in Ähnlichkeitsklassen aufzuteilen.

Statistik Master

28 Competitive Learning

Beim Competitive Learning können drei verschiedene Phasen unterschieden werden:

Erregung: Zunächst wird wie gewohnt für alle Output-Units der Netto-Input bestimmt.

Wettbewerb (Competition): Anschließend werden die Netto-Inputs sämtlicher Output-Units miteinander verglichen. Diejenige Unit mit dem höchsten Netto-Input ist der Gewinner.

Adjustierung der Gewichte: Im letzten Schritt werden die Gewichte verändert und zwar bei allen Verbindungen, die zur Gewinner-Unit führen. Alle anderen Gewichte werden nicht verändert ("The Winner takes it all."). Die Gewichte zum Gewinner werden so modifiziert, dass sie dem Input ähnlicher gemacht werden.

Statistik Master

29 Kohonennetze

Kohonennetze (Teuvo Kohonen 1982) stellen eine Erweiterung kompetitiver Netze dar. Auch bei ihnen wird der korrekte Output nicht festgelegt und dem neuronalen Netz zurückgemeldet, sondern sie agieren ohne einen externen Lehrer (=unsupervised learning).

Kohonennetze können in selbstorganisierender Weise lernen, Karten (maps) von einem Inputraum zu erstellen (man kann auch sagen: Kohonennetze clustern den Inputraum).

Ein wesentlicher Vorteil von Kohonennetzen im Vergleich zu konventionellen neuronalen Netzen liegt in der biologischen Plausibilität, da Menschen vermutlich Probleme in der Regel ohne externen Lehrer lösen.

Statistik Master

30 Kohonennetze

Beispiele für selbstorganisiertes Lernen im menschlichen

Gehirn finden sich beim Sehsinn im Okzipitallappen oder

aber im somatosensorischen und motorischen Kortex.

Bei diesen sind die topographischen Anordnungen nicht

vollständig genetisch festgelegt, sondern sensorische

Erfahrung ist eine notwendige Bedingung, um solche Karten

auszubilden.

Statistik Master

31 Versagen von neuronalen Netzen

Auch die Klassifikation von Messdaten mit neuronalen Netzen kann an Grenzen stoßen.

Als Beispiel benutzen wir das von jedem selbst mitgebrachte neuronale Netz:

Statistik Master