Upload
truongtuyen
View
214
Download
0
Embed Size (px)
Citation preview
Computational Intelligence
1 / 31
Gliederung
1 Kunstliche Neuronale NetzeGeschichteNaturliches NeuronKunstliches NeuronTypen von Neuronen
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 3 / 31
Geschichte
1943 Warren McCulloch (Neurologe),Walter Pitts (Mathematiker)
A logical calculus of the ideas immanent in nervous activity, Bulletin ofMathematical Biophysics, 5:115-133.
Beschreibung neurologischer Netzwerke auf Basiseinfacher Neuronen (‘McCulloch-Pitts-Neuron’)
Idee
Ein einzelnes Neuron kann ausschließlich dieZustande aktiv oder inaktiv annehmenKomplexere Fahigkeiten (Berechnungkomplizierter Funktionen, Kreativitat,Bewusstsein) entstehen nur durch hochgradigeVernetzung der Neuronen
Betrachtung statischer Netzwerke: Kein Konzeptzur Anpassung des Netzwerks (insbesondere derGewichte)
Warren McCulloch(1898 - 1972)
Walter Pitts(1924 - 1969)
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 4 / 31
Geschichte
1949 Donald Olding Hebb (Psychologe)
Organization of Behaviour, Wiley, 1949.
Entwickelt das erste Konzept zur Lernfahigkeitkunstlicher Neuronen (Hebb’sche Lernregel)
Hebb’sche Lernregel bildet die Grundlage fur vielenachfolgende Lernregeln
Hebb’sche Lernregel (vereinfacht)
Aktiviert ein Neuronen wiederholt ein anderesNeuronen durch seine Ausgabe, verstarkt sichderen Verbindung
“Neurons that fire together, wire together”
→ Hebb’sches Lernen ist durch die Neurobiologiebestatigt worden
Donald Olding Hebb(1904 - 1985)
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 5 / 31
1951 Marvin Minsky (Mathematiker)
Theory of neural-analog reinforcement systems and its application to thebrain-model problem, Dissertation, Princeton University, Princeton, USA,1954.
’Vater der kunstlichen Intelligenz‘
Entwickelt 1951 den ersten NeurocomputerSNARK
Elektromechanische Realisierung40 Neuronen aus elektrischen RohrenGewichte aus Motoren und PotentiometernAutomatische Adaption der GewichteModelliert die Suche einer Ratte in einemLabyrinth nach FutterNie praktisch eingesetzt
Marvin Minsky(1927 - )
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 6 / 31
1957 Frank Rosenblatt (Psychologe und Informatiker, 1928 - 1969)
Principles of Neurodynamics, Spartan Books, New York, 1959.A comparison of several perceptron models, Self-Organizing Systems,Spartan Books, New York, 1962.
Entwickelt mit Charles Wightman den Mark I Perceptron
Perzeptron als GrundmodellRealisierung variabler Gewichte512 durch Motoren gesteuerte PotentiometerOptische Erkennung von Mustern (Buchstaben)20 x 20 Zellen großer Bildsensor
Formuliert und beweist das Perzeptron Konvergenz Theorem
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 7 / 31
1957 Bernard Widrow (Elektrotechniker)Marcian E. Hoff (Elektrotechniker)
Adaptive switching circuits, in 1960 IRE Western Electric Show andConvention Record, Part 4, pages 96-104, August 23, 1960.
Entwicklung des Adaline (Adaptive Linear Element)
kunstliches Neuron, ahnlich dem Perzeptronerkennt geometrische Muster4 x 4 Eingabeeinheiten4 x 4 Potentiometer fur die GewichteSchalter um die Soll-Ausgabe auf -1 oder 1 zu setzenAdaptation als GrundideeWidrow-Hoff Lernregel (auch: LMS-Regel)
Widrow entwickelt daraus den Memistor
Memistor-Corporation wird die ersteNeuro-Computing Firma
Hoff wechselt zu Intel und gilt als’Vater der
Mikroprozessoren‘
Bernard Widrow(1929 - )
Marcian E. Hoff(1937 - )
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 8 / 31
1969 Seymour A. Papert (Mathematiker)
Perceptrons, Seymour A. Papert und Marvin Minsky, MIT Press, 1969.
In der Arbeit Perceptrons analysieren sie dasPerzeptron mathematisch und zeigen, dass dasModell des Perzeptrons viele wichtige Problemenicht reprasentieren kann (XOR-Problem)
Fuhrt dazu, dass in dem Gebiet in den nachsten15 Jahren fast keine Forschungsgelder mehr bereitgestellt werden, insbesondere keine Gelder derDARPA (Defense Advanced Research ProjectsAgency)
Seymour A. Papert(1928 - )
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 9 / 31
1972 Teuvo Kohonen (Ingenieur)
Correlation Matrix Memories, IEEE Trans. Computers, C-21, 353-359,1972.
Entwickelt Modell des linearen Assoziierers
Basierend auf dem Multiple AdalineLineare Aktivierungs- und SchwellwertfunktionAusgaben aus dem Intervall [-1,1]
Modell wird durch James A. Anderson ausneurophysiologischer Sicht bestatigt
Teuvo Kohonen(1934 - )
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 10 / 31
1973 Christoph von der Malsburg (Neurowissenschaftler)
Self-organization of orientation sensitive cells in the striate cortex,Kybernetik 14, 85-100, 1973.
Erste, grundlegende Arbeiten uberSelbstorganisation im Zusammenhang mitkunstlichen neuronalen Netzen
Ubertragung der Forschung uber topologischgeordnete Gehirnbereiche auf selbst-organisierendeKarten
D. J. Willshaw und C. von der Malsburg, Howpatterned neural connections can be set up byself-organization, Proc. Roy. Soc. London B, vol.194, pp. 431–445, 1976.
Christoph von der Malsburg(1942 - )
David J. Willshaw
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 11 / 31
1974 Paul Werbos (Mathematiker, Okonom, Politologe)
Beyond Regression: New Tools for Prediction and Analysis in theBehavioral Sciences, Dissertation, Committee on Applied Mathematics,Harvard University, Cambridge, MA, 1974.
Dissertation enthalt die Herleitung desBackpropagation-Verfahrens
Anpassung von GewichtenRichtung: Von den Ausgangen uber versteckteSchichten zu den EingangenEines der bedeutensten Lernverfahren im Bereichder kunstlichen neuronalen Netze
Spatere Verfeinerung durch Rumelhart undMcClelland fuhrte zum Durchbruch desBackpropagation-Verfahrens
Paul Werbos
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 12 / 31
1974 Stephen Grossberg (Kognitionswissenschaftler & Mathematiker)
Mathematische Analysen unterschiedlicher Typenkunstlicher neuronaler Netze
Einfuhrung sigmoider Aktivierungsfunktionen
Untersuchung, ob weiteres Lernen bereits gelernteMuster vergessen lasst
Berucksichtigung von Kurz- undLangzeitgedachtnis kunstlicher neuronaler Netze
Begrundet Adaptive Resonanztheorie
ART-1, ART-2, ART-3ARTMAPFuzzyART
Stephen Grossberg
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Geschichte 13 / 31
1982 John J. Hopfield (Physiker)
Neural Networks and physical systems with emergent collectivecomputational abilities, Proc. Ntl. Acad. Sci. USA, 1982, Vol. 79,pp.2554-2558, 1982.
Wendet ising-spin Theorie auf binare neuronaleNetze an (
’Hopfield-Netze‘)
Erweiterung auf kontinuierliche neuronale Netze
Untersuchungen an diesen Netzen basierend aufEnergiefunktionen
John Joseph Hopfield (1933 - )
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Naturliches Neuron 14 / 31
Das NeuronAufbau
[Quelle: Wikipedia]
1 Zellkern2 Dendriten3 Zellkorper4 Axon5 Myelinschicht6 Schwansche Zelle7 Ranviersche Schnurung8 Synapsen
Funktionen
Aufnahme von Informationen
mittels Dendritenstark verzweigt, zu mehrerentausend anderen Neuronen
Verarbeitung von Informationen
Im Zellkorper (Soma)Aggregation von Information
Weiterleitung von Informationen
mittels Axon & Synapsenverlustfreie Weiterleitung desAktionspotentialsAusschuttung vonBotenstoffen(Neurotransmitter)
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Naturliches Neuron 15 / 31
Ein Vergleich
Kunstliches neuronales Netz Menschliches Gehirn
geringere Anzahl Neuronen(101 . . . 104)
hohe Anzahl Neuronen(ca. 1011)
geringer Verbindungsgradhoher Verbindungsgrad(1014 Synapsen)
ausschließlich das Gewicht be-stimmt die Starke der Synapse
verschiedene Neurotransmitter be-stimmen die Starke der Synapse
Amplitudenmodulation (numeri-scher Informationsubertragung)
Frequenzmodulation (impulsko-dierte Informationsubertragung)
zeitliche Vorgange in den Nerven-bahnen werden vernachlassigt
verzogerte Aktivierung
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 16 / 31
Vom naturlichen zum kunstlichen Neuron
Charakteristika des Vorbilds
Einfache Grundstruktur
Aufnahme von ReizenSummierungAktivierung bei Erreichen des SchwellwertesAktivierendes oder hemmendes Resultat
Komplexitat durch Vernetzung
Alles-oder-Nichts-Prinzip
Transfer
Einfache Grundstruktur
EingangeSummierungAktivierung bei Erreichen des Schwellwertes
Komplexitat durch Vernetzung
Binare Daten
E1
En
E2
...
A
AS
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 17 / 31
Kunstliches Neuron
Definition
Ein kunstliche Neuron (kurz Neuron) ist definiert durch das TupelN = (~x , ~w , fa, z , fo , θ), wobei
~x = (x1, . . . , xn)T , ~x ∈ X n den Eingabevektor,
~w = (w1, . . . ,wn)T , ~w ∈ Wn den Gewichtsvektor,
fa : X n ×Wn → R die Aktivierungsfunktion,
z ∈ R den Aktivierungszustand,
fo : R → Y die Ausgabefunktion und
θ ∈ R den Schwellwert
bezeichnen.
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 18 / 31
Kunstliches Neuron – AnmerkungenGrafische Darstellung
x1
xn
x2
...y
w1
w2
wn q
z fa
fo
Eingabevektor ~x = (x1, . . . , xn)T
I.d.R. reellwertig, ~x ∈ Rn
Allgemein wird zwischen kontinuierlichen und diskretenWertebereichen unterschieden
kontinuierlich
unbeschrankt: Rintervallwertig: [0, 1], [−1, 1]
diskret
binar: {0,1}, {-1,1}mehrwertig: {-1,0,1}, Z
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 19 / 31
Kunstliches Neuron – Anmerkungen IIGewichte ~w = (w1, . . . ,wn)
T
I.d.R. reellwertig, ~w ∈ Rn
Ggf. auch bipolar (-1 oder 1) oder konstant (1)
Schwellwert θ ∈ RWird in den meisten der folgenden Betrachtungen durch einen
’Trick‘ in einen weiteren Eingang gewandelt
Aktivierungsfunktion fa : X n ×Wn → RErlaubt nichtlineares Verhalten des Neurons
Haufig genutzt
Unipolare SchwellwertfunktionBipolare SchwellwertfunktionLinear bis SattigungSinus bis SattigungLogistische FunktionTangens Hyperbolicus
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 20 / 31
Kunstliches Neuron – Anmerkungen III
Interner Zustand z ∈ RHangt vom alten Zustand und der Veranderung durch dieAktivierungsfunktion ab, bspw. z (neu) = z (alt) + fa(~x , ~w)
Wird haufig nicht angegeben
Viele Neuronen besitzen keine Funktion, mit der der interne Zustandausgegeben werden konnte
Ausgabefunktion fo : R → YBerechnet die Ausgabe des Neurons basierend auf dem Ergebnis derAktivierungsfunktion
Haufig identisch mit der Aktivierungsfunktion
Insbesondere Ausgabeneuronen besitzen haufig abweichendeAusgabefunktionen
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 21 / 31
AktivierungsfunktionenUnipolare Schwellwertfunktion
H(x) =
{0 falls x < 0
1 sonst
-4 -2 2 4x
0.2
0.4
0.6
0.8
1
HHxL
Bipolare Schwellwertfunktion
sign(x) =
{−1 falls x < 0
1 sonst
Hinweis: sign(0) = +1 als typische Konventionobwohl eigentlich sign(0) = 0
-4 -2 2 4x
-1
-0.5
0.5
1
signHxL
Linear bis Sattigung
lins(x) =
0 falls x < a
s
s · x − a falls as ≤ x ≤ 1+a
s
1 sonst-4 -2 2 4
x
0.2
0.4
0.6
0.8
1
linsHxL
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 22 / 31
AktivierungsfunktionenSinus bis Sattigung
sins(x) =
−1 falls x < −π
2
sin(x) falls − π2 ≤ x ≤ π
2
1 sonst-4 -2 2 4
x
-1
-0.5
0.5
1
sinsHxL
Logistische Funktion
lgd(x) = 11+e−x
-4 -2 2 4x
0.2
0.4
0.6
0.8
1
lgdHxL
Tangens Hyperbolicus
tanh(x) = ex−e−x
ex+e−x-4 -2 2 4
x
-1
-0.5
0.5
1
tanhHxL
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Kunstliches Neuron 23 / 31
Signalfluss im Neuron
x1
xn
x2
...
w1
w2
wn
-1
q
zfa fo
y
Zwei Klassen werden unterschieden
Synaptischer Signalfluss
Lineare Verknupfung→ Multiplikation von Eingangen mit Gewichten
Aktivierender Signalfluss
Nichtlineare Verknupfung→ Aktivierungsfunktion fa und Ausgabefunktion fo
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 24 / 31
Uberblick
Im Folgenden werden verschiedene Arten von Neuronen betrachtet, diesich bezuglich
ihres Eingangsverhaltens
und der Behandlung ihre Gewichte
unterschieden.
Betrachtete Neuronen
McCulloch-Pitts Neuron
Hebb Neuron
Perzeptron
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 25 / 31
McCulloch-Pitts Neuron
Der Neurologe Warren McCulloch und derMathematiker Walter Pitts entwickeln ab 1943Modelle einer biologischen Nervenzelle, dasMcCulloch-Pitts Neuron (MCPN)
Charakteristika
n Eingange
Keine expliziten Gewichte (alle Eingange sindkonstant mit 1 bzw. -1 oder 1 gewichtet)
Reeller Schwellwert θ
Nichtlineare Aktivierungsfunktion: H(·)Ausgabefunktion: Identitat id(·)Binare Ausgabe (0 oder 1)
Keine Lernregel
Warren McCulloch(1898 - 1972)
Walter Pitts(1924 - 1969)
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 26 / 31
Typen des McCulloch-Pitts Neurons
EingangsverhaltenGemaß ihres Eingangsverhaltens werden drei Typen von MCPNsunterschieden
Typ 1: Unipolares Eingangsverhalten (0 oder 1)Eingange sind konstant mit 1 gewichtetRealisierbar: Konstanten (0 oder 1), OR, AND, Schwellwerte
Typ 2: Bipolares Eingangsverhalten (-1 oder 1)Eingange sind konstant mit -1 oder 1 gewichtetRealisierbar: Wie Typ 1, zusatzlich NOT→ D.h. Typ 2 stellt vollstandigen Bausteinsatz dar
Typ 3: In- bzw. exhibitorisches Eingangsverhalten (-1 oder 1)Eingange sind konstant mit -1 oder 1 gewichtetRealisierbar: Wie Typ 2→ entspricht biologischem Vorbild des Neurons
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 27 / 31
Funktionsweise des (Typ 3) McCulloch-Pitts Neurons
Ein McCulloch-Pitts Neuron mit n erregenden und m hemmendenLeitungen fuhrt folgende Berechnung durch
Ist m ≥ 0 und eines der hemmenden Signale 1, ist das Neurongehemmt und gibt 0 aus.
Andernfalls summiert das Neuron die Eingangssignale x1, . . . , xn undvergleicht sie mit dem Schwellwert θ. Ist die Erregung großer als derSchwellwert, wird 1 ausgegeben, ansonsten 0.
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 28 / 31
Beipiele von McCulloch-Pitts Neuronen
AND
x1 AND x2
Neuron:
x1
x2
2
OR
x1 OR x2
Neuron:
x1
x2
1
NOT
NOT x1
Neuron:
x1 0
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 29 / 31
Hebb Neuron
Charakteristika
n unipolare Eingange (0 oder 1)
n variable Gewichte
Reeller Schwellwert θ
Interner Zustand entspricht gewichteter Summe der Eingangeabzuglich des Schwellwerts
Nichtlineare Aktivierungsfunktion: H(·)Ausgabefunktion: Identitat id(·)Binare Ausgabe (0 oder 1)
Besonderheit
Variable Gewichte erlauben Adaption des Neurons
Einfachste Adaption: Hebb’sche Lernregel
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 30 / 31
Perzeptron
Der Psychologe und Informatiker Frank Rosenblatt (1928 - 1969)entwickelte 1957 das Konzept des Perzeptrons.
Charakteristika
n reellwertige Eingange ~x ∈ Rn
n reellwertige, variable Gewichte ~w ∈ Rn
Reeller Schwellwert θ
Nichtlineare Aktivierungsfunktion:
fa(~x , ~w) = sign(~wT~x − θ
)= sign
(n∑
i=1
wixi − θ
)
Ausgabefunktion: Identitat id(·)Demzufolge bipolare Ausgabe (aktiviert (1) oder nicht aktiviert (-1))
Dr. Stefan Berlik (Praktische Informatik)
Computational Intelligence
. Kunstliche Neuronale Netze . Typen von Neuronen 31 / 31
Signalfluss im PerzeptronMit explizitem Schwellwert
x1
xn
x2
...
w1
w2
wn
-1
q
zfa fo
y
Aquivalenter Signalfluss mit implizitem Schwellwert
x1
xn
x2
...
w1
w2
wn
x =-10
zfa fo
y
w =0 q
Dr. Stefan Berlik (Praktische Informatik)