Upload
adelonda-keip
View
113
Download
1
Tags:
Embed Size (px)
Citation preview
The Emergence of a „Language“ in an Evolving Population of Neural Networks
Angelo Cangelosi, Domenico Parisi
Überblick
• Pilzwelt
• Sprache
• Diskussion
Pilzwelt
Die Pilzwelt
• Essbare/Giftige Pilze: Fitness-Bonus/-Abzug• Pro Zyklus: 1 Bewegung (inkl. Essen ggf)• Nach 50 Zyklen: neue Pilze• Nach 750 Zyklen: Reproduktion und Tod• Nächste Generation:
Gewichte der Vorfahren (gewichtet nach Fitness) + Mutation (10% der Gewichte zufällig geändert)
Neuronale Netze navigieren durch eine quadratische Welt und essen dabei die Pilze, die sie finden.
+
Die Pilzwelt
Essbarer/GiftigerPilz
Netzarchitektur
00: warten01: rechts drehen10: links drehen11: geradeaus gehen
Riechen(?) HörenSehen
Gehen Sprechen
Denken
Wenn Pilz auf Nachbarfeld:1111100000 (essbar) oder0000011111 (giftig)+ Rauschen (1 bit verändert)
Winkel zum nächsten Pilz (0..1 = 0-360 Grad)
Sprachoutput(010, 110, ...)
Sprachinput(010, 110, ...)
Netzarchitektur
Essbarer Pilz zur Linken
Input: 0.25 1 1 1 1 1 0 0 0 1 0 ? ? ?Evtl.Output: 1 0 ? ? ?
Giftiger Pilz im Rücken
Input: 0.5 0 0 0 0 0 1 1 1 1 0 ? ? ?Evtl.Output: 1 1 ? ? ?
Unbekannter Pilz im Rücken
Input: 0.5 0 0 0 0 0 0 0 0 0 0 ? ? ?Evtl.Output: ???
Sprache
Zusätzlicher Faktor: Sprache
• Wortschatz: 0 0 0 .. 1 1 1 (8 Worte/Laute)
• Keine Syntax
• Genetisch bestimmt, kein Lernen
Eher Ähnlichkeit zu Tierlauten
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?
• Evolutionärer Druck für Sprachverstehen?
• Evolutionärer Druck für Spracherzeugung?
1. Versuch: keine Sprache
• Sprachinputs bleiben konstant auf .5
• Sprachoutputs werden ignoriert
?
2. Versuch: gegebene Sprache
• Sprachoutput wird ignoriert• Sprachinput durch Experimentatoren
festgelegt:1 0 0 für essbare,0 1 0 für giftige Pilze unabhängig von der Entfernung
• Evolutionsvorteil, falls Signale verstanden werden 1 0 1 !
3. Versuch: evolvierende Sprache
• Sprachinput = Sprachoutput eines anderen Mitglieds der Population, das den Pilz sehen kann
• Selektionsvorteil, falls- Inputs zu richtigem Verhalten führen- Outputs kohärent sind
1 0 1!
Fitness nach 1000 Generationen
• Ohne Sprache:ca. 150 Punkte
• Gegebene Sprache:ca. 250 Punkte
• Eigene Sprache:ca. 250 Punkte (mehr Schwankungen)
?
1 0 1 !
!1 0 1
Diskussion
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?
• Evolutionärer Druck für Sprachverstehen?
• Evolutionärer Druck für Spracherzeugung?
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?positiv
• Evolutionärer Druck für Sprachverstehen?
• Evolutionärer Druck für Spracherzeugung?
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?positiv
• Evolutionärer Druck für Sprachverstehen?Korrekte Interpretation erlaubt effizienteres Pilzesammeln.
• Evolutionärer Druck für Spracherzeugung?
Fragen
• Wie verändert sich die Leistung der Netze durch Sprache?positiv
• Evolutionärer Druck für Sprachverstehen?Korrekte Interpretation erlaubt effizienteres Pilzesammeln.
• Evolutionärer Druck für Spracherzeugung?Noch unklar! Trotzdem scheint eine sinnvolle Sprache zu entstehen.
Warum Spracherzeugung?
• Erzeugung korrekter Signale ist altruistisch, d.h. sie wird nicht direkt belohnt.
• Ein Individuum hat also keinen Selektionsvorteil, wenn es verständliche Signale emittiert.
• Trotzdem scheinen sich (siehe Fitness) sinnvolle Signale durchgesetzt zu haben.
Warum?
Sinnvolle Sprache?
Sprache ist effizient, falls:• Unterschiedliche Kategorien
unterschiedliche Signale erzeugen• Instanzen derselben Kategorie gleiche
Signale erzeugen• Dieselben Signale innerhalb der Population
benutzt werden(Clark 1993: Principle of Contrast)
Ist die erzeugte Sprache effizient?
• Analyse der Sprache: allen Individuen werden giftige und essbare Pilze aus allen Perspektiven gezeigt
• Ergebnis:Konvergenz zu einem Signal für essbar und einem für giftig
• Interessant: Winkel wird korrekt als irrelevant für den Sprachoutput erkannt!
Immer noch: Warum?
Hypothese:
Da sowohl Bewegung als auch Sprachoutput aus dem Hidden Layer gesteuert werden, wirkt sich die Selektion über korrekte Bewegungen indirekt auch positiv auf die Sprachausgabe aus
00: warten01: rechts drehen10: links drehen11: geradeaus gehen
Riechen(?) HörenSehen
Gehen Sprechen
Denken
Wenn Pilz auf Nachbarfeld:1111100000 (essbar) oder0000011111 (giftig)+ Rauschen (1 bit verändert)
Winkel zum nächsten Pilz (0..1 = 0-360 Grad)
Sprachoutput(010, 110, ...)
Sprachinput(010, 110, ...)
Netzarchitektur
Unterstützung für die These
• Die zuvor ignorierten Sprachoutputs der sprachlosen Population werden untersucht.
• Auch dort entstehen konsistente Signale!• Korrekter Sprachoutput entsteht also als
Beiprodukt korrekter Kategorisierung.• Burling 1993: „language has emerged from
cognitive capacities rather than from primate-level communicative behaviour“
Ergebnisse
• Durch genetische Übertragung und Selektion entsteht ein in der Population gemeinsames Repertoire von Signalen.
• Die Signale sind ein Beiprodukt der internen Kategorisierung.
Kritikpunkte
• Erklärung geht direkt aus Netzstruktur hervor
• Erklärung für Überleben der „günstigen“ Gewichte von Hidden Layer zu Sprachneuronen bleibt letztendlich offen
• Sprache entwickelt sich, auch wenn sie nicht muss?
: )