Upload
duongthuy
View
221
Download
0
Embed Size (px)
Citation preview
Modul A1: Kognitive Prozesse (SS 2013)
Sprache
Thomas Goschke
1
Fachrichtung Psychologie Professur Allgemeine Psychologie
2
Literaturempfehlungen zur Vorbereitung auf die Modulprüfung
Eysenck, M.W. & Keane, M.T. (2010). Cognitive psychology. A student’s handbook (6th ed.). Psychology Press. PART III: Language (Kapitel 9 und 10).
Gazzaniga, M., Ivry, R. & Mangun, R. (2009). Cognitive neuroscience. The biology of the mind (3rd Ed.). Norton. Kapitel 10.
Goldstein, E.B. (2007). Wahrnehmungspsychologie (7. Aufl.). Heidelberg: Spektrum Akademischer Verlag. (Kapitel 13 zur Auditiven Sprachwahrnehmung).
3
Überblick
Einführung: Grundmerkmale und Struktur der Sprache
Wahrnehmung gesprochener Sprache
Wahrnehmung geschriebener Sprache
Das mentale Lexikon: Repräsentation von Wortbedeutungen
Sprache und Gehirn
4
Was ist Sprache?
Ein System von Symbolen und Regeln, dass es uns ermöglicht, zu kommunizieren
Weitere Funktionen der Sprache
• Unterstützung von Denkprozessen
• Aufzeichnung und Weitergabe von Wissen
• u. v. m.
Voraussetzung für komplexere Formen von Technologie, Zivilisation und Kultur
Sprache als interdisziplinärer Forschungsgegenstand
Linguistik
• Theorien der Sprachkompetenz (Wissen über grammatische Regeln)
Psychologie
• Untersuchung der Sprachperformanz (Prozesse und Strukturen des Sprachverstehens und der Sprachproduktion)
Informatik
• Entwicklung von künstlichen Systemen, die Sprache verwenden können
Neuropsychologie und Kognitive Neurowissenschaft
• Untersuchung neurologisch bedingter Sprachstörungen und neurobiologischer Grundlagen der Sprache
5
6
Wichtige Begriffe
Syntax: Grammatische Regeln, die bestimmen, wie Wörter zu Sätzen kombiniert werden dürfen
Semantik: Bedeutung sprachlicher Ausdrücke
Pragmatik: Gebrauch von Sprache zur Kommunikation und Erreichung von Zielen (z.B. Versprechen, Drohen, Überzeugen, Erklären etc.)
Prosodie: Melodische Aspekte sprachlicher Äußerungen (Betonung, Intonation) emotionaler Ausdruck
7
Sprache bei Menschenaffen?
Frühe Versuche, Affen Sprechen beizubringen, scheiterten ( Anatomie des Vokaltrakts)
Spätere Studien: Menschenaffen können begrenzt den Gebrauch von Symbolen lernen
Z.B. Gardner & Gardner: Schimpansin Washoe: Zeichensprache
Gardner, R.A. & Gardner, B.T. (1969). Teaching sign language to a chimpanzee. Science, 165, 664-72
8
Sprache bei Menschenaffen?
Savage-Rumbaugh: Bonobos Kanzi und Panbanisha lernten Gebrauch einer Tastatur mit ca. 400 Lexigrammen
• kombinieren Symbole zu einfachen Sequenzen: „Ich möchte Eiskaffee“; „Ich möchte essen“
• Wenig völlig neue Sätze
• Selten Bezug auf nicht sichtbare Dinge
• Beschränkte Komplexität der Sätze
• Unklar, ob echte Syntax
• Kritik: Nur operantes Konditionieren?
Savage-Rumbaugh, E. S., & Lewin, R. (1994). Kanzi: At the brink of the human mind. New York: John Wiley.
Sprache bei Menschenaffen?
10
Universelle Eigenschaften der menschlichen Sprache
Unabhängigkeit von der Gegenwart
• Wir können über Dinge sprechen, die nicht vorhanden sind.
Ausdruckskraft
• Wir können über beliebige Inhalte sprechen.
Produktivität und Generativität
• Wir können aus endlicher Anzahl von Wörtern mit Hilfe grammatikalischer Regeln unendlich viele Sätze bilden.
Sprache und Denken Die These des linguistischen Relativismus
Benjamin L. Whorf (1956): Die Sprache determiniert die Wahrnehmung und das Denken
Abgeschwächte These: Sprache beeinflusst Wahrnehmung und Gedächtnis
Evidenz: Unterschiede zwischen Sprachen
• Z.B. Hanuxoo auf den Philippinen haben 92 verschiedene Namen für unterschiedliche Reissorten
• Z.B. Eskimos: zahlreiche Wörter für verschiedene Schneearten
Kritische Einwände
• auch in anderen Sprachen können ähnlich feine Unterscheidungen ausgedrückt werden, allerdings werden dazu mehrere Wörter benötigt
• Nicht die Sprache bestimmt Denken/Wahrnehmung, sondern Unterschiede zwischen Sprachen spiegeln die Relevanz bestimmter perzeptueller / konzeptueller Unterscheidungen in einer Kultur
11
Sprache und Denken Roschs Experimente zum Gedächtnis für Farben
Eleanor Rosch (1972, 1973): Experimente zum Einfluss der Farbwörter einer Sprache auf Wahrnehmung und Erinnern von Farben
Studie zum Farb-Gedächtnis mit Angehörigen der Dani (Volksstamm auf Neuguinea), deren Sprache nur zwei Farbworte enthält („mola“ = hell/warm und „mili“ = dunkel/kalt)
• Dani-Probanden machten in Gedächtnistests für Farben ähnliche Fehler wie amerikanische Probanden
• Dani-Probanden zeigten ebenso wie amerikanische Probanden bessere Gedächtnisleistung für fokale Farben
Rosch‘s Schlussfolgerung: Keine Evidenz für Whorfs These des Sprachdeterminismus
12
Replikationsstudie von Roberson et al. (1990)
Studie mit englischen Probanden und Angehörigen der Berinmo auf Papua Neuguinea
• Englisch: Worte für blau vs. grün
• Berinmo: Worte für nol (≈ grün) vs. Wor (≈ gelb) (aber keines für blau)
Probanden sollten aus jeweils drei Farben die zwei ähnlichsten auswählen
Vorhersage der Relativitätshypothese: Probanden sollten Farben aus der gleichen sprachlichen Kategorie als ähnlicher klassifizieren
• Grün1 – Grün2 – Blau
• Nol1 - nol2 - wor
Ergebnis: In beiden Gruppen wurden die Klassifikationen stark durch die jeweilige Muttersprache beeinflusst
13 Roberson, D., Davies, I., & Davidoff, J. (2000). Color categories are not
universal: Replications and new evidence from a stone-age culture. Journal of Experimental Psychology: General, 129(3), 369-398.
Hemisphärenasymmetrie des Einflusses sprachlicher Kategorien auf die Farbwahrnehmung
Gilbert, A.L. et al. (2006). Proceedings of the National Academy of Sciences 103, 489–494
Hemisphärenasymmetrie des Einflusses sprachlicher Kategorien auf die Farbwahrnehmung
Gilbert, A.L. et al. (2006). Proceedings of the National Academy of Sciences 103, 489–494
Fazit
Weitere Befunde (s. Eysenck & Keane, S. 329-331)
• Roberson et al. (2000):
Rekognitionstest, bei dem englische Probanden und Berinmo entscheiden sollten, welche von 2 Farben mit einer zuvor dargebotenen Farbe übereinstimmt
In beiden Gruppen besseres Farbgedächtnis, wenn die 2 Testfarben aus verschiedenen Sprachkategorien stammten
Befunde sprechen insgesamt für moderate Variante von Whorfs Hypothese, dass Sprache (unter bestimmten Bedingungen) Kategorisierung und Gedächtnis beeinflusst
Vom Sprachsignal zur Bedeutung
21
Prozesse beim Produzieren und Verstehen von Sprache
Ward (2010)
22
Probleme, die das Gehirn beim Sprachverstehen lösen muss
Diskrimination von Sprachsignal u. irrelevantem auditorischen Input
Echtzeitverarbeitung: Sprachinput = ca. 10 Phoneme pro sec
Segmentierung: Extraktion diskreter Einheiten (Phoneme, Silben, Wörter) aus akustischem Input
Variabilität: Aussprache von Phonemen variiert je nach Kontext (Koartikulation) und zwischen Sprechern
Lexikalische Selektion aus mentalem Lexikon mit einigen 10.000 (oft phonologisch ähnlichen) Wörtern
Semantische Interpretation: Konstruktion einer kohärenten Bedeutung aus einzelnen Wörtern
Integration in mentales Modell der Sprachintention
Auditorische Sprachwahrnehmung
23
Teilprozesse und Verarbeitungsstufen der auditorischen Sprachwahrnehmung
nach Cutler & Clifton (1999) Abb. Aus Eysenck & Keane (2010)
Gesprochene Sprache: Der akustische Input
Phoneme: Kleinste Lauteinheiten, die Bedeutungsunterschiede anzeigen
• /d/ vs. /t/ danken – tanken
• Anzahl und Verknüpfungsregeln variieren zwischen Sprachen
Allophone: Lautvariationen, die keine Bedeutungsänderungen anzeigen
• z.B. /l/ und /r/ im Japanischen
Morpheme: Kleinste Bedeutung tragende Einheiten
• Freie Morpheme: können allein stehen, gewöhnlich Wörter
• Gebundene Morpheme: können nicht allein stehen, meist Präfixe u. Suffixe: verstehend, Hunde, Unglück, glücklich, betrinken
25
27
Erzeugung von Phonemen
• Beim Sprechen wird der exhalatorische Luftstrom durch Stimmbänder, weichen Gaumen, Zunge u. Lippen moduliert
Vokale:
• kontinuierlicher Luftstrom bei charakteristischer Öffnungsform des Stimmtrakts
Konsonanten:
• Zusammenziehen oder Schließen des Stimmtrakts
• Rascher Wechsel von Luftstromimpulsen und Ruhephasen
• Unterbrechungen der Luftströme mit charakteristischer Art und Position
29
Erzeugung von Phonemen: Phonetische Merkmale
Stimmhaftigkeit: Schwingende vs. nicht schwingende Stimmbänder
• Stimmhaft: alle Vokale; einige Konsonanten (z.B. /b/, /d/, /m/)
• Stimmlos: z.B. /s/, /t/, /f/
Artikulationsort: Ort, an dem Luftstrom blockiert wird
• Alveolar: Zahnfächer (Alveolaren): /d/
• Labiodental: Unterlippe und obere Schneidezähne: /f/
• Bilabial: beide Lippen (/b/)
Artikulationsart: Wie wird Luftstrom verändert
• Verschlusslaute (Plosive): Blockieren des Luftstroms (/d/, /p/)
• Reibelaut (Frikativ): (/f/)
• Vokale: Position der Zunge (hoch-niedrig, vorne-hinten)
32
Sprachwahrnehmung: Das Sprachsignal
Physikalisches Signal ≠ Gehörte Laute
Physikalisch: Kontinuierlicher Lautstrom (keine klaren Pausen zwischen Wörtern; oft Pausen innerhalb von Worten)
Gehört: Individuelle, klar voneinander getrennte Wörter
Abb. aus Goldstein (1999).
Spektrogramm (Frequenz x Zeit; Intensität = Schwärze)
Formanten
Das Segmentierungsproblem
34
Courtesy of Tamara Swaab. © 1997
Hinweise auf Wortgrenzen
• Bestimmte Lautfolgen kommen nie in einer Silbe vor
• Lautfolgen, die keinen Vokal enthalten, können kein Wort sein
• Betonung (z.B. werden im Englischen die meisten Substantive auf der ersten Silbe betont)
• Stärkere Koartikulationseffekte innerhalb als zwischen Wörtern
36
Das Variabilitätsproblem
Abb. aus Goldstein (1999). © Spektrum Verlag.
Variabilität aufgrund inter- und intraindividueller Unterschiede in der Aussprache
Tonhöhe, Geschwindigkeit, Akzent und Dialekt, Sorgfalt
Koartikulation: Variabilität der Phoneme durch umgebende Laute
• Lautproduktion wird von vorangehenden und nachfolgenden Lauten beeinflusst
• Lippen passen sich beim Aussprechen eines Phonems antizipatorisch an das folgende Phonems an
• z.B. bei „Boot“ sind Lippen beim Aussprechen des /b/ bereits gerundet für das folgende /o/; bei „Bad“ dagegen nicht
vs.
38
Bottom-up-Prozesse: Kategoriale Wahrnehmung von Phonemen
Eimas & Corbit (1973): Variierten Vokaleinsatzzeit (vocal onset time; VOT) nach einem Konsonanten
Gradueller Anstieg der VOT von 0 msec ("da") zu 80 msec ("ta"), aber kategoriale Wahrnehmung von "da" oder "ta" ohne Zwischenstufen
/da/
/ta/
Abb. aus Goldstein (2002).
40
Interaktion akustischer und visueller Information: Der McGurk-Effekt
McGurk & MacDonald (1976):
• Versuchspersonen sehen die Lippenbewegungen von "gaga" und hören dazu "baba". Sie nehmen "dada" wahr!
• Bei geschlossenen Augen hören sie korrekt "baba".
• Visueller Kontext beeinflusst Wahrnehmung des auditiven Sprachsignals
41
Top-down-Prozesse und Kontexteffekte: Einfluss der Bedeutung
Segmentierung aufgrund der Bedeutung
"Druckerzeugnis": Druck-Erzeugnis oder Drucker-Zeugnis?
"I scream, you scream, everybody wants ice cream“
Interpretation aufgrund von Vorwissen und Kontext
Identifikation von Phonemen aufgrund der Bedeutung
Phoneme (z.B. "b") werden in Wörtern ("Bat") schneller erkannt als in Nicht-Wörtern ("Baf") (Rubin, Turvey & Van Gelder, 1976)
42
Top-down-Prozesse und Kontexteffekte: Phonemischer Restaurationseffekt
It was found that the *eel was on the axle
It was found that the *eel was on the table
It was found that the *eel was on the orange
Wheel
Meal
Peel
Dargeboten Gehört
Gleicher akustischer Input wird je nach Bedeutungskontext unterschiedlich wahrgenommen
Warren & Warren (1970):
• Einzelne Phoneme in Sätzen wurden durch ein Geräusch ersetzt
• Keine Versuchsperson bemerkte dies!
• Statt dessen wurde das fehlende Phonem "gehört“.
Top-down-Verarbeitung: Kognitive Prozesse bei der Sprachwahrnehmung
Miller & Isard (1963):
• Probanden sollten Wörtern trotz Hintergrundgeräuschen erkennen
• Wörter in syntaktisch & semantisch korrekten Sätzen wurden besser verstanden als Wörter in nur syntaktisch korrekten Sätzen bzw. sinnlosen Wortfolgen
• 63% vs. 22% vs. 3% korrekte Wiedergabe
Salasoo & Pisoni (1985):
• Wörter, bei denen ein Teil durch ein Geräusch überdeckt war, wurden in bedeutungsvollen Sätzen besser erkannt als isoliert
• Wörter wurden besser erkannt, wenn der Anfang statt des Endes hörbar war
44
Mattys et al.’s (2005) Hierarchisches Modell der Sprach-Segmentierung
Abb. Eysenck & Keane, 2010
Modelle der auditorischen Worterkennung
46
Teilprozesse und Verarbeitungsstufen der auditorischen Sprachwahrnehmung
nach Cutler & Clifton (1999) Abb. Aus Eysenck & Keane (2010)
09-06
48
Aus: Gazzaniga, Ivry & Mangun (2009)
Schematisches Modell der Strukturen und Prozesse beim Verstehen gesprochener und geschriebener Sprache
Das mentale Lexikon
Langzeitgedächtnis für das Wissen über Worte enthält
• Phonologische Information (Klang)
• Orthographische Information (Visuelle Wortform)
• Syntaktische Information (Wortklasse; Abfolge; Kombination zu Sätzen)
• Semantische Information (Bedeutung) (Wird von einigen Forschern als separates System angenommen!)
Standardsprache: ca. 75.000 Wörter (Gesamtwortschatz: mehrere 100.000 Wörter)
Echtzeitverarbeitung: Wir können ca. 3 Worte pro Sekunde verstehen / produzieren
Wie wird aufgrund des Sprachinput auf die richtigen Einheiten im mentalen Lexikon zugegriffen (lexical access)?
Zwei wichtige Modelle der auditorischen Worterkennung
• Kohorten-Modell (Marslen-Wilson & Tyler, 1980, 1990)
• Trace-Modell (Elman & McClelland,1986)
Kohortenmodell (Marslen-Wilson &Tyler, 1980)
52
1. Lexikalische Aktivierung aller Kandidaten, die mit Anfangsphonem übereinstimmen
2. Lexikalische Selektion: Schrittweise Einschränkung auf zunehmend weniger Kandidaten
3. Worterkennung: Prozess bricht ab, sobald nur noch ein Wort in der Kohorte ist (uniqueness point)
Aus: Gazzaniga, Ivry & Mangun (2009)
53
Kohortenmodell (Marslen-Wilson &Tyler, 1980)
Parallele Verarbeitung: phonologische, lexikalische, syntaktische und semantische Informationen wird simultan genutzt, um Anfangskohorte einzuschränken
Semantische Kontexteffekte: die Selektion von Wortkandidaten kann durch den Satzkontext beeinflusst werden ( vgl. später das Experiment von
Zwitserlood, 1989)
56
Kontexteffekte: Das Experiment von Zwitserlood et al. (1989)
Vpn hörten Sätze:
• Carrier Phrase: Das nächste Wort ist Kapitän
• Neutral context: Sie betrauerten den Verlust ihres Kapitäns
• Biasing context: In gedrückter Stimmung standen die Männer um das Grab. Sie betrauerten den Verlust ihres Kapitäns
Zu verschiedenen Zeitpunkten während der akustischen Darbietung des Wortes „Kapitäns“ („K“, „Ka“, „Kap“) erschien visueller „Probe“-Stimulus:
• SCHIFF = semantisch mit „Kapitän“ assoziiert
• GELD = semantisch mit lexikalischem Konkurrent („Kapital“) assoziiert
• LIVUL = Nichtwort
Vpn sollten lexikalische Entscheidung für den visuellen Reiz treffen
57
Kontexteffekte: Experiment von Zwitserlood et al. (1989)
In gedrückter Stimmung standen die Männer um das Grab. Sie
betrauerten den Verlust ihres...
Ka
Kap
Kapit
Kapitä
1. Akustischer Satzkontext:
2. Anfangsphoneme des Prime-Worts:
3. Visuelles Probe-Wort & Lexikalische Entscheidung
58
Kontexteffekte: Experiment von Zwitserlood et al. (1989)
In einer „Gating-Aufgabe“ wurden für jedes Prime-Wort vier Probe-Positionen bestimmt:
Positionen 1 + 2: Ohne Kontext werden sowohl das Zielwort (KAPITÄN) als auch alternative Konkurrenten (KAPITAL) genannt
Phase der lexikalischen Aktivierung
Position 3: Ohne Kontext wird das Zielwort am häufigsten genannt; einige Probanden nennen noch auch alternative Worte
Phase der lexikalischen Selektion
Position 4: Das Wort wird eindeutig erkannt
Punkt der eindeutigen Rekognition
59
60
Kontexteffekte: Experiment von Zwitserlood et al. (1989)
Neutral Context
Biasing Context
Carrier Phrase
Probe related to actual word („KAPITÄN“) SCHIFF
Neutral Context
Biasing Context
Carrier Phrase
Probe related to competitor („KAPITAL“): GELD
130 199 278 410 ms
Kontexteffekte: Experiment von Zwitserlood et al. (1989)
Primingeffekt für Probes, die mit dem Zielwort und dem Konkurrenten assoziiert waren parallele Aktivierung einer lexikalischen Kohorte
Kein Effekt des semantischen Kontexts an Probe Position 1 und 2 frühe lexikalische Aktivierung erfolgt weitgehend „botton-up“
Signifikanter Effekt des Kontext an Probe Position 3 und 4 Satzkontext beeinflusst lexikalische Selektion
63
Revidiertes Kohortenmodell (Marslen-Wilson (1990, 1994)
Kandidaten einer Wort-Kohorte können im Grad ihrer Aktivation variieren (statt Alles-oder-Nichts-Prinzip) • Z.B. werden häufige Wortkandidaten stärker aktiviert als seltene
Die initiale Kohorte kann Worte mit ähnlichen (anstatt identischen) initialen Phonemen wie das dargebotene Wort enthalten
Größere Betonung von bottom-up Prozessen, um den relativ späten Einfluss semantischer Kontexte zu erklären
Stärke des Modells: berücksichtigt Interaktion parallel ablaufender (phonologischer, syntaktischer, semantischer) Verarbeitungsprozesse
Einschränkungen des Modelle: • Das revidierte Modell ist sehr flexibel, aber auch schwer zu testen bzw. zu widerlegen
• Es ist nicht völlig geklärt, wie die initiale Identifikation von Wortanfängen funktioniert
• Sehr starke/eindeutige Kontexte können Verarbeitung früher beeinflussen als im Modell angenommen (van Petten et al., 1999)
Blickbewegungsstudie von Magnuson et al. (2008)
Probanden lernten, Nomen (einer Kunstsprache) mit Objekten zu assoziieren und Adjektive mit Texturen zu assoziieren Danach wurden jeweils vier Objekte präsentiert und Probanden sollten auf dasjenige klicken, das mit einem bestimmten Nomen assoziiert war In jedem Trial wurde das korrekte Ziel-Nomen zusammen mit einem “Competitor”-Wort dargeboten, das mit dem gleichen Phonem begann A.V.: Anteil von Blick-Fixationen auf das Ziel-Wort und das “Competitor”-Wort Wenn das “Competitor”-Wort ein Adjektiv war, wurde es extrem schnell ignoriert (oder gar nicht beachtet) Spricht gegen die Annahme des Kohortenmodell, dass
die initiale Wort-Kohorte unbeeinflusst von Top-Down-Effekten ist
Abb. Aus Eysenck & Keane (2010)
Konnektionistische Modelle: Die TRACE-Theorie von McClelland & Elman (1986)
TRACE-Modell (McClelland & Elman,1986)
67
67
... stimmhaft nasal labial
/b/ /t/
alveolar stimmlos plosiv
bit tip ...
...
Worte
Phoneme
Merkmale
Drei Ebenen von Verarbeitungseinheiten für phonetische Merkmale, Phoneme, Worte.
Hemmende Verbindungen zwischen Einheiten derselben Ebene (laterale Hemmung).
Bahnende Verbindungen zwischen Einheiten verschiedener Ebenen.
TRACE-Modell (McClelland & Elman,1986)
68
... stimmhaft nasal labial
/b/ /t/
alveolar stimmlos plosiv
bit tip ...
...
Worte
Phoneme
Merkmale
Je besser ein Merkmal zum Sprachsignal passt, umso stärker wird es aktiviert
Merkmalseinheiten aktivieren Phonemeinheiten
Phonemeinheiten aktivieren alle Worte in denen sie enthalten sind.
TRACE-Modell (McClelland & Elman,1986)
69
... stimmhaft nasal labial
/b/ /t/
alveolar stimmlos plosiv
bit tip ...
...
Worte
Phoneme
Merkmale
Worteinheiten aktivieren top-down Phonemeinheiten.
Je besser ein Merkmal zum Sprachsignal passt, umso stärker wird es aktiviert
Merkmalseinheiten aktivieren Phonemeinheiten
Phonemeinheiten aktivieren alle Worte in denen sie enthalten sind.
70
Empirische Evidenz für das TRACE-Modell
Erkennen von verrauschtem Sprachinput Musterergänzung aufgrund top-down-Einflüssen
kategoriale Wahrnehmung von Phonemen Nebeneffekt der lateralen Hemmung zwischen Phonem-Units („winner-takes-all“-Prinzip)
Effekte der Worthäufigkeit höhere Baseline-Aktivierung von Worteinheiten
Wortüberlegenheitseffekt (Cutler et al., 1987): Phoneme werden schneller in Worten als in Nichtworten entdeckt Nebeneffekt der top-down-Aktivierung von der Wort- zur Phonemebene
Lexical identification shift (Ganong, 1980): ambige Phoneme werden so wahrgenommen, dass sich sinnvolles Wort ergibt Nebeneffekt der top-down-Aktivierung von der Wort- zur Phonemebene
71
TRACE-Modell Einschränkungen
Top-Down-Einflüsse werden im Modell evtl. überschätzt ( Modell produziert häufig „halluzinierte“ Wahrnehmungen)
Simulation bislang nur mit relativ begrenztem Lexikon ( Frage der Skalierung der Prozesse auf realistisch großes Lexikon)