Percepcija govora - ffzg.unizg.hr · PDF filemehaničke vibracije pretvaraju se u bioelektrične potencijale

1

Elenmari Pletikos Odsjek za fonetikuFilozofski fakultet Zagreb Opća fonetika, 2006/07.

Percepcija govora

Elenmari Pletikos, 2006/07.Opća fonetika: percepcija govora 2

Percepcija govora: pregled

Jedinice koje nose značenje (riječi…)

Psiholingvistika

Wernickeovaafazija i sl.

Glasnici, slogovi, intonacija…

Fonetika, psihologija percepcije

Slušna agnozija ?

Tonovi, harmoničan zvuk, šumovi…

Psihoakustika, audiologija

Nagluhost, gluhoća

Jedinice

Discipline

Poremećaji

Razumijevanje(engl. recognition)

Slušanje, percepcija(engl. perception)

Sluh(engl. audition)

Folija preuzeta (prevedena) s web stranice Bernda Moebiusa, IMS, U Stuttgart, PS Phonetik/Phonologie (28.1.2004)

2


Izvanslušni govorni osjeti

1. Kinestetski osjeti• propriocepcijski osjeti kretanja tijela pomoću mišića• osjetne periferne stanice su u mišićima, tetivama i zglobnim

čašicama• informacije o obliku, pokretu i napetosti dijelova tijela

2. Dodirni osjeti (taktilna percepcija)• na mjestima gdje se dodiruju artikulatori (koža)• informacije o dodiru prenose dijelom nespecifični završetci

neurona koji dolaze do kože, a dijelom specifični neuronski završetci

3. Osjeti pritiska• u dubljim slojevima kože su osjetne stanice za pritisak• jakost osjeta raste s porastom zvučnog tlaka


4. Vibrotaktilni osjeti• dolaze od titraja glasnica• učestalost titraja može se razlikovati do 500 Hz, a zamijetiti

titraje i do 1100 Hz• titranje se osjeća na prsnoj kosti, u dušniku, u grkljanu, na

vratu, u ustima, u nosu, na usnama, na tjemenu• “palatinalna točka”

5. Toplinski osjeti• hladni izgovor – većim otvorom i pojačavanjem zračne struje• topli izgovor – manji otvor, nestrujni izgovor, zaobljene usne

6. Okusni osjeti• slatko – na prednjem dijelu jezika• gorko – na stražnjem• kiselo – na rubvima

3


7. Vid• čitanje govora s usana (kod slabo čujućih)• vidljivi su usneni glasnici i samoglasnici

8. Mirisni osjeti• najslabiji• znakoviti bebama


Izvanslušna slika glasa

Dijelovi tijela na kojima se javljaju doživljaji glasanja (slika prema R Hussonu, 1962.)

U dobro impostiranom glasu tri su bitna mjesta tjelesnog obrisa glasa:

2 - palatinalna točka (prednji dio tvrdog nepca)

7 – sternum (prsna kost)

8 – trbušni mišići

4


Sluh - glavni osjet govora

periferni dio osjetila je uho – mehanoreceptor (mehaničke podražaje pretvara u bioelektrične)

posebne slušne kvalitete su ton i boja (ne mogu se percipirati ni jednim drugim osjetilom)• učestalost titraja – u kvalitetu tona• raznolika istodobna titranja – u kvalitetu boje

sluhom se (kao i drugim osjetilima) može osjetiti i • brzina titraja, jakost i trajanje podražaja

sluhom se može odrediti i • izvor zvuka u prostoru (kao i vidom) • ali se ne doživljava mjesto ulaska u tijelo (kod kožnih mehanoreceptora

je suprotno)


Sluh vs. slušanje

Sluh – recepcija• u slušnom organu zvučni signal (promjene tlaka zraka – mehanički

podražaji) pretvaraju se u neuralne impulse• percepcija frekvencijskog područja relevantnog za govorni signal• filtriranje pozadinskih šumova (prepoznavanje oblik-pozadina)

Slušanje – percepcija i razumijevanje govora(primanje, obrada i interpretacija)

• dekodiranje i segmentacija važnih elemenata• povezivanje identificiranih elemenata s reprezentacijama u mozgu• povezivanje reprezentacija sa semantičkim konceptima

5


Organ sluga: anatomska i fiziološka osnova percepcije govora

1) periferni dioa) vanjsko i srednje uhob) unutarnje uho: u pužnici, u Cortijevom organu na bazilarnoj membrani mehaničke vibracije pretvaraju se u bioelektrične potencijale

2) slušni put- niti slušnog živca (30 000)- sinapse: kohlearne jezgre, gornje olive, donji kolikuli, koljenasto tijelo

3) slušna kora mozga- primarna slušna kora (u temporalnom režnju, gornji dio uz Brocu)-sekundarna, terc., asocijativna (kombiniranje podražaja)


6


Slušni put


Slušna kora mozda

7


Pužnica – bazilarna membrana – Cortijev organ


Kodiranje zvuka

U pužnici• tonotopska organizacija, visina frekvencija kodira se prema mjestu

(visoke frekvencije na početku…, a taj se raspored preslikava u primarnoj kori mozga)

• putujući val (Bekesy) – podraživanje bazilarne membrane na jednom mjestu gdje mu je najveća amplituda

8


Kodiranje frekvencije

f0 – kodira se učestalošćuimpulsa u slušnom živcu

maks. brz. živčanih impulsa je 1000 u sek, ali opada na 400

teorija plotuna (Wever): (iznad800 Hz) usklađivanje međuživčanim stanicama, jednemiruju, druge pale, pa skupinaukupno uzevši može pulsirati2, 3, 4… puta brže odpojedinačnih stanica


Kodiranje jakosti

- jakost odgovara veličini amplitude kojom titra bazilarna membrana na određenom mjestu

- u slušnom živcu: ukupnim brojem živčanih impulsa u jedinici vremena

- veća jakost, tj. veći broj impulsa dobiva se:- pojedinačne stanice pale brže (dinamika do 30 dB)- proširuje se ustitrani dio bazilarne membrane, više stanica se

pobuđuje, više impulsa- neke stanice podražuju se samo kod vrlo jakog zvuka

Signal se u eferentnom putu pročišćuje (lateralne inhibicije)

* Obavezno pročitati poglavlje fiziologija slušanja u Škarić (1991), str 236-240.

9


Psihoakustika

predmet istraživanja u užem smislu je formuliranje matematičkih odnosa fizikalnih veličina parametara akustičkog signala i psiholoških veličina auditivne percepcije

teme: diferencijalni pragovi kod pojedinih osobina zvuka, maskiranje…

f0 – fizički mjerljiva vrijednost (signal u kom. kanalu)visina tona – percepcijski pojam (primatelj)

Koje su osjetne kvalitete specifične za slušanje te ne pripadaju drugim osjetilima?


(timbre, voice quality)

boja(spectralstructure)

spektralna struktura

(sastav i oblik)

(loudness)glasnoća(intensity)intenzitet

(pitch)tonska visina(fundamentalfrequency)

fundamentalna frekvencija

(length)dužina(duration)trajanje

(engl)(hr.)(engl.)(hr.)

PsihoakustikaAkustika

10


Odnosi između akustičkih i slušnih dimenzija

odnosi nisu jednoznačnina osjet dužine utječu:

• trajanje• promjena frekvencije

na osjet glasnoće utječu:• intenzitet• trajanje• spektralna struktura• frekvencija

na osjet visine utječu:• frekvencija• spektralna struktura


Psihoakustičke veličine

Skale za jačinu:• phon - odnosi se na dB razinu tona od 1kHz (najosjetljiviji sluh na 3 kHz)• son - označava dvostruki odnos jačine među 2 tona

ishodište - 1 son = odnosi se na ton 1kHz, 40 dB SPL, traj. 1 s

Skale tonske visine i promjene tona:• do 500 Hz je linearan, zatim logaritamski odnos tonova i mm na Bazilarnoj

membrani • jedinica je Bark, stoti dio je melBark skala dijeli frekvencijska područja u frekv. grupe ili pojaseve engl. critical bands unutar kojih se spektralno kompleksni zvukovi tj. pojedini frekv. dijelovi ne adiraju, već jači maskiraju slabije, dok ako su u različitim pojasevima oba se percepiraju• ERB skala• Polutonovi

(muzički definiran interval oktave (počinje od 131 Hz, definiran kao ton C0)

11


Kategorijska percepcija

Svaki stimulus slušač smješta u neku glasovnu jezičnu kategoriju (prepoznaje glasnik) a ne neku međukategoriju.

Testovima se prezentiraju kontinuirani stimulusi (npr. ba-da)

• testovi identifikacije i diskriminacije

• 60-ih kod dojenčadi i činčila je također dokazana kategor. percepc.

• pretpostavka da postoje neuralni mehanizmi odgovorni za obradu slušnih signala


Kategorijska percepcija

12


najviše se istražuje kod okluziva:

VOT - kodirana je kategorijalno zvučnost/bezvučn. pa-ba

• b/p VOT 0-20 ms – unutar kategorije /b/40-80 ms – unutar kategorije /p/između 20-40 ms granica kategorije (a 20 msje unutar kategorije nebitna razlika)

• d/t VOT 0-28 ms – unutar kateg /d/ (neki i -70, -40 zvučnost prije eksplozije)50-80 ms – unutar kateg /t/

F2 tranzijent – kodirano je mjesto artikulac. ba, da, ga


Percepcija samoglasnika

ovisi o relativno dugom periodu mirovanja

mogu se percipirati izolirano

frekvencije formanata određuju fonološki identitet vokala samo unutar jednog vokalskog sustava (sustav jezika, sustav pojedinca)

u mnogim eksperimentima nije dokazana kategorijska percepcija, već se smatra da je kontinuirana

• razlike prema prva dva formanta koja su ovisna o položaju jezika• F1 otvoreni – zatvoreni; niski - visoki • F2 prednji – stražnji

13


Vokali australskog engleskog


Percepcija suglasnika

temelji se na brzim promjenama tranzijenata, razlikama zvučnosti, spektru…

percepcija mnogih suglasnika ovisi o susjednim glasnicima

ne mogu se percipirati izolirano

nepostojanje akustičke invarijantnosti: na spektrogramima nema konstantne vrijednosti koja bi upućivala na određeni konsonant

14


Uloga spektra šuma u percepciji okluziva


Multimodalna percepcija govora

• na slušanje utječe i vid

• McGurk effect - (McGurk i Mac Donald, 1976)

• vidni stimulus ga, slušni ba = čujemo da !!!

• vidni stimulus ba, akustički la = čujemo bla(efekt sličan dihotičkoj fuziji)

web prezentacija:http://www.media.uio.no/personer/arntm/McGurk_english.html

15


Prepoznavanje govora uključuje:

ekstrakciju akustičko fonetske informacije iz govornog signala – koja informacija?

preslikavanje te informacije na kognitivne reprezentacije – kada i kako se informacija uspoređuje s pohranjenim znanjem?


Prepoznavanje govora

mentalni leksikon – nije lista ortografskih riječi, već "rječnik", spremište: • fonološke i ortografske forme; morfološke strukture; sintaktičke, semantičke i

pragmatičke informacije; prozodijelexical entry ?lexical access ? – centralni dio svakog kognitivnog modela percepcije govora (i preleksičko procesiranje)

informacije koje mogu pomoći pristupu leksiku: akustičko fonetska (o strukturi segmenata), leksička i prozodijska

jedinice percepcije (units of perception):akustičko-fonetska obilježjafonemialofonislogoviartikulacijske gestespektralna informacija

16


Teorije i modeli percepcije govora

auditivne teorije• Fant, 1967• analiza sintezom (Halle i Stevens, 1957)• lexical access from spectra (Klatt, 1979; 1981)• auditory enhancement (Diehl i Kluender, 1989)

motoričke toerije• motorička teorija (Liberman i sur. 1967; Liberman i M. 1986)• direct-realist theory (Fowler, 1986)

Ostale:• Native Language Magnet theory (P. Kuhl)• Exemplar theory (Lucerda 1995, Pierrehumnert 2001.)• teorija kohorte (Marsen-Wilson i Tyler, 1980; Marsen-Wilson i Warren 1994)• Model traga (Elman i McClelland, 1986)• Shortlist model (Norris, 1994)• race model, (McQueen i Cutler, 1997)


Automatsko prepoznavanje govora - ASR

ASR (automatic speech recognition)• - knowledge-based• - data-based statistical approaches

govorni signal modelira se algoritmima koji znanje automatski ekstrahira iz govora, a dva osnovna postupka su:

HMMs - hidden Markov modelsANNs - artificial neural networks

te njihove kombinacije.

Literatura: • Eric Keller, ur. (1994). Fundamentals of Speech Synthesis and Speech

Recognition• Milan Stamenković (1989). Automatsko prepoznavanje govora. Govor VI, 2, str.

29-80.• Članci s konferencije Eurospeech 99, 01, 03, 05 (sažeci na webu)

17


Dodatna literatura:

Clark, J. i C. Yallop (1995). An Introduction in Phonetics andPhonology. Blackwell Publishing. Poglavlje: Speech Perception. Str. 301-326.

McQueen, J. C. i A. Cutler (1999). Cognitive processes in speechperception. U W. Hardcastle i J. Laver (ur.), The Handbook ofPhonetic Science, Oxford: Blackwell, str. 566-585.

Mildner, Vesna (2003). Govor između lijeve i desne hemisfere. Zagreb: IPC grupa, Str. 76-84.

Prof. dr. sc. Vesna Mildner drži kolegij o Percepciji govora te je najznačajnija literatura na popisu iz tog kolegija


Zadaća:

Pročitati i naučiti!

Izvanslušno primanje govora:Izvanslušni govorni osjeti (Škarić, 1991, str. 221-225)Izvanslušna slika glasnika (Škarić, 1991, str. 225-228)Izvanslušna slika glasa (Škarić, 1991, str. 228-229)

Slušanje govora:Sluh (Škarić, 1991, str. 229-240)

– posebno pažljivo pročitajte poglavlje o fiziologiji slušanja (§ 542 - § 548)

Documents

Percepcija govora - ffzg.unizg.hr · PDF filemehaničke vibracije pretvaraju se u bioelektrične potencijale