GOVORNE IN SLIKOVNETEHNOLOGIJEprof. dr. France Mihelič

Komunikacija z govorom pri ljudeh

PREGLED¢ Oddajanje in sprejem govornih sporočil¢ Kodiranje govornega signala¢ Tvorjenje govora

� Govorila¢ Sprejem govornega signala¢ Zaznavne zmožnosti človeka¢ Govorni signal¢ Predstavitve govornega signala

� Časovna predstavitev� Spektrogram� Formantne frekvence� ...

¢ Govorni glasovi in njihove značilnosti¢ Razvrščanje fonemov

� Razrstitve in SAMPA notacije slovenskih fonemov� Delitev fonemov v angleškem jeziku� Samoglasniki� Primeri kodiranja brez in s samoglasniki

ODDAJANJE IN SPREJEM GOVORNIHSPOROČIL

KODIRANJE GOVORNEGA SIGNALA

¢ razgraditev na glasoveSTAVKI

↓BESEDE

↓ZLOGI

↓FONEMI

¢ prozodična informacija(višina osnovnega tona, trajanje, glasnost)Pri kodiranju upoštevamo fonotaktična, prozodična,

slovnična, semantična in pragmatična pravila jezika. Predvsem prvi trije tipi pravil so od jezika odvisni.

TVORJENJE GOVORA - OSNOVETvorjenje govora lahko ponazorimo s podobnim postopkom

kot je igranje na nekatere vrste glasbil (pihala, trobila).

Za tvorjenje govora uporabljamo izdišni in redkeje vdišni zrak, ki se mimo glasilk pretaka skozi ustno ali nosno votlino.

Z napetostjo mišic, ki obkrožajo glasilke dosežemo, da glasilke ob pretoku zraka zanihajo in s tem ustvarimo intonacijo govora.

Prehod zraka skozi grlo, žrelo, ustno ali nosno votlino da zvoku poseben zven, ki je odvisen od tega kako oblikujemo prostor skozi katerega zrak prehaja.

Različni zveni zvoka predstavljajo posamezne glasove, ki so osnovni gradniki človeškega govora.

Določeno skupino glasov tvorimo tudi tako, da pri pretoku zraka mimo glasilk le-te ne zanihajo. Tako dobimo tako imenovane nezveneče glasove.

Do nihanja glasilk tudi ne pride, če za tvorjenje zvoka uporabljamo vdišnizrak.

TVORJENJE GOVORA

GOVORILA

Govorila so človeški organi, ki sodelujejo pri tvorjenju govora:

¢ Trebušna prepona (diafragma)¢ Pljuča ¢ Sapnik (traheja)¢ Grlo (larinx) ogrodje sestavljeno iz raznih hrustancev, ki jih spajajo

mišice� Glasilki� Poklopec (epiglotis)

GOVORILA¢ Žrelna votlina (pharinks)¢ Ustna votlina

� Strop (palatum) deli ustno votlino od nosne¢ Zgornji zobje, dlesna, ¢ nepremični del stropa – trdo nebo (palatum durum)¢ Mehko nebo (palatum velum),¢ jeziček (uvula)

� Ustnice� Zobje� Zgornja (negibljiva) in spodnja (gibljiva) čeljust� Jezik (glossa) – najgibčnejši organ človeškega telesa

¢ Skrajni konec jezika – konica (apeks) in ploščica (blade)¢ Hrbet jezika

¢ Nos

GOVORILA

Grlo, žrelo, ustna in nosna votlina

GOVORILA

Ustna votlina

SPREJEM GOVORNEGA SIGNALAZgradba ušesa

V notranjem ušesu je čutilo za sluh je v obliki polža, ki se v globino oži.Na bazalni membrani polža je okoli 3500 čutnih celic (vlaken)občutljivih na premik. Nihanje, ki ga povzroči akustični signal, se nasteni srednjega ušesa odraža tako, da nižje frekvence povzročijomaksimalne odklone na začetku srednjega ušesa (v bližini ušesnihkoščic), višje frekvence pa globlje v njem. Dražljaji se preko živčnegasistema prenašajo do centrov v možganih, ki so odgovorni za sluh.

ZAZNAVNE ZMOŽNOSTI ČLOVEKA

¢ Obočje slišnosti je odvisno od glasnosti in frekvence� Vodoravno črtkano – območje govornega signala� Navpično črtkano – območje glasbe

¢ Sposobnost zaznavanja časovnih sprememb med 5 in 20 msec¢ Sposobnostr zaznavanja razlik v signalu se s frekvenco spreminjna¢ Minimalen čas za opredelitev signala med 50 in 200 msec¢ Uho ni fazno občutljivo

Gla

snos

t

Frekvenca

RAZLIKE V FAZNEM SPEKTRUy1(t) = 8∙sin ω0t + 6∙sin 5ω0t + 3∙sin 13ω0ty2(t) = 8∙sin ω0t + 6∙sin 5ω0(t-5) + 3∙sin 13ω0tAmplitudni spekter: Fazni spekter:a1(nf0) = a2(nf0) Θ1(nf0) = 0

Θ2(f0) = 0, Θ2(5f0) = 5, Θ2(13f0) = 0

¢ Človek ne zazna razlik v faznem spektru!¢ Pri frekvenčni analizi zvoka je dovolj, da analiziramo le

amplitudni spekter.

y1(t)

y2(t)

sin 5ω0(t-5)

RAZLIKE V AMPLITUDNEM SPEKTRUy1(t) = 8∙sin ω0t + 6∙sin 5ω0t + 3∙sin 13ω0ty2(t) = 8∙sin ω0t + 3∙sin 5ω0t + 6∙sin 13ω0tAmplitudni spekter: Fazni spekter:a1(f0) = 8, a1(5f0) = 6, a1(13f0) = 3, Θ1(nf0) = Θ2(nf0) = 0a2(f0) = 8, a2(5f0) = 3, a2(13f0) = 6,

¢ Človek zazna razlike v amplitudnem spektru!

y1(t)

y2(t)

GOVORNI SIGNAL

¢ Časovno spremenljiv(nestacionaren) naključni signal � časovna spremenljivost je posledica

različnih glasov, ki govor sestavljajo.¢ Na dovolj kratkih izsekih (5 - 100 msec),

ga lahko obravnavamo kot stacionarninaključni signal.

PREDSTAVITVE GOVORNEGA SIGNALA

¢Časovna predstavitev (delitev“segmentacija” na: premore, nezveneče in zveneče dele, glasove)

¢Časovno-frekvenčna predstavitev(široko-pasovni in ozko-pasovnispektrogram, ...)

¢Parametrična predstavitev:� Formanti - lastne frekvence govornega trakta,� LPC parametri, � kepstralnimi parametri, � ...

ČASOVNA PREDSTAVITEV

SPEKTROGRAM¢ Grafično predstavitev

amplitudnega spektra signala na časovnih podintervalihimenujemo spektrogram.

¢ Ločljivost spektrograma lahko spremenimo po časovni ali frekvenčni osi v odvisnosti od tega, kako široke časovne podintervale izberemo za frekvenčno analizo.� Večja širina – ozkopasovni

spektrogram: manjša ločljivost po času, boljši opis v odvisnosti od frekvence

� Manjša širina – širokopasovni spektrogram: boljša ločljivost po času, manj točen frekvenčni opis Čas t

Frek

venc

af

širokopasovni spektrogram

ozkopasovni spektrogram

jako

st

FORMANTNE FREKVENCE

Formantna frekvenca F2

Formanti - rezonančne frekvence govornega trakta pri izreki določenega galsu.

Formantna frekvenca F1

Samo-glasnik

i

F1(Hz)

glasnost F2 (Hz)

glasnost

u 300 močna 900 šibka

o 500 močna 1000 šibka

a 950 močna 1500 šibka

e 700 šibka 2000 močna

i 300 šibka 3000 močna

FORMANTNE FREKVENCE

¢ Podatki o formatnih frekvencah zadoščajo za umetno tvorjenje govora

¢ Za razlikovanje med glasovi zadoščata že prva in druga formantna frekvenca

¢ Zgled z uporabo programske opreme SFS(Speech Feeling System)

GOVORNI GLASOVI IN NJIHOVEZNAČILNOSTI

¢ Simbole za različne govorne glasove v nekem jeziku, s katerimi je možno ločiti posamezne besede jezika imenujemo foneme (30 - 50 glasov). Pri opisovanju govora igrajo podobno vlogo kot pri pisavi črke.

¢ Simbole za različne akustične realizacije fonemov (vpliv sosedenjih glasov) imenujemo alofone.

¢ Fon imenujemo konkretno akustično realizacijo glasu

S slovensko besedo vse tri različne kategorije poimenujemo z besedo glas.

RAZVRŠČANJE FONEMOV¢ Način vzbujanja vokalnega trakta (goltne, ustne in nosne

votline)zveneči, nezveneči

¢ Odprtost vokalnega traktasamoglasniki - vokali, soglasniki (zvočniki-sonanti,

nezvočniki-nesonanti)¢ Način tvorjenja nezvočnikov

zaporniki, priporniki, zlitniki¢ Delitev zapornikov

zapora, odpora pridih¢ Trajnost glasov

trajni, netrajni¢ Uporaba dela vokalnega trakta

ustni, nosni

RAZRSTITVE IN SAMPA (MRPA) NOTACIJE SLOVENSKIH FONEMOV

DELITEV FONEMOV V ANGLEŠKEMJEZIKU

SAMOGLASNIKI

¢ Pomembni za zven jezika (izgovorjava, prozodika), nosijo malo informacije o pomenu.

¢ Sorazmerno neproblematični zasamodejno razpoznavanje.

¢ Učinkovitost razpoznavanjasamoglasnikov za razpoznavanje besedin bolj kompleksnih struktur niodločilna.

PRIMERI KODIRANJA BREZ INS SAMOGLASNIKI

št_d_nt sm_r_ _nt_l_g_ntn_ s_st_m_študent smeri inteligentni sistemi

_o_ _e i__a_e_bor je iglavecboš še izpadel