Recunoasterea Vorbitorului

  • View
    3

  • Download
    0

Embed Size (px)

DESCRIPTION

Speaker recognition background -introduction

Transcript

  • 1

    RECUNOASTEREA

    VORBITORULUI

  • 2

    ncadrarea recunoasterii vorbitorului ntre metodele biometrice

    Mijloacele de a proteja informatia sau accesul : obiecte (chei),

    informatii (cod-PIN)

    particularitati personale (amprente, voce etc.).

    Verificatori biometrici

    Tip verificare Fals rejecie Fals acceptare

    voce (nalt calitate) 1% 0.1%

    voce (calitate telefonic) 3.3% 0.4%

    scanare retin 2.8% 0%

    semntur 0.2% 0.6%

    vene < 1% < 1%

    forma minii 0.1% 0.1%

    Caracteristicile vorbitorului

    Vorbirea conine :

    informaii lingvistice, care reprezint mesajul sec, independent de cine l transmite

    informaiii legate de vorbitor, care dau indicii despre identitatea celui care vorbete

    informaii afective, legate de starea emoional a vorbitorului (emoie, stress, sntate

    etc.)

  • 3

    - Vorbirea este rezultat al unei secvente complexe de transformri produse la cteva nivele diferite: semantic, lingvistic, articulator si acustic. Variatiile n vorbire legate de vorbitor sunt cauzate de : Variatii intervorbitor

    diferente anatomice - se datoresc formei si mrimii tractului vocal

    diferente n deprinderile verbale (habit verbal) - modul n care vorbitorii au nvtat s foloseasc mecanismul vorbirii

    Variatiile intravorbitor - datorate diferentelor ntre rostirile ale aceluias vorbitor

    viteza de vorbire

    starea emotional

    stress

    sntate

  • 4

    Analiza variantei fonemice

    cercetrile lui Matsumoto indic faptul c informaia fonemic este semnificativ mai important dect cea datorat vorbitorului sau cea datorat corelaiei dintre ele

    caracteristicile vorbitorului sunt transmise printr-un segment de vorbire prin informtia dependenta si cea independenta de foneme

    Considernd factorii datorai vorbitorului i cei fonemici ca un vector caracteristic, xpsi, extras din segmentul i de vorbire al fonemei "p" rostite de vorbitorul "s", poate fi exprimat astfel :

    x + a + + + epsi p s ps psi unde :

    - este vectorul medie pe toi vectorii observai

    s - este factorul principal al vorbitorului constnd n informaia personal independent de foneme

    ap - este factorul principal fonemic

    ps - este factorul de interaciune ntre foneme i vorbitor care conine informaia personal

    dependent de fonem epsi- termenul rezidual care implic variaiile datorate emoiei, strii de sntate etc.

    - semnificaia statistic a fiecrui factor a fost testat pe baza statistic 2

  • 5

    f2

    0 01

    2/ .

    P S PxS

    Factor

    0

    100

    200

    300

    400

    500

    600

    P S PxS

    Factor

    Analiza varianei factorilor S(vorbitor), P(fonemic) i SxP(interaciunea lor)

    Din diagram rezulta :

    - factorul fonemic este foarte important (dominant) ceea ce sugereaz c acesta poate corupe informaia specific vorbitorului mai ales la recunoaterea

    independent de text a vorbitorului

    - factorul fonemic dependent de vorbitor ps dei nu este aa de mare ca factorul

    principal al vorbitorului are o valoare semnificativ fiind de 60 de ori mai mare dect nivelul de semnifican de 1%.

  • 6

    Caracteristici individuale Informatiile individuale specifice vorbitorului sunt reprezentate de :

    calitatea vocii

    nltime

    intensitate

    viteza

    intonatia

    accent

    vocabular Proprietti ale parametrilor folositi la recunoasterea vorbitorului

    Ideal ar fi ca parametri vocali s ndeplineasc urmtoarele conditii :

    s reprezinte eficient informatia dependent de vorbitor

    s fie usor de msurat

    s fie stabili n timp

    s apar natural si frecvent n vorbire

    s se modifice putin n medii diferite

    s nu se preteze la imitare

    torintravorbimedievariatia

    torintervorbimedievariatiaF

  • 7

  • 8

    Obiectivele clasificrii si recunoasterii vorbitorilor

    identificarea sexului vorbitorului

    identificarea vrstei

    identificrii strii de sntate

    identificarea dispozitiei vorbitorului (stresat, vesel, calm, suprat)

    identificarea accentului (provenienta social a vorbitorului)

    identificarea limbii vorbite

    identificarea unei anumite persoane e uzual numit ca recunoasterea vorbitorului

    identificarea vorbitorului const n gsirea la ce clas sau vorbitor apartine cel mai probabil rostirea curent/de test

    verificarea vorbitorului are ca scop validarea sau invalidarea ipotezei c rostirea apartine vorbitorului / clasei care o revendic

  • 9

    Taxonomia sistemelor de recunoasterea vorbitorului

    verificarea vorbitorului

    identificarea vorbitorului

    sistemele pot fi mprtite dup gradul de dependenta de text :

    dependente de text - parole individuale - parole comune (rigide)

    independente de text - cu vocabular fix (se folosesc aceleasi cuvinte ntr-o ordine aleatoare) - dependente de un eveniment (caut un anumit eveniment lingvistic)

    - vocabular fr restrictii (independen de text fr restrictii)

  • 10

    Structura sistemelor de recunoaterea vorbitorului

    EXTRAGEREA PARAMETRILOR

    CARACTERISTICI

    MODELE DE REFERINT

    PENTRU VORBITORI

    COMPARARE (DISTANTA)

    VOCE

    REZULTATELE RECUNOASTERII

    ANTRENARE

    RECUNOASTERE

  • 11

    Evaluarea sistemelor de recunoastere a vorbitorului

    In cazul verificrii vorbitorului sunt dou posibiliti legate de rostirea de intrare: - s - condiia ca rostirea s aparin clientului - n - condiia ca rostirea s nu aparin clientului i avem dou condiii de decizie : - S - condiia ca rostirea s fie acceptat ca fiind a clientului - N - condiia ca rostirea s fie respins. In aceste condiii se combin i formeaz cele patru probabiliti condiionate n cazul verificrii vorbitorului: Condiiile rostirii de intrare

    Condiia de decizie s(client) n(impostor)

    S (acceptare) P(S|s) P(S|n)

    N (respingere) P(N|s) P(N|n)

    unde avem: P(S|s)+P(N|s)=1 i P(S|n)+P(N|n)=1, iar cele patru probabiliti reprezint :

    P(S|s) - probabilitatea de acceptare corect P(S|n) - probabilitatea de acceptare fals (FA) P(N|s) - probabilitatea de respingere fals (FR) P(N|n) - probabilitatea de respingere corect.

  • 12

    Caracteristica receptoare de operare (ROC)

    Relaia ntre ratele de eroare i criteriul de decizie

  • 13

  • 14

    Sisteme de recunoatere a vorbitorului dependente de text

    Schema bloc a principalelor operaii pentru recunoaterea vorbitorului folosind seriile n timp a coeficientilor cepstrali [Fur01]

  • 15

    Sisteme de recunoastere a vorbitorului dependente de text

    Schema bloc indicind principalele prelucrri pentru recunoaterea vorbitorului

    folosind caracteristicile statistice ale parametrilor spectrali extrai [Fur01]

  • 16

    Sisteme de recunostere a vorbitorului independent de text

    metode folosind caracteristica mediat pe termen lung

    metode incorpornd decizia fonemic explicit

    metode folosind decizia fonemic implicit

    Sistem de recunoatere independent de text bazat pe caracteristica mediat

    pe termen lung a semnalului vocal

  • 17

    Sistem de recunoatere independent de text ncorpornd

    decizia fonemic explicit

  • 18

    Sistem de recunoatere independent de text ncorpornd

    decizia fonemic implicit

  • 19

    Metode utilizate la recunoasterea vorbitorului

    Schem de principiu a sistemelor de recunoasterea vorbitorului

    sistemele de nceput bazate pe spectrograme

    sisteme bazate pe metodele programrii dinamice (DTW)

    sisteme ce folosesc cuantizarea vectorial (CV)

    sisteme utiliznd retelele neuronale

    sisteme bazate pe modele Markov ascunse (MMA)

    sisteme bazate pe mixture gaussiene (GMM)

    sisteme folosind metode algebrice/statistice

    sisteme bazate pe metoda TESPAR-FANN

    EXTRAGEREA

    PARAMETRILOR

    CARACTERISTICI

    MODELE DE

    REFERIN

    PENTRU VORBITORI

    COMPARARE (DISTANA)

    VOCE

    REZULTATELE

    RECUNOASTERII

    ANTRENARE

    RECUNOATERE DECIZIE

  • 20

    Aplicatii ale recunoasterii vorbitorului

    1- aplicatii n telecomunicatii - tranzactii bancare si plti de la distant - acces la baze de date - acces la retele de calculatoare - acces PBX (private branch exchanges).

    2- aplicatii de verificare a prezentei fizice a persoanei

    - factorii din mediu pot fi mai usor controlati - verificarea vorbitorului poate fi mai restrictiv

    - vorbitorul poate purta caracteristica vocii cu el - verificarea vorbitorului poate fi asociat mai usor cu alte tehnici de verificare a identittii

    3- aplicatii judiciare

    - metoda asculttorului (expert) - metoda spectrografic - metoda automata

  • 21

    BAZE DE DATE VOCALE PENTRU RECUNOASTEREA VORBITORILOR

    1. NYNEX (land-line database) Ex. Rostiri: 355-087-3567 (3x) 333-444-5678 (3X)

    446-586-7632 (3X) Carl lives in a lovely room/. (1X)

    2. NYNEX cellular

    nume famil