Metody automatycznego rozpoznawania głosów ptaków

Dr inż. Robert Wielgat

Państwowa Wyższa Szkoła Zawodowa w Tarnowie

Zakład Elektroniki i Telekomunikacji

Święto Uczelni 19 maja 2011

System akustycznego monitoringu ptaków – System akustycznego monitoringu ptaków – program rozpoznającyprogram rozpoznający

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Systemekspertowy

Program rozpoznający

GPS

Stacajameteo

Urzą-dzenie

wabiące

Kamera cyfrowa

Aparat cyfrowy

Moduł komunikacji

radiowej

Macierz mikrofonowa

Program rozpoznający wczytuje pliki dźwiękowe nagrane cyfrowym rejestratorem audio w celu automatycznego rozpoznania gatunku śpiewającego ptaka. Informacja o rozpoznanym gatunku jest następnie zapisywana do bazy danych.

Cyfrowy rejestrator

audio

Bazadanych

Serwer WWW

Internet

Serwer GIS

Time [s]

Fre

quen

cy [H

z]

0 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 0.50

0.5

1

1.5

2

2.5

3

3.5

4

4.5

x 104

- Dźwięki głównie harmoniczne, zasadniczo brak składowych szumowych- Dwie pary strun głosowych,- W przypadku wielu głosów ptaków występują składowe ultradźwiękowe niesłyszalne dla ucha ludzkiego

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Charakterystyka głosów ptakówCharakterystyka głosów ptaków

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Trudności w rozpoznawaniu głosów ptakówTrudności w rozpoznawaniu głosów ptaków

• Naśladownictwo

- myszołów - szpak naśladujący myszołowa

• Nakładanie się głosów ptaków tzw. efekt „coctail party”

- ptaki śpiewające jednocześnie

• Rozpoznawanie w warunkach dużego szumu i hałasu otoczenia

• Rozpoznawanie dużej liczby gatunków ptaków

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Rozpoznawanie głosów ptaków - prefiltracjaRozpoznawanie głosów ptaków - prefiltracja

Głos puszczyka

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Rozpoznawanie głosów ptaków - prefiltracjaRozpoznawanie głosów ptaków - prefiltracja

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Rozpoznawanie głosów ptaków - detekcjaRozpoznawanie głosów ptaków - detekcja

Prawidłowa detekcja

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Rozpoznawanie głosów ptaków - detekcjaRozpoznawanie głosów ptaków - detekcja

Błędna detekcja

Prawidłowa detekcja

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Rozpoznawanie głosów ptaków - klasyfikacjaRozpoznawanie głosów ptaków - klasyfikacja

Ekstrakcja cech -MFCC

Oblicz prawdopodobieństwodla HMM n-tego gatunku

n=0, Pmax=0

P > Pprog

P > Pmax

Gatunek odrzucony

Nowy kandydat

n>N

Stop

NieTak

Tak

Tak

Nie

Nie

Wczytaj fragment przefiltrowanego

nagrania

n=n+1

Zapisz rozpoznany gatunek do bazy

Start

MFCC – parametry mel-cepstralne (ang. Mel-Frequency Cepstral Coefficients)HMM – ukryte modele Markowa (ang. Hidden Markov Models) N – liczba gatunków ptaków w słowniku dla danego pasmaP - prawdopodobieństwo

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Wyniki EksperymentówWyniki EksperymentówGatunek

Typsygnał

u

Skuteczność Rozpoznawania

[%]

Błądrozpoznawania

[%]Gatunek

Typsygnał

u

Skuteczność Rozpoznawania

[%]

Błądrozpoznawania

[%]

Wodniczka B 92,86 0 Gąsiorek A 100 0,35

Krzyżówka A 25 0 Słowik szary A 100 0

Świergotek łąkowy A 100 0 Sosnówka A 100 0

Uszatka B 100 0 Bogatka I 100 0

Myszołów B 78,95 0,24 Mazurek C 92,31 0

Dziwonia A 100 0 Pierwiosnek E 100 0

Gawron A 98,33 0 Piecuszek A 78,57 0

Kawka A 100 0 Kowalik B 100 0

Derkacz A 98,68 0,25 Puszczyk A 100 0

Kukułka A 79,49 0,12 Puszczyk uralski A 100 0,48

Dzięcioł duży A 100 0,12 Szpak E 100 0,12

Ortolan A 100 0 Piegża A 100 0,12

Zięba G 100 0,13 Kwiczoł A 100 0

Sójka A 100 0 Dudek A 100 1,37

Dymówka A 54,55 0ŚREDNIA 93,33 0,11

Krętogłów A 98,37 0

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Wnioski i kierunki dalszych pracWnioski i kierunki dalszych prac

Wnioski

• Rozpoznawanie głosów ptaków z wykorzystaniem prefiltracji, parametrów Mel-cepstralnych (MFCC) oraz niejawnych modeli Markowa (HMM) okazało się najlepszą z przebadanych strategii rozpoznawania.

• Za pomocą opracowanej metody jest możliwe wykrywanie obecności niektórych gatunków ptaków w terenie z dużym stopniem prawdopodobieństwa.

Kierunki dalszych prac

• Powiększenie rozmiaru słownika do około 100 gatunków

• Opracowanie skutecznych metod detekcji oraz odszumiania sygnału

•Integracja programu rozpoznającego z pozostałymi elementami systemu

Metody automatycznego rozpoznawania głosów ptakówDr inż. Robert Wielgat

Dziękuję Państwu za uwagęDziękuję Państwu za uwagę