View
71
Download
3
Category
Preview:
DESCRIPTION
Citation preview
EXTRAÇÃO DE DESCRITORES
SONOROS TIMBRÍSTICOS A PARTIR
DA TRANSFORMADA WAVELET
PACKET
Thiago Rossi Roque
Rafael Santos Mendes
DCA/FEEC/UNICAMP
AES BRASIL 2014
• Busca por novas formas de extração de informações sonoras (descritores)
• Possibilidade de modulação dos descritores
• Alterações controladas no timbre
• Transformada Wavelet
– Decomposição tempo-frequencial (descritores frequenciais variantes no tempo)
– Cálculo simples e eficiente tanto para análise quanto para síntese
MOTIVAÇÃO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
2
• Descritores de Áudio
– Quantificar aspectos qualitativos de um sinal, ou seja, descrever as características de um sinal sonoro de forma objetiva
INTRODUÇÃO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
3
• MPEG-7: Descritores Timbrísticos
– Temporais
• Tempo Logarítmico de Ataque
• Centroide Temporal
– Espectrais
• Centroide Espectral Harmônico
• Espalhamento Espectral Harmônico
• Desvio Espectral Harmônico
• Variação Espectral Harmônica
• Centroide Espectral
INTRODUÇÃO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
4
TEMPO LOGARITMICO DE ATAQUE
5 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
CENTROIDE TEMPORAL
6 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
CENTROIDE ESPECTRAL
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
7
• Média frequencial ponderada pela amplitude de cada componente.
• Sensação de brilho de um som
𝐶𝐸 = 𝐹 𝑛 ∗ 𝑛𝑁𝑛=1
𝐹(𝑛)𝑁𝑛=1
• Análogo ao primeiro momento estatístico
– Centro de massa espectral
CENTROIDE ESPECTRAL HARMÔNICO
8 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
ESPALHAMENTO ESPECTRAL HARMÔNICO
9 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
• Espalhamento espectral médio em relação ao CEH
• Sensação de harmonicidade de um som
𝐸𝐸𝐻𝐿 𝑛 = 1
𝐶𝐸𝐻𝐿(𝑛)
( 𝐹ℎ,𝑛 − 𝐶𝐸𝐻𝐿(𝑛)2∗ 𝐴2ℎ,𝑛)
𝑁ℎℎ=1
𝐴2ℎ,𝑛𝑁ℎℎ=1
• Análogo ao segundo momento estatístico
• Transformada de Fourier Janelada (STFT) – Técnica predominante para sinais de áudio – Deficiências conhecidas:
• Decompor sinais de energia finita em base de energia infinita – Sons naturais são pseudo-periódicos
• Janelamento do sinais através de janelas fixas
ANÁLISE ESPECTRAL
10 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
• Wavelet Packet
– Análise em multiresolução – Muito efetiva com sinais não periódicos e pseudo-
periódicos
– Utilização de wavelets para estimação espectral é muito recente!
ANÁLISE ESPECTRAL
11 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
• Funções finitas
– Energia concentrada no tempo
• Sem componentes de frequência nula
WAVELET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
12
dtt 2|)(|
0)( dtt
)2(2)(, ktt jj
kj
• Análise multi-resolução
– Funções wavelets possibilitam escalamentos e deslocamentos temporais • Possibilitando análises tanto no domínio da frequência
quanto no domínio do tempo
A TRANSFORMADA WAVELET
13 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
dtttfttfjkW kjkj )()( )(),( ),( ,,
• Sendo um sinal discreto:
• e são os coeficientes da transformada wavelet discreta
• e são respectivamente a função escala e função wavelet
A TRANSFORMADA WAVELET
14 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
)(tx
(k)jd)(cr k
k k rj
j
j
r
r ktkdktkctx )2()()2()()(
)(t )(t
A TRANSFORMADA WAVELET
15 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
)()2()( 1 ncknhkcn
jj
)()2()( 11 ncknhkdn
jj
WAVELET PACKET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
16
WAVELET PACKET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
17
• É necessário reordenar os coeficientes de forma frequencial
• Código Gray: 000,001, 011, 010, 110, 111, 101, 100 0, 1, 3, 2, 6, 7, 5, 4
WAVELET PACKET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
18
• Análise espectral wavelet de um trompete (A3)
ANÁLISE ESPECTRAL A PARTIR DA WP
19 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
• Análise espectral wavelet de um trompete (A3)
ANÁLISE ESPECTRAL A PARTIR DA WP
20 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
DSCRITORES TEMPORAIS WAVELET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
21
• TLA WT • -0,1948
• TLA convencional
• - 0,1938
• CT WT • 2,2349 s
• CT convencional
• 2,0844 s
CENTROIDE ESPECTRAL WAVELET
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
22
• CE
STFT
• CE
Wavelet
CENTROIDE ESPECTRAL HARMÔNICO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
23
• CEH
STFT
• CEH
Wavelet
ESPALHAMENTO ESPECTRAL HARMÔNICO
Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
24
• EEH
STFT
• EEH
Wavelet
• Análise espectral wavelet se demonstrou eficiente
• Alta correlação entre o descritores calculados pela transformada wavelet e pela forma convencional
CONCLUSÕES
25 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
• Estudos mais profundos a cerca da estimação espectral wavelet
• Aprimorar a técnica para outros descritores
• Manipulação dos coeficientes wavelet de forma a alterar controladamente os descritores sonoros
– Transformada Wavelet de Banda Harmônica
PRÓXIMOS PASSOS
26 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
• Obrigado pela atenção!
FIM
27 Extração de Descritores Sonoros Timbrísticos a Partir da Transformada Wavelet Packet – AES Brasil 2014
Duvidas? Questões? Sugestões?
Recommended