2017 XLIII LATIN AMERICAN COMPUTER CONFERENCE … · Juliano Cézar Chagas Tavares and Yandre Maldonado e Gomes da Costa Abstract —This work aims to present a system for automatic

2017 XLIII LATIN AMERICAN COMPUTER CONFERENCE (CLEI)

Music Mood Classification UsingVisual and Acoustic Features

Juliano Cézar Chagas Tavares and Yandre Maldonado e Gomes da Costa

Abstract—This work aims to present a system for automatic music mood classification based on acoustic and visualfeatures extracted from the music. The visual features are obtained from spectrograms and the acoustic features areextracted directly from the audio signal. The texture operators used are Local Phase Quantization (LPQ), Local BinaryPattern (LBP) and Robust Local Binary Pattern (RLBP). The acoustic features are described using Rhythm Patterns(RP), Rhythm Histogram (RH) and Statistical Spectrum Descriptor (SSD). The experiments performed were made ona subset of the Latin Music Mood Database, considering three mood classes: positive, negative, and neutral. In theclassification step, SVM classifier was used and the final results were taken by using 5-fold cross validation. Fromseveral classifiers created performing a zoning strategy along the images, the best individual classifier is that createdfrom the image zone which corresponds to the frequencies from 1,700 Hz to 3,400 Hz, and using the RLBP visualdescriptor. In this case, the F-measure obtained is about 59.55%.

Index Terms—music mood classification, pattern recognition, spectrograms, acoustic features, visual features, machinelearning, signal processing.

F

1 INTRODUÇÃO

D E acordo com [1], a música não é uti-lizada apenas para o divertimento, ela

pode ser utilizada também na formação dapersonalidade, para a cura de algumas doençase alteração do humor. Graças aos avanços doscomponentes eletrônicos é possível ter acessoàs músicas em qualquer lugar de maneira ráp-ida. Ouvir música já é um hábito na vida demuitas pessoas e buscar formas de melhorar ainteração com a mesma é uma das motivaçõespara o desenvolvimento deste trabalho.

Alguns especialistas acreditam que o uso deterapia musical pode ajudar em certos trata-mentos, como a esclerose múltipla, ansiedade edepressão. Com o uso desse método, o pacientepode ter estimulos motores, sensoriais e atémesmo reflexos na condição emocional em quese encontra de acordo com o estilo de músicaque está escutando [2]. Daí vem a importân-cia de se classificar músicas de acordo com a

• J. C. C. Tavares e Y. M. G. Costa estão em Departamentode Informática, Universidade Estadual de Maringá, Maringá,Paraná, Brasil.E-mail: [email protected] e [email protected]

emoção expressa pela mesma, para agrupá-lasde acordo com a sua emoção comum e utilizá-la em tratamentos e até mesmo entretenimento.

Além disso, com o surgimento de lojas vir-tuais que vendem músicas através da internet,como o iTunes, e empresas que fornecem fluxode mídia via internet (streaming), Spotify1 porexemplo, elas podem sugerir novas músicascom base nos interesses do usuário. A classi-ficação dessas mídias tornaria possível a cri-ação de listas de reprodução especializadas emcategorias como motivadoras, neutras e tristes,facilitando a busca do usuário por músicas queintensifiquem ou modifiquem a sua condiçãoemocional.

Nesse contexto, é possível justificar o desen-volvimento de pesquisas relacionadas ao recon-hecimento automático de humor em músicasbaseado no sinal de áudio. Sendo assim, essetrabalho é voltado para o reconhecimento au-tomático de humor em músicas fazendo usode características acústicas e visuais obtidas apartir das amostras de áudio. As amostras deáudio foram obtidas a partir de um recorte dabase Latin Music Mood Database (LMMD) [11].

1. https://www.spotify.com/br/

978-1-5386-3057-0/17 $31.00 c© 2017 IEEE


Espectrogramas são representações do espec-tro das frequências do sinal de áudio e, a partirdeles, é possível obter características visuais.Tem sua representação gráfica mais comumem duas dimensões onde o eixo horizontalcorresponde ao tempo e o eixo vertical à fre-quência do espectro. Desde 2011, espectrogra-mas vêm sendo utilizados como uma fontepara a obtenção de características bastanteúteis para trabalhos de classificação de áudio,inicialmente voltados para a classificação degêneros musicais [12], [17], [13], [18] e poste-riormente voltado à outros domínios de apli-cação [14], [16]. Na maioria desses trabalhos,foi utilizada uma estratégia de zoneamentodas imagens de espectrogramas que permite apreservação de alguma informação acerca dolocal de onde as características foram extraídas.Além disso, junto à estratégia de zoneamentopassou-se a criar um classificador específicopara cada diferente região da imagem. Nestetrabalho, também foram desenvolvidos experi-mentos investigando o desempenho do zonea-mento da imagem do espectrograma. Nestescasos, utilizou-se a fusão tardia (late fusion)para combinar as saídas dos classificadorescriados a partir de diferentes zonas da imagem.

Para a extração de características visuaisforam utilizados: o LPQ que extrai 256 carac-terísticas; LBP e RLBP que extraem 59 carac-terísticas. Já para as características acústicas aextração se deu através de SSD, RP e RH queextraem 168, 1440 e 60 características do sinalde áudio, respectivamente.

Este trabalho encontra-se organizado daseguinte forma: a seção 2 apresenta a revisãoliteratura realizada buscando trabalhos rela-cionados acerca da temática de reconhecimentode emoções em músicas. A seção 3 apresentafundamentos teóricos utilizados durante o de-senvolvimento do trabalho. A seção 4 apresentaa metodologia aplicada e, por sua vez a seção 5apresenta os resultados alcançados. Já a seção6 apresenta as conclusões obtidas com a real-ização dos experimentos aqui descritos.

2 TRABALHOS RELACIONADOS

A distribuição de classes da LMMD aqui uti-lizada é a mesma utilizada em [3]. Naquele

trabalho, é abordada a fusão de diferentesinformações da música: cifra, áudio e letra.Adicionalmente, utilizou-se naquele trabalhoduas versões da LMMD com diferentes quan-tidades de classes, uma com três e outra comseis.As características obtidas de cifra, áudioe letra foram combinadas utilizando-se latefusion e early fusion. Os resultados apresen-tados no trabalho de Przybysz caracterizamvalores de referência para avaliar os resultadosdeste trabalho. O melhor acerto encontradopor Przybysz foi obtido utilizando a fusão decaracterísticas obtidas das cifras, letras e áudio,alcançando uma taxa de 60.60% de F-measure.

3 FUNDAMENTAÇÃO TEÓRICA

3.1 Base de DadosA base de dados utilizada nesse trabalho é umrecorte da Latin Music Mood Database (LMMD)[11]. A LMMD foi criada a partir da LatinMusic Database (LMD) [19], que originalmenteé uma base de músicas latinas classificadas emgêneros: axé, bachata, bolero, forró, gaúcha,merengue, pagode, salsa, sertaneja e tango, eque conta com 3227 amostras.

A LMMD conta com 3136 amostras distribuí-das em seis classes diferentes: amor, paixão,alegria, entusiasmo, tristeza e decepção. Essasclasses ainda podem ser agrupadas duas aduas criando uma distribuição em três classessendo elas: positivo (alegria e entusiasmo),neutro (amor e paixão) e negativo (tristeza edecepção).

Tomando a distribuição em seis classes, aclasse de alegria conta com 437 amostras,entusiasmo com 485, paixão com 872, amorcom 775, tristeza com 470 e decepção com97. Por outro lado, tomando a distribuição emtrês classes, a classe positiva conta com 922amostras, neutro com 1647 e negativo com 567.

Dessa forma é possível observar que a basejá é desbalanceada, ou seja, possui um númerobem diferente de amostras para cada uma dasclasses. Na distribuição em seis classes o des-balanceamento é mais severo, principalmentepara a classe de decepção. O agrupamentoproporcionado pela divisão em três classes au-menta a quantidade de amostras em cada umadelas e, mesmo com a classe negativa contendo


uma quantidade bem menor de amostras emrelação às outras, já elimina a grande diferençatida anteriormente pela classe de decepção.

O recorte da base utilizado neste trabalhoconta com 1005 amostras distribuídas no for-mato de três classes distintas explicado anteri-ormente. Esse formato foi utilizado por ser omesmo utilizado no trabalho de Przybysz [3],o que permite uma comparação de resultados.A redução da quantidade de amostras nestecaso, deu-se pelo fato de que não foi possívelobter cifras e/ou letras (fontes para obtençãode características utilizadas naquele trabalho)para todas as músicas da LMMD original.

Nesse recorte da LMMD, a quantidade deamostras para cada uma das três classes é: 174amostras para negativo, 573 para neutro e 258para positivo.

3.2 Descritores de TexturaTextura é o principal atributo visual presentenas imagens de espectrograma, como pode-seobervar na Figura 3. As texturas podem serfacilmente reconhecidas a partir de um obser-vador humano, porém isso é uma tarefa maisdifícil quando a interpretação de texturas devevir de um dispositivo eletrônico.

Uma vantagem de transformar a imagemque descreve o sinal do áudio é a possibilidadede aplicar descritores de textura como os de-scritos nessa subseção.

3.2.1 Local Phase Quantization (LPQ)Descrito por [5], foi idealizado para operar so-bre imagens borradas utilizando a propriedadede invariância ao borramento do espectro nafase de Fourier. Muito embora tenha sido de-scrito para tal finalidade, apresenta boa perfor-mance em imagens nítidas.

Utiliza a informação de fase local extraídautilizando a tranformada discreta de Fourrierbidimensional computada sobre a janela local,que nada mais é do que uma vizinhança retan-gular para cada pixel da imagem.

3.2.2 Local Binary Pattern(LBP)O LBP é um método eficiente para descrevertextura de imagem em 2D. Ele trabalha sobreos pixels de uma imagem para encontrar um

histograma de padrões binários locais que podeser utilizado como descritor de textura. O LBPtoma um pixel central C e P vizinhos equidis-tantes a uma distância R. O histograma é con-struído a partir da diferença de intensidadeentre cada pixel central C e seus P vizinhos.

Figure 1: Variações de P e R para o LBP apartir do pixel central C, adaptado de [15].

O total de padrões que podem ser calculadospelo LBP dependem diretamente da quanti-dade de pixels P vizinhos. Para um P iguala oito e R igual a dois existem 28 padrõespossíveis. Para fins de classificação de textura,os idealizadores de LBP descobriram que acontagem apenas dos padrões uniformes já erasuficiente para se alcançar bom desempenhona representação do conteúdo de textura deimagens. Um padrão LBP é considerado uni-forme se a sequência de dígitos binários que odescreve possui um número de transições (de0 para 1 ou de 1 para 0) menor ou igual a dois.Por exemplo, o padrão 00101010 não é consid-erado uniforme, já o padrão 00010000 possuiapenas duas transições, portanto é consideradouniforme.

Figure 2: Uniformidade do padrão LBP,adaptado de [13].


3.2.3 Robust Local Binary Pattern (RLBP)O RLBP foi idealizado com a finalidade desuperar a deficiência do LBP em trabalhar coma extração de características das imagens comaltas taxas de ruídos [10]. O funcionamentodesse método é idêntico ao do LBP, ou seja,possui um pixel central C e P vizinhos equidis-tantes a uma distância R.

A diferença entre os dois métodos é aforma com que a uniformidade é tratada. En-quanto o LBP analisa diretamente a sequên-cia de caracteres obtida, o RLBP identifica se-quências muito variantes e trata esses casospara uniformizá-los. O tratamento consiste emidentificar padrões que originalmente seriamconsiderados não uniformes e considerar uni-formes aqueles para os quais a mudança de umúnico dígito é suficiente para transformá-lo emuniforme. Por exemplo, na sequência 11100100,após o tratamento do método a sequência seria11100000.

3.3 Descritores AcústicosEsta seção apresentará os descritores de carac-terísticas acústicas utilizados neste trabalho.

3.3.1 Statistical Spectrum Descriptor (SSD)O SSD é um descritor de características acústi-cas que tem por finalidade computar específi-cas sensações de ruído nas 24 zonas da escalade Bark. O método descreve flutuações naszonas críticas e captura informação de tim-bre adicional que não foi coberto por outrosconjuntos de características, tal como RhythmPattern (RP), desta forma capturando e de-screvendo muito bem o conteúdo acústico [6].

3.3.2 Rhythm Histogram (RH)O RH extrai um conjunto de sessenta car-acterísticas acústicas em que cada uma de-las corresponde ao agregado de modulaçõesde amplitude de vinte e quatro zonas críticasindividualmente computadas por um rhythmpattern[8].

3.3.3 Rhythm Pattern (RP)De acordo com [7] e [8], o RP descreve aamplitude da modulação para um intervalo de

frequências de modulação presentes nas zonascríticas do sistema de audição humano. Paraobter as características, uma rápida Transfor-mada de Fourrier é aplicada sobre a escalaBark para produzir uma representação de cadabanda crítica.

3.4 Zoneamento da ImagemO zoneamento da imagem é uma estratégiabem oportuna para que seja possível criar,naturalmente, um pool de classificadores. Cadauma das zonas lineares obtidas terá a criaçãode um classificador individual. Na literatura épossível encontrar diferentes formas de zonea-mento, lineares ou não. As próximas subseçõesirão apresentar as técnicas de zoneamento uti-lizadas.

3.4.1 Divisão em Zonas LinearesA divisão linear estabelece faixas de mesmotamanho para que a imagem, aqui especifi-camente espectrograma, seja zoneada. Essasfaixas correspondem à bandas de frequênciae o limite de cada banda depende da quanti-dade de zonas lineares estipulada e o limite defrequência do sinal. A Figura 3 apresenta umespectrograma dividido em três zonas lineares.

Figure 3: Espectrograma dividido em trêszonas lineares.

3.4.2 Divisão pela Escala Psicoacústica MelA escala Mel é baseada na forma como ocorrea percepção humana para frequências de som.Ela mapeia a frequência real do som coma frequência percebida pelos seres humanos,definindo assim quinze intervalos de frequên-cia. Foi inicialmente proposta por [4] e, deacordo com o conceito da escala, o mesmo


intervalo de tons em duas zonas da escala sãopercebidos de forma distinta pela audição hu-mana. A figura 4 apresenta um espectrogramadividido criando-se zonas correspondentes àsfaixas de frequência definidas pela escala Mel.

Figure 4: Espectrograma dividido na escalapsicoacústica Mel.

3.5 Combinação de Classificadores

Muitos esquemas de classificação são criadoscom base em apenas um classificador pararesolver um dado problema. Ocorre que, emgeral, classificadores distintos podem cometererros diferentes. Assim, é possível que múlti-plos classificadores possuem complementari-dade entre si. Quando diferentes classificadorestem suas predições combinadas, um resultadomelhor pode ser proporcionado em compara-ção com os resultados individualmente obtidospor cada classificador.

De acordo com [9], os métodos mais comunspara a fusão são dados pelas seguintes funçõesmatemáticas: máximo, mínimo, soma, produtoe média. As suas respectivas equações são de-scritas abaixo, onde v representa o padrão a serclassificado, n é o número de classificadores, lirepresenta o rótulo de saída do i-ésimo clas-sificador em um problema onde os possíveisrótulos de classe são Ω = ω1, ω2, ..., ωn, c énúmero de classes e P (ωk|li(v)) é a estimativade probabilidade do padrão v ser da classe ωk

de acordo com o i-ésimo classificador.

Regra do Maximo (v) =c

arg maxk=1

nmaxi=1

P (ωk|li(v))

Regra do Minimo (v) =c

arg maxk=1

n

mini=1

P (ωk|li(v))

Regra do Produto (v) =c

arg maxk=1

n∏i=1

P (ωk|li(v))

Regra da Soma (v) =c

arg maxk=1

n∑i=1

P (ωk|li(v))

3.5.1 Medidas de Avaliação

As medidas de avaliação de desempenho queserão utilizadas neste trabalho são encontradasa partir da revocação e da precisão.

A precisão é o total de amostras corretamenteclassificadas como da classe C, M(Ci, Ci),dividido pelo total de amostras classificadas,correta e incorretamente, como da classe C,M(∗, Ci). Sua fórmula é expressa pela equação:

Precisao (Ci) =M(Ci, Ci)

M(∗, Ci)

A revocação é o total de amostrascorretamente classificadas como da classeC, M(Ci, Ci), dividido pelo total de amostrasde fato pertencentes à classe C, M(Ci, ∗). Suafórmula é expressa pela equação:

Revocaçao (Ci) =M(Ci, Ci)

M(Ci, ∗)

F-measure é uma importante medida dedesempenho para sistemas de classificação,ela é obtida pela média ponderada das médiasharmônicas de precisão e revocação de cadaclasse prevista no problema. Sua fórmula éexpressa pela seguinte equação, em que C éa classe para a qual o F-measure está sendocalculado.

F-measure(C) =2×Revocaçao (C)× Precisao (C)

Revocaçao (C) + Precisao (C)


4 METODOLOGIA

4.1 Geração do EspectrogramaPara a geração dos espectrogramas foi utilizadoo software SoX 14.4.1 (Sound eXchange)2 queé disponibilizado gratuitamente e permite aconversão entre vários formatos diferentes derepresentação de áudio. No próprio software épossível não só gerar o espectrograma, mastambém alterar alguns aspectos do mesmo,como conversão para tons de cinza, remoçãodos rótulos e afins.

Além disso é possível ajustar parâmetrospertinentes ao sinal de áudio, como por ex-emplo a amplitude do sinal a ser considerada,delimitação da altura e largura, densidade depixels e outros. Alguns parâmetros do softwareforam ajustados empiricamente a fim de se pro-duzir espectrogramas com conteúdo de texturadestacado.

4.2 Zoneamento da ImagemPara o zoneamento dos espectrogramas foramusadas as técnicas descritas na seção 3.4, tantoa abordagem linear quanto a de zoneamentonão linear utilizando a escala Mel. Foramfeitos zoneamentos lineares de três, cinco edez zonas, conforme ilustrado na Figura 6,com a finalidade de verificar qual zoneamentooferece o melhor desempenho nas taxas deacerto. A escala Mel foi aplicada criando-seclassificadores exclusivos para cada uma dassuas quinze zonas não lineares.

4.3 Extração de CaracterísticasPara a extração de características visuais dosespectrogramas foram utilizados os métodosLocal Binary Pattern (LBP), Robust Local BinaryPattern (RLBP) e Local Phase Quantization (LPQ).O LBP extrai um padrão binário da imagemfazendo um processamento a partir de umpixel central C e comparando com seus P pixelsvizinhos equidistantes a uma distância R. Sea diferença entre o pixel e seu vizinho formaior ou igual a zero, deverá ser inserido ovalor um no padrão, senão o valor zero. Alémdisso o LBP diferencia padrões uniformes e

2. http://sox.sourceforge.net

não-uniformes conforme abordado na seção 3,subseção 3.2.

O RLBP é semelhante ao LBP, a diferença éque o RLBP trata os ruídos de maneira difer-enciada. Ele considera que, se apenas um bitcaracteriza o áudio como não-uniforme, entãoesse bit deve ter o seu valor alterado e auniformidade é mantida. A razão por trás dissoé que em muitas situações a ocorrência de umúnico bit modificando o estado de uniformi-dade do padrão acontece por conta da presençade ruído no sinal.

Tanto o LBP quanto o RLBP extraem umvetor de características composto por 59 ele-mentos. Para tal a configuração dada a ambosfoi uma vizinhança de 8 pixels a uma distânciaigual de 2 pixels cada a partir do ponto central.

O LPQ foi idealizado para operar sobre ima-gens com borramento, porém apresenta resul-tados satisfatórios em imagens que não pos-suem borramento também. Para a criação dosvetores de características a partir do LPQ se fezo uso de uma janela de dimensão 5 x 5 e ao secomputar o método foi obtido um vetor de 256elementos.

Para a extração de características acústicasforam usados os métodos Rhythm Pattern (RP),Rhythm Histogram (RH) e Statistical SpectrumDescriptor (SSD). Todos os extratores anteriorestrabalham diretamente no sinal de áudio, ouseja, sem o intermédio de uma imagem dedescrição. Os vetores de características geradosa partir do SSD possuiam 168 elementos, doRH 60 e do RP 1440. Todos foram obtidosatravés da biblioteca Rhythm and Timbre FeatureExtraction from Music3.

4.4 Esquema de ClassificaçãoOs experimentos foram realizados utilizando1005 amostras distribuídas em três classes dis-tintas de emoções, sendo elas neutro, positivoe negativo, e com validação cruzada utilizandocinco folds.

Na etapa de classificação foi utilizado o clas-sificador SVM, um modelo de algoritmos deaprendizagem apresentado por [20]. Seu usoé bastante difundido na comunidade científica

3. http://ifs.tuwien.ac.at/mir/musicbricks/index.html,acessado em 27/04/2017


Figure 5: Espectrograma gerado utilizando o software SoX.

por apresentar bom desempenho em váriostrabalhos recentes da área de análise de dados ereconhecimento de padrões. Para a construçãodos modelos de classificação SVM, foi uti-lizado o kernel Radial Basis Function (RBF) e osparâmetros C e γ foram otimizados utilizandoum procedimento grid-search.

O esquema proposto consiste em: divisão dasamostras de áudio em folds, geração de es-pectrogramas utilizando a ferramenta SoX, ex-tração das características acústicas ou visuais,classificação utilizando a SVM e manipulaçãodos dados de saída da classificação utilizandotécnicas de fusão. A classificação por meio doSVM foi realizada utilizando-se a bibliotecaLIBSVM [21]. Como a divisão da base foi real-izada em cinco folds para a validação cruzada,um dos folds é tomado para teste e os foldsrestantes são utilizados como treino. O pro-cesso é repetido até que todos os folds tenhamsido utilizados como teste [9].

5 RESULTADOS EXPERIMENTAIS

Inicialmente as classificações foram realizadasindividualmente. A Tabela 1 apresenta os re-sultados das classificações iniciais. Para as clas-sificações zoneadas, foi realizado late fusion e,dentre os resultados gerados com as diferentesregras de fusão, foi escolhido o que apresentou

a F-measure mais alta. A regra de fusão que ap-resentou os melhores resultados foi, na maioriados casos, a regra da Soma.

É possível obervar, pelos dados da tabela,que o zoneamento não proporcionou um au-mento da taxa de acerto. As classificações semzoneamento (global) alcançaram melhores re-sultados.

Além disso, ainda é possível observar queas características acústicas individualmente nãotiveram taxas de acerto muito relevantes emrelação às taxas das características visuais. RP,possívelmente pela sua alta quantidade de car-acterísticas, se saiu um pouco melhor do queos outros classificadores.

Portanto, nas classificações iniciais o RLBPatingiu a maior taxa de acerto, em F-measure,com 55.06% seguido do LBP e do LPQ re-spectivamente com 54.71% e 51.32%. A mel-hor característica acústica foi RP que obteve44.26% de acerto. O melhor zoneamento linearfoi o RLBP em 10 zonas com 46,86% de acertopela regra da soma. O melhor desempenhocom zoneamento não linear (escala Mel) foiobtido utilizando-se o RLBP, a taxa de acertoalcançada foi de 45.27%. A Tabela 2 mostra amatriz de confusão para o maior acerto obtidonas classificações.

Após isso foi realizado um estudo da fusãounimodal, ou seja, fusão de predições classi-ficadores usando extratores de características


Figure 6: Zoneamentos lineares utilizados nasclassificações

Figure 7: Esquema geral de classificaçãoutilizado.

acústicas e características visuais individual-mente. As tabelas 3 e 4 apresentam os resulta-dos alcançados com essas fusões. Novamente

Table 1: Tabela de acertos individuais.

Revocação Precisão F-measure

LPQ global 51.13% 51.51% 51.32%

LPQ 3 Zonas 50.60% 42.34% 46.10%

LPQ 5 zonas 50.78% 39.24% 44.27%

LPQ 10 zonas 51.94% 42.39% 46.68%

LPQ Mel 51.59% 39.88% 44.99%

LBP global 49.30% 61.46% 54.71%

LBP 3 zonas 50.88% 43.09% 46.66%

LBP 5 zonas 51.62% 50.08% 45.12%

LBP 10 zonas 51.17% 42.37% 46.36%

LBP Mel 51.86% 40.10% 45.23%

RLBP global 49.69% 61.73% 55.06%

RLBP 3 zonas 51.07% 43.26% 46.84%

RLBP 5 zonas 51.57% 40.01% 45.06%

RLBP 10 zonas 51.68% 42.86% 46.86%

RLBP Mel 51.87% 40.16% 45.27%

SSD 44.39% 41.41% 42.85%

RP 45.06% 43.49% 44.26%

RH 43.62% 42.91% 43.26%

Table 2: Matriz de confusão para RLBP global.

Negativo Neutro Positivo

Negativo 1.72% 90.80% 7.48%

Neutro 0.17% 90.75% 9.08%

Positivo 0.77% 42.63% 56.60%

a regra da soma foi a que obteve os melhoresresultados.

Nenhuma das fusões unimodais superou oresultado obtido anteriormente pelo RLBP. Nafusão de predições visuais o maior acerto, emF-measure, ficou com a fusão de LBP com LPQ,alcançando uma taxa de acerto de 46.96%. Jána fusão de predições acústicas o maior acertoficou para a fusão de RH e SSD, atingindo umataxa de acerto de 44.12%.

Table 3: Tabela de acertos da fusão depredições visuais.


LBP + RLBP 47.82% 45.61% 46.68%

LBP + LPQ 47.94% 46.01% 46.96%

RLBP + LPQ 47.22% 44.49% 45.81%

Ainda realizados experimentos com umaabordagem multimodal, ou seja, fundindo


Table 4: Tabela de acertos da fusão depredições acústicas.


RP + RH 42.09% 44.95% 43.47%

RP + SSD 42.29% 45.12% 43.66%

RH + SSD 41.78% 46.75% 44.12%

predições de classificadores criados com car-acterísticas acústicas e classificadores criadoscom características visuais. Os resultados al-cançados são mostrados na tabela 5. Foramutilizados na fusão os melhores classificadoresvisuais combinados com os três classificadoresacústicos.

Nenhum dos resultados superou o resultadoinicialmente alcançado por LBP. O maior resul-tado alcançado foi obtido com a fusão de LBPe RH, com uma taxa de F-measure de 46.70%.

Table 5: Tabela de acertos da fusão depredições acústicas e visuais.


LPQ + RP 46.23% 46.01% 46.12%

LPQ + RH 45.43% 45.94% 45.68%

LPQ + SSD 45.50% 45.84% 45.67%

LBP +RP 45.55% 46.03% 45.79%

LBP + RH 45.90% 47.53% 46.70%

LBP + SSD 45.57% 45.74% 45.65%

RLBP + RP 45.80% 46.64% 46.22%

RLBP + RH 45.08% 46.52% 45.79%

RLBP + SSD 46.17% 45.57% 45.87%

Por fim, ao avaliar que as fusões não aju-daram no aumento das taxas de acerto, foirealizada uma análise dos resultados das zonaslineares dos classificadores individualmente.Com essa análise foi possível averiguar quealgumas zonas obtiveram taxas de acerto maisaltas quando analisadas sozinhas. Esse é o casoda zona 4 do zoneamento linear em 5 zonas doRLBP. Essa zona obteve uma taxa de acerto de59.55%, superando a taxa de acerto tida peloRLBP desde o começo dos testes. A tabela 6mostra a matriz de confusão dessa zona, quecorresponde à faixa de frequências no intervaloentre 1700 Hz e 3400 Hz.

A taxa de acerto expressivamento maiorobtida na classe de emoções ”neutro” explica-

Table 6: Matriz de confusão para zona quatrode RLBP em cinco zonas.

Negativo Neutro Positivo

Negativo 0.57% 90.23% 9.20%

Neutro 0% 91.80% 8.20%

Positivo 0% 47.67% 52.33%

se pelo fato de que esta classe possui umnúmero bem maior de amostras na basequando comparada às outras. Fato este que fazcom que o modelo de classificação tenha umamaior tendência a reconhecer padrões nestaclasse.

6 CONSIDERAÇÕES FINAIS

Este trabalho foi desenvolvido com o propósitode analisar a utilização de descritores de car-acterísticas acústicas e visuais para a criaçãode um sistema automático de classificação deemoções em músicas. Além disso, foi investi-gada a eventual existência de complementari-dade que essas características possuem quandoutilizadas dentro desse contexto de classifi-cação.

Nos experimentos iniciais ficou constatadoque as características visuais conseguiam taxasde acertos maiores do que as acústicas e queo RLBP sem nenhum zoneamento conseguiuatingir uma taxa de acerto superior à dos out-ros. Além disso, foi constatado que a fusão declassificadores utilizando a técnica de fusão tar-dia (late fusion) não ajudou a aumentar as taxasde acerto tanto utilizando predições de car-acterísticas de mesma modalidade quanto uti-lizando predições de modalidades diferentes.

Ao final do estudo, as zonas lineares e nãolineares foram analisadas individualmente econstatou-se que a zona quatro (frequênciasentre 1700 Hz e 3400 Hz) do zoneamento lineardo RLBP em cinco zonas conseguiu a taxa maisalta de acerto entre todos os classificadores cri-ados ao longo dos experimentos. Isoladamente,o classificador criado para essa zona alcançouuma taxa de F-measure 59.55% de acerto, umvalor que se aproxima de outros trabalhos jápublicados na literatura utilizando exatamentea base utilizada neste trabalho.


Tendo por base as explicações apresentadasacima, é possível mostrar que as caracterís-ticas visuais podem ser utilizadas no auxílioà classificação de emoções em música, porémquando combinadas com descritores acústicos,não houve ganho nas taxas de acerto, pos-sivelmente porque as taxas piores dos classifi-cadores acústicos prejudicaram o desempenhoda fusão.

6.1 Trabalhos FuturosPara trabalhos futuros há a possibilidade detestar a complementaridade dos descritores vi-suais com outros tipos de descritores, utiliza-dos em trabalhos que alcançaram taxas deacertos maiores, obtidos a partir de cifras eletras das músicas. Além disso, é possível ten-tar utilizar um subconjunto maior e menosdesbalanceado da base LMMD para analisarem que medida o desbalanceamento da baseprejudicou as taxas de acerto descritas nestetrabalho.

AGRADECIMENTOS

Ao programa PIBIC/UEM/FundaçãoAraucária pelo apoio financeiro, aoDepartamento de Informática da UEM pelainfraestrutura disponibilizada e ao Centro deTecnologia da UEM pelo apoio financeiro.

REFERENCES

[1] V. L. Bréscia. A música como recurso terapêutico.In: En-contro Paranaense, Congresso Brasileiro de PsicoterapiasCorporais, XI V, IX, 2009. Anais. Curitiba: Centro Reichi-ano, 2009. CD-ROM. [ISBN – 978-85-87691-16-3]. Avaiable:http://www.centroreichiano.com.br/artigos.

[2] S. V. Moreira, C. C. França and M. Moreira, IndentidadeMusical de Pacientes com Esclerose Múltipla. ANPPOM, 2005,Rio de Janeiro. Rio de Janeiro: Associação nacional depesquisa e Pós-Graduação em Música. 1988.

[3] A. L. Przybysz, Classificação automática de emoções em músi-cas latinas utilizando diferentes fontes de informação. in Dis-sertação - Programa de Pós-Graduação em Informática,Universidade Federal do Paraná, Cornélio Procópio, 2016.

[4] S. Stevens, J. Volkmann, and E. Newman, A scale for themeasurement of the psychological magnitude pitch. Acousti-cal Society of America, 1937, vol. 8. [Online]. Available:https://books.google.com.br/books?id=9SCWoAEACAAJ

[5] V. Ojansivu, E. Rahtu and J. Heikkilä, Rotation invariantblur insensitive texture analysis using local phase quantization.in 19th International Conference on Pattern Recognition(ICPR 2008), Tampa, FL, 2008.

[6] T. Lidy and A. Rauber, Evaluation of feature extractors andpsycho-acoustic transformations for music genre classification,in ISMIR, 2005, pp. 34–41.

[7] A. Rauber and M. Fruhwirth, Research and AdvancedTechnology for Digital Libraries: 5th European Conference,ECDL 2001 Darmstadt, Germany, September 4-9, 2001 Pro-ceedings. Berlin, Heidelberg: Springer Berlin Heidelberg,2001, ch. Automatically Analyzing and Organizing MusicArchives, pp. 402–414.

[8] A. Rauber, E. Pampalk, and D. Merkl, Using psychoacousticmodels and self-organizing maps to create a hierarchical struc-turing of music by sound similarity, in Proc. ISMIR, 2002, pp.71–80.

[9] J. Kittler, M. Hatef, R. Duin, and J. Matas, On combiningclassifiers, Pattern Analysis and Machine Intelligence, IEEETransactions on, vol. 20, no. 3, pp. 226–239, Mar 1998.

[10] J. Chen, V. Kellokumpu, G. Zhao, and M. Pietikainen,Rlbp: Robust local binary pattern, in Proceedings of theBritish Machine Vision Conference. BMVA Press, 2013.

[11] C. L. dos Santos and C. N. Silla Jr., "The Latin Music MoodDatabase", in EURASIP Journal on Audio Speech and MusicProcessing, 2015

[12] Y. M. G. Costa and L. E. S. Oliveira and A. L. Koerichand F. Gouyon, Music genre recognition using spectrograms,in 18th International Conference on Systems, Signals andImage Processing, Sarajevo, Bosnia e Herzegovina, 2011.

[13] Y. M. G. Costa and L. E. S. Oliveira and A. L. Koerichand F. Gouyon and J. G. Martins, Music genre classificationusing LBP textural features, in Signal Processing, v. 92, p.2723-2737, 2012.

[14] A. MONTALVO and Y. M. G. COSTA and J. R. CALVO.Language Identification using Spectrogram Texture. in Progressin Pattern Recognition, Image Analysis, Computer Vision,and Applications, 2015. p. 543-550.

[15] R. H. D. Zotesso, G. H. G. Matsushita, D. R. Lucio and Y.M. G. Costa. Automatic segmentation of audio signal in birdspecies identification. In: XLII Conferencia Latinoamericanade Informática, 2016, Valparaíso, Chile. XLII ConferenciaLatinoamericana de Informática, 2016.

[16] D. R. LUCIO and Y. M. G. COSTA. Bird Species Classifica-tion Using Spectrograms. In: XLI Conferencia Latinoameri-cana de Informática, 2015, Arequipa, Perú. XLI ConferenciaLatinoamericana de Informática, 2015.

[17] J. G. MARTINS, Y. M. G. COSTA, D. B. GONÇALVES, andL. E. S. OLIVEIRA. Uso de descritores de textura extraídos deGLCM para o reconhecimento de padrões em diferentes domíniosde aplicação, in XXXVII Conferência Latinoamericana deInformática, 2011, Quito.

[18] L. NANNI, Y. M. G. COSTA, and S. BRAHNAM. Set ofTexture Descriptors for Music Genre Classification, in 22ndInternational Conference in Central Europe on ComputerGraphics, Visualization and Computer Vision, 2014, Plzen.

[19] C. N. Silla Jr., A. L. Koerich, and C. A. A. Kaestner, Thelatin music database, in ISMIR 2008, 9th International Con-ference on Music Information Retrieval, 2008, pp. 451–456.

[20] V. N. Vapnik, The nature of statistical learning theory, SecondEdition ed., ser. Statistics for engineering and informationscience. New York: Springer, 2000.

[21] C.-C. Chang and C.-J. Lin, Libsvm: a library for supportvector machines, ACM Transactions on Intelligent Systemsand Technology (TIST), vol. 2, no. 3, p. 27, 2011.

Documents

2017 XLIII LATIN AMERICAN COMPUTER CONFERENCE … · Juliano Cézar Chagas Tavares and Yandre Maldonado e Gomes da Costa Abstract —This work aims to present a system for automatic