27/04/23 1 /
Query By Humming
Ana Alves (apba)Bruno Ribeiro (brcr)Francisco Neto (ffsn)
Garsielle Valença (gval)
Query by Humming (QBH)
QBH | Motivação
• “Futuras” gerações de Banco de Dados
•Rádios
•Emissoras de TV
•Lojas de Música
•Uso pessoal
Roteiro
• O que é?• Conceitos fundamentais• Algoritmos• Dificuldades• Aplicações Existentes
QBH | Definição
É a realização de consultas por conteúdo à um conjunto de músicas, tomando como entrada um trecho de melodia cantarolado pelo usuário
27/04/23 6 /
QBH | Conceitos
• Query“A query is a monophonic melody sung by a single person.”
• String“A sequence of notes in a written musical score,
or notes transcribed from a sung query.”
27/04/23 7 /
QBH | Conceitos
• String matchers “Find the best alignment between string Q and string T by
finding the lowest cost (or, equivalently, highest reward) transformation of Q into T in terms of operations (matching or skipping characters). The score of the best alignment can be used as a measure of the similarity of two strings.”
• Pitch“The property of a sound or musical tone measured by its
perceived frequency”
QBH | Introdução
• Crescimento da área de recuperação de informação multimídia baseada em conteúdo• Pontos Críticos
• Tipo de interação com informações multimídia• Atender às habilidades e preferências dos usuários
• Metas• Organização• Facilidade• Eficiência
QBH| Dificuldades
• Determinação da freqüência fundamental em um fragmento de áudio– Heurísitco– Maior ou menor grau de acerto
• Determinar similaridade da melodia– Pitch Incorreto– Transposição– Ritmo
QBH| Dificuldades
• Robustez– Algoritmo mais preciso
• Performance– Algoritmo eficiente
27/04/23 11 /
QBH| Técnicas• Melodic Contour Matching
– Seqüência das diferenças relativas no pitch entre notas successivas.
– Três relações possíveis de altura em relação a nota anterior(U, D, S)
• Acima (U)• Abaixo (D)• Igual (S)
27/04/23 12 /
QBH| Pitch Tracking• Auto-Correlação
• Probabilidade Máxima
• Análise do Espectro
QBH| Dynamic Time Warping
• Usado para medir similaridades entre seqüências de notas musicais– Não importa se variam em tempo e velocidade;
• DTW pode ser aplicado em diversas áreas– Vídeo, áudio, reconhecimento de voz, etc.;
QBH| Dynamic Time Warping
QBH |Algoritmos de Busca
•String Matching•Global alignment algorithm•Local alignment algorithm
•Melodic Contour Matching
•Hidden Markov Model•Forward algorithm
QBH |Experimento
• 3 Sistemas que utilizam diferentes algoritmos de consulta
-Local alignment algorithm-Global alignment algorithm-Forward algorithm
QBH |Experimento
QBH |Experimento
Aplicações Existentes
• Melody Recognition System– Desenvolvido pelo IDMT, Alemanha;– Identifica som de duas formas:
• Através da voz,• Ou tocando algum instrumento.
– A aplicação realiza a consulta na base de dados a partir de dois parâmetros:
• Pela melodia e ritmo da música tocada pelo usuário;
– Como resultado, um ranking dos 10 mais similares:• Título da música, • E nome do artista são devolvidos;
Aplicações Existentes
• Melody Recognition System– O processo de reconhecimento é dividido em 3
partes:• O sinal de áudio é armazenado;
– Eliminação do ruído do som;• As freqüências fundamentais são analisadas;
– É determinado um “pitch contour”;– Este é dividido em diversas notas, onde cada uma:
» É caracterizada pela sua duração e pitch;• A consulta retorna a lista das canções.
27/04/23 20 /
Aplicações Existentes
• Melody Recognition System– Características:
• A aplicação contém uma base de dados com milhares de músicas:
– Desde música clássica até pop;• O sistema é tolerante com relação à imprecisões:
– Na voz do usuário,– E nos ruídos do ambiente;
• “Imprecisão na consulta afeta menos a performance do usuário do que imprecisão no pitch”;
• Uma consulta com certo grau de imprecisão na voz do usuário será retornada com um grau de precisão associado;
27/04/23 21 /
Aplicações Existentes
• Melody Recognition System– O sistema está implementado em 3 diferentes tipos
de aplicações:• Sistema stand-alone:
– Todo processamento está localizado em um único computador;
• Aplicação Web:– A transmissão da consulta é feita por um Applet Java;– O processamento ocorre em um servidor remoto;– O resultado é mostrado no browser do usuário;
27/04/23 22 /
Aplicações Existentes
• Melody Recognition System– Tipos de aplicações:
• Aplicação Móvel;– Usuário conecta a um servidor remoto pelo celular;– Canta a música e realiza a consulta;– Todo processamento é realizado no servidor;
27/04/23 23 /
Referênciaswww.cs.cornell.edu/Info/Faculty/bsmith/ query-by-humming.html http://sail.usc.edu/music/research.html#intro
http://www.idmt.fraunhofer.de/eng/press_media/download/product_information/qbh_eng_web.pdf
27/04/23 25 /
Query By Humming