Melodia e Harmonia

MelodiaeHarmonia

MarceloCicconet

Melodia

•  …umasucessãodetonscompostademodo,ritmoenotasmusicaisarranjadasdemodoaalcançarformamusical,sendopercebidacomoumaunidadepelamente…(VirginiaTechMul?midia

MusicDic?onary)

•  Parteobscuradamúsicaquepermiteaohumano“repe?‐la”assobiando

•  Sequênciadenotamusicaisaolongodotempo

Harmonia

•  Combinaçãoconsonantedenotastocadassimultaneamenteparaproduziracordes(VirginiaTechMul?midiaMusicDic?onary)

•  Acompanhamento

MelodiaeHarmonia

•  Ambassãofundamentadasnoconceitodenotamusical(pitch)

•  Notamusicallembrafrequência

MelodiaeHarmonia

•  Aseguir– Análise– Composição– Síntese

Análise

•  Baixonível– Trabalha‐sesobreaondasonoraemformatodigital(PCM)observandoconceitosSsicoscomofrequênciaeamplitude

•  Altonível– Trabalha‐secomrepresentaçõessimbólicas(do?poMIDI)levando‐seemcontaaspectosdeteoriamusical(escala,modo,acordeprincipal,etc)

Análise

•  Descritoresharmônicos/?mbrais– Descritor:vetorrepresentandoalgumapropriedade(caracterís?caSsica)doáudio

– Normalmenteob?dosdesegmentosdetamanhoconstante(janelas)quesesobrepõe

–  Para44100fpsotamanhodajanelavariade512a4096frames

–  Sobreposição:geralmente½dotamanhodajanela

Análise

•  Taxadeeventos–  Inversãodosinalemframesconsecu?vos

– Anulaçãodaderivadadosinal

Análise

•  TransformadadeFourierdiscreta(DFT)– Devolveaamplitudecomplexacomqueasfrequênciasentrezeroeametadedataxadeamostragemestãopresentesnosinal

Análise

•  TransformadadeFourierdiscreta(DFT)– Seataxadeamostrageméde44100fpseotamanhodajanelaéde1024frames,aDFTdevolve512valoresdefrequênciaigualmenteespaçadosentrezeroe22050

– Umaumentodotamanhodajanelanãoaumentaagamadefrequênciasavaliadas,masaresoluçãodeavaliaçãodasfrequências

– Estratégiacomum:“zero‐padding”

Análise

•  TransformadadeFourierdiscreta(DFT)–  Janelamento(“windowing”)

Análise

•  Espectrodepotências– QuadradosdasmagnitudesdoscoeficientesdeFourier

Análise

•  Amplitude(loudness)– Médiadasentradasdoespectrodepotências

– Medidadaenergiadosinalsonoro– Muitasvezesrepresentadoemescalalogarítmica(porrazõesperceptuais)

Análise

•  Auto‐correlação– Medidadequantoumsinalésemelhanteàelemesmotransladado

Análise

•  Vetordecroma– Muitousadoparadetecçãodeacordes

Análise

•  Cepstrum– MagnitudedatransformadadeFourierinversadologaritmodamagnitudedatransformadadeFourierdosinal

Análise

•  Exemplos– AudioFeature– AudioUnits

Análise

•  Detecçãodefrequênciafundamental(F0)–  Frequênciafundamental:frequênciatalqueseusmúl?plosexplicammelhoroconteúdodoespetrodosinal

– Aplicações:afinadoreletrônico,transcriçãoautomá?cademelodia,acompanhamentoautomá?co,reconhecimentodefala,transposiçãodenotasmusicais,…

– Osalgoritmossedividememduasclasses:osqueatuamnodomíniodotempoeosqueatuamnodomíniodafrequência

Análise

•  Detecçãodefrequênciafundamental(F0)– Es?maçãoviaTaxadeEventos

Análise

•  Detecçãodefrequênciafundamental(F0)– MétododeMcLeod:procura‐sepormáximosdeumafunçãodeauto‐correlaçãonormalizada

auto‐correlação

Análise

•  Detecçãodefrequênciafundamental(F0)– MétodoYIN:procura‐sepormínimosdeumafunçãodiferençanormalizada

Análise

•  Detecçãodefrequênciafundamental(F0)– MétodoHPS(HarmonicProductSpectrum):percorre‐seoconjuntodefrequênciaseverifica‐sequaldelastemharmônicoscujoprodutodasenergiasémaior

100Hz 200Hz 300Hz

Análise

•  Detecçãodefrequênciafundamental(F0)– Máximaverossimilhança:cria‐seumbancodedadoscomoschamados“espectrosideais”e,dadoumespectrodecujaondasequersaberafrequênciafundamental,procura‐senabasededadosoespectromaispróximo

Análise

•  Exemplos– AudioUnits

Análise

•  Deteçãodeacordes– Cria‐seumacoleçãodevetoresdecromadeacordesreais,comváriasamostrasdomesmoacorde,asquaistendemaformaragrupamentos

– Dadoumacordeaclassificar,u?liza‐sealgummétododeAprendizagemdeMáquina(k‐nn,porexemplo)paraassociaroacordeaumdosagrupamentos

Análise

•  Análiseestruturaldepeçasmusicais– Matrizdeauto‐similaridade(SSM)

Descritor:croma Descritor:amplitude

Análise

•  Análiseestruturaldepeçasmusicais– Matrizdeauto‐similaridade(SSM):Aplicações:

•  Segmentação•  Resumodepeçasmusicais(thumbnailing)

•  Audiofingerprint•  Visualização

Análise

•  Exemplos– AudioFeature– EigenSound

Composição

•  Protocoloparacomposiçãoautomá?ca:

Composição

•  Algumasferramentasu?lizadas:– CadeiasdeMarkov

– Autômatoscelulares– Fractais– RedesNeurais

Composição

•  Exemplos:– Con?nuator,porFrançoisPachet

•  hqp://www.csl.sony.fr/~pachet/Con?nuator/

Composição

•  Exemplos:– MusicStretching,porTristanJehan

•  hqp://web.media.mit.edu/~tristan/

Original(20s)

Stretched(80s)

Síntese

•  Porwavetable– Reproduçãosucessivadamesmaformadeonda,armazenadanumatabela

– Taisondaspodemsersinté?cas

Síntese

•  Sínteseporwavetable– Unidadedesíntese:oscilador,controladordeamplitudeecontroladordefrequência

Síntese

•  Sínteseporwavetable– Envelopedeonda:(1)ataque,(2)decaimentoinicial,(3)sustentação,(4)decaimentofinal

Síntese

•  Sínteseadi?va– Somadasformasdeondageradasporumbancodefontes

Síntese

•  Sínteseadi?va– AaproximaçãofornecidapelasériedeFourierpodeservistacomosínteseadi?va

4 osc

16 osc

64 osc

Síntese

•  Síntesesubtra?va– Confunde‐secomfiltragem

Síntese

•  Síntesepormodulação

AM FM

Síntese

•  Síntesepormodulação– SínteseFM

amplitude

frequência base frequência moduladora índice de modulação

taxa de amostragem

Síntese

•  Síntesepormodulação– SínteseFM

•  Sistemanãolinear•  AnáliseviaFunçõesdeBesseldoPrimeiroTipo

•  Asfrequênciassignifica?vasacrescentadasaosinaloriginalsãoasquedistamdafrequênciabasemúl?plosinteirosdafrequênciamoduladora,sendoaquan?dadedetaismúl?plosigualaI+2

Síntese

•  Síntesepormodulação– SínteseFM

I = 1 I = 2 I = 3

Síntese

•  Síntesepormodulação– SínteseFM

WC Olo Garb (http://www.youtube.com/watch?v=R-hML-I5RV0)

TendênciaseAplicações

LocalizaçãoeIden?ficação

•  Querybyhumming(QbH)– Fase1:criaçãodeumbancodedadoscomrepresentaçõesdealtoníveldealgumascanções

– Fase2:dadaumacançãoàiden?ficar,processá‐lademodoanálogoaosexemplosdobancodedados

– Devolveroexemplodobancodedadoscujamelodiamaisseaproximaàencontradanaentrada

LocalizaçãoeIden?ficação

•  Querybyhumming(QbH)– Representaçõesmelódicas

LocalizaçãoeIden?ficação

•  Querybyhumming(QbH)– Aplica?vos

•  Midomi(www.midomi.com)

•  Musipedia(www.musipedia.org)

LocalizaçãoeIden?ficação

•  Monitoraçãoderádios– Técnica:“Impressãodigital”doáudio

•  Oarquivoésegmentadoeumdescritoréextraidodecadasegmento

•  Umalgoritmodeagrupamentoéaplicadoaoconjuntodedescritores,sendoeleitoumrepresentantedecadagrupo

•  Oconjuntoderepresentantesdefineaimpressãodigital

•  Oáudioquesequerclassificarpassapeloprocedimentodoprimeiroitemeosdescritoresob?dossãocomparadosàsimpressõesdigitaisdobancodedados

RecomendaçãoporSimilaridade

•  iTunesGenius:recomendacançõesdalojaiTunescombaseumumamúsicaescolhidanabibliotecadousuário

•  LastFM,Pandora:alistadeexecuçãoécompostademúsicassemelhantesàqueousuáriosugere

RecomendaçãoporSimilaridade

•  Abordagensparaoproblemaderecomendaçãoporsimilaridade– Baseadaemconteúdo

•  Recomendaçãofeitasimplesmenteapar?rdascaracterís?casdoproduto

– Colabora?va•  Umprodutoérecomendadocombasenaspreferênciasdeusuárioscomperfilsemelhanteaodocliente

– Métodoshíbridos•  Usamasduasabordagens,priorizandoafiltragemcolabora?va

NovasInterfaces

•  PrincetonLaptopOrchestra(PLOrk)– hqp://plork.cs.princeton.edu/

NovasInterfaces

•  PrincetonLaptopOrchestra(PLOrk)– Hardware

•  Laptop,interfacefirewire,amplificador,alto‐falantehemisférico

– Sowware•  Max/MSP,SuperCollider,Chuck

NovasInterfaces

•  Interfacesmul?‐touche/outangíveis– Reactable(UniversitatPompeuFabra)

•  hqp://mtg.upf.es/reactable/

NovasInterfaces

•  Interfacesmul?‐touche/outangíveis– Reactable(UniversitatPompeuFabra)

NovasInterfaces

•  Interfacesmul?‐touche/outangíveis– Reactable(UniversitatPompeuFabra)

NovasInterfaces

•  Interfacesmul?‐touche/outangíveis– BluesMachine(IMPA)

•  hqp://www.visgraf.impa.br/bm/

NovasInterfaces

•  Interfacesmul?‐touche/outangíveis– BluesMachine(IMPA)

•  iPhoneeiPodTouch(disponívelnaAppStore)

ReferênciasRecomendadas

ReferênciasRecomendadas

•  TheComputerMusicTutorial(Cur?sRoads)

ReferênciasRecomendadas

•  TheTheoryandTechniqueofElectronicMusic(MillerPuckeqe)– hqp://crca.ucsd.edu/~msp/techniques/latest/book.pdf

•  PureData– hqp://puredata.info/

ReferênciasRecomendadas

•  Music:AMathema?calOffering(DavidBenson)– hqp://www.maths.abdn.ac.uk/~bensondj/html/music.pdf