Upload
voque
View
273
Download
16
Embed Size (px)
Citation preview
MelodiaeHarmonia
MarceloCicconet
Melodia
• …umasucessãodetonscompostademodo,ritmoenotasmusicaisarranjadasdemodoaalcançarformamusical,sendopercebidacomoumaunidadepelamente…(VirginiaTechMul?midia
MusicDic?onary)
• Parteobscuradamúsicaquepermiteaohumano“repe?‐la”assobiando
• Sequênciadenotamusicaisaolongodotempo
Harmonia
• Combinaçãoconsonantedenotastocadassimultaneamenteparaproduziracordes(VirginiaTechMul?midiaMusicDic?onary)
• Acompanhamento
MelodiaeHarmonia
• Ambassãofundamentadasnoconceitodenotamusical(pitch)
• Notamusicallembrafrequência
MelodiaeHarmonia
• Aseguir– Análise– Composição– Síntese
Análise
• Baixonível– Trabalha‐sesobreaondasonoraemformatodigital(PCM)observandoconceitosSsicoscomofrequênciaeamplitude
• Altonível– Trabalha‐secomrepresentaçõessimbólicas(do?poMIDI)levando‐seemcontaaspectosdeteoriamusical(escala,modo,acordeprincipal,etc)
Análise
• Descritoresharmônicos/?mbrais– Descritor:vetorrepresentandoalgumapropriedade(caracterís?caSsica)doáudio
– Normalmenteob?dosdesegmentosdetamanhoconstante(janelas)quesesobrepõe
– Para44100fpsotamanhodajanelavariade512a4096frames
– Sobreposição:geralmente½dotamanhodajanela
Análise
• Taxadeeventos– Inversãodosinalemframesconsecu?vos
– Anulaçãodaderivadadosinal
Análise
• TransformadadeFourierdiscreta(DFT)– Devolveaamplitudecomplexacomqueasfrequênciasentrezeroeametadedataxadeamostragemestãopresentesnosinal
Análise
• TransformadadeFourierdiscreta(DFT)– Seataxadeamostrageméde44100fpseotamanhodajanelaéde1024frames,aDFTdevolve512valoresdefrequênciaigualmenteespaçadosentrezeroe22050
– Umaumentodotamanhodajanelanãoaumentaagamadefrequênciasavaliadas,masaresoluçãodeavaliaçãodasfrequências
– Estratégiacomum:“zero‐padding”
Análise
• TransformadadeFourierdiscreta(DFT)– Janelamento(“windowing”)
Análise
• Espectrodepotências– QuadradosdasmagnitudesdoscoeficientesdeFourier
Análise
• Amplitude(loudness)– Médiadasentradasdoespectrodepotências
– Medidadaenergiadosinalsonoro– Muitasvezesrepresentadoemescalalogarítmica(porrazõesperceptuais)
Análise
• Auto‐correlação– Medidadequantoumsinalésemelhanteàelemesmotransladado
Análise
• Vetordecroma– Muitousadoparadetecçãodeacordes
Análise
• Cepstrum– MagnitudedatransformadadeFourierinversadologaritmodamagnitudedatransformadadeFourierdosinal
Análise
• Exemplos– AudioFeature– AudioUnits
Análise
• Detecçãodefrequênciafundamental(F0)– Frequênciafundamental:frequênciatalqueseusmúl?plosexplicammelhoroconteúdodoespetrodosinal
– Aplicações:afinadoreletrônico,transcriçãoautomá?cademelodia,acompanhamentoautomá?co,reconhecimentodefala,transposiçãodenotasmusicais,…
– Osalgoritmossedividememduasclasses:osqueatuamnodomíniodotempoeosqueatuamnodomíniodafrequência
Análise
• Detecçãodefrequênciafundamental(F0)– Es?maçãoviaTaxadeEventos
Análise
• Detecçãodefrequênciafundamental(F0)– MétododeMcLeod:procura‐sepormáximosdeumafunçãodeauto‐correlaçãonormalizada
auto‐correlação
Análise
• Detecçãodefrequênciafundamental(F0)– MétodoYIN:procura‐sepormínimosdeumafunçãodiferençanormalizada
Análise
• Detecçãodefrequênciafundamental(F0)– MétodoHPS(HarmonicProductSpectrum):percorre‐seoconjuntodefrequênciaseverifica‐sequaldelastemharmônicoscujoprodutodasenergiasémaior
100Hz 200Hz 300Hz
Análise
• Detecçãodefrequênciafundamental(F0)– Máximaverossimilhança:cria‐seumbancodedadoscomoschamados“espectrosideais”e,dadoumespectrodecujaondasequersaberafrequênciafundamental,procura‐senabasededadosoespectromaispróximo
Análise
• Exemplos– AudioUnits
Análise
• Deteçãodeacordes– Cria‐seumacoleçãodevetoresdecromadeacordesreais,comváriasamostrasdomesmoacorde,asquaistendemaformaragrupamentos
– Dadoumacordeaclassificar,u?liza‐sealgummétododeAprendizagemdeMáquina(k‐nn,porexemplo)paraassociaroacordeaumdosagrupamentos
Análise
• Análiseestruturaldepeçasmusicais– Matrizdeauto‐similaridade(SSM)
Descritor:croma Descritor:amplitude
Análise
• Análiseestruturaldepeçasmusicais– Matrizdeauto‐similaridade(SSM):Aplicações:
• Segmentação• Resumodepeçasmusicais(thumbnailing)
• Audiofingerprint• Visualização
Análise
• Exemplos– AudioFeature– EigenSound
Composição
• Protocoloparacomposiçãoautomá?ca:
Composição
• Algumasferramentasu?lizadas:– CadeiasdeMarkov
– Autômatoscelulares– Fractais– RedesNeurais
Composição
• Exemplos:– Con?nuator,porFrançoisPachet
• hqp://www.csl.sony.fr/~pachet/Con?nuator/
Composição
• Exemplos:– MusicStretching,porTristanJehan
• hqp://web.media.mit.edu/~tristan/
Original(20s)
Stretched(80s)
Síntese
• Porwavetable– Reproduçãosucessivadamesmaformadeonda,armazenadanumatabela
– Taisondaspodemsersinté?cas
Síntese
• Sínteseporwavetable– Unidadedesíntese:oscilador,controladordeamplitudeecontroladordefrequência
Síntese
• Sínteseporwavetable– Envelopedeonda:(1)ataque,(2)decaimentoinicial,(3)sustentação,(4)decaimentofinal
Síntese
• Sínteseadi?va– Somadasformasdeondageradasporumbancodefontes
Síntese
• Sínteseadi?va– AaproximaçãofornecidapelasériedeFourierpodeservistacomosínteseadi?va
4 osc
16 osc
64 osc
Síntese
• Síntesesubtra?va– Confunde‐secomfiltragem
Síntese
• Síntesepormodulação
AM FM
Síntese
• Síntesepormodulação– SínteseFM
amplitude
frequência base frequência moduladora índice de modulação
taxa de amostragem
Síntese
• Síntesepormodulação– SínteseFM
• Sistemanãolinear• AnáliseviaFunçõesdeBesseldoPrimeiroTipo
• Asfrequênciassignifica?vasacrescentadasaosinaloriginalsãoasquedistamdafrequênciabasemúl?plosinteirosdafrequênciamoduladora,sendoaquan?dadedetaismúl?plosigualaI+2
Síntese
• Síntesepormodulação– SínteseFM
I = 1 I = 2 I = 3
Síntese
• Síntesepormodulação– SínteseFM
WC Olo Garb (http://www.youtube.com/watch?v=R-hML-I5RV0)
TendênciaseAplicações
LocalizaçãoeIden?ficação
• Querybyhumming(QbH)– Fase1:criaçãodeumbancodedadoscomrepresentaçõesdealtoníveldealgumascanções
– Fase2:dadaumacançãoàiden?ficar,processá‐lademodoanálogoaosexemplosdobancodedados
– Devolveroexemplodobancodedadoscujamelodiamaisseaproximaàencontradanaentrada
LocalizaçãoeIden?ficação
• Querybyhumming(QbH)– Representaçõesmelódicas
LocalizaçãoeIden?ficação
• Querybyhumming(QbH)– Aplica?vos
• Midomi(www.midomi.com)
• Musipedia(www.musipedia.org)
LocalizaçãoeIden?ficação
• Monitoraçãoderádios– Técnica:“Impressãodigital”doáudio
• Oarquivoésegmentadoeumdescritoréextraidodecadasegmento
• Umalgoritmodeagrupamentoéaplicadoaoconjuntodedescritores,sendoeleitoumrepresentantedecadagrupo
• Oconjuntoderepresentantesdefineaimpressãodigital
• Oáudioquesequerclassificarpassapeloprocedimentodoprimeiroitemeosdescritoresob?dossãocomparadosàsimpressõesdigitaisdobancodedados
RecomendaçãoporSimilaridade
• iTunesGenius:recomendacançõesdalojaiTunescombaseumumamúsicaescolhidanabibliotecadousuário
• LastFM,Pandora:alistadeexecuçãoécompostademúsicassemelhantesàqueousuáriosugere
RecomendaçãoporSimilaridade
• Abordagensparaoproblemaderecomendaçãoporsimilaridade– Baseadaemconteúdo
• Recomendaçãofeitasimplesmenteapar?rdascaracterís?casdoproduto
– Colabora?va• Umprodutoérecomendadocombasenaspreferênciasdeusuárioscomperfilsemelhanteaodocliente
– Métodoshíbridos• Usamasduasabordagens,priorizandoafiltragemcolabora?va
NovasInterfaces
• PrincetonLaptopOrchestra(PLOrk)– hqp://plork.cs.princeton.edu/
NovasInterfaces
• PrincetonLaptopOrchestra(PLOrk)– Hardware
• Laptop,interfacefirewire,amplificador,alto‐falantehemisférico
– Sowware• Max/MSP,SuperCollider,Chuck
NovasInterfaces
• Interfacesmul?‐touche/outangíveis– Reactable(UniversitatPompeuFabra)
• hqp://mtg.upf.es/reactable/
NovasInterfaces
• Interfacesmul?‐touche/outangíveis– Reactable(UniversitatPompeuFabra)
NovasInterfaces
• Interfacesmul?‐touche/outangíveis– Reactable(UniversitatPompeuFabra)
NovasInterfaces
• Interfacesmul?‐touche/outangíveis– BluesMachine(IMPA)
• hqp://www.visgraf.impa.br/bm/
NovasInterfaces
• Interfacesmul?‐touche/outangíveis– BluesMachine(IMPA)
• iPhoneeiPodTouch(disponívelnaAppStore)
ReferênciasRecomendadas
ReferênciasRecomendadas
• TheComputerMusicTutorial(Cur?sRoads)
ReferênciasRecomendadas
• TheTheoryandTechniqueofElectronicMusic(MillerPuckeqe)– hqp://crca.ucsd.edu/~msp/techniques/latest/book.pdf
• PureData– hqp://puredata.info/
ReferênciasRecomendadas
• Music:AMathema?calOffering(DavidBenson)– hqp://www.maths.abdn.ac.uk/~bensondj/html/music.pdf