Geração Automática de Acompanhamento Rítmico para o Violão: O Estudo de Caso Cyber-João...

Geração Automática de Acompanhamento Rítmico para

o Violão: O Estudo de Caso Cyber-João

Márcio Leal de Melo Dahia

Orientador: Geber Ramalho

Co-orientador: Carlos Sandroni

2

Motivação: O Violão Popular

Forma tradicional de tocar MPB: voz-e-violão

3

D´Accord Violão: Acompanhamento Rítmico

A partir do teclado do computador Liberdade ao usuário Trabalhoso

Aplicando padrões rítmicos em toda a música Pouco trabalhoso Sem qualidade

Violão MIDI Pouco acessível

Mão direita

Mão esquerda

4

Objetivos

Construir um sistema de geração automática de acompanhamento rítmico para violão Fácil Rico

5

Roteiro da Apresentação

O problema da geração de ritmos

Estado da Arte

Abordagem

Resultados

Conclusões

6

Sistemas de Acompanhamento Automático (SAA)

Dados Estilo musical Grade de acordes O que o sistema já tocou Melodia+outros instrumentos

Cria uma “linha musical” Melódica, harmônica ou rítmica

7

Dificuldades

Modelagem de Agentes Ambiente Complexo: dinâmico, não-determinístico,

contínuo, não episódico e “acessível” Objetivos: não são claros

Formalização do conhecimento Pouca explicação das escolhas musicais na

granularidade de notas Muitos fatores subjetivos

8

Dificuldades específicas de acompanhamento rítmico

Caso do ritmo ainda mais crítico Pouco estudo teórico sobre essa dimensão

Algumas perguntas... Quais os padrões rítmicos usados em um dado estilo? Como escolher um padrão específico em detrimento

dos outros? Melodia, harmonia e andamento influenciam? Como?

Como variar os padrões em uma música?

9

Roteiro da Apresentação

O problema da geração de ritmos

Estado da Arte

Abordagem

Resultados

Conclusões

10

Dois paradigmas principais de SAA

“Nota por Nota” Gramáticas, regras, probabilidades para escolher as

notas

Reuso de Fragmentos Encadeando fragmentos musicais encontrados em

uma biblioteca

11

Vantagens do Reuso de Fragmentos

Minimiza o problema da formalização Fragmentos = conhecimento

Escalável p/ diferentes instrumentos e estilos

Leva em conta expressividade

Naturalidade em relação ao acompanhamento rítmico

12

SAA baseado em reuso de fragmentos

Band-in-a-Box Ponderado Regras...

13

SAA baseado em reuso de fragmentos

ImPact Linha de contrabaixo em Jazz Biblioteca composta por 256 fragmentos

Propriedades musicais e contexto onde devem ser empregados

Raciocínio Baseado em Casos para recuperação dos padrões Mapeamento direto (fragmentos = casos, propriedades

musicais = atributos) k-nearest neighbors (k=1), atributos ponderados

Regras para refinar a escolha

14

Roteiro da Apresentação

O problema da geração de ritmos

Estado da Arte

Abordagem

Resultados

Conclusões

15

Abordagem Adotada

Partir da abordagem do ImPact Mais geral que BiaB Conhecimento profundo

Estudo de caso: Bossa Nova Grande importância para a música brasileira Bastante conhecido e fácil de avaliar Importância do acompanhamento rítmico no estilo Estudos musicológicos importantes sobre o estilo

16

Abordagem Adotada

Adaptar a abordagem ImPact requer Novos fragmentos musicais Novos atributos para descrever os fragmentos Novas regras para refinar a escolha

Devido as mudanças Contrabaixo para violão Melodia para ritmo Jazz para Bossa Nova

17

Padrões rítmicos do Cyber-João

21 padrões (a partir de performances de João Gilberto) 1 principal 7 cíclicos 7 viradas 4 de início de música 2 especiais

Todos duram 2 compassos binários (assinatura 2/4)

Apenas dois tipos de eventos possíveis: Bordão (polegar) “Puxada” (indicador, médio e anular juntos)

Em músicas lentas (< 80 spm) apenas alguns dos padrões podem ser usados

18

Principais Padrões Rítmicos

19

Atributos dos Padrões

Ritmo Harmônico (peso 4) Número de mudanças de harmonia em um segmento

Andamento (peso 5) Lento quando < 80 spm, rápido caso contrário

Início (peso 5) Se o padrão é usado no inicio de músicas

Freqüência de uso (peso 2) O quanto o padrão é usado. Máximo 5 e mínimo 1

Densidade (peso 1) Contagem do número de eventos no padrão. “Alta”, “média” e “baixa”

Virada (peso 3) Se o padrão é um padrão específico de virada

atributo Valores? peso

20

Atributos dos Padrões

Padrão Rítmico

Contexto Musical Propriedades Musicais

Atributo Valor Atributo Valor

Ritmo Harmônico 2º e 3º temposDensidade Média

Freqüência de uso 4

Andamento RápidoVirada Não

Início Não

C Dm

21

?

Regras (6 ao todo)

IIm7 V7 IGrau dos acordes

Número de ataques

Segmento

3 0REGRA:VIRADASE (melodia no último compasso <= 2 notas) E (se V7-I no último acorde do segmento e o primeiro do próximo) ENTÃO virada = sim; “use as outras propriedades musicais do padrão anterior”

22

Exemplo de Regra

Virada

REGRA:VIRADASE (melodia no último compasso <= 2 notas) E (se V7-I no último acorde do segmento e o primeiro do próximo) ENTÃO virada = sim; “use as outras propriedades musicais do padrão anterior”

23

Roteiro da Apresentação

O problema da geração de ritmos

Estado da Arte

Abordagem

Resultados

Conclusões

24

Avaliação dos resultados

Criação de mais dois sistemas Crazy-João: Totalmente aleatório

Patamar mínimo de qualidade João-in-a-box

Semelhante ao software Band-in-a-box

25

Avaliação dos resultados

Experimento 6 avaliadores

1 Musicólogo, 4 músicos profissionais e 1 amador 4 músicas

Desafinado, Chega de Saudade, Insensatez e Lígia Total de 12 amostras “cegas” Questionário para cada música

Número de erros por amostra Melhor e pior partes para cada amostra Se a amostra era estava em conformidade com a Bossa Nova Melhor das 3 amostras para cada música Excelente....

26

Resultados

Música Crazy-João João-in-a-box Cyber-João

Desafinado 0 3 5

Chega de Saudade

0 2 4

Insensatez 1 1 5

Lígia 0 3 3

TOTAL 1 9 17

27

Resultados

Resultados bastante satisfatórios Cyber-João avaliado como excelente em mais de 40% das vezes João-in-a-box, em 25%

Comentários “Cyber-João é mais estável” “Se um aluno meu tocasse essas músicas dessa maneira para

mim [em busca de comentários], diria que ele havia aprendido a tocar os padrões de Bossa Nova”

“Em alguns momentos um humano não faz melhor”

28

Roteiro da Apresentação

O problema da geração de ritmos

Estado da Arte

Abordagem

Resultados

Conclusões

29

Conclusões

Contribuições principais Sistema pioneiro de acompanhamento rítmico para

violão, baseado em uma abordagem generalizável Melhor compreensão sobre ritmo de violão em bossa

nova Abordagem ImPact é adaptável

Contribuições secundárias CBR

30

Conclusões

Trabalhos Futuros Estender para o outros estilos Integrar com a ferramenta de extração automática

31

FIM