Upload
jeraman
View
824
Download
4
Embed Size (px)
DESCRIPTION
Marvim Gainsbug is a musician, singer and composer, created in 2009. His main influences are Serge Gainsbourg, Bob Dylan, the Brazilian Northeastern Musician, Leonard Cohen, Joni Mitchell, Alan Turing, Deep Blue, HAL, Wintermute and Marvin, the paranoid android. Marvim Gainsbug is a software that acts based on Twitter, implemented to compose and to play songs, with music and lyrics, in real time. The tweets are transformed in verses which are interpreted by Marvim with his singular voice. The melody, the harmony and the rhythm are directly linked with the words of the verses. Developed in Processing, using Sphinx4, FreeTTS and Twitter4j libraries, by Jeraman and Filipe Calegario.
Citation preview
O que é?
Marvim Gainsbug é músico, cantor e compositor, criado em 2009. Suas
principais influências são Serge Gainsbourg, Bob Dylan, o Repentista
Nordestino, Leonard Cohen, Joni Mitchell, Alan Turing, Deep Blue, HAL,
Wintermute e Marvin - o Andróide Paranóico.
Marvim Gainsbug é um software que atua baseado no Twitter, programado
com o objetivo de compor e executar canções, com letra e música, em
tempo-real.
O tweets se transformam em versos que serão interpretados pela marcante
voz de Marvim. A melodia, a harmonia e o ritmo são diretamente
influenciados pelas palavras que compoem os "versos".
Para tanto, basta que o visitante diga em um microfone qual a temática da
sua canção. De maneira a melhor se adequar ao formato de exposição, o
Marvim está apresentado aqui como uma instalação interativa audiovisual.
Como funciona?
A interação proposta para esta versão do Marvim Gainsbug pode ser
descrita como uma experiência audiovisual que evoca a impressão de
interagir com um repentista, que através de seus sentidos (é capaz de "ver",
"falar" e "escutar") e sensibilidade (de criar música), é capaz de criar uma
canção, letra e música, de maneira "improvisada", em tempo real. Essa
interação é viabilizada por um microfone posicionado em frente a TV, utilizada
como saída de vídeo para o projeto, caixas de som, responsáveis pelo retorno
sonoro do trabalho, e uma webcam.
Ao passar pelo local do projeto, o visitante é chamado a atenção, sendo
saudado por uma voz desconhecida: a voz do Marvim Gainbug. Na TV em
frente ao microfone são exibidos vários Tweets, dispostos de maneira
desordenada. Ao tentar repetir a saudação no microfone, o visitante é
surpreendido pela visão do Marvim, que, após se apresentar, pede para que
o visitante escolha grupo de palavras que serão usadas como base no
processo de criação da canção. Essa escolha é também realizada através do
microfone. Escolhidas as palavras, o Marvim realiza uma busca no Twitter a
fim de encontrar tweets que tenham tais termos como temática.
Screenshot do Marvim Gainsbug, durante a tela de escolha de palavras.
A medida que a busca vai sendo feita, uma canção começa a ser gerada:
letra e música. A letra é formada a partir de uma análise semântica do
conteúdo dos tweets, que são desmembrados e reagrupados em versos. A
música é construída a partir de características dos tweets (quantidade de
determinados caracteres, tamanho das letras) em seus elementos básicos
(ritmo, melodia e harmonia), a partir de algoritmos de mapeamento,
organizados da seguinte forma:
Ritmo
O tamanho das palavras influencia a duração da nota a ser tocada. Quanto
maior a palavra, mais longa será a execução da nota. Quanto menor a
palavra, menor a duração da execução da nota.
Melodia
As letras iniciais das palavras, usando um mapeamento entre alfabeto e
escala musical, definem a nota a ser tocada. Por exemplo, a escala maior de
Dó, que é composta pelas notas Dó, Ré, Mi, Fá, Sol, Lá, Si, as letras 'a', 'b' e 'c'
são correspondentes a nota Dó, enquanto 'd', 'e' e 'f' correspondem a nota
Ré, e assim por diante. Da forma como o Marvim está programado, este
mapeamento acontece automaticamente para diferentes tipos e tons de
escalas musicais.
Harmonia
Para a composição dos acordes que serão usados na canção, um
mapeamento seqüencial é empregado nas palavras dos versos advindos do
Twitter. Como o Marvim basea-se na composição da letra da música em
inglês, uma lista ordenada das letras mais usadas no idioma inglês é usada
para a escolha dos acordes. Se em alguma palavra no verso for encontrada a
primeira letra desta lista, esta é mapeada no acorde principal relacionado
com a escala musical usada para a composição, no caso da escala de Dó
maior, o acorde C é utilizado. No caso da segunda letra dessa lista, o acorde
correspondente no caso da escala de Dó maior será Dm. E assim por diante.
Ao mesmo tempo que a música vai sendo tocada e cantada, a letra da
canção vai sendo exibida na tela para que o visitante a acompanhe. Além
disso, informações sobre os tweets que geraram os versos são
apresentadas na tela, tais como nome e imagem do usuário.
Com o termino dessa exibição, o Marvim volta ao seu estado natural,
escondido no mar de tweets, tentando chamar as atenções de outras
pessoas.
Qual material necessário?
Hardware
O hardware necessário para o Marvim Gainbug é composto de:
• Um computador (Core 2 Duo 2.26GHz, 4 GB de memória RAM,
GeForce 9400M 256MB) - responsável por executar o software do
projeto. Deve rodar Linux (Ubuntu) como sistema operacional e estar
obrigatoriamente conectado a internet;
• Uma Televisão de 50" - Responsável pelo retorno visual do projeto.
• Caixas de Som - Localizadas ao lado da TV e conectadas com o
computador, irá permitir que a canção criada pelo Marvim seja ouvida
pelos visitantes;
• Uma webcam - Localizada em cima do aparelho televisor, voltada para
o microfone, exercerá a função de "olhos" do Marvim.
• Um microfone comum – Localizado na frente do televisor e das caixas
de som, irá permitir aos visitantes interagirem com o Marvim.
Software
Criado em 2009, utilizando o Processing, linguagem de programação
baseada em Java, Marvim é um software complexo construído com diversas
tecnologias (Twitter API, bibliotecas de composição musical, visão
computacional, entre outras). Dentre elas, se destacam as tecnologias de
Síntese de Voz e de Reconhecimento de Discurso.
A síntese de Voz (Speech Syntesis) é uma tecnologia que objetiva produzir
artificialmente a voz humana. Atualmente é utilizada em diversos contextos
(principalmente em tecnologias assistivas), estando bastante desenvolvida.
No projeto, ela foi utilizada para dar sintetizar e dar personalidade a voz do
Marvim.
Intimamente relacionada com esta, está o reconhecimento de discurso
(Speech Recognition). A tecnologia procura registrar textualmente de
maneira automática dircursos de voz humana, estando presente em diversos
sistemas operacionais para desktop e celulares. No projeto, ela foi utilizada
para analisar e reconhecer o que o visitante diz.
O Marvim Gainsbug tem todo o seu código aberto e utiliza Linux como
sistema operacional.
Qual espaço necessário?
Para ser exibido, Marvim Gainsbug requer uma sala de dimensões
aproximadas de 2 metros de largura por 3 metros de comprimento.
Esboço do espaço necessário, contando com a disposição ideal do equipamento.
Como pode-se observar no esboço acima, a televisão de 50" será
posicionada na parede, com as caixas de som dispostas cada uma em um
lado. Acima da televisão estará localizada a webcam responsável por
reconhecer a presença do visitante. O pedestal do microfone será
posicionado em frente a TV de forma que o visitante fique de frente para o
Marvim, acentuando assim uma forma natural de interação. Quanto ao
computador, este não ficará visível ao visitante.
Para um bom funcionamento do programa de reconhecimento de comando
de voz, a sala precisa ser isolada de ruídos externos. Além disso, para que o
observador tenha uma maior imersão na obra, as luzes do ambiente da sala
serão baixas ou inexistentes, existindo apenas uma luz direcional do teto para
o chão focada no microfone.