Upload
jeraman
View
847
Download
0
Embed Size (px)
DESCRIPTION
Surgidas na década de 50, a partir do Music I de Max Mathews, as ferramentas para processamento de áudio desempenham atualmente um papel importante no cenário musical, utilizados ostensivamente por bandas e DJs, o que reflete as centenas de ferramentas para processamento de áudio em tempo real disponíveis no mercado. Neste contexto insere-se este trabalho: ele apresenta o mtPd: uma ferramenta de processamento de áudio em tempo real baseada em um ambiente multitoque, concebida de maneira a ser expressiva, intuitiva e colaborativa para lidar com performances artísticas ao vivo.
Citation preview
UMA INTERFACE MULTITOQUE PARA PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
aluno Jerônimo Barbosa [email protected] orientador Geber Ramalho [email protected]
o que teria os seguintes cenários em comum?
DJ AM...
JONNY GREENWOOD...
...E O LIVE CINEMA!
COMPUTADORES
MÚSICA
PERFORMANCE
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REALCSIRAC, de Trevor Pearcey e Maston Beard (1950) e Music I, de Max Mathews (1957).
Atualmente são populares entre músicos, DJs, artistas de novas mídias, que dispõem de diversas ferramentas do gênero.
CSOUND
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Criada na década de 90, no MIT
Linguagem de programação poderosa pra processamento de sinais: a grosso modo, uma mistura de XML com C
Funcionamento baseado na edição de dois arquivos: um de partitura e outro de timbre
MAX
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Surgimento em meados da década de 80, fortemente infl uenciado pelos sintetizadores modulares
Linguagem de programação visual (LVP) para processamaneto audiovisual
Paradigma orientado a fl uxogramase a “fi losofi a MAX”
PURE
DATA
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Criado na década de 90,pelo mesmo fundador do MAX,
Miller Puckette
Free e Open-Source
Bastante poderosa, visava corrigir algumas falhas do antecessor, sendo ainda hoje bastante utilizada
Paradigma orientado a fl uxogramas
IMPROMPTU
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
Linguagem gratuita disponível apenas para ambientes OSX
Baseado em Lisp, a linguagem foca em processamento audiovisual com foco em Live Coding
Dá um bom suporte à colaboração
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
ABLETON LIVE
Surgida em 2001, é uma das ferramentas mais populares
entre DJs
Adota uma abordagem diferente de linguagens para
fazer o processamento em tempo real (DAW)
Abordagem mais intuitiva que às linguagens
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
VIMUS
Camada de interface amigável , para sistemas
expressivos (Pd)
Usa uma metáfora de caixas tridimensionais, segundo um
paradigma orientado a fl uxogramas
Acaba ignorando a questão da colaboração
FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
REACABLE
Instrumento musical que preza pela expressividade, colaboração e impacto visual na performance
Devido a sua natureza, ignora funcionalidades básicas
PROBLEMASDilema da Usabilidade X Expressividade
Baixo grau de colaboração
Baixa impacto na performance do ponto de vista artístico
SOLUÇÃOmtPd! Uma ferramenta multitoque para processamento de áudio em tempo real
Tal como o Reactable e o ViMus, seria uma abstração do Pure Data -
substituindo seus principais elementos tradicionais por outros novos, segundo
uma abordagem multitoque
Dessa forma, com o mtPd poderemos programar a máquina apenas através de
gestos do dedo do usuário na mesa, desenhando objetos, conectando-os...
SOLUÇÃO
Abordagem multitoque (que pode ser considerada uma abordagem mais natural, por
prover uma interação táctil “direta” com o programa, sem a necessidade de artefatos
menos convencionais ao homem), aliada a uma interface elaborada segunda uma abordagem
centrada no Usuário.
Aplicações multitoques apresentam por natureza um alto grau de colaboração.
Abordagem multitoque aliado a um bom Design gráfi co e de Interação.
PROBLEMAS
Dilema da Usabilidade X Expressividade
Baixo grau de colaboração
Baixa impacto na performance do ponto de vista artístico
CONCEPÇÃO [1]Experiência em aplicações multitoque: Interface baseada em gestos sob contexto!
Paper prototyping – Aplicados a três usuários do Pure Data, programadores, músicos e artistas de novas mídias, em encontros que duraram em média 30 minutos.
Pediu-se para que os supostos usuários realizassem algumas funções básicas do Pd sem que qualquer instrução adicional lhe fossem fornecidas.
Essas instruções foram especifi cadas de modo que trabalhassem os elementos básicos do Pd, sendo esses por hora os principais alvos da pesquisa.
Ricardo Brazileiro, é ativista de software l ivre e artista de novas mídias. Já desenvolveu diversos trabalhos envolvendo a ferramenta, incluindo o Emotional Kernel Panic, trabalho apresentado no PdCon09, a principal conferência internacional sobre o Pd.
Jarbas Jacome, é musico e mestre em ciência da computação pelo Centro de Informática da UFPE. Em 2007 recebeu o Prêmio Rumos Itaú Cultural Arte-Cibernética Apoio a Pesquisa Acadêmica por sua pesquisa de mestrado, o ViMus, Além disso, a ferramenta é bastante presente no seu trabalho como musico.
Felipe Machado, programador, membro do estúdio l ivre, do CDTL e consultor/desenvolvedor em Cultura Digital no estado de Pernambuco. Já util iza há um bom tempo o Pd como ferramenta de trabalho.
OS USUÁRIOS...
CONCEPÇÃO [2]Elementos contemplados: Caixas (Object, Number, Message e Comment), Conexões, Patches/Subpatches e Funcionalidades Básicas (Salvar, Abrir, Copiar...)
Adotou-se uma abordagem de gestos sob contexto para substituir os menus tradicionais
Através de uma perspectiva centrada no usuário de concepção, tentou-se combinar os processos de concepção e validação
IMPLEMENTAÇÃOINFRA-ESTRUTURA DE HARDWARE E SOFWARE
IMPLEMENTAÇÃO
APLICAÇÃO• Python• PyMT• Biblioteca auxiliar (Dynamic
Patching)
TRABALHOS FUTUROS
Tornar o protótipo desenvolvido mais estável do ponto de vista técnico, de modo que esse realmente possa ser utilizado por
artistas como uma ferramenta de processamento de áudio
Realizar testes de validação mais aprofundados, de modo a fortalecer a tese
proposta neste trabalho
Terminar de implementar todas as demais funcionalidades do Pure Data ignoradas
neste trabalho, de modo que o mtPd seja de fato uma versão multitoque do Pd
Realizar testes de performance, comparando-os com o os demais
concorrentes do mtPd
RESULTADOSProtótipo Funcional, Implementado em um período de aproximadamente 3 meses!
Desenvolvimento marcado pela elevada complexidade técnica, que acabou por impossibilitar a implementação de todas as funcionalidades propostas inicialmente e comprometendo a etapa de validação
Proposta muito bem recebida na comunidade
UMA INTERFACE MULTITOQUE PARA PROCESSAMENTO DE ÁUDIO EM TEMPO REAL
aluno Jerônimo Barbosa [email protected] orientador Geber Ramalho [email protected]