mtPd - Uma Interface Multitoque para Processamento de Áudio em Tempo Real

UMA INTERFACE MULTITOQUE PARA PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

aluno Jerônimo Barbosa jbcj@cin.ufpe.br orientador Geber Ramalho glr@cin.ufpe.br

o que teria os seguintes cenários em comum?

DJ AM...

JONNY GREENWOOD...

...E O LIVE CINEMA!

COMPUTADORES

MÚSICA

PERFORMANCE

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REALCSIRAC, de Trevor Pearcey e Maston Beard (1950) e Music I, de Max Mathews (1957).

Atualmente são populares entre músicos, DJs, artistas de novas mídias, que dispõem de diversas ferramentas do gênero.

CSOUND

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

Criada na década de 90, no MIT

Linguagem de programação poderosa pra processamento de sinais: a grosso modo, uma mistura de XML com C

Funcionamento baseado na edição de dois arquivos: um de partitura e outro de timbre

MAX

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

Surgimento em meados da década de 80, fortemente infl uenciado pelos sintetizadores modulares

Linguagem de programação visual (LVP) para processamaneto audiovisual

Paradigma orientado a fl uxogramase a “fi losofi a MAX”

PURE

DATA

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

Criado na década de 90,pelo mesmo fundador do MAX,

Miller Puckette

Free e Open-Source

Bastante poderosa, visava corrigir algumas falhas do antecessor, sendo ainda hoje bastante utilizada

Paradigma orientado a fl uxogramas

IMPROMPTU

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

Linguagem gratuita disponível apenas para ambientes OSX

Baseado em Lisp, a linguagem foca em processamento audiovisual com foco em Live Coding

Dá um bom suporte à colaboração

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

ABLETON LIVE

Surgida em 2001, é uma das ferramentas mais populares

entre DJs

Adota uma abordagem diferente de linguagens para

fazer o processamento em tempo real (DAW)

Abordagem mais intuitiva que às linguagens

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

VIMUS

Camada de interface amigável , para sistemas

expressivos (Pd)

Usa uma metáfora de caixas tridimensionais, segundo um

paradigma orientado a fl uxogramas

Acaba ignorando a questão da colaboração

FERRAMENTAS DE PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

REACABLE

Instrumento musical que preza pela expressividade, colaboração e impacto visual na performance

Devido a sua natureza, ignora funcionalidades básicas

PROBLEMASDilema da Usabilidade X Expressividade

Baixo grau de colaboração

Baixa impacto na performance do ponto de vista artístico

SOLUÇÃOmtPd! Uma ferramenta multitoque para processamento de áudio em tempo real

Tal como o Reactable e o ViMus, seria uma abstração do Pure Data -

substituindo seus principais elementos tradicionais por outros novos, segundo

uma abordagem multitoque

Dessa forma, com o mtPd poderemos programar a máquina apenas através de

gestos do dedo do usuário na mesa, desenhando objetos, conectando-os...

SOLUÇÃO

Abordagem multitoque (que pode ser considerada uma abordagem mais natural, por

prover uma interação táctil “direta” com o programa, sem a necessidade de artefatos

menos convencionais ao homem), aliada a uma interface elaborada segunda uma abordagem

centrada no Usuário.

Aplicações multitoques apresentam por natureza um alto grau de colaboração.

Abordagem multitoque aliado a um bom Design gráfi co e de Interação.

PROBLEMAS

Dilema da Usabilidade X Expressividade

Baixo grau de colaboração

Baixa impacto na performance do ponto de vista artístico

CONCEPÇÃO [1]Experiência em aplicações multitoque: Interface baseada em gestos sob contexto!

Paper prototyping – Aplicados a três usuários do Pure Data, programadores, músicos e artistas de novas mídias, em encontros que duraram em média 30 minutos.

Pediu-se para que os supostos usuários realizassem algumas funções básicas do Pd sem que qualquer instrução adicional lhe fossem fornecidas.

Essas instruções foram especifi cadas de modo que trabalhassem os elementos básicos do Pd, sendo esses por hora os principais alvos da pesquisa.

Ricardo Brazileiro, é ativista de software l ivre e artista de novas mídias. Já desenvolveu diversos trabalhos envolvendo a ferramenta, incluindo o Emotional Kernel Panic, trabalho apresentado no PdCon09, a principal conferência internacional sobre o Pd.

Jarbas Jacome, é musico e mestre em ciência da computação pelo Centro de Informática da UFPE. Em 2007 recebeu o Prêmio Rumos Itaú Cultural Arte-Cibernética Apoio a Pesquisa Acadêmica por sua pesquisa de mestrado, o ViMus, Além disso, a ferramenta é bastante presente no seu trabalho como musico.

Felipe Machado, programador, membro do estúdio l ivre, do CDTL e consultor/desenvolvedor em Cultura Digital no estado de Pernambuco. Já util iza há um bom tempo o Pd como ferramenta de trabalho.

OS USUÁRIOS...

CONCEPÇÃO [2]Elementos contemplados: Caixas (Object, Number, Message e Comment), Conexões, Patches/Subpatches e Funcionalidades Básicas (Salvar, Abrir, Copiar...)

Adotou-se uma abordagem de gestos sob contexto para substituir os menus tradicionais

Através de uma perspectiva centrada no usuário de concepção, tentou-se combinar os processos de concepção e validação

IMPLEMENTAÇÃOINFRA-ESTRUTURA DE HARDWARE E SOFWARE

IMPLEMENTAÇÃO

APLICAÇÃO• Python• PyMT• Biblioteca auxiliar (Dynamic

Patching)

TRABALHOS FUTUROS

Tornar o protótipo desenvolvido mais estável do ponto de vista técnico, de modo que esse realmente possa ser utilizado por

artistas como uma ferramenta de processamento de áudio

Realizar testes de validação mais aprofundados, de modo a fortalecer a tese

proposta neste trabalho

Terminar de implementar todas as demais funcionalidades do Pure Data ignoradas

neste trabalho, de modo que o mtPd seja de fato uma versão multitoque do Pd

Realizar testes de performance, comparando-os com o os demais

concorrentes do mtPd

RESULTADOSProtótipo Funcional, Implementado em um período de aproximadamente 3 meses!

Desenvolvimento marcado pela elevada complexidade técnica, que acabou por impossibilitar a implementação de todas as funcionalidades propostas inicialmente e comprometendo a etapa de validação

Proposta muito bem recebida na comunidade

UMA INTERFACE MULTITOQUE PARA PROCESSAMENTO DE ÁUDIO EM TEMPO REAL

aluno Jerônimo Barbosa jbcj@cin.ufpe.br orientador Geber Ramalho glr@cin.ufpe.br