Somo Sbcm 2015

  • Upload
    supji

  • View
    29

  • Download
    0

Embed Size (px)

DESCRIPTION

paper

Citation preview

  • SoMo:UmInstrumentoMusicalbaseadoemMovimentoCaractersticasEstticaseTcnicasepotenciaisUsos

    TiagoBrizolaradaRosa1,MarcosGoularteMoritz

    1DepartamentodeMsicaUniversidadeEstadualdeMaring(UEM)[email protected],[email protected]

    Abstract. This paper describes the conception, development and current characteristics of a movementbased musical instrument developed using the free opensource tools Pure Data and Processing. The instrument can be assembled using an usual personal computer and even with a low cost video camera (we use PSEye) we attained a responsiveness of up to 100 frames analysed per second and realtime audio generated. The system was tested in Linux Ubuntu and Windows 7 operating systems. Along with its low cost, the project is opensource, turning it into more than a musical instrument, a potentialtoolforeducationandexperimentation.Resumo. Este artigo descreve a concepo, desenvolvimento e atuais caractersticas de um instrumento musical baseado em movimento desenvolvido utilizando as ferramentas livres de cdigo aberto Pure Data e Processing. O instrumento pode ser montado usando um computador pessoal comum e mesmo com uma cmera de vdeo de baixo custo (ns usamos a PSEye) obtivemos uma responsividade de at 100 quadros analisados por segundo e udio gerado em tempo real. O arranjo foi testado nos sistemas operacionais Linux Ubuntu e Windows 7. Alm de seu baixo custo, o projeto de cdigofonte aberto, tornandoo mais que um instrumento musical, uma potencialferramentaeducacionaleexperimental.

    1.IntroduoEste artigo descreve as caractersticas tcnicas e estticas do estado atual de um instrumento musical digital baseado em movimento, desenvolvido de forma independente, com cdigo aberto hospedado em https://bitbucket.org/mmoritz/somo. Iniciamos apresentando como nossa concepo dialoga com o conceito de instrumento musical.

    1.1DoconceitodeInstrumentoMusical

    O conceito de instrumento musical vem h mais de cem anos sendo revisitado. Em 1901 acontecia a primeira audio pblica do Telharmonium, instrumento eletromecnico capaz de mimetizar diversos instrumentos tradicionais, produzir sons jamais ouvidos e de transmitir sua msica ao vivo atravs de linha telefnica e tambm de criar oscilaes na rede eltrica e interferncias nas conversas telefnicas (Brend, 2012). Logo no comeo do sculo XX, o movimento futurista aborda recursos eletrnicos e de outras tecnologias como parte de sua esttica, trazendo como instrumentos musicais materiais que at ento jamais seriam assim denominados como turbinas de avio e buzinas. Em meados do sc. XX temos na Frana a Musique Concrte, concebida por

  • Pierre Schaeffer, com a teorizao de objeto sonoro passando pela experincia que o compositor batiza de acusmtica, onde importa somente o som e no suas fontes. A msica concreta elaborada manipulando a prpria fita magntica na qual h sons gravados. Na Alemanha, a Elektronische Musik se prope a produzir msica por meio exclusivamente eletrnico , explorando sons at ento no disponveis aos msicos ao 1menosnodeformacontrolada.

    No seu Trait des Objets Musicaux (Schaeffer 1961, p. 40), Schaeffer, pai da Msica Concreta, coloca que todo dispositivo que nos permite obter uma variada coleo de objetos sonoros ... mantendo no seu cerne a permanncia de uma causa um instrumento musical, no sentido tradicional de uma experincia comum a todas as civilizaes (traduo livre). Ruviaro (2012) prope uma extenso da definio de Schaeffer para trabalhar o conceito nas Lorks (Laptop Orchestras), onde comumente h uma frico entre a expectativa de uma experincia noacusmtica (os msicos esto no palco executando seus laptops) e a experincia de fato onde plateia no se apresenta com clareza uma relao entre os sons e a presena dos instrumentistas com seus laptops e falantes (esse tipo de experincia com msica computacional precisamente a motivao do survey conduzido por Magnusson and Hurtado (2008) com praticantes de instrumentos digitais e acsticos). Para Ruviaro, os trs conceitos a seguirdevemserlevadosemcontaaopensarmoseminstrumentomusical:

    Presena: a aparncia fsica do instrumento e como o instrumentista se posicionaemrelaoaele

    Movimento: gestos e movimentos necessrios para executar o instrumento gestos e movimentos que so idiomticos mesmo sem gerar som uma mxima relativa aos instrumentos musicais tradicionais: quandoomovimentopra,osompraoucomeaaextinguirse

    Histria: um instrumento faz parte de uma ou mais culturas. H contextos onde ele costuma estar, repertrio tpico e forma tpica de execuoparacadacontexto.

    1.2ConcepoInicialdoSoMo

    A ideia bsica do SoMo (das palavras som e movimento, e recordando soma corpo, em grego) a de um instrumento cuja interface o vdeo, capturando o executante. Foi tentadora a ideia de utilizar o Microsft Kinect: com ele poderamos mapear as 20 joints fornecidas pelo sensor (cabea, mos, quadris, ps, etc) a parmetros de um sintetizador. No enveredamos por esse caminho por causa da baixa taxa de dados que esse sistema fornece: 30 pacotes de dados por segundo (ou quadros por segundo, abreviados doravante por FPS frames per second), o que s permitiria fineza na dimenso temporal com movimentos lentos. Segundo Menezes (2004), sees 3.4.4, 3.4.5], podemos dizer que o limiar de reconhecimento dos sons por parte do ouvido da ordem de 50 ms para o que 30 FPS bastariam , mas objetos sonoros de mesma provenincia instrumental possuindo variao de altura entre si podem ser distinguidos com apenas 15 ou 20 ms muito menos que a durao de um quadro a 30 FPS, que de

    1 O que no excluiu a criao de obras mistas por parte desses compositores. Por exemplo, a pea Mixtur, de Karlheinz Stockhausen, 1964, foi composta para orquestra, trs osciladores senoidais e 2 moduladores emanel.

  • 33,3 ms. Assim, consideramos 30 FPS uma taxa desconfortvel por estar ao redor de limitaes do ouvido. Alm disso, na seo 3 falamos sobre como as altas taxas de FPS conseguidas na captura e processamento do vdeo foram vitais no s para o udio, mas para a experincia de imerso do executante com o uso do feedback visual (a deciso pelofeedbackfoifeitaduranteodesenvolvimentoeabordadanassees2.1.5e3.3).

    Figura 1. SoMo em uso. A projeo representa as alteraes no vdeo em relao ao frame anterior e serve como feedback para o executante. Ao centro, sobre a mesa, encontra-se a cmera PSEye. Os alto-falantes no aparecem na imagem.

    Ao eleger o vdeo como interface h as desvantagens de no termos a abstrao das partes do corpo do executante, mas pudemos nos valer de outras possibilidades abertas: podemos usar objetos nos afastar ou aproximar da cmera vontade (enquanto o Kinect tem uma cobertura pequena de distncias possveis da pessoa ao sensor) ou mostrarqualquerporodocorponovdeoaoinvsdocorpotodo.

    Podemos dizer que as quatro seguintes decises estticas no totalmente independentesforamaschavesparaguiaraconstruodoinstrumento:

    1. O instrumento no deve ser um simples sonificador de dados, como os instrumentos tradicionais tambm no so. At mesmo quando tocados de modo alheio ao fazer artstico, como por robs ou quando um instrumento excitado acidentalmente (numa queda, ao ser atingido por algo), percebemos que podem gerar uma gama muito grande e interessante de sons. Dizer que um piano um sonificador de dedos pode at ter rigor de um ponto de vista estritamente mecnico,masfazpoucosentidoaofalarmosdemusica

    2. O som deve ser produzido pelo movimento (mudanas no vdeo) e no somente pela presena (estado instantneo do vdeo). Essa deciso encontra eco na caracterstica de movimento dos instrumentos musicais levantada na seo 1.1. Uma leve diferena que no SoMo, quando no h movimentos no vdeo ainda restaumsomembaixaintensidade

    3. O som deve ser sintetizado ao invs de serem trabalhadas sonoridades tradicionalmente consideradas musicais. Porque almejamos uma experincia onde o executante sente estar extraindo material sonoro do seu movimento e no

  • realizando uma experincia de manipulao/transformao de certos sons ao seu movimentoouefetuandoumDJing 2

    4. Esta deciso est aparentada primeira. A experincia de tocar o instrumento no deve se esgotar facilmente, deve existir uma profundidade. No h problema que o instrumento no seja fcil de dominar inicialmente ningum sai fazendo musicanumvioloncelonaprimeiratentativa.

    OsdetalhesdadescriodosomdoSoMoestonaseo2.2.

    2.MateriaiseMtodosO arranjo da plataforma atual de testes : cmera Playstation PSEye (o preo de uma nova varia entre R$ 60,00 e R$ 100,00) no modo de 100 FPS um notebook com processador Intel Core i3 2.20 GHz, 3 GB de RAM e sistema operacional Linux tivemos dificuldades em fazer a cmera PSEye funcionar com o Java no Windows uma placa de udio PreSonus AudioBox 22VSL. Os softwares utilizados so todos de cdigofonte aberto. Para a captura, processamento e gerao de vdeo fizemos um programa em Java utilizando as bibliotecas do Processing 2.0 , com o ambiente de 3desenvolvimento integrado Eclipse. A cada quadro do vdeo passamos os dados da sua anlise para um patch da plataforma de programao de fluxo de dados Pure Data 4Extended (Pd,emabreviatura). 5

    2.1Processamentodovdeo

    O processamento do vdeo tem dois objetivos: 1) detectar movimentos, analislos e traduzir essa anlise na forma de quantidades geomtricas (doravante denominadas descritores) a serem enviados como parmetros para o sintetizador de udio 2) fornecer feedbackparaoinstrumentistaacercadeseuprpriomovimentoetrajetria.

    Ambas as abordagens devem ser otimizadas, visto que buscase a anlise na mesma taxa de atualizao da cmera, que pode alcanar 100 FPS. As principais etapas lgicasestoresumidasnaTabela1.

    Tabela 1. Algoritmos de processamento de vdeoAlgoritmo Objetivo

    AnlisedosSetores DetectarmovimentoAtenuarmenoresvariaes,inclusiverudo

    Clusterizao(opcional) Reconhecer agrupamentos isolados de setores ativos (chamados de clusters).

    EnvoltriaConvexa Definir um polgono que englobe os setores de um cluster e criar um objeto que definiremos como corpo com funo de complementar o feedback visual e disponibilizar propriedades geomtricas associadas a umcluster.

    2OtrabalhodoDJ(discjquei).3http://processing.org4OsprogramasfeitoscomoPureDatacostumamserdenominadospatches.5https://puredata.info/downloads/pdextended

  • 2.1.1OSetordeAnlise

    Ambos os requisitos deteco de movimento e gerao de feedback so alcanados atravs da implementao de uma abstrao que chamamos de setor de anlise de vdeo e implementamos atravs da classe AnalysisSector, dividindo a tela em uma grade de setores retangulares (Figura 2). Cada setor uma instncia desta classe, contendo atributosquedefinem:

    Aposiodosetor Otamanhoempixelsnahorizontalenavertical A amostra da anlise: quantidade de pixels a serem analisados no setor

    (definimos o padro como dos pixels abarcados pelo setor), como esquematizadonaFigura3

    Acorextradadosetor.

    Figura 2. Os setores no pretos representam pores da imagem onde houve movimento (as linhas brancas so apenas para fins de ressaltar os setores nesta imagem e o polgono representando a envoltoria convexa est omitido). A estratgia de diviso em setores minimiza o efeito de rudos e economiza processamento.

    A cor extrada de um setor a mdia das cores dos pixels da amostra do setor. Essa mdia ajuda a suavizar variaes de um frame para outro, evitando falsos positivos advindos de rudo e movimentaes sutis no vdeo. Se de um frame para o prximo essa mdia varia alm de uma tolerncia previamente fixada, determinamos que houve movimentonaquelesetoreelepassaaestarnoestadoativo.

    Figura 3. Representao esquemtica de um setor de anlise de 7 x 5 pixels. Apenas os pixels indicados com um crculo tero suas cores contabilizadas na mdia que confere a cor extrada do setor.

  • O fato da amostra ser menor que a quantidade de pixels abarcados pelo setor (ao redorde)confereeconomiadeprocessamento.

    Naconfiguraoatualagradedesetorestem80colunase48linhas.

    2.1.2Corpos

    Utilizando os setores ativos mais externos construmos a envoltria convexa (o conjunto de todas as combinaes convexas de envoltrias formadas pelos centros dos setores ativos), que chamaremos simplesmente de corpo (Figura 4). A representao do corpo como envoltria convexa favorece a extrao de propriedades geomtricas, faz parte da estratgia em fase de avaliao de identificar vrios corpos e utilizada no feedback visualcomoumpolgonocomtransparncia,comopodemosvernasFiguras1,4e5.

    2.1.3SeparaoemClusters(opcional)

    Para que pudssemos identificar movimento de partes isoladas da imagem, i.e., vrios corpos, elaboramos um algoritmo capaz de interpretar se a nuvem dos setores ativos pertence ou no uma nica fonte de movimento, na forma de uma verso do algoritmo de classificao KMeans que, dado um nmero de agrupamentos (clusters), associa cada setor a um cluster. Neste algoritmo, um nmero k de centros so , i 1, ]ci [ k posicionados arbitrariamente e cada setor classificado como pertencente ao cluster cujo centro est mais prximo de sua posio. Os centros so recalculados a cada iterao pela mdia da posio do setores associados cada cluster. O algoritmo convergequandonenhumsetormudadeclusteremduasiteraesconsecutivas.

    O resultado deste algoritmo depende da posio inicial dos centros, que aleatria, e o algoritmo precisa rodar diversas vezes por frame para garantir um resultadoconfivel.

    Cada cluster ser matria prima para construo de um corpo. A Figura 4 mostra um exemplo com reconhecimento de 2 clusters. No entando, na configurao padro do SoMo,nohclusterizaoconsideramossemprequehumnicocorpo.

    Figura 4. Grupos de setores so classificados como pertencentes ao cluster cujo centro se localiza mais prximo dele. Os pontos em cinza claro pertencem ao cluster 1, os em cinza escuro ao cluster 2. Os demais pontos so setores inativos. Nas configuraes padro do SoMo essa clusterizao no utilizada - definimos apenas um corpo.

  • 2.1.4.Anlisedomovimento

    Acadaframesoextradososseguintesdescritoresdocorpo(vertambmFigura7):n.Quantidadedesetoresativos

    c.Coordenadahorizontaldocentridedossetoresativos

    w. Cobertura horizontal compreendida pelos setores modificados no ltimo frame

    1.Distnciaverticaldolimitesuperiordocorpoaocentrodatela

    2.Distnciaverticaldolimiteinferiordocorpoaocentrodatela

    Figura 5. O vdeo de feedback consiste dos setores que acusaram modificao do frame anterior para o atual, mais um poligono representando a envoltria convexa do corpo definido por esses setores. Dessa envoltria so extrados os seguinte descritores, para serem mapeados depois nos parmetros do sintetizador: cobertura horizontal w, centroide c, extremos verticais 1 e 2 e quantidade de centrides modificados n (este no representado na imagem).

    2.1.5.Feedback

    O vdeo de feedback fica voltado para o executante e exibido a 100 FPS. Como mostrado nas Figuras 1, 2, 4, 5, 6, apenas os setores ativos so exibidos no vdeo, sob fundo preto. Os setores que estavam ativos nos quadros anteriores tambm aparecem, com um grau de transparncia proporcional a seu tempo de existncia, gerando uma clararepresentaodatrajetriadosmovimentos(Figura6).

  • Figura 6. O feedback de vdeo inclui setores ativos de quadros anteriores, conferindo a noo de trajetria. Na figura temos um movimento rpido de brao. Esquerda: feedback de vdeo gerado a 60 FPS. Direita: feedback de vdeo a 100 FPS. Em ambos os casos a captura de vdeo est a 100 FPS.

    A envoltria convexa do eventual corpo detectado exibida como um polgono vermelho com transparncia. Portanto, sua presena indica que o movimento est influenciandooudio(omitimossuapresenanaFigura2).

    2.2.Geraodoudio

    O udio gerado por um sintetizador desenvolvido na forma de um patch de Pure Data. Os valores dos descritores extrados do vdeo so enviados continuamente do aplicativo Java para o patch via protocolo OSC (Open Sound Control) e cada um deles passa por uma funo de calibrao e ento roteado para um parmetro diferente do sintetizador.

    Indo ao encontro das decises estticas apresentadas na Introduo, a sonoridade buscada trabalha com os limites da sensao de altura definida, em um patch consistindoem:

    OsSo ("oscilador solitrio"). Um oscilador senoidal que muda de frequncia dezenas de vezes por segundo, sempre para uma frequncia aleatoriamenteescolhidadentrodecertointervalo.Seusparmetros:

    AmplitudeA FrequnciacentralF IntervalooujaneladefrequnciasW PerododemudanadefrequnciaT

    Distorter (opcional). Um nvel de valor D adicionado ao sinal final, no sentidodesaturarosinal,distorcendooudio

    Uivo (opcional). Um oscilador senoidal com frequncia igual a F/2 (metadedafrequnciacentraldoOsSo).

    O som espacializado em estreo de forma coerente com a posio horizontal do centroide c. Quando no h movimentos no vdeo ainda resta um som em baixa intensidade.

  • OsparmetrosestomapeadoscomoindicadonaTabela2:Tabela 2. Mapeamento dos descritores do vdeo para os parmetros do

    sintetizador (width e height so as dimenses do video)Parmetrodosintetizador Intervalo Descritordovdeo IntervaloAmplitudeA {0,1.2} n. Quantidade de setores ativos no

    ltimoframe{0,80x40} 6

    FrequnciacentralF {100, 460} Hz

    c. Coordenada horizontal do centride docorpo

    {0,width}

    JaneladefrequnciasJ {2, 460} Hz

    w. Cobertura horizontal compreendida pelossetoresativosnoltimoframe

    {2,width}

    Perodo de mudana de frequnciaT

    {10, 20} ms

    1. Distncia vertical do ltimo setor ativomaissuperioraocentrodatela.

    {height/2.,0}

    NveldoDistorterD {0,1} 2. Distncia vertical do setor ativo mais inferioraocentrodatela.

    {height/2.,height}

    Os baixos valores de T fazem com que mesmo com apenas um oscilador (caso do uivo desligado), grandes quantidades de frequncias sonoras estejam presentes em curtos intervalos de tempo. Podemos pensar no OsSo como uma espcie de sntese de frequncia modulada (FM) com a modulao sendo dada por um sinal aleatrio com caractersticas dadas pela frequncia central F e janela de frequncias J no exatamente o caso porque no OsSo a senide no muda de frequncia antes de completarumoumaisciclos.

    Figura 7. Patch do sintetizador, mostrando o mapeamento dos descritores do vdeo para os parmetros do sintetizador, constitudo pelos sub-patches [master_level], [OsciladorSolitario], [uivo], [distorter].

    Ao instrumentista diminuir a janela de frequncias J atravs da ocupao de menos espao horizontal na tela, obter um som parecido com um vibrato errtico em torno de uma nota, e pode ser trabalhoso manter uma pequena poro do vdeo ativa sem deslocarse horizontalmente. Ao aumentar J, o som ganha caractersticas de um borbulhar, agregando um pouco de rudo quando a janela demasiadamente aberta, o que pode ser amenizado aumentando T se o instrumentista atingir pores superiores do vdeo. O uivo ligado fornece a possibilidade de construir linhas meldicas sem o esmero

    680x40soasdimensesdagradedesetores.

  • de manter uma pequena janela J alm, de obviamente, mudar a qualidade (timbre) do som. O Distorter, mais pronunciado quando o instrumentista alcana pores inferiores dovdeo,umrecursotimbrstico.

    3.Resultados

    3.1.Implementao

    Do lado tcnico, conseguimos com o arranjo de baixo custo descrito na seo 2.1. utilizar a cmera PSEye a 100 FPS (no conseguimos acessar os modos de captura de 125 FPS) executar o aplicativo Java tambm a 100 FPS isto , depois de bastante otimizao conseguimos fazer a anlise completa de cada frame antes de receber o prximo e atualizar o sintetizador no Pd de acordo com os parmetros em tempo real. Testes sem uma placa de udio dedicada tambm no mostraram prejuzo da experincia.

    3.2.Uso

    O parmetro de periodo de mudana de frequncia T, mapeado pelo descritor de distncia vertical superior 1, pouco influenciou na experincia. E se aumentarmos o intervalo de Ts possveis, a sonoridade muda demasiadamente o ouvido passa a tentar acompanhar cada variao de frequncia , de um modo que nos parece perturbar a coerncia da experincia. Portanto, consideramos o parmetro T e seu mapeamento comonoacabados.

    Algumascaractersticasqueressaltamosdostestespreliminares:

    Imerso Nos testes preliminares, executantes advindos de experincias distintas msica, artes visuais, artes cnicas, cincias exatas, entre outras avaliaram o usodoSoMocomodegrandegraudeimersoeestimuladordaexplorao.

    Funcionamento os princpios do funcionamento do instrumento no foram bvios aos participantes, embora facilmente explicveis aos msicos. Aos no msicos bastou uma explicao como: imagine que voc tem um monte de macaquinhos aos seus dois lados, espalhados sobre as teclas de um piano e tocandoas freneticamente. Quanto mais espao voc ocupar na horizontal do vdeo, mais espalhados no piano estaro os macaquinhos, gerando sons ento por uma grande faixa desde graves at agudos. Quanto menos espao horizontal voc ocupa, mais os macaquinhos estaro junto a voc, tocando, assim, um pequeno intervalo de teclas. J seus movimentos na verticalmudamasonoridadedoinstrumento.

    Percusso O carter imediato da resposta sonora e visual do sistema possibilitou o uso do instrumento como percusso. Mesmo questes de variao de sonoridade como as relatadas por Silva et al (2013) como difceis de conseguir com interfaces digitais, podem ser alcanadas com variao de origem e sentido do gesto, forma do objeto mvel (mo aberta ou fechada, brao, objeto, proximidade com a cmera, etc), presena ou no de Clipper e Uivo e ainda a presena de mais partes mveis, para abertura da janela de frequncia W. Tudo isso (exceto a presena/ausncia do Distorter e Uivo) ainda pode ser variado durante o gesto. Novamente, acreditamos

  • que as estratgias que adotamos tiveram sucesso em conseguir a experincia com profundidadequefoinorteadoradoprojeto.

    Formas de uso At o momento, diversas formas de uso foram observadas. Em uma delas, um instrumentista se posiciona num extremo lateral e o outro, no extremo oposto e tocam o instrumento alternadamente quando querem uma janela pequena e juntos quando querem uma janela (bastante) grande . Em outra, um instrumentista toca 7trades alternando movimentos de uma mo, cabea e a outra mo. Com Uivo e Distorter ligados, o abrir e fechar de uma mo prxima cmera, deslocada esquerda, soacomoumcoraopulsante.

    Gestuais tpicos Gestos tpicos foram o mover rpido de dedos para obter corpos bem localizados e o abaixar de um brao ou os dois ou o corpo todo com braos abertos,gerandosonoridadestipicamenteencorpadasedelineadasnotempo.

    3.3.Feedbackvisual,imerso

    Se nos remetermos ao Theremin, um dos instrumentos eletrnicos mais antigos e de maior sucesso e longevidade, podemos vir a pensar que num instrumento todo feedback (excetoosonoro,claro)podeserdispensado.

    No entanto, Magnusson e Hurtado (2008) mostram que a ausncia de feedback ttil de vrios instrumentos digitais muito sentida. No nosso caso, verificamos que a implementao do feedback de vdeo, inicialmente apenas para anlise, mudou radicalmente a experincia. Isso se deve em grande parte pelo instrumento no detectar movimentos mnimos, em razo de sua resoluo e de um limiar programado. Tendo o feedback, ao comear a se movimentar, o instrumentista percebe o quanto e que partes de seu corpo esto se movendo, e quando o movimento atinge o limiar, a envoltria convexa do corpo gerado exibida, deixando claro que o movimento passa a gerar e modificarosom.

    O fato de nem todo movimento influenciar o instrumento props naturalmente aos instrumentistas uma estratgia de moverse sorrateiramente at prepararse para executar determinados movimentos. Consideramos que esse tipo de uso, bastante constante, foi um fator contribuinte no estabelecimento de perodos de grande imerso dosinstrumentistas.

    Como o feedback visual exibe os rastros do movimento, avaliamos que para no prejudicar essa imerso, deveramos ter grandes FPSs de vdeo exibido, o que nos levou a chegar aos 100 quadros por segundo caso contrrio, a trajetria aparece muito cortada, como uma imagem estroboscpica (ver Figura 6). No fosse esse fator de imerso, poderamos ter usado 60 FPS, que haviam se mostrado satisfatrios para controledosintetizadorequejsoumaaltataxaparavdeo.

    4.ObservaesfinaiseTrabalhosfuturosA transformao em diferentes instrumentos pode ser feita facilmente roteando os descritores a qualquer outro sintetizador em Pd ou em outra platafora que possa interpretaroprotocoloOSC,ouseja,tratandoomdulodevideocomoumainterface.

    7Exemplo,entre0:05e00:10sdovdeohttps://www.youtube.com/watch?v=XWqqz_XgEHU#t=5

  • Acreditamos que em razo do baixo custo do arranjo, o SoMo ou modificaes dele tem grande potencial para o uso no contexto educacional (no necessariamente em nvelsuperior).

    Futuramente, pretendemos explorar possibilidades de outros descritores, como razo largura/altura do corpo, eixo principal, velocidade do centroide e mesmo anlises mais complexas que possam dizer mais do que se passa com o corpo do instrumentista por exemplo, utilizando viso computacional. Tambm aventamos a possibilidade de identificareresponderagestuais.

    O SoMo ainda um instrumento novo. Podemos, por fim, propor descompromissadamente formas de execuo que ainda no experimentamos a contento,como:

    Lanar objetos movimentos tipicamente rpidos de objetos lanados so possveis graas responsividade do SoMo. Com isso, conseguese gestos que noseriampossveisutilizandoocorpo.

    Pndulo objetos pendurados podem ser excitados pelo executante. A caracterstica rtmica desse tipo de dispositivo pode vir a ser esteticamente interessante.

    Ponto luminoso apagar as luzes faz com que um objeto luminoso como um telefone celular, um fsforo atue como um ponto voador, entidade mais difcildeobtercommovimentoscorporais

    Plataformas ao atuar sobre uma plataforma, temse um renivelamento das transformaesverticaisdetimbre

    5.AgradecimentosA lder Sereni por testes iniciais e ideias, Dimitri Camorlinga e Fabio Yudi Yokomizu por testes, ideias e experimentaes em montagens no curso de Artes Cnicas na UniversidadeEstadualdeSantaCatarinaUDESC.

    6.RefernciasBrend, M., The Sound of Tomorrow: How Electronic Music Was Smuggled into the

    Mainstream,BloomsburyPublishingUSA,2012.

    Ruviaro, R. (2012) From Schaeffer to *Lorks: An extended definition of Musical Instrument in the context of laptop orchestras, In: Proceedings of the 1st Symposium on Laptops Ensembles and Orchestras, Louisiana State University, BatonRouge,Louisiana.

    Magnusson, T. and Hurtado, M. (2008) The Phenomenology of Musical Instruments: A Survey, http://econtact.ca/10_4/magnusson_hurtado_survey.html (acessado em 12/09/2015).

    Menezes,F.,AAcsticaMusicalemPalavraseSons,AtelieEditorial,2004.

    Schaeffer, P., Trait des Objets Musicaux. Traduccin de Araceli Cabezon de Diego, AlianzaEditorial,2003.

  • Silva et. al. (2013) Avaliando Interfaces Gestuais Para Prtica de Instrumentos Virtuais de Percusso, In: Simpsio Brasileiro de Computao Musical, Escola de Msica de Braslia,DistritoFederal.