Universidade Federal do Rio de Janeiro

Rodrigo Ferreira Rodrigues

Um Mundo Além do SomPesquisa em Design Multimídia e Cultura Surda para Proposta de Instalação Interativa

Rio de Janeiro

2015

Universidade Federal do Rio de Janeiro

Rodrigo Ferreira Rodrigues

Um Mundo Além do SomPesquisa em Design Multimídia e Cultura Surda para Proposta de Instalação Interativa

Rio de Janeiro

2015

Monografia para Trabalho de Conclusão de Curso e obtenção do Grau de Bacharel em Comunicação Visual Design na Universidade Federal do Rio de Janeiro.

Orientadora:Prof. Dra. Maria Luiza Fragoso

Primeiramente agradeço a Deus e ao apoio da minha família: a minha irmã pelo carinho

e companhia desde a infância juntos, a meu irmão por me fazer criança de novo, a minha

mãe por me ensinar a persistência e a manter a alegria e a meu pai por me apoiar em

minhas decisões e seguir meus sonhos. Aos meus amigos mais próximos do coração,

apesar de toda a distância que possa existir, e aos que me acompanham diariamente

um enorme obrigado por também terem sempre me apoiado. Por fim, aos meus profes-

sores do curso de Comunicação Visual da UFRJ, em especial aos meus orientadores no

Núcleo de Artes e Novos Organismos, Malu Fragoso e Guto Nóbrega, que me ajudaram

a explorar os caminhos do design e da arte de forma a aplicar o que aprendi como

retribuição a sociedade para torná-la cada vez melhor. Meu profundo obrigado com muito

amor, muito mais do que seria possível expressar em palavras, a todos vocês.

Resumo:

Esta monografia visa salientar a necessidade de aprendizagem, por parte dos ouvin-

tes, da LIBRAS, a Língua Brasileira de Sinais, que é a segunda língua oficial do Brasil

e possibilita a integração entre a comunidade surda e a ouvinte em nosso país. É aqui

descrito o processo de pesquisa e metodologias empregadas no desenvolvimento de

um projeto em Design Multimídia, com vista a criação de uma proposta de instalação

interativa. A função da instalação é assumir o posicionamento reivindicado pela co-

munidade surda de que sua diferença deva ser culturalmente valorizada de modo a

enriquecer a sociedade como um todo, combatendo a visão comum e desinformada

da surdez como patologia. A relevância desse projeto para o design e para a área cul-

tural brasileira é a valorização da identidade surda como parte fundamental da nossa

sociedade e de demonstrar como a comunicação visual tem não só as possibilidades

como a responsabilidade de ajudar na integração social.

Abstract:

This paper aims to highlight the need for learning on the part of listeners, the LIBRAS,

the Brazilian Sign Language, which is the second official language of Brazil and en-

ables integration between the deaf community and the listener in our country. Here’s

described the research process and methodologies employed in developing a project

in Multimedia Design in order to create a proposal for interactive installation. The func-

tion of the installation is to assume the position claimed by the deaf community that

their difference should be culturally valued in order to enrich the society as a whole,

combating common and uninformed view of deafness as a pathology. The relevance of

this project for Design and the Brazilian cultural area is the appreciation of deaf identity

as a fundamental part of our society and to demons- trate how visual communication

has not only the possibilities but the responsibility to help social integration.

Sumário:

Introdução

1 - Aspectos da Cultura e da Língua dos Surdos

1.1 - As línguas de sinais e as Culturas e Identidade Surdas

1.2 - A LIBRAS e o cenário brasileiro

2 - Design Multimídia

2.1 - Conceitos sobre Multimídia e Design

2.2 - Aplicativos e Dispositivos

2.3 - Referências em Instalações Interativas

3 - Memorial

3.1 - Etapas da Pesquisa

3.2 - A instalação “Um mundo além do som”

4 - Conclusão

5 - Bibliografia

6 - Bibliografia Complementar

7 - Lista de imagens

11

13

17

22

23

25

35

39

49

51

53

54

11

Introdução

Esta monografia é resultado de pesquisa dedicada a criação de uma instalação interativa multimídia que partiu de minha percepção de que é necessária uma mudança da relação entre o cidadão ouvinte e o surdo, através da disseminação do ensino da língua de sinais. Intenciona-se, por meio de um dispositivo interativo, promover o interesse no aprendizado dessa língua, pois nota-se que a maioria dos dispositivos criados para o auxílio na comunicação entre surdo e ouvinte são interfa- ces mediadoras que não possibilitam o aprendizado e a autonomia de comunicação das partes envolvidas. O projeto aqui descrito procura transpor o ouvinte para o mun-do dos surdos por meio do design em multimídia, provocando seus sentidos e respos-tas motoras e visuais de forma a estimular a reflexão e a busca sobre o que é a língua de sinais e sua importância para surdos e ouvintes.

O trabalho teve a meta de projetar uma instalação capaz de provocar no público a reflexão sobre a necessidade de comunicação do ser humano, sendo a lín-gua de sinais fundamental nesse papel para os surdos, e como seu aprendizado se torna importante para a inclusão social desses indivíduos e para o reconhecimento de seus direitos em nossa sociedade.

No desdobramento da pesquisa realizada procuramos mostrar o quanto as Culturas Surdas e as línguas de sinais, em particular a LIBRAS, têm um valor funda-mental no desenvolvimento do ser humano, sendo ele surdo ou não, e na criação de uma sociedade mais inclusiva para os surdos, que vêem seus direitos de acesso a informação e serviços limitados por um descaso da gestão pública perante leis já em vigor e pela desinformação do público ouvinte sobre essas legislações, a LIBRAS e as Culturas Surdas. O aprendizado das línguas de sinais é causa direta do desenvolvi-mento acima do comum da percepção visual; o contato com a língua de sinais desde a tenra idade é fundamental para crianças surdas, daí a necessidade de terem pais e pessoas próximas fluentes na língua, e extremamente benéfica para as ouvintes.

A monografia está organizada na seguinte sequência: » Na Parte 1, sob o título “Aspectos da Cultura e da Língua dos Surdos”,

serão abordados os aspectos fundamentais para o reconhecimento das Culturas Surdas e do indivíduo surdo; a LIBRAS, sua criação e legislações; as diferenças em níveis de surdez e suas implicações; a língua de sinais, sua estrutura lógica e processos cognitivos; » Na Parte 2, “Design multimídia”, introduzimos conceitos e referências

que descrevem o que é o design multimídia, suas possibilidades e abor- dagens, a importância da interatividade nesses sistemas, aplicações exis-tentes e possíveis contribuições do design dedicado a Cultura Surda e os surdos;

12

» Na parte 3 apresentamos um “Memorial”, onde serão descritos os pro-cessos de pesquisa e produção, além dos resultados alcançados pelo pro-jeto até o presente momento;

A metodologia de pesquisa aplicada para o desenvolvimento do projeto en-volveu a busca de referências bibliográficas e iconográficas no campo do design e da produção de instalações multimídia, referências específicas sobre os surdos e suas comunidades, a pesquisa de campo com visitas ao Instituto Nacional de Educação de Surdos (INES) em Laranjeiras e uma inserção no campo da neurofisiologia a partir do livro “Ouvindo Vozes” de Oliver Sacks que foi fundamental para que o tema pu-desse ser abordado com a visão desejada, ou seja, mais positiva da surdez, além de fornecer embasamento científico e referências secundárias que respaldam as bases teóricas para as associações transdisciplinares necessárias. O contato com artistas da área de arte, design e tecnologia é essencial para que o projeto se desenvolva atento a tendências da área se utilizando dos recursos mais aptos de atingirem os objetivos almejados.

13

1 - Aspectos da Cultura e da Língua dos Surdos

Nesta seção procura-se apresentar uma visão geral sobre o tema, apre-sentando conceitos e termos que norteiam o universo dos surdos, breve resumo das causas históricas para a situação atual e um resumo da presente conjuntura nacional sobre o assunto.

1.1 - As línguas de sinais e as Culturas e Identidade Surdas

“A língua de sinais é mais próxima da linguagem da mente”

(KLIMA in SACKS, 1998)

Para entender-se a diferença entre os termos “deficiente auditivo” e “sur-do”, há primeiro a necessidade de introduzir o tema clarificando qual a abordagem co-mum sobre a surdez: essa visão se resume a análise patológica da situação, onde se observa a surdez unicamente como deficiência, um ponto de vista em que o indivíduo é incompleto pela sua diferença fisiológica. Essa visão não contempla as capacidades de desenvolvimento do indivíduo surdo tendo sua diferença como criadora de uma cultura particular mas igualmente complexa a do aqui chamado “ouvinte”, aquele que se comunica pela fala.

Iniciando-se pela análise patológica da situação, a perda auditiva tem diver-sos graus e origens. Nesta monografia o projeto será desenvolvido considerando-se majoritariamente a condição de perda auditiva profunda, que tem como consequência a impossibilidade de comunicação pela fala, e mais especificamente os indivíduos em que a origem da condição é congênita, doravante referida como surdez pré-linguística, pois é seu estado natural antes de adquirir qualquer forma de linguagem.

Historicamente os surdos sofreram, e ainda sofrem, por causa da visão patológica de que sua condição deve ser tratada para atingir um grau de normalidade em que a fala é o modo ideal de comunicação. A situação já foi extremamente crítica, quando até metade do século XVIII os surdos eram tratados como mentalmente inca-pazes de desenvolver qualquer habilidade linguística e seu isolamento de outros in-divíduos na mesma condição, principalmente fora dos centros urbanos, os condenava ainda mais a essa situação. Entre 1750 e 1850 a situação melhorou graças a obser-vações, feitas inicialmente por Sicard e De L’Épee na França, que foram atenciosas o suficiente para que os gestos feitos entre os surdos fossem identificados pelo ouvinte como uma língua, para que partir daí pudessem ser associados os símbolos gestuais, os objetos e a língua escrita e finalmente fosse possível a comunicação entre surdo e ouvinte e o compartilhamento do conhecimento antes restrito às línguas do ouvinte. Nesse momento foram criadas as primeiras escolas para surdos em que a língua

14

de sinais eram o centro da formação intelectual do surdo, finalmente possibilitando o surdo a se manifestar e desenvolver na sua língua natural, alcançando todo o seu potencial. Até 1850 chegou-se a proporção de 50% de professores surdos nessas es-colas, o que favorecia e acelerava ainda mais o processo de aquisição da linguagem e desenvolvimento cognitivo (SACKS, 1998).

No entanto, uma corrente chamada oralista, majoritariamente de profes-sores ouvintes que se dedicavam a ensinar os surdos a vocalizar e ler os lábios, cresceu devido a um questionável sucesso em fazê-los se comunicar pela fala. Essa forma de pensar foi como uma catátrofe para todos os avanços até então. Ainda por cima era um método questionável, já que enquanto esse trabalho necessitava de mui-to mais horas de dedicação exclusiva a um único aluno surdo para que alcançasse um nível básico de comunicação oral, as escolas que ensinavam a língua de sinais eram capazes de educar centenas em muito menos tempo. Mas como, a princípio, a escola oralista se apresentava como capaz de normalizar o surdo para o padrão de comunicação oral, esta ganhou força. No Congresso Internacional de Educadores Surdos que ocorreu em 1880 em Milão, professores surdos foram impedidos de votar, o ensino e uso das línguas de sinais em escolas para surdos foi abolido e adotou-se o oralismo. As consequências foram gravíssimas para a manutenção do alto nível intelectual que já se havia alcançado. Oliver Sacks relata sobre esse momento em “Vendo vozes”:

“Nada disso teria importância se o oralismo funcionasse. Mas o efeito, infelizmente,

foi o contrário ao desejado - pegou-se um preço intolerável pela aquisição da fala.

Os alunos surdos da década de 1850 que haviam passado pelo Asilo Hartford ou por

outras escolas desse tipo tinham um alto nível de alfabetização e instrução - plena-

mente equiparável ao de seus equivalentes ouvintes. Hoje em dia, ocorre o inverso. O

oralismo e a supressão das línguas de sinais acarretaram uma deterioração marcante

no aproveitamento educacional das crianças surdas e na instrução dos surdos em

geral.” (SACKS, 1998:41)

Ainda segundo o autor, apenas em 1960, quando a proporção de profes-sores surdos foi reduzida para ínfimos 12%, a situação começou a ser revista e es-tudada. A partir de então muitos erros históricos começaram a ser corrigidos, mas os efeitos de séculos de descaso ainda ecoam na ignorância, na acepção original do ter-mo, que dificulta a mudança na percepção do que é a língua de sinais e da condição do indivíduo surdo. Como qualquer minoria, os surdos sofrem com alguns conceitos imprecisos disseminados na cultura popular que aqui serão desconstruídos para que então possam ser abordadas as características da língua de sinais que são relevantes ao intuito deste projeto.

15

Primeiramente o termo surdo-mudo ainda é usado erroneamente, pois se deve referir ao sujeito apenas como surdo, uma condição não implica na seguinte, pois não há necessariamente danos nas funções orgânicas relacionadas sendo portanto possível ao surdo oralizar, o que deu uma base, controversa, para a escola oralista de ensino, mas, como mencionado anteriormente, não se adequa ao desenvolvimento otimizado do surdo.

Note-se que apesar do uso do termo “língua de sinais” não existe uma língua de sinais universal. O termo se refere apenas a modalidade da língua que é viso-motora. Existem em variedade tantas línguas de sinais quanto línguas faladas, pois como as faladas elas são influenciadas pela sociedade em que se inserem. Essa observação também pode acarretar em outra interpretação errada: a de que as lín-guas de sinais são traduções de uma língua oral para uma língua viso-motora. As línguas de sinais têm origem diversa e exclusiva, evolutivamente anterior a fala, com sintaxe, léxico e gramática próprios. Relata Sacks:

“O desenvolvimento linguístico [...] produz-se com o mesmo ritmo em todas as cri-

anças, surdas ou ouvintes. Se os sinais aparecem mais cedo do que a fala, é porque

elas são mais fáceis de fazer, pois consistem em movimentos relativamente simples e

lentos dos músculos, enquanto a fala necessita de coordenação relâmpago de cente-

nas de estruturas diferentes e só se torna possível no segundo ano de vida. Entretan-

to é intrigante o fato de uma criança surda aos quatro meses poder fazer o sinal que

representa ‘leite’, enquanto uma ouvinte apenas consegue chorar ou olhar em volta.

Talvez todo bebê tivesse vantagem em conhecer alguns sinais!” (SACKS, 1998:43-44)

Os estudos da neurociência e as teorias educacionais ajudaram a confir-mar cientificamente a comunicação por sinais como língua e a sua importância funda-mental para o desenvolvimento cognitivo e cultural do surdo. De fato esses estudos mostraram além disso que a língua de sinais pode ser ainda mais complexa do que a falada, além do desenvolvimento acima da média da percepção visual, algo notado também em ouvintes que aprenderam a língua de sinais desde bebês, como acontece com os que são filhos de pais surdos. A importância desses estudos relacionados a língua e linguagem na surdez é explicada por Joseph Church:

“A língua permite-nos lidar com coisas à distância, agir sobre elas sem manuseá-

las fisicamente. Primeiro, podemos agir sobre outras pessoas, ou sobre objetos por

meio de pessoas [...]. Segundo, podemos manipular símbolos de modos que seriam

impossíveis com as coisas que eles representam e, assim, chegar a versões inusi-

tadas e criativas da realidade. [...] Podemos reorganizar verbalmente situações que,

em si mesmas, resistiriam à reorganização [...], podemos isolar características que,

16

na realidade, não podem ser isoladas [...], podemos justapor objetos e ventos muito

separados no tempo e no espaço [...], podemos, se quisermos, simbolicamente virar

do avesso o universo.” (CHURCH in SACKS, 1998:56)

Quando o indivíduo com surdez pré-linguística não tem contato com a lín-gua de sinais ele fica sem acesso a essas potencialidades de manipulação simbólica do seu mundo. Explicando por meio da semiótica, é como se o surdo assim ficasse preso na secundidade de tudo que seus sentidos ativos o transmitiram na primeiri-dade, podendo apenas reagir, levando muito mais tempo para poder criar seus pró- prios signos e poder consigo mesmo deslocar seu pensamento no tempo. A língua de sinais o insere nos signos que são familiares a suas capacidades sensoriais e permite atingir a terceiridade e se relacionar com outrem, como dito por Church.

Uma característica percebida por William Stokoe (SACKS, 1998) e que servirá de base para a estética desse projeto é o uso pela língua de sinais das qua-tro dimensões, as três do espaço que o corpo ocupa e a duração dos movimentos ocupando o tempo. Como dito anteriormente essa língua possui sintaxe, gramática e léxico próprios e o tempo está incorporado na significação dos sinais. Para um ouvin-te é complexo entender esse conceito sem o mínimo de contato com essa dinâmica, Sacks explica que a falta de experiência pessoal sobre o que é “gramaticar” o espaço ao nosso redor causa a falta de substrato cerebral para tal e pode ser considerado um impedimento fisiológico. Essa falta de experiência com a língua de sinais também é um motivador para o formato do projeto, descrito no capítulo seguinte.

Essa dificuldade em imaginar o espaço gramaticalmente como fazem os surdos pode parecer um distanciamento que causaria o desinteresse do público ou-vinte pela língua de sinais, mas há uma observação interessante a ser feita que se relaciona a citação de Edward Klima na abertura dessa seção. O pensamento, nos-sa fala interna, ainda é um processo misterioso, mas repetidamente desassociado da palavra em si por vários pensadores e cientistas como Einstein, Schopenhauer e Vygotsky, que consideram o pensamento muito mais uma experiência visual. E é na experiência visual que a língua de sinais proporciona suas vantagens a ambos os ouvintes e surdos, pois há um desenvolvimento muito acima do normal da percepção visual que se traduz em vantagens para outras capacidades cognitivas e fisiológicas, o que demonstra que não é apenas a compensação sensorial que amplia essas ca- racterísticas nos surdos, mas a língua em si que afeta todo o processo de desenvolvi-mento do indivíduo. Relata Sacks:

“Recentemente realizou-se um experimento educacional no condado de Prince

George, Maryland, com a introdução da língua de sinais na educação de primeira série

e pré-escola entre crianças normais, ouvintes. As crianças aprendem rápido essa lín-

17

gua e a apreciam; à medida que a adquirem, apresentam uma significativa melhora

na capacidade de leitura e em outras capacidades. Pode ser que essa facilitação da

leitura, da capacidade para reconhecer as formas de palavras e letras, acompanhe

a intensificação da capacidade espacial-analítica que ocorre com o aprendizado da

língua de sinais. Mesmo quando adultos (ouvintes) aprendem a língua de sinais, eles

também dão conta de mudanças em si mesmos - uma propensão para descrições vi-

suais mais vívidas, intensificações das imagens visuais mentais e da memória visual

e, frequentemente, um uso mais livre do corpo.” (SACKS, 1998:123)

Por fim, deve-se reforçar que o aprendizado da língua de sinais traz benefícios no desenvolvimento cognitivo de todos igualmente, surdos e ouvintes, mas o principal é permitir ao surdo, ao mesmo tempo, criar sua identidade, pois a língua é fundamental nesse sentido e a língua de sinais é sua língua materna, e permitir seu acesso a todos os direitos e deveres da sociedade em que vive. Espera-se através desse projeto provocar o público a reflexão sobre a existência e potencialidades desse “mundo além do som”.

1.2 - A LIBRAS e o cenário brasileiro

No Brasil a LIBRAS, acrônimo para Língua Brasileira de Sinais, foi de-cretada como meio legal de comunicação em 2002 (por meio da Lei N. 10.436 de 24 de Abril de 2002). Como pode-se notar uma conquista muito recente e, apenas em 2005 (por meio do Decreto N. 5.626 de 22 de Dezembro de 2005), foram abordadas com mais profundidade as necessidades de formação de profissionais dedicados ao estudo, tradução e suporte a LIBRAS e aos surdos, a implementação de disciplinas relacionadas em Universidades, o atendimento especial em todos os serviços públi-cos e concessões, e a difusão da LIBRAS. Segundo o censo realizado pelo Instituto Brasileiro de Geografia e Estatística (IBGE) existem aproximadamente dez milhões de brasileiros com algum nível de deficiência auditiva, sendo que 1,7 milhões são deficientes auditivos severos e cerca de 6,7 milhões vivem em áreas urbanas (IBGE, 2010).

A LIBRAS tem um papel importante na construção da identidade surda no Brasil e por conseguinte de sua cultura. Disseminar o ensino da LIBRAS ajuda a pre-venir os problemas de desenvolvimento mencionados anteriormente e abre o leque de um mundo em que o Surdo é o protagonista na criação da sua imagem, reforçando que sua diferença deve ser valorizada como produtora de um universo único para cada campo equivalente no universo dos ouvintes.

Pelo predomínio da língua falada como modo de comunicação os surdos

18

encontram não só grande dificuldade no acesso a serviços em seu dia a dia como acesso a informação e em compartilhar as experiências com pessoas fora de seu meio comum. As tecnologias assistivas, como legendas “closed caption” que já são um recurso empregado em televisores há alguns anos, permitem atender algumas necessidades; o atendimento ao cliente via mensagens de celular ou redes sociais também ajuda a facilitar a vida dos surdos. Mas ainda é muito insuficiente a disponib-ilidade desse tipo de atendimento pessoalmente, mesmo já existindo as referidas leis que criaram essa obrigatoriedade, ainda há uma grande lacuna na formação de ou-vintes capacitados como tradutores. Outro ponto importante é a inclusão do surdo no mercado de trabalho, onde na empresa também deveria haver a capacitação em LIBRAS dos funcionários não só por questões práticas mas para a real inclusão do cidadão surdo no ambiente que frequenta. Um caso em que essa última prática foi aplicada foi o da “ThoughtWorks Inc.” em Porto Alegre, onde a empresa apresentou seu novo funcionário, programador e também surdo, a seus colegas e com isso tam-bém ofereceu a todos a capacitação em LIBRAS para justamente geral a real inclusão do funcionário, sendo este funcionário um dos professores a darem aulas.

Desde a aprovação das leis mencionadas anteriormente vários projetos e campanhas têm procurado atender a essa demanda, abordando a questão por vários meios e cada uma procurando suprir uma das diversas necessidades na integração do surdo a sociedade e seu próprio desenvolvimento. Destacam-se a seguir algumas dessas iniciativas:

» Poli-Libras (http://www.polilibras.com.br/), um projeto de graduação em engenharia da computação na Universidade de São Paulo (USP), em que foi criado um sistema lógico capaz de fazer a tradução contextualizada da LIBRAS, gerando frases sinalizadas visualmente por um personagem 3D a partir de frases escritas em português, levando assim em consideração as características completas da língua de sinais mencionadas na seção anterior. Esse projeto visa facilitar a compreensão dos surdos de textos em português, dada as diferenças na estrutura de construção de sentido em cada língua. » Projeto FotoLibras (http://fotolibras.com/), um projeto criado pelo grupo

GEMA, uma entidade focada em atividades para inclusão visual, associada a Universidade Federal de Pernambuco (UFPE), em que a fotografia é en-sinada como recurso de comunicação e expressão a alunos surdos, dando a eles a oportunidade de apresentar seu ponto de vista sobre o mundo que o rodeia. Neste projeto os criadores expressaram a necessidade de adaptar termos técnicos da fotografia para a LIBRAS, o que demonstra como ainda há muito conhecimento formal a ser compartilhado com o público surdo. » ProDeaf (http://www.prodeaf.net/QuemSomos), foi com seu ProDeaf

19

Móvel o primeiro aplicativo tradutor para LIBRAS. A empresa surgiu a partir do desenvolvimento de um projeto de alunos de ciência da computação da Universidade Federal de Pernambuco, em que os alunos eram ambos surdos e ouvintes. Hoje a empresa tem como parceiras a Wayra Brasil - Telefônica, a Microsoft, o Sebrae e o CNPq. » Hand Talk (http://www.handtalk.me/sobre), startup brasileira ganhadora

do prêmio de “Projeto mais inovador do Brasil no Salão da Inovação” na Rio Info (2012), dentre outros, que desenvolve soluções em acessibilidade para surdos, se utilizando de um sistema de tradução para Português-LIBRAS e vice-versa através de um personagem em 3D, disponível para aplicações web e também em um aplicativo nativo para celulares.

O Projeto FotoLibras esteve presente no Rio de Janeiro com a exposição “Por Contato”, exibindo pela primeira vez fora de Pernambuco fotos realizadas por alunos e o seu dicionário técnico de fotografia em LIBRAS, de 15 de Junho a 5 de Julho de 2015 no Museu de Arte do Rio (MAR). Durante o dia 4 de Julho foi escolhido o sinal em LIBRAS para o MAR, como parte de uma política de acessibilidade ampla-mente aplicada e incentivada pelo museu.

Os fatos aqui apresentados demonstram o crescimento recente da atenção dada as questões de acessibilidade, comprovando a relevância dessa monogra-fia como contribuição da pesquisa e desenvolvimento em design multimídia para questões sociais.

20

Imagem 1 - Projeto Poli-Libras

Imagem 2 - Projeto FotoLibras, com a exposião “por contato“ no MAR

21

Imagem 3 - Página de serviços da ProDeaf

Imagem 4 - Página de serviços da HandTalk

22

2 - Design Multimídia

Aqui serão apresentados conceitos que relacionam o design e a mul-timídia empregados no projeto, além das descrições das tecnologias pesquisadas, tanto dispositivos como softwares, e as obras de referência principais na construção da instalação proposta nesta monografia.

2.1 - Conceitos sobre Multimídia e Design

Em seu artigo “Just What Is Multimedia, Anyway”, Randall Packer (PACK-

ER, 1999) assume uma definição ampla do que é a multimídia e expõe suas carac-terísticas como sendo: a imersão, a interdisciplinaridade, a hipermídia, a interatividade e a narrativa. Tudo isso como a confluência entre arte, interface humano-máquina e a tecnologia da informação. Segue uma breve definição sobre cada um desses termos aplicados à multimídia:

» A imersão é o ambiente multisensorial em que o homem pode ser in-serido. Packer faz uma analogia histórica com o homem das cavernas, um meio em que ele é tridimensionalmente envolto em imagens, sons, símbo-los e odores. » A interdisciplinaridade é algo que deve estar presente como mecanis-

mo de inovação, a junção e interseção de várias áreas de conhecimento, especialmente entre as artes, de forma a criar novas plataformas e men-sagens, Packer dá o exemplo de como Richard Wagner revolucionou a experiêncie da ópera, que inicialmente era uma exibição apenas de um cantor e agregou a ela os outros elementos teatrais de cenário, iluminação e movimento. » A hipermídia é a rede existente hoje que liga virtualmente as diversas

fontes armazenadoras e criadoras de conhecimento podendo ser acessa-das de praticamente qualquer lugar, um conceito advindo do “Memex” de Vannevar Bush no pós Segunda Guerra Mundial. » A interatividade traz o público para dentro da obra e o torna também

criador de significado, Packer cita o pioneirismo de Robert Rauschenberg com a obra “Soundings” de 1968 em que ele propôs que o observador cri-asse a imagem em sua instalação. » A narrativa na multimídia não precisa ser linear, ela cria o contexto e dá

a liberdade do público se imergir no mundo que ele encontra, podendo ex-plorar, construí-lo, desconstruí-lo ou simplesmente comtemplá-lo, como por exemplo a obra “Puppet Model” de Laurie Anderson em 1995.

23

Dentro do âmbito da produção multimídia, Frank Popper a divide em duas: Arte Computacional e Arte Comunicacional, sendo a primeira focada nos processos de criação e seus resultados e a segunda evidencia a comunicação e a interação como objetivos ea participação do público na obra. (POPPER, 1993) Esta monografia se encaixa em sua segunda categoria tendo como princípio a mensagem e direcio-nando seu conceito para o projeto da instalação e da sua interface, esta última tendo por definição a capacidade de fazer a adaptação entre dois sistemas, sendo ela um dispositivo físico ou lógico (FRAGOSO, 2003); aqui ambas as possibilidades foram empregadas e pesquisadas para a formulação da proposta apresentada.

Essa monografia admite essas características e as associa ao conceito de Villem Flusser de que o “design significa aproximadamente aquele lugar em que arte e técnica (e, conseqüentemente, pensamentos, valorativo científico) caminham juntas, com pesos equivalentes, tornando possível uma nova forma de cultura” (FLUSSER, 2007:184), considerando essa interseção como o objetivo a ser atingido em design multimídia nessa proposta de instalação interativa.

2.2 - Aplicativos e Dispositivos

As tecnologias pesquisadas e mencionadas ao longo desta monografia são descritas a seguir, apresentando brevemente seu funcionamento e destacando sua relação com a pesquisa feita:

» Kinect: dispositivo de deteção de movimento criado pela Microsoft, ini-cialmente vendido para uso com seu console de jogos XBOX e em seguida disponibilizado para uso com computadores em geral, permitindo sua apli-cação em diversos meios criativos. Funciona usando uma câmera RGB com detecção facial, um sensor de profundidade a partir da emissão e reflexão de luz infravermelha e também um detector de voz, mas para captação dos movimentos apenas o infra-vermelho importa. Com software próprio ele é ca-paz de detectar 48 pontos de juntas do esqueleto humano, possuindo assim grande precisão mesmo quando mais de uma pessoa entra em seu campo de visão. Como a língua de sinais requer a interpretação de múltiplas partes do corpo, o Kinect foi o primeiro dispositivo a ser estudado e experimentado. » Leap Motion: um dispositivo especializado na detecção de movimentos

manuais, extremamente preciso em tal tarefa. Também funciona emitindo e rastreando luz infravermelha, emitindo-a através de 3 LEDs e detectando-a através de duas câmeras (sensores). Sua especialização proporciona uma taxa de atualização dos dados captados de 200 quadros por segundo de toda a estrutura tridimensional das mãos sobre o dispositivo. Por sua pre-cisão o dispositivo foi considerado uma possibilidade para o projeto, onde

24

a sutileza e velocidade dos movimentos manuais poderiam ser detalhada-mente capturados. » Myo Armband: muito diferente dos anteriores, é um bracelete adaptável

que usa a eletromiografia (detecção da atividade elétrica muscular) para interpretar os movimentos feitos pelo antebraço. Foi graças ao projeto acadêmico Google Gesture apresentado na Berghs School of Communi-cation que este dispositivo foi analisado pela pesquisa, o projeto é uma proposta do uso do Myo com um aplicativo que seria capaz de traduzir simultaneamente os sinais para a língua falada. Mesmo sendo capaz de detectar a posição das mãos a partir do antebraço, o dispositivo foi descar-tado pois não foi encontrado um uso real do Myo em dois braços simultan-eamente o que seria necessário para a pesquisa desta monografia. » Processing: é uma linguagem de programação e um ambiente de desen-

volvimento, simplificados em sua estrutura para o uso pelo público mais leigo em comparação com profissionais dedicados a programação, criada por Ben Fry e Casey Reas. Apesar de sua simplicidade aparente tem um potencial de manipulação extenso de diversas mídias digitais, seja em som ou imagem, também sendo capaz de servir de plataforma para comuni-cação entre dispositivos, outros programas, computadores, sensores e at-uadores. Por adição de bibliotecas e acesso a muitas plataformas online de compartilhamento de programas desenvolvidos nesta linguagem, o uso do Kinect é largamente empregado e feito através Processing. » Gest.js: é uma biblioteca baseada na linguagem de programação Javas-

cript e criada por Hadi Michael. Esta biblioteca usa apenas uma webcam como dispositivo de detecção de movimento através de um algoritmo de processamento de imagens capaz de identificar movimentos simples em duas dimensões das mãos. Por ser desenvolvida em Javascript sua imple-mentação em sites é facilitada, aumentando as possibilidades de interação com ambientes virtuais na internet. » Hands Gesture Recognition: similar a biblioteca Gest.js mas baseada

na linguagem de programação C#, criada por Andrew Kirillov. Também usa uma webcam e analisa as imagens comporando formas e movimentos com uma série de algoritmos capaz de identificar mais gestos que a biblioteca anterior em cenas com dinâmicas mais complexas. » Cycling ‘74 MAX: usualmente referido como MAX, é uma linguagem de

programação visual, em que comandos e rotinas são representados modu-larmente e tem sua estrutura sequencial organizada na interface apresen-tada ao usuário, um sistema chamado de patching. Capaz de complexas manipulações visuais e sonoras, com possibilidades similares ao Processing,

25

é a linguagem usada por Eufrasio Prates para criar seu programa, o Holof-ractal Transducer of Music and Image (HTMI), usado na proposta apresen-tada por essa monografia, descritos na parte 3 desta.

2.3 - Referências em Instalações Interativas Para essa monografia foi de grande importância pesquisar e analisar insta-

lações interativas em que o corpo inteiro estivesse envolvido na área de detecção de movimento, mesmo que não fosse apresentado por completo na visualização final da obra ou aplicação, dada a importância fundamental do corpo e a relação entre suas partes para a compreensão da língua de sinais.

Os experimentos de Myron Krueger em realidade virtual e arte interativa foram pioneiros e foram para essa monografia fonte de observação de como motivar o público a interagir e permitir a exploração dos limites de uma obra. Krueger é um pioneiro da arte interativa e visionário da realidade virtual. Durante suas pesquisas como PhD na University of Wisconsin–Madison, ele projetou VIDEOPLACE, uma realidade virtual que pretendia envolver o usuário e testar sua interação com ela sem o intermédio de dispositivos conectados ao usuário, um ambiente capaz de captar os movimentos do usuário e responder a eles visualmente. Foi uma instalação em duas vias exposta no Milwaukee Art Museum em 1975, em que em uma sala de exibição o usuário tinha seus movimentos captados por uma câmera de vídeo, a filmagem por sua vez era enviada para um computador onde a imagem tinha seu movimento cal-culado e era transformada em silhueta, essa imagem era então exibida para Krueger e por ele manipulada com seus movimentos captados de forma semelhante em outra sala à distância, tendo enfim o resultado dessa dupla interação sendo exibido de vol-ta na sala em que o usuário estava presente, provocando uma reação deste e outra de Krueger, sucessivamente. Vários experimentos foram feitos baseados na ideia de VIDEOPLACE, variando os resultados visuais e os estímulos da interação. Sua arte inovadora se baseava nas possibilidades da interatividade em si (KRUEGER, vídeo no arquivo digital do ARS Eletronica).

As aplicações citadas a seguir serviram de inspiração visual e conceitual por também empregarem a detecção de corpo inteiro ou usarem algum dos dispositi-vos mencionados anteriormente:

» Intel CES2015 Interactive Wall (http://welcometolegs.com/), desen-volvido pelo estúdio baseado em Nova York, EUA, responsável por pro-jetos mídias diversas, criou uma grande tela-parede com cerca de trinta metros, em que eram exibidas imagens manipuladas, a partir da captura em 3D por câmeras RealSense, dos usuários presentes na feira Consu- mer Electronics Show de 2015. Observou-se principalmente os níveis de

26

abstração da forma do usuário apresentada na imagem. » BMW Interaction Installation (http://blowfactory.com/), criada pela Blow

Factory para exibição da BMW no Rex Club em Paris, uma instalação que joga com a interação da silhueta criada pelo corpo do usuário com a gravi-dade dos elementos tipográficos virtuais da projeção. Aqui foi interessante observar a criatividade do usuário do momento que entende o funciona-mento da interação ao em que passa a testar suas possibilidades. » In Order to Control, criado pelo estúdio Nota Bene Visual, de Istambul,

Turquia, é uma instalação tipográfica interativa onde a projeção é feita so-bre o piso, com um texto em loop que fala sobre os limites entre ética e moral, que a partir da interferência do espaço ocupado pelo público gera uma nova projeção do texto na parede em frente com a forma da pessoa. A relação entre a mensagem e a participação do usuário foi analisada na busca entre o equilíbrio da intenção de entreter como forma de fixação do conteúdo e a pura experiência lúdica da interação. » Sombras na Mostra “Brasil–Alemanha: Culturas Conectadas”, desen-

volvido pela empresa SuperUber e exibido em São Paulo, Brasil. O mov-imento capturado de pessoas que param para interagir com a obra tem sua silhueta exibida na grande fachada de LEDs do prédio da FIESP, na Avenida Paulista, e a partir da silhueta animações e partículas são criadas. A escala do projeto aumenta a curiosidade e a visibilidade do público, tam-bém incrementando o alcance da obra pelo destaque em mídias sociais, mas requerendo também um espaço especialmente projetado para tal fim. » BRACHER – Pintura e Permanência, criado por Barbara Castro e Luiz

Ludwig, é uma instalação interativa que se baseou no processo criativo do pintor brasileiro Carlos Bracher e acompanhou a exibição de suas obras no Centro Cultural Banco do Brasil (CCBB) do Rio de Janeiro e de mais cidades. Esta obra pôde ser observada com uma pesquisa de campo, rendendo por-tanto uma valiosa experiência como público e observador. A projeção de pin-celadas como a do pintor, pinceladas essas que foram estudadas a partir da filmagem do próprio pintor as executando em placas de vidro, é criada a partir dos movimentos do público. O relato do público foi o de poder experi-mentar o processo e criar sua própria pintura, momentânea e virtualmente, aumentando sua identificação com Bracher e suas obras expostas.

A junção das observações em cada uma das obras principais de referência serviram para definir o formato final da proposta dentro dos conceitos apresentados nas partes 1 e 2 dessa monografia, descrita na sessão seguinte associada a conceitos relativos ao comportamento social do usuário.

27

Imagens 5 e 6 - Kinect, com adaptador USB

Imagens 7 e 8 - Leap Motion, exemplo e tamanho relativo

28

Imagens 9 e 10 - Myo Armband e funcionamento

Imagem 11 - Google Gesture, projeto acadêmico de propaganda

29

Imagens 12 e 13 - Processing, exemplo de programa

Imagem 14 - Página de distribuição livre do Gest.js

30

Imagem 15 - Página do código fonte de Andrew Kirillov

Imagem 16 - Página com exemplo de estrutura modular de programação do Cycling ‘74 MAX

31

Imagens 17 e 18 - Myron Krueger no Ars Eletronica e sketch de sua instalação

Imagem 19 - Um dos exemplos de Myron Krueger da série derivada de VIDEOPLACE

32

Imagem 20 - Intel CES 2015 Interactive Wall, criado pelo estúdio LEGS

Imagem 21 - Instalação para a BMW, criada pela Blow Factory

33

Imagem 22 - In Order to Control, instalação do estúdio NOTA BENE Visual

Imagem 23 - Instalação Sombras da SuperUber

34

Imagem 24 - BRACHER - Pintura e Permanência, de Barbara Castro e Luiz Ludwig

35

3 - Memorial

A questão principal do projeto foi buscar uma resposta inicial a minha per-gunta “o que, como designer, posso fazer pela inclusão social dos surdos?” e a partir daí explorar diversos meios que pudessem servir de base para uma pesquisa mais profunda sobre as tecnologias e pesquisas existentes hoje.

3.1 - Etapas da Pesquisa

O interesse surgiu da experiência com parentes próximos que necessitam de assitência especial em seu dia a dia, como por exemplo um tio tetraplégico devido a um acidente e outro tem Síndrome de Down, logo desde muito cedo eu naturalmente prestava mais atenção as dificuldades enfrentadas por pessoas nessas situações, como a cidade, os serviços e o convívio com pessoas fora do círculo familiar se torna quase hostil pela falta de planejamento urbano e social em acessibilidade.

A inquietação referente ao surdos se deu na observação de uma pessoa aleatória próxima a um ponto de ônibus, que ao ser abordada por uma pessoa surda que tentava pedir alguma informação que não foi compreendida. A partir dessa situ-ação foi provocada a reflexão sobre a diferença entre as situações enfrentadas pelas veriadas necessidades especiais. Dentre elas a surdez é a que passa completamente despercebida até que a interação aconteça, não havendo uma diferença aparente e no meio de uma multidão, até mesmo a expressão gestual pode não chamar atenção. A partir dessa reflexão foi possível ter a noção de que um designer poderia fazer diferença, primeiro colocando a atenção em um problema de acessibilidade que fica oculto pela sua sutileza e depois explorando as possibilidades do design no auxílio do ensino da LIBRAS e de outras línguas de sinais.

A experiência com o Núcleo de Artes e Novos Organismos (NANO) foi o começo do interesse pela multimídia a partir do contato com a arte nessa área espe-cífica. A integração entre a arte e a tecnologia causou fascínio dadas as inusitadas e variadas possibilidades demonstradas pelos experimentos e projetos realizados tanto dentro do laboratório como os conhecidos por pesquisa e participação em eventos, como o Hiperorgânicos. A partir da observação dessas obras e projetos reconheci a importância da interação como motor de engajamento.

Após um período de participação no NANO e adquirido o conhecimento de alguns dispositivos de detecção de movimento e linguagens de programação criadas para facilitar a codificação criativa de sistemas informatizados, surgiu a oportunidade de aprofundar esses conhecimentos, estudando através de intercâmbio na univer-sidade holandesa Saxion University of Applied Sciences (Saxion) no curso de Art & Technology (Arte e Tecnologia), o que contribuiu com grande conhecimento técni-

36

co da integração entre essas áreas. Dentro do curso foi escolhida a especialização Edutainment, que focava no uso do design para projetos educacionais. O projeto mais importante para a monografia aqui apresentada foi então um jogo voltado para en-sinar crianças holandesas as leis locais de tráfego para bicicletas envolvendo uma instalação física, usando uma bicicleta real como controlador de um jogo 2D projeta-do em uma grande tela a frente do usuário. A relevância deste trabalho se destaca pela necessidade de pesquisa sobre o público infantil, teorias educacionais e teorias de desenvolvimento humano, como a de Piaget sobre “Fases do Desenvolvimento Infantil”, de forma a adequar apresentação e formato para a eficiente transmissão da mensagem. Essa experiência, além do conhecimento tecnológico obtido, serviu para fomentar ainda mais o interesse particular pela pesquisa interdisciplinar e sua apli-cação pelo design.

A partir de outros trabalhos foi dada continuidade a experimentação na integração entre o Kinect e o Processing, então começando a associar seus poten-ciais a ideia de usar recursos multimídia em prol da língua de sinais, que ao fim do intercâmbio se cristalizou como um caminho a ser levado adiante acadêmica e profis-sionalmente.

A primeira proposta para este projeto foi a criação de um sistema que pu-desse ensinar a língua de sinais a distância levando em consideração que não ape-nas o movimento das mãos mas o rosto e o corpo participam da sintaxe da língua de sinais, um projeto que fosse em código aberto e pudesse evoluir com contribuição externa. A realização efetiva dessa proposta como trabalho de conclusão de curso se percebeu inviável pelo tempo e recursos disponíveis, dada sua complexidade e a necessária participação técnica de profissionais de outras áreas, decidindo-se então avaliar quais as questões relativas ao design poderiam ser observadas nessa propos-ta. Analizando a temática e a estrutura da proposta nota-se que ela visa atender a ne-cessidade de disseminação do ensino da LIBRAS usando recursos em multimídia, só se tornando viável se as seguintes questões forem respondidas: há conscientização do público-alvo sobre a temática? há receptividade tanto desse público quanto dos surdos? há viabilidade tecnológica para tal?

Sendo assim, a pesquisa seguiu o direcionamento dessas questões e chegou a uma segunda possibilidade. A idealização de uma campanha foi uma ideia inicialmente sedutora mas que não foi levada adiante pois necessariamente estaria atrelada a modelos pré-existentes de inclusão que não contemplam os conceitos aqui abordados já que a motivação do projeto foi a possibilidade de propor uma ação práti-ca capaz de atender as demandas da inclusão social dos surdos de forma diferencia-da. A ideia da campanha viria a se tornar útil de outra maneira.

Num terceiro momento, deu-se mais atenção na característica tecnológi-ca do sistema, direcionando a pesquisa para as tecnologias existentes capazes de

37

capturar movimento, como os dispositivos Kinect (aprofundamento em suas possibili-dades), Leap Motion e Myo Armband, de forma a disponibilizar uma maneira clara de orientar o estudante da língua de sinais sobre seus erros e acertos na combinação de movimentos e expressão, dando a eles um feedback preciso.

Durante a investigação de projetos existentes similares ao aqui proposto foi encontrado via internet uma pesquisa similar, de graduação, da aluna Mihika Shaunik, pela “Srishti School of Art”, de Bangalore, Índia, de título “Signage”, que foca no desen-volvimento de uma interface para um possível curso online de língua de sinais. No caso, a proposta considera o uso do Leap Motion, mas desenvolve principalmente as consid-erações sobre usabilidade e construção da página em si. O projeto ecoou a relevância da pesquisa. Foi feito contato com a aluna e após contato direto com a designer notou-se uma necessidade semelhante em ambos os países, podendo gerar parcerias futuras.

As experimentações com o Kinect, através da manipulação de programas criados no Processing, se mostrou eficiente para movimentos corporais maiores mas não possuía a precisão necessária para a captura do posicionamento das mãos. Apesar de não ter tido acesso direto ao Leap Motion, através da pesquisa pôde-se constatar que não poderia ser o único recurso usado pois sua precisão se limita as mãos. O Myo Armband, como mencionado anteriormente, foi usado em projeto propondo-o como tradutor de língua de sinais, mas também não funcionaria sem a associação com um recurso de reconhecimento facial. Pensei então nas combinações entre os dispositivos mas a ideia acabou descartada por começar a se distanciar da praticidade requerida para um sistema que deveria ser acessível a muitas pessoas para um curso a distância e com a dependência de tantos recursos diferentes se tornaria custoso.

Com essas conclusões atentei para um dispositivo simples que está pre-sente em diversos notebooks, netbooks e mesmo celulares: a webcam. Comecei en-tão a pesquisar sobre algoritmos capazes de fazer uma análise da imagem capturada e identificar movimentos, como feito pelos outros dispositivos. Foram encontrados dois exemplos que poderiam se adequar a tarefa, o Gest.js em javascript de Hadi Michael e o Hands Gesture Recognition baseado em C# de Andrew Kirillov. Após uma análise mais precisa notei que seria necessário um envolvimento muito grande em programação que não seria possível no tempo disponível para o desenvolvimen-to desta monografia, mas foram um grande motivador pois demonstraram que seria possível existir um programa capaz de executar a função que eu necessitava apenas utilizando a webcam.

Mantendo a ideia de se criar um sistema completo de tradução, captura de movimento e ensino a distância, mas adaptando-a de forma a responder as questões de viabilidade mencionadas anteriormente, essa monografia e seu projeto uniram a segunda ideia de elaboração de uma campanha de conscientização com a do siste-ma, chegando a criação do conceito de uma instalação interativa que pudesse trazer

38

a experiência da língua de sinais para o público leigo, usando uma projeção de uma pessoa sinalizando em LIBRAS como interlocutor, finalmente conectando a importân-cia da introdução da pessoa ao mundo do surdo pelo contato direto, fazendo-a refletir sobre esse problema paradoxalmente oculto à vista de todos.

A consulta a professora Maira Fróes do departamento de Neurociência da UFRJ foi de grande importância para validar a correlação entre os processos cog-nitivos das línguas de sinais citados por Sacks em seu livro com os conceitos da Semiótica usados no projeto, de forma a facilitar a compreensão desses processos e sua aplicação dentro da proposta desta monografia. Essa compreensão permite que seja introduzida uma construção de signos em língua de sinais no público usando os recursos elementares da experiência observados por Pierce (SANTAELLA, 2007).

Após contato com diversos artistas e designers ligados a arte e tecnologia, verificou-se que não havia um uso semelhante dos sistemas encontrados até então ou com a temática do projeto, o que se mostrou uma oportunidade mas também uma dificuldade, pois imaginar o funcionamento dessa interação levando em conta toda a bagagem de pesquisa efetuada até então seria um caminho com poucas referências, um caminho pouco explorado.

Através de mais contatos buscando respostas sobre recursos tecnológicos que pudessem se relacionar a pesquisa, a resposta do músico e professor Eufrasio Prates da Universidade de Brasília (UnB) foi fundamental para que a ideia de utilização da webcam se firmasse como opção viável e com possibilidade de desenvolvimento futuro, graças ao seu programa Holofractal Transducer of Music and Image, criado usando o programa Cycling ‘74 Max, inicialmente pensado para através da captura de movimentos gerar sons fractalmente. O programa é capaz de analisar quadro a quadro um vídeo, seja ele pré-gravado ou capturado no instante, comparando-o com o anterior e exibindo apenas os pixels onde houve mudança, dessa forma qualquer movimento é capturado precisamente em sua completude. O algoritmo por trás do programa demonstrou as possibilidades reais da ideia desta monografia.

Em paralelo ao contato com o professor Eufrásio Prates houve a consulta a tradutora de Português-LIBRAS, Dafny Hespanhol, o que contribuiu para a ampliação das referências bibliográficas relacionadas a linguística na língua de sinais e melhor compreensão do processo de aquisição da língua de sinais por ouvintes, através do relato de experiências da profissional como estudante e tradutora. Suas observações são de que o ouvinte ao aprender LIBRAS encontra dificuldade em se sentir con-fortável tendo seu corpo observado por outro para que sua mensagem seja entendida, dada importância do posicionamento dos referentes no espaço e a expressão facial de valor gramatical correto. Por fim sua contribuição através da cessão de vídeos em que a tradutora sinaliza em LIBRAS para palestras e trabalhos serviu para os testes com o programa HTMI e a simulação da proposta final.

39

3.2 - A instalação “Um mundo além do som”

A instalação aqui proposta foi pensada para um ambiente imersivo, onde o público entraria em uma sala, onde estariam sendo projetadas em suas paredes vul-tos de passantes levemente enevoados e em uma dessas paredes estaria projetada com mais destaque uma pessoa observando ansiosamente o seu redor, como que procurando alguém que lhe desse atenção, ao se aproximar e se movimentar em frente a projeção, essa pessoa sinalizaria em LIBRAS e todas as outras projeções se dissipariam mais, incentivando seu interlocutor a reagir; como inicialmente ele não saberá o que fazer a pessoa projetada repetirá o sinal até que o interlocutor repita seu sinal, a pessoa projetada passaria então a um novo sinal, criando um diálogo básico em LIBRAS de poucas frases, no fim demonstrando gratidão por ter podido interagir com alguém que tivesse se dado ao tempo de parar e refletir.

A ideia de projetar uma pessoa sinalizando em LIBRAS levemente de-stacada entre várias pessoas de passagem procura apontar uma situação comum em que não prestaríamos atenção e tampouco procuraríamos interagir com alguém, mas onde podemos fazer uma diferença se dedicarmos apenas alguns minutos a nossa percepção dos arredores. Essa ideia se baseia na conclusão de Richard Sennet em sua reflexão sobre a vida social nas cidades, de que “se expôr denota mais a possi-bilidade de se ferir do que ser estimulado (pelo outro)”(SENNET, 1990) em tradução livre, tentando demonstrar o lado positivo da interação. A instalação não se utiliza da supressão de qualquer dos sentidos do público pois leva em consideração o que já foi estabelecido sobre a diferença ser percebida como algo que pode enriquecer a interação, procura-se fazer o público exercitar seus gestos de uma maneira pouco ex-plorada pelo ouvinte, usando principalmente a visualidade para fazê-lo imergir nesse modo de comunicação. Estando em um ambiente separado do seu redor o público se predispõe a interagir pois o local assume a característica espacial do jogo, como descrito por Johan Huizinga, assim como a limitação de um limite de frases a serem trocadas com a pessoa da projeção, de forma a delimitar a duração do jogo.

A repetição de sinais até que o interlocutor comece a repeti-los leva em consid-eração um estudo feito por Vilayanur Ramachandran apresentado por Susan Weinschenk no livro “100 Things every designer needs to know about people”, em que o neurocientista explica a atuação dos “neurônios espelhos”. Esses neurônios reagem automaticamente ao receberem o estímulo visual de alguma ação efetuada por outra pessoa, como pegar uma maçã sobre a mesa, provocando essa experiência no seu cérebro, mas não ativando seus músculos pois conscientemente seu cérebro recebe dos outros nervos na sua mão e braço que o membro acionado não é o seu. A atividade desses neurônios é a reponsável por aprendermos os comportamentos necessários para nossa sobrevivência e também alguns comportamentos culturalmente comuns. Susan Weinschenk diz:

40

”As últimas teorias sobre neurônios espelho atestam que eles também são o meio

pelo qual sentimos empatia por outras pessoas. Nós estamos literalmente experi-

mentando o que os outros experimentam através desses neurônios, permitindo que

nós sintamos profundamente, e literalmente, entender como outra pessoa se sente”

(WEINSCHENK, 2011)1

Logo a opção pela instalação também cria um exercício de empatia, im-portante fator emocional para a fixação da mensagem, fato igualmente apontado por Weinschenk.

A manipulação da imagem de forma a abstrair a forma das pessoas sendo projetadas ao invés da simples exibição da gravação original visa conferir uma certa anonimidade a projeção, fazendo com que os contornos, a forma, prevaleça sobre a identidade de uma única pessoa. Assim o reconhecimento fixado pelo cérebro é o do padrão dos movimentos, o impacto visual da forma e a experiência vivida serão mais facilmente associadas a qualquer outra pessoa que venha a repetir os mesmos pa-drões no dia a dia daquele que interagiu com a instalação, pois agora aqueles gestos terão adquirido sentido, seguindo os conceitos da semiótica, como explicitado por Lucia Santaella:

“É por isso que a experiência, o não-ego, o outro constituem-se no verdadeiro pivô

do pensamento, aquilo que move o pensar, retirando-o do círculo vicioso do amorte-

cimento. Falar em pensamento, no entanto, é falar em processo, mediação interpre-

tativa entre nós e os fenômenos. É sair, portanto, do segundo como aquilo que nos

impulsiona para o universo do terceiro.” (SANTAELLA, 2007)

Outra característica importante dessa imagem é o rastro do movimento na projeção, a sinalização em LIBRAS fica marcada pela sua passagem de tempo, sua fluidez interessa na compreensão de como essa dimensão temporal está presente na língua de sinais. O uso desse efeito visual se propõe a transferir a quarta dimensão temporal para o plano bidimensional de projeção. As outras três dimensões espaciais são naturalmente compreendidas pelo posicionamento anterior ou posterior de mãos e braços que venham a ocultar um ao outro ou alguma parte do corpo, explicitados pelos conceitos de sobreposição de formas apresentados por Rudolf Arnheim em Arte e Percepção Visual, pois temos o conhecimento semântico dos movimentos possíveis do nosso corpo.

A instalação assim atenderia os requisitos estabelecidos nesta monografia para uma abordagem eficiente da temática, enfatizando a necessidade de comuni-cação e provocando a reflexão sobre as dificuldades e potencialidades da surdez.

1 Livre tradução deste autor.

41

Imagem 25 - Experimentações de convidados no evento Hiperorgânicos 3 (2012) organizado pelo NANO

Imagem 26 - Participação como ouvinte no Hiperorgânicos 3 (2012)

42

Imagem 26 - Projeto “Badass Edutainment“, projeto educativo desenvolvido durante intercâmbio

Imagem 26 - Demonstração do funcionamento do jogo “Badass Edutainment“

43

Imagem 27 - Testes de integração do Kinect com o Processing

Imagem 28 - Projet Signage, de Mihika Shaunik

44

Imagens 29, 30 e 31 - Testes com o Kinect, técnica de “nuvem de pontos”

45

Imagem 32 - Ligação de consulta com o Prof. Dr. Eufrasio Prates

Imagem 33 - Interface do programa MAX em teste de conexão com o Processing

46

Imagem 34 - Interface do programa Holofractal Motion Transducer of Music and Image (HTMI)

Imagem 35 - Testes do resultado visual do HTMI manipulados no programa Adobe After Effects

47

Imagem 36 - Primeiros testes com vídeo disponibilizado por Dafny Hespanhol

Imagem 37 - Testes da interface visual da instalação

48

Imagem 38 (sequência)- Simulação do resultado visual da proposta dessa monografia, a instalação interativa “Um Mundo Além do Som“

Imagem 39 - Sketch simplificado da instalação

49

4 - Conclusão

Um grande enriquecimento pelo qual passei não só ao longo do desen-volvimento dessa monografia aconteceu ao cursar algumas matérias no curso de Co-municação Visual, além das experiências com a iniciação científica primeiramente no Laboratório de Fotopoética e atualmente no NANO, que ajudaram a desenvolver o interesse pela transdisciplinaridade, usando o design como ferramenta de ressignifi-cação e propositor de novos caminhos.

Minha pesquisa sobre a Cultura Surda ajudou a aumentar ainda mais a preocupação com a necessidade de usar meu trabalho, como retorno de todo o investimento feito em mim pelas instituições públicas, em fins sociais e em como o design precisa se aproximar dessas questões dentro e fora do meio acadêmico. As questões que envolvem particularmente a Surdez me fascinaram e continuarão sen-do temas de minhas pesquisas dentro do design, para um possível enriquecimento cultural de toda a sociedade.

A divulgação da importância do ensino da LIBRAS não só aos surdos é fundamental para um mundo mais inclusivo e aqui também foram apresentadas as justificativas científicas e sociais de como essa opção é benéfica para todos os públi-cos, uma iniciativa que prestigia mais pessoas do que essa monografia se restringiu a focar por questões práticas.

Junto do estudo sobre a surdez a temática educacional veio natural-mente e pensadores como Vygotsky capturaram meu interesse para trabalhos futuros, dada sua abordagem positiva sobre a diferença, uma que tem tido eco cada vez mais presentes na busca por novas plataformas de ensino que respeitem e valorizem as múltiplas potencialidades do ser humano, suas múltiplas inteligências como teorizado por Howard Gardner.

A proposta resultante da pesquisa, a instalação interativa, foi um pri-meiro passo para o desenvolvimento de projetos futuros e rendeu grandes experiên-cias no planejamento de projetos multimídia, envolvendo a pesquisa em programação e tecnologias assistivas, as referências a pesquisas em áreas como a neurociência e teorias educacionais e na busca por caminhos originais na associação entre diversas áreas de conhecimento.

As dificuldades encontradas ao longo do projeto, principalmente as de cunho prático, serviram para fortalecer o senso de que uma pesquisa da magnitude com que se intendia inicialmente era além das possibilidades presentes de um trabalho de conclusão de curso, tornando a administração do tempo fundamental e o estabelecimento de um mar-co que pudesse servir de plataforma para a criação de um caminho a seguir. As possíveis aplicações de um sistema open source baseado na captura de movimento via webcam são muito variadas e podem crescer exponencialmente com um trabalho em equipe.

50

O designer em Comunicação Visual têm de se envolver cada vez mais nas questões de acessibilidade e ajudar a incorporá-las na produção do trabalho para seus clientes, não apenas quando comissionado mas ativamente propô-las como par-te do processo de desenvolvimento de projeto. O designer tem o poder e a respons-abilidade de melhorar a qualidade de vida de todos aqueles que se envolvem direta e indiretamente com o resultado de seus projetos, participando assim de mudanças efe-tivas na sociedade em que se insere, pois hoje mesmo ações inicialmente pequenas tem potencial de afetar globalmente diversas comunidades e promover engajamento.

Espera-se que a partir dessa iniciativa, em conjunto com as demais sendo desenvolvidas atualmente no Brasil e no mundo, enaltecer a riqueza das Culturas Surdas e aumentar o compartilhamento de conhecimento entre ouvintes e surdos. A recepção inicial da proposta foi calorosa por parte das entidades e pessoas envolvi-das na pesquisa e apoiaram as escolhas feitas até então, agora esta será levada a público para que os próximos passos possam ser dados. Finalizo com uma citação de Oliver Sacks:

“A língua de sinais é para os surdos uma adaptação única a um outro modo sensorial;

mas é também, e igualmente, uma corporificação da identidade pessoal e cultural

dessas pessoas. Pois na língua de um povo, observa Heder, ‘reside toda a sua esfera

de pensamento, sua tradição, história, religião e base da vida, todo o seu coração e

sua alma’. Isso vale especialmente para língua de sinais, porque ela é a voz - não só

biológica mas cultural, e impossível de silenciar - dos surdos.” (SACKS, 1998:136)

51

5 - Bibliografia

ARNHEIM, R. Arte & Percepção Visual: uma psicologia da visão criadora. São Paulo: Livraria Pioneira Editora, 1997.

FELIPE, T. A. Libras em Contexto: Curso Básico - Livro do Estudante. Rio de Janeiro: WalPrint Gráfica e Editora, 2007.

FLUSSER, V. O Mundo Codificado. São Paulo: Cosac Naify, 2007.

FRAGOSO, M. L. Experimentações Multimídia em Arte Contemporânea e Inter-net. Tese de Doutoramento defendida em 2003 no programa de Pós-Graduação em Multimeios da UNICAMP, SP.

HUIZINGA, J. Homo Ludens. São Paulo: Editora Perspectiva S. A., 2000.

PACKER, R. Just What is Multimedia, Anyway?. Berkeley: IEEE, 1999.(http://ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=752965 )

POPPER, F. The art of the electronic age. London: Thames and Hudson, 1993.

SACKS, O. Vendo Vozes: uma viagem ao mundo dos surdos. São Paulo: Companhia das Letras, 1998.

SANTAELLA, L. O Que é Semiótica. São Paulo: Brasiliense, 2007.

SENNET, R. The Conscience of the Eye: the design and social life of cities. New York: W. W. Norton & Company, 1990.

WEINSCHENK, S. 100 Things Every Designer Needs To Know About People. Berke-ley: New Riders, 2011. Sites:

Censo Brasil 2010: http://censo2010.ibge.gov.br/

Projeto Poli-Libras: http://www.polilibras.com.br/

Projeto FotoLibras: http://fotolibras.com/

52

Aplicativo e Serviços ProDeaf: http://www.prodeaf.net/

Aplicativo e Serviços HandTalk: http://www.handtalk.me/

Microsoft Kinect: http://www.xbox.com/pt-BR/Kinect/Home-new

Leap Motion: https://www.leapmotion.com/

Myo Armband: https://www.thalmic.com/en/myo/

Projeto Google Gesture: http://add.berghs.se/case/google-gesture

Programa Processing: https://www.processing.org/

Projeto de Hadi Michael: http://hadi.io/gest.js/

Projeto de Andrew Kirillov:http://www.codeproject.com/Articles/26280/Hands-Gesture-Recognition

Programa Cycling ‘74 MAX: https://cycling74.com/

Myron Krueger no ARS Eletronica:http://talksandlectures.aec.at/search.php?searchtext=myron+krueger&search=ok

Estúdio LEGS: http://welcometolegs.com/work/intel-realsense-interactive-wall/

Blow Factory: http://blowfactory.com/bmw-interactive-installation/

NOTA BENE Visual: http://www.notabenevisual.com/#/works/in-order-to-control/

SuperUber:http://www.superuber.com.br/sombras-na-mostra-brasil-alemanha-culturas-conectadas/

Barbara Castro:http://barbaracastro.com.br/qd_gallery/bracher-pintura-e-permanencia/

53

6 - Bibliografia Complementar

ANTUNES, C. Inteligências Múltiplas e Seus Jogos: inteligência espacial. Petrópolis: Vozes, 2006.

AZAMBUJA RODRIGUES, C. de. Rumo às Interfaces Lúdicas, ou… Do quê é que o Buda ri ?. (https://www.academia.edu/2559825/Rumo_%C3%A0s_Inter-faces_L%C3%BAdicas_Towards_ludic_interfaces )

ENGLER, R. de C.; MOURÃO, N. J.; CASTRO, F. N. de O.; RIBEIRO, A. F. L. Con-tribuições do Design Digital para a Inclusão de Deficientes Auditivos. (http://www.ufrgs.br/ped2014/trabalhos/trabalhos/817_arq2.pdf )

LEBEDEFF, T. B.; ROSA, F. S.; BORDA, A.; AROSTEGUY, J. Produção de Material Didática para o Ensino de LIBRAS a Distância: uma discussão sobre desafios e super-ações didáticas e de design. (http://wp.ufpel.edu.br/fabianosoutorosa/files/2012/04/PRODU%C3%87%C3%83O-DE-MATERIAL-DID%C3%81TICO-PARA-O-ENSINO-DE-LIBRAS-A-DIST%C3%82NCIA-UMA-DISCUSS%C3%83O-SOBRE-DESAFIOS-E-SUPERA%C3%87%C3%95ES-DID%C3%81TICAS-E-DE-DESIGN.pdf )

LEOPOLDSEDER, H; SCHÖPF, C. Cyber Arts 2001: International Compedium Prix Ars Eletronica. Linz: Gutenberg-Werbering Gesellschaft m.b.H, 2001.

Sites:

http://culturasurda.net/

http://www.motionsavvy.com/

http://desenhouniversal.com/forum/

http://www.designforalleurope.org/Design-for-All/Articles/Article_archive/

http://repositorio.ufsc.br/handle/123456789/96215

http://www.ufrgs.br/ped2014/trabalhos/trabalhos/817_arq2.pdf

http://wright.ava.ufsc.br/~alice/conahpa/anais/2011/papers/49.pdf

54

7 - Lista de Imagens

Imagem 1 - Projeto Poli-LibrasImagem 2 - Projeto FotoLibras, com a exposião “por contato“ no MARImagem 3 - Página de serviços da ProDeafImagem 4 - Página de serviços da HandTalkImagens 5 e 6 - Kinect, com adaptador USBImagens 7 e 8 - Leap Motion, exemplo e tamanho relativoImagens 9 e 10 - Myo Armband e funcionamentoImagem 11 - Google Gesture, projeto acadêmico de propagandaImagens 12 e 13 - Processing, exemplo de programaImagem 14 - Página de distribuição livre do Gest.jsImagem 15 - Página do código fonte de Andrew KirillovImagem 16 - Página com exemplo de estrutura modular de programação do Cycling ‘74 MAXImagens 17 e 18 - Myron Krueger no Ars Eletronica e sketch de sua instalaçãoImagem 19 - Um dos exemplos de Myron Krueger da série derivada de VIDEOPLACEImagem 20 - Intel CES 2015 Interactive Wall, criado pelo estúdio LEGSImagem 21 - Instalação para a BMW, criada pela Blow FactoryImagem 22 - In Order to Control, instalação do estúdio NOTA BENE VisualImagem 23 - Instalação Sombras da SuperUberImagem 24 - BRACHER - Pintura e Permanência, de Barbara Castro e Luiz LudwigImagem 25 - Experimentações de convidados no evento Hiperorgânicos 3 (2012) or-ganizado pelo NANOImagem 26 - Projeto “Badass Edutainment“, projeto educativo desenvolvido durante intercâmbioImagem 27 - Testes de integração do Kinect com o ProcessingImagem 28 - Projet Signage, de Mihika ShaunikImagens 29, 30 e 31 - Testes com o Kinect, técnica de “nuvem de pontos”Imagem 32 - Ligação de consulta com o Prof. Dr. Eufrasio PratesImagem 33 - Interface do programa MAX em teste de conexão com o ProcessingImagem 34 - Interface do programa Holofractal Motion Transducer of Music and Image (HTMI)Imagem 35 - Testes do resultado visual do HTMI manipulados no programa Adobe After EffectsImagem 36 - Primeiros testes com vídeo disponibilizado por Dafny HespanholImagem 37 - Testes da interface visual da instalaçãoImagem 38 (sequência)- Simulação do resultado visual da proposta dessa monogra-fia, a instalação interativa “Um Mundo Além do Som“Imagem 39 - Sketch simplificado da instalação

55