Proyecto Tangible

Desarrollo de una herramienta para proyecciones de video volumétricas.

Autores: Christian Parsons, Diego Alberti, Juan Pablo Amato, Leandro Olivan.

Proyecto de investigación “Tangible. Interfaces de Realidad Aumentada, Aplicadas a la Docencia y al Arte”Aprobado por el Consejo Académico del Área Transdepartamental de Artes Multimediales (Res. Nro. 055/07) –Directores: Ing. Emiliano Causa, Dr. Pablo Cetta - Inistuto Universitario Nacional de Artes – Yatay 843Ciudad Autónoma de Buenos Aires, Argentina. +54 11 4862 8209

chparsons@gmail.com, aboiledtiger@gmail.com, juanpamato@gmail.com,olivanleandro@gmail.com

Palabras claves

Displays volumétricos, transformaciones gráficas 3D, representación sonora 3D.

Resumen

El presente documento es una descripción del trabajo de investigación realizado en el marcodel proyecto de investigación "Tangible" llevado a cabo en el IUNA durante el año 2008,realizado por Christian Parsons, Diego Javier Alberti, Juan Pablo Amato y Leandro Olivánbajo la dirección del Ing. Emiliano Causa.

1. Introducción

Como continuación del proyecto iniciado en 2007 decidimos encarar una linea de desarrolloen relación a las "superficies de proyección". La idea para este proyecto 2008 es la deexpandir las capacidades de proyección del sistema "Tangible - Pantalla sensible" dondela interacción usuario/imagen/sonido se limitaba a los bordes definidos de una pantalla delycra y un sistema de altavoces estéreo.

En este caso se pretende retirar de la pantalla la proyección y ubicarla tridimensionalmente enobjetos manipulables en un espacio real definido. Como consecuencia de esta interacción,la manipulación de estos objetos (que funcionan a la vez como dispositivos de control ypantallas donde se ubican las imágenes devueltas por el sistema) además de modificar laubicación de la proyección, también permite relacionar ese espacio real con un sonidoanclado espacialmente en esa posición.

Se propone entonces construir una herramienta para el desarrollo de aplicaciones multimediade realidad aumentada que permita superponer proyecciones de video en tiempo real sobre

objetos físicos, transformando y mapeando la luz del proyector en objetos que ocupanespacio.

El proceso de desarrollo de dicha herramienta se produce mediante la realización de unprototipo de instalación que consiste en el siguiente proceso de interacción:Un usuario toma un objeto geométrico y lo sitúa en cualquier lugar dentro de un espaciodelimitado en una sala.Ese objeto es sensado de manera invisible para el usuario: una cámara captura una imageninfrarroja bidimensional del espacio y detecta, valiéndose del análisis de un patrón gráficodefinido sobre el objeto, en qué punto de la habitación y con que inclinación este seencuentra.El software devuelve una imagen que se proyecta sobre ese objeto real al tiempo que sereproducen sonidos que parecen provenir de dicho objeto.

Esta herramienta significa un aporte a otros desarrollos de realidad aumentada en cuanto quecrea una visualización interactiva sobre el espacio que no se limita a la superposición delmundo físico y el virtual en la pantalla bidimensional sino que sale de esta pantalla paraintervenir directamente sobre el espacio.

Figura 1: Esquema de instalación.

2. Estado del Arte

Respecto de este tipo de propuestas se han desarrollado aplicaciones tanto en el orden deproducciones artisticas como tecnologicas. A continuacion se citan algunos ejemplos queilustran el estado actual del desarrollo de este tipo de tecnicas:

• Marisil (http://marisil.org/) Este proyecto presenta lo que podría ser la próximageneración de interfaces de dispositivos móviles (tanto teléfonos comocomputadoras). El sistema (todavía en proceso de desarrollo) basa su existencia en ladesaparición de los dispositivos de entrada tradicionales, a los que sustituye por unainterfaz virtualizada que la persona visualiza en su mano, o en otro sitio, y con la queinteractúa tocando la superficie real sobre la que se proyecta esta interfaz virtualpara, posteriormente, aplicar técnicas de reconocimiento de imágenes para analizar laselección del usuario.

Figura 2: Marisil.

• Life Clipper (http://www.torpus.com/lifeclipper/): es un proyecto de arte enexteriores, que ofrece una experiencia basada en un paseo al aire libre dónde sedespliega una experiencia audiovisual basada en realidad "mejorada" concomponentes virtuales. Para esta experiencia, hace falta equiparse con unacomputadora portatil y unas gafas especiales conectadas a la misma. Con este equipo,al ir andando por un área de interés cultural, o un paisaje impresionante, el sistema escapaz de detectar la posición y dirección del usuario mediante GPS y añadeinformación visual y sonora relevante a la vista. Esta información incluye desdefotografías, documentales, etc. El éxito e interés de Life Clipper ha permitido queevolucione, surgiendo Life Clipper 2 (http://www.lifeclipper.net/EN/index.html)

Figura 3: Life Clipper.

• Smart Goggles (http://technology.timesonline.co.uk/tol/news/tech_and_web/article3542404.ece): Unas gafas "inteligentes", diseñadas para monitorizar nuestrasactividades y servirnos de asistencia en situaciones como la pérdida de las llaves delcoche. Estas gafas se complementan con una cámara que graba todo lo que hacemos.Así pues, si perdemos las llaves del coche o el móvil, bastará con decirle a las gafasqué hemos perdido, para que busque en la grabación la última aparición del objetoperdido y nos muestre ese fragmento de la grabación para ayudarnos a encontrar loque hemos perdido.

Figura 4: Smart Goggles.

Además de estos proyectos que ya están en marcha, existen algunos proyectos que todavíaestán germinando o que son meras ilusiones de lo que se puede alcanzar con esta tecnología.

• Lentes de contacto con RA (http://uwnews.washington.edu/ni/article.asp?articleID=39094): Las lentes reflejan el contenido de un monitor virtualdirectamente en tu visión. Pudiendo facilitar información adicional sobre el entorno.

Desde luego, el día que este invento vea la luz las aplicaciones serán innumerables ypueden suponer una revolución en campos como los videojuegos.

Figura 5: Lentes de contacto con RA.

• Guía turística futurista (http://www.diariodelviajero.com/2008/03/20-guia-turistica-futurista-solo-un-concepto): Se trata de un dispositivo imaginado por elcreador del blog Petitinvention (por ahora solo es una idea) y que consiste en unaespecie de pantalla plana que, al colocarla delante de un objeto se conectará ainternet vía wi-fi para realizar una búsqueda sobre lo que hayamos captado con el finde identificarlo o mostrar información sobre el mismo. Esta idea sigue la línea deLife Clipper, pero de ver la luz sería mucho más práctico, además de convertirse enuna tecnología que se podría integrar en otros dispositivos móviles con una pantallagenerosa (como un iPhone).

Figura 6: Guía turística futurista.

Tanto los proyectos ya existentes como los que están en desarrollo o las meras ideas acercade posibles sistemas de RA son más que interesantes y plantean numerosas posibilidades.Además, demuestran que la RA es una tecnología con un potencial sobresaliente y que, muyseguramente, jugará un papel muy importante en nuestras vidas cotidianas en un futuro nomuy lejano. Además, las interfaces diseñadas con Realidad Aumentada se muestran comocompañeras ideales de los Sistemas Inteligentes, así como complementarse muy bien contecnologías como la computación ubícua y los "wearable devices" (dispositivos "vestibles").

2.1. Realidad Aumentada

La Realidad Aumentada consiste en añadir gráficos virtuales, en tiempo real, al campo devisión de una persona. Su finalidad es superponer al entorno real la información que interesavisualizar. Se diferencia de la realidad virtual según el siguiente concepto: mientras laRealidad Virtual pretende reemplazar al mundo real, la Realidad Aumentada lo que hace escomplementarla.

La Realidad Virtual introduce al usuario en un ambiente informático artificial, pero la

Realidad Aumentada no aleja al usuario de la realidad, sino que lo mantiene en contacto conella al mismo tiempo que interactúa con objetos virtuales.

La Realidad Aumentada es en la práctica un interfaz alternativo a la pantalla del ordenadorque se aplica en diversos campos, como medicina, ocio, mantenimiento de maquinaria,arquitectura, robótica, industria, etc.

Por ejemplo, con esta tecnología es posible que un mecánico detecte un fallo en el motor sinnecesidad de desarmarlo, ya que mediante la Realidad Aumentada puede apreciar la totalidadde su estructura con sólo resaltar en su videocasco las secciones marcadas en el motor.

Figura 7: Gafas de Realidad Aumentada

Lo mismo puede decirse de la medicina, que gracias a esta tecnología puede observar lostejidos del cuerpo mediante una ampliación virtual del organismo, sin necesidad de recurrir alos rayos X. Más recientemente, incluso se ha aplicado la tecnología de la RealidadAumentada para el mantenimiento de una planta nuclear.

2.2. Sistemas oculsivos vs. Sistemas no-oclusivos en Realidad Aumentada

Un problema estructural del trabajo con realidad aumentada consiste en la diferenciaexistente entre visualizar la superposición del mundo visible y el renderizado de gráfica porcomputadora a través de un sistema oclusivo o bien un sistema no-oclusivo.

El sistema oclusivo consiste en visualizar el mundo captado por la cámara y también lasimágenes generadas por ordenador a través de un monitor. Dicho monitor puede ser cualquiermonitor de computadora, pero también pueden ser microdisplays como los que se montan enanteojos de realidad aumentada.

El sistema no oclusivo consiste en ver las imágenes generadas por ordenador superpuestasdirectamente al mundo visto con nuestros propios ojos (y no a través de una imagen demonitor).

El sistema oclusivo tiene la ventaja de colocar al mismo nivel la imagen del mundo físico y laimagen rendereada por el ordenador, con lo cual las velocidades de cada imagen (medidas enframerate o cuadros por segundo) se encuentran sincronizadas: ambos mundos corren a lamisma velocidad ante los ojos humanos ya que los dos se muestran a través de la mismaimagen computarizada.El problema de este sistema es el retardo que se revela entre la interacción física gestual delhumano y su correspondiente reacción visual generada por la computadora.

El sistema no-oclusivo, al estar la imagen renderizada por ordenador y la imagen del mundofísico separadas, contrae el problema de que se revela la diferencia de framerate entre ellos.Se ve con facilidad el retardo de velocidad de la imagen computarizada ante la visión directadel mundo físico por los ojos humanos.

El caso no-oclusivo es el caso de este proyecto, con lo cual se hace necesario entender yabordar las ventajas y desventajas de este sistema a la hora diseñar la interacción de lasaplicaciones creadas con una herramienta de este tipo.

2.3. Displays volumétricos

“Los displays volumétricos son sistemas en los que se reproduce físicamente unvolumen tridimensional mediante la generación de estímulos lumínicos querepresentan la escena” (Francesc Tarrés Ruiz, 2000)

La idea del proyecto se origina en una inquietud por trabajar con dispositivos volumétricos devisión. Existen hoy en día una cantidad de desarrollos e investigaciones sobre este tópico,buscando llevar la interacción física y visual fuera de las dos dimensiones de las pantallasutilizadas habitualmente hacia dispositivos tridimensionales. Esto significa un problematecnológicamente complejo para el alcance de las tecnologías de hoy. Se han logradocantidad de avances aunque todavía no se ha logrado llegar a un dispositivo accesible quelleve a cabo plenamente la idea existente en el imaginario de quienes desarrollan este tipo deinvestigaciones, que consiste en generar un dispositivo de visión volumétrico que siga lassiguientes características:

• El pixel 2D se transforma en un voxel 3D.• Los voxels pueden colocarse libremente en cualquier punto del espacio físico

definido por una coordenada cartesiana [x,y,z].• Los voxels pueden observarse desde cualquier punto de vista y no sólo respondiendo

a un único punto de vista predefinido.• No es necesario utilizar aparatología sobre el cuerpo humano para obtener la visión

estereoscópica del objeto.

Estas características principales y otras son difícilmente reunidas en los desarrollos existentesde displays volumétricos y menos aún en dispositivos de costos y tecnologías accesibles.

Figura 8: Una colaboración del Instituto Nacional de Ciencia y Tecnología Industrial Avanzada de Japón(AIST), la Universidad Keio y Burton Inc. produjo un dispositivo para visualizar imágenes 3D utilizando

plasma y láser. Fuente: http://www.physorg.com/news11251.html

En este proyecto decidimos abordar el tema a partir de una de las técnicas existentes paradesarrollar imágenes en el espacio tridimensional: las proyecciones de video volumétricas.

2.4. Proyecciones volumétricas

Esta técnica consiste en realizar proyecciones de video sobre objetos físicos tridimensionalesmapeando las imágenes de la proyección sobre los objetos, generando una suerte detexturización de los objetos físicos mediante proyecciones controladas digitalmente.Esta técnica significa una serie de problemas técnicos que serán descriptos en estapresentación.

Habitualmente los proyectores de video digital son utilizados en combinación con superficiesde proyección bidimensionales reproduciendo tecnológicamente la situación espectatorialinstitucionalizada por la cinematografía.Sin embargo, este dispositivo puede ser entendido de una forma diferente: como una fuentede iluminación del espacio. Tal como se utilizan los aparatos de iluminación escenográficos,un proyector de video puede ser aplicado para articularse sobre el espacio. De esta manera, esposible aprovechar su potencial espacial lumínico al mismo tiempo que su potencial detranformación y creación de imagen digital en tiempo real.

Para esto es necesario realizar una investigación sobre la realización y construcción desuperficies físicas de proyección y sobre los detalles del fenómeno de la proyección de la luz

en el espacio tridimensional.

3. Desarrollo del Prototipo

Durante la investigación se desarrolló un prototipo que se ecuentra en proceso, el cualconsiste en una instalación de proyecciones volumétricas interactivas.En la instalación, distintos cuerpos geométricos manipulables - como cubos o prismas -actúan como contenedores de objetos virtuales, los cuales se manifiestan a través de imágenesanimadas y emisiones sonoras.De esta manera, en un espacio de exhibición se disponen los cubos o prismas de modo tal quepuedan ser tomados y trasladados por el público, y así, en un lugar específico del espacio,cargar dichos objetos virtuales en cada volumen.

El sistema y la estructura de procesos puede resumirse sobre las siguientes seccionesprincipales:

A. Trackeo de volúmenes en el espacio tridimensional:Consiste en la captación de los objetos físicos y reconocimiento de su posición yorientación en el espacio tridimensional. Para ello pueden emplearse diversastecnicas:

◦ Captura mediante sistemas de computacion visual de patrones bitonales.◦ Captura de puntos luminicos y reconversion de la forma a partir de la

posicion de dichos puntos.◦ Sistemas ultrasonicos de sensado de posicion (no permiten determinar

inclinacion).◦ La combinacion de varios de los anteriores

B. Representación visual y proyección del espacio tridimensional virtual sobre elespacio físico:Luego de haberse efectuado el analisis de la posicion/inclinacion del objeto elsoftware debe ser capaz de producir una imagen que se corresponda con las caras delobjeto. Para ello se aplica la matematica necesaria para traducir los datos adquiridossobre la posicion del objeto real en valores identicos pero dentro de un entornotridimensional computado para luego volver a retraducir ese universo virtual devuelta al espacio real del objeto por medio de una proyeccion bidimensional.

C. Representación sonora en tres dimensiones:El sonido generado parece provenir del punto donde se encuentra el objeto. Para esose vale de un sistema de ambientacion sonica multicanal que recoje la informaciongeneradas en 1 y 2 y las retraduce en valores de nivel de salida de cada uno de losaltoparlantes situados en lugares especificos y conocidos del espacio.

Diagrama de Flujo de Sistema:

Figura 9: Diagrama de flujo del sistema.

4. Trackeo de volúmenes en el espacio tridimensional

En primer lugar, es necesario captar la posición y orientación de los volúmenes con el fin deproyectar imágenes con las correcciones necesarias para evitar deformaciones.Para esto es posible utilizar técnicas de visión por computadora y reconocimiento depatrones. Existen diversos métodos para trackear objetos en tres dimensiones mediante visiónpor computadora.

4.1. Reconocimiento de volúmenes a través de señalización por LEDs

Una posibilidad consiste en colocar puntos de luz (leds) sobre los vértices de los objetos demodo tal que la cámara puede reconocerlos y ubicar su posición bidimensional en la pantallapara luego utilizar esta posición 2D en el renderizado, deformando las texturas según estospuntos o blobs independientes.

Figura 10: Foldable displayes, de Johnny Chung Lee, donde utiliza una técnica de LEDs.

Figura 11: Corrección y deformación de imágenes según las tranformaciones 2D/3D

Sin embargo esta técnica dispuesta de tal manera no es un trackeo tridimensional de losobjetos propiemente dicho.

Otro de los problemas del sistema de leds es que sin identificación de los leds, sólo es posibleutilizar un solo plano (4 vertices/leds) como volumen de proyección.

4.2. Reconocimiento de patrones bitonales para Realidad Aumentada

La técnica de reconocimiento de patrones bitonales consiste en utilizar formas compuestaspor blanco y negro para ser analizadas y reconocidas por la computadora mediante algoritmosde visión artificial.Existe un software libre para desarrollar esta técnica aplicada a la realidad aumentada:Artoolkit.

Artoolkit es una librería de software o API (Application Program Interface) para crearaplicaciones de Realidad Aumentada.Utiliza algortimos de visión por computadora y reconocimiento de patrones para reconocer laposición y orientación de ciertos patrones en el espacio. Los patrones son captados por unacámara y analizados por el software en tiempo real.

Colocando un patrón sobre cada cara plana de los objetos geométricos que son usados paraproyectar el video es posible corregir la deformación de las imágenes 3D para mapearlascorrectamente sobre los objetos.

Figura 12: Diagrama de flujo del software Artoolkit.

Figura 13: Aplicación de Realidad Aumentada realizada con Artoolkit.

Figura 14: Patrón o Marker en Artoolkit.

4.3. Comparación de los métodos

Se decidió utilizar Artoolkit y no el sistema de LEDSya que artoolkit provee una API para sensar objetos en 3D mientras que el sistema de ledsreconoce blobs independientes, sin conciencia de cuál es cada punto reconocido. Para poderdesarrollar aplicaciones más complejas se hace necesario poder reconocer formas eidentificarlas.

Utilizando leds sin analizar la forma sería factible realizar cierta identificación pulsando losleds a frecuencias diferentes haciendo posible reconocerlos. Sin embargo esto requiere de undesarrollo especial y complejo, mientras que en el caso de Artoolkit ya existe una APIopensource que resuelve este problema.

Lo interesante de la utilización de leds para ver planos en el espacio es que construye undispositivo poco visible y muy liviano, lo cual se hace sumamente importante a la hora deconstruir superficies y espacios de proyección, donde el dispositivo tecnológico debe ser fácilde montar y manejar.

Un desarrollo que puede lograr un avance sobre esto es la realización de una serie dealgoritmos de reconocimiento de forma que utilicen como fuente patrones creados por pocosleds, con el fin de integrar las posibilidades del reconocimiento de formas en 3D y lautilización de pocos leds para formar los patrones.

4.4. Dispositivos de superficies de proyección

Definicion del modelo sobre el que se proyectaran las imagenes:

La idea original del proyecto era, utilizando un cubo, generar diferentes situaciones sonoras

ya sea cambiando su posicion, girandolo o poniendolo de cabeza.

A partir de un primer análisis surgieron una serie de problemas a tener en cuenta a la hora defabricar el dispositivo:

En principio se requería que las caras visibles sean blancas para soportar la proyección pero ala vez era necesario que cada cara este diferenciada con un patrón. Los diferentes patronesnecesarios para que la libreria ARToolkit funcione deben colocarse cada uno en una cara dedicho cubo. Por lo tanto la manera de hacer esto posible evitando que el patron interfiera conla proyeccion era utilizando un sistema de captura óptico con luz infrarroja.Es decir, lograr que el patron permanezca oculto a los ojos humanos pero no asi al sistema decaptura necesario para poder determinar su posicion/inclinacion en el espacio.

Ademas este cubo debería ser facil de manipular, por lo tanto su dimension no debía sersuperior a unos 30 cms de lado.

La idea de utilizar dicho criterio es similar a lo resuelto en el proyecto anterior donde seutiliza luz infrarroja para detectar la sombra producida en la pantalla sin que esta seainterferida con la luz visible del proyector.En este caso se penso en un cubo hueco para poder contener en si mismo la fuente de luzinfrarroja que atravesaría un patrón calado en una superficie blanca pero traslucida.

Ademas de esto debía contener en su interior las baterias para mantener la fuente luminosaencendida ya que de utilizar un cable se perderia la total libertad de manipular el objeto comose desee. En ese sentido tambien debe tenerse en cuenta la autonomia de dichas baterias yaque se espera un uso razonable del dispositivo antes de tener que recargarlas.

No pudimos encontrar una forma lo suficientemente simple para fabricar un prototipo de unobjeto de esas características. En principio por la imposibilidad de armar un cubo translúcidoen sus seis caras en donde no se produzcan ocultamientos de los patrones a causa sus propiascaracteristicas de construcción.

En reemplazo se penso en un cajon de solo dos caras detectables/proyectables.

Figura 15: Diagrama del prototipo.

Figura 16: Diagrama del prototipo.

Figura 17: Interior, malla de LEDs.

El objeto consiste en un bastidor con una ventana. Es algo asi como un negatoscopio (caja deluz utilizada para estudiar peliculas fotograficas) pero que permite el paso de la luz en amboslados.En este caso se desarrollaron superficies recubiertas con leds infrarrojos con dicho fin. Todoel circuito se encuentra conectado a una bateria de 9V.

Este primer prototipo aún permanece en etapa de desarrollo puesto que todavía no hemosconseguido un funcionamiento adecuado. Los leds infrarrojos estan diseñados para proyectarun haz de luz lo mas coherente posible (un angulo muy cerrado) para tratar de alcanzar unpunto de iluminacion a una gran distancia (tengase en cuenta que estos leds infrarrojos seuntilizan en controles remotos ).Por eso la dispersion en la distancia que va del led a la pantalla de proyeccion es nula y elpatron no alcanza a definirse por completo ante la camara del sistema.

5. Representación y proyección del espacio tridimensional virtual sobre elespacio físico

Técnicamente, el renderizado de gráfica en la computadora se realiza con una librería desoftware libre llamada OpenGL (Open Graphics Library) http://www.opengl.org/Esta librería se utiliza en gráfica informática en la industria de los videojuegos y envisualización científica.

Comenzando desde los datos generados por Artoolkit, pasando por la calibración y mapeo decoordenadas, hasta el render 3D en OpenGL, este proceso de manejo de datos 3D seestructura sobre operaciones de matrices.

Las matrices son utilizadas para facilitar las operaciones matemáticas de los datos 3D.

Estos procesos se basan en la utilización de dos matrices: la matriz de proyección y la matrizde transformación.

I. Matriz de proyección

Basada en los parámetros de la cámara esta matriz sirve para mapear las coordenadas 3d delespacio virtual en coordenadas 2d de la pantalla.

Es el proceso de Proyección Gráfica utilizado desde hace tiempo para proyectar espacios 3Den superficies 2D.

En OpenGL, los datos que se utilizan para definirla son:

• Límites del cono de proyección• Campo de visión o Field of view (FOV), determinado por un ángulo• Aspect ratio, en general 4:3

Figura 18: Pirámide de proyección de la cámara y del proyector de video.

Figura 19: Proceso de proyección 2D a 3D.

Siguiendo el diagrama anterior, para determinar la posición de un punto proveniente de unespacio 3D en una superficie 2D (la pantalla) se hace el siguiente cálculo:

coordenada X en pantalla (Bx) = coordenada X del modelo (Ax) * distancia del ojo a lapantalla (Bz) / distancia del ojo al punto (Az)

coordenada Y en pantalla (By) = coordenada Y del modelo (Ay) * distancia del ojo a lapantalla (Bz) / distancia del ojo al punto (Az)

II. Matriz de transformación:

Las matrices de transformación se corrensponden con las tranformaciones geométricas de lospuntos y los objetos en 3D. Dichas transformaciones son las siguientes:

• Translación• Rotación• Escala

En este caso las matrices se utilizan para facilitar las operaciones matemáticas con Vectores(por ej. el vector de posición [x,y,z]).Las matrices se multiplican para acumular las transformaciones geométricas de los puntos enel espacio.

Artoolkit devuelve una matriz de tranformación por cada patrón reconocido. Esta matrizcondensa dos informaciones sobre el patrón:

• Posición 3D [x,y,z]• Rotación 3D

Esta matriz se utiliza para aplicarle las transformaciones a los objetos 3D renderizados porOpenGL en el mundo virtual.

5.1. Representación y proyección del espacio tridimensional

Para lograr las imágenes proyectadas en los volúmenes es necesario un paso más luego dereconocer las formas en 3D: transformar las coordenadas dadas por artoolkit desde su sistemade coordenadas nativo a un sistema de coordenadas previamente calibrado para coincidir lasproyecciones con los patrones en el espacio.Este sistema de calibración logra corregir el desfasaje entre la cámara y el proyector. De estamanera la calibración consiste en hacer un mapeo de coordenadas de lo que visualiza lacámara y lo que emite el proyector.

Figura 20: Relación de objeto proyectado con el proyecotr de video y la cámara.

Este tipo de calibración es realizado por el sistema desarrollado por el Ing. Emiliano Causapara la realización de pantallas sensibles en dos dimensiones (ver Proyecto Tangible 2007).En este caso es necesario realizar un proceso similar en tres dimensiones.

6. Sonido

En cuanto al tratamiento sonoro, el objetivo tenía que ver con hacer perceptible el anclajeentre un objeto en el espacio real y un comportamiento sonoro correspondiente. Para ello erafundamental la elección de un sistema de espacialización sonora adecuado que permitiese lalocalización de los sonidos en un espacio de tres dimensiones, por lo que en un principio lossistemas multicanal directamente derivados de la estereofonía -cuadrafonía, 4.1, 7.1, etc.-quedaron inmediatamente descartados. Otro requerimiento era tener la posibilidad delocalizar los sonidos dentro del mismo espacio habitado por el oyente, de modo que modelostales como el Vector Base Panning de Ville Pulkki (1997) o el propuesto por F. RichardMoore (1990) no podían ser utilizados. De esta manera, el sistema de espacializaciónAmbisonics se presentaba como el más adecuado para nuestras necesidades. Además decumplir con lo requerimientos mencionados anteriormente cuenta también con la ventaja deseparar la instancia de sintesis y codificación de la de decodificación y reproducción, con locual es facilmente adaptable según la cantidad y el diseño de parlantes disponible. Por otraparte, la posibilidad de utilizar lo que se conoce como Higher Order Ambisonics (HOA)aporta la ventaja de incrementar el espacio óptimo de escucha, y así dar un caractermultiusuario que permita la percepción de una localización sonora desde distintos puntos delespacio de exhibición.

Para implementar el desarrollo sonoro se realizó una aplicación en Max/Msp. En ella eranecesario recibir los datos de posición desde el módulo de render 3D para aplicarlos en laespacialización sonora, para lo cual se utilizó el protocolo de comunicación Open SoundControl (OSC). Para recibir los datos en Max/Msp se ultilizó la libreria de OSC realizada porMatt Wright (CNMAT, Universidad de California). Dado que el sistema de espacializaciónAmbisonics modela el espacio como una esfera de radio 1 era necesario realizar una serie deoperaciones para transformar el sistema de coordenadas del modulo de render 3D a unsistema de coordenadas compatible con Ambisonics. Para prototipar la espacialización seutilizó una libreria de Ambisonics desarrollada por el Institute for Computer Music andSound Technology (Zurich School for Music, Drama and Dance) que posibilitaba el uso defunciones de segundo y tercer orden para codificar y decodificar Ambisonics. También erainteresante contar con los datos sobre las rotaciones que aporta el módulo de sensado envistas de las posibilidades de emular comportamientos sonoros a partir de las rotaciones delobjeto en el espacio real. En este sentido se desarrollaron 2 modulos de sintesis con el fin de

testear de modo reactivo la aplicación de los angulos de rotación para controlar el timbre y laaltura en un módulo de sintesis granular y en otro de síntesis aditiva.

Finalmente, en cuanto al desarrollo sonoro, ha quedado pendiente la utilización de losangulos de rotación del objeto en el espacio real para determinar el patrón de difusión delsonido, asi como tambien el desarrollo de un sistema de calibración de la espacializaciónsonora compatible con el sistema de calibración del proyector. Sobre la aplicación de lospatrones de radiación sonora sobre el objeto, es interesante la propuesta del Formato O deambisonics realizada por Dylan Menzies (2002), así como las extensiones a este formatopropuestas por David Malham (2001), cuya aplicación en nuestro prototipo sonoro seencuentran aún en desarrollo.

7. Conclusión

Al momento de escribir este documento, el proyecto puede considerarse en un estado Betafuncional. Es decir que conseguimos con exito generar un sistema que permite captar unpatron en el espacio, informatizarlo y con ello producir un feedback sonoro y visual buscado.Resta ahora realizar todas las mejoras al software necesarias para obtener un sistema decalibracion solido y sensillo de utilizar.Por otra parte el sistema de objeto+patron requiere una reformulacion sustancial puesto queno se pudo resolver esa situacion con el diseño pautado.

8. Referencias bibliográficas

1. http://weblogs.madrimasd.org/sistemas_inteligentes/archive/2008/03/21/87063.aspx2. http://www.tendencias21.net/La-Realidad-Aumentada-permite-reconstruir-el-

pasado_a835.html3. Francesc Tarrés Ruiz (2000) "Sistemas audiovisuales", Universidad Politécnica de

Cataluña, Edicions UPC.4. http://en.wikipedia.org/wiki/Volumetric_display5. http://gl.ict.usc.edu/Research/3DDisplay/6. http://www.lucente.us/career/syn3d/volumetric.html7. http://www.nova3d.com/

index.php?option=com_content&view=article&id=15&Itemid=108. http://www.infovis.net/printMag.php?num=88&lang=19. Johnny Chung Lee, http://www.cs.cmu.edu/~johnny/projects/thesis/

10. Art+Com (2002), http://www.artcom.de/index.php?option=com_acprojects&page=6&id=29&Itemid=144&details=0&lang=en

11. http://www.whitevoid.com/12. http://www.polygon-playground.com/13. http://www.pablovalbuena.com/14. Artoolkit, http://www.hitl.washington.edu/artoolkit/15. http://en.wikipedia.org/wiki/Perspective_(graphical)16. http://en.wikipedia.org/wiki/Graphical_projection

17. Reativision, Universidad Pompeu Fabra, Barcelona, http://mtg.upf.edu/reactable/?software

18. Hollerweger, Florian, 2006, "Periphonic Sound Spatialization in Multi-User VirtualEnvironments", Institute of Electronic Music and Acoustics, Center for Research inElectronic Art Technology

19. Malham, D.G., 2001, “Spherical Harmonic Coding of Sound Objects - theAmbisonic ‘O’ Format”, AES 19th International Conference, Schloss Elmau,Germany June 21-24, pp54-57

20. Malham, D.G., 2003, "Higher order Ambisonic systems", University of York, en“Space in Music - Music in Space”

21. Menzies, D., 2002, “W-panning and O-format, Tools for Object Spatialization” 8thInternational Conference on Auditory Display, Kyoto, Japan, July 2nd 5th,http://www.icad.org/websiteV2.0/Conferences/ICAD2002/proceedings/29_DylanMenzies.pdf

22. Moore, F. R., 1990, "Elements of Computer Music". Prentice Hall. New Jersey.23. Pulkki, Ville, 1997, "Virtual sound source positioning using Vector Base Amplitude

Panning", AES Journal 45 n. 6, pp 456–466. Audio Engineering Society