1

Proyectos del Tangible Media Group MIT Media Lab

Ignasi Pla, Emilio Ponce Universitat Pompeu Fabra, Barcelona

RESUMEN Presentamos un recorrido por algunos de los proyectos más relevantes desarrollados durante los últimos 15 años en el Tangible Media Group, grupo de investigación perteneciente al MIT Media Lab. Este grupo no pretende dar con aplicaciones de usuario finales, sino abrir nuevas puertas dentro del marco de la Human-Computer Interaction, probar la capacidad y el potencial de diferentes tecnologías dándoles una aplicación cuanto menos original. Palabras Clave Sistema Interactivo, Multimedia, Interfaz, Comunicación, Espacio de trabajo, HCI, Dispositivo, Sensor electromagnético, cámara, proyector, Captura, Wireless, Táctil, Visual, Juguete, Niños, Multiusuario. INTRODUCCIÓN El Tangible Media Group es un grupo de trabajo que depende del MIT Media Lab, laboratorio de tecnologías multimedia considerado como uno de los centros de investigación de vanguardia más importantes del mundo. Está formado por un conjunto de investigadores dirigidos por el científico Hiroshi Ishii. Es el grupo que ha experimentado con mayor profundidad la relación entre tecnología y percepción a nivel mundial. Basa su trabajo en el siguiente principio: Los humanos hemos desarrollado a lo largo del tiempo una serie de habilidades para sentir y manipular nuestro entorno, y la mayoría de estas habilidades no usan GUIs tradicionales (Graphical User Interfaces). El Tangible Media Group pretende diseñar una variedad de "interfaces tangibles" basadas en estas habilidades, dando forma física a la información digital. La meta es cambiar los "bits pintados" de las GUIs por los "bits tangibles," aprovechando la

Figura 1. Media Lab del Massachusetts institute of technology (MIT). riqueza de los sentidos y de las habilidades del ser humano. PROYECTOS TeamWorkStation Fue el primer proyecto desarrollado por el MIT Tangible Media Group. Su primera versión fue presentada en el año 1990 y se fueron desarrollando versiones sucesivas hasta el año 1994 [1].

Figura 2. TeamWorkStation plantea un espacio compartido (izquierda) por varios usuarios (derecha). Consistió en el desarrollo de un espacio de trabajo compartido en tiempo real por

2

componentes de un grupo de trabajo distribuido geográficamente. La idea principal de este proyecto es la superposición de los espacios de trabajo de cada miembro aplicando cierta transparencia. Esta superposición permite a los usuarios combinar sus espacios de trabajo y escribir en las imágenes superpuestas, facilitando una comunicación más fluida e intuitiva. Además, los usuarios pueden verse permanentemente mediante dos ventanas. Este proyecto propone una nueva manera de plantear el trabajo en grupo, pues no es necesaria la presencia física de los componentes. Una idea particularmente innovadora (teniendo en cuenta que fue desarrollada en los años 90), que sirvió como base a otros proyectos entre los que destaca ClearBoard. ClearBoard Fue presentado en el año 1992 y desarrollado hasta el 1994.

Figura 3. Un usuario de ClearBoard puede ver al otro proyectado en su propio espacio de trabajo. ClearBoard se basa en una idea similar a la de TeamWorkStation. Consiste en la creación de un espacio de trabajo compartido para 2 usuarios situados en diferentes lugares. Utiliza una gran tabla de cristal semi-transparente para cada usuario, lo que permite que cada uno pueda ver al otro y conversar con él, a la vez que ambos ven lo que escriben en un único espacio de trabajo. Usa una cámara para filmar cada espacio, y un proyector que está situado debajo de cada tabla. Los proyectores utilizan las imágenes captadas por las cámaras, y permiten mostrar

a cada usuario el espacio del otro en su propia tabla. La principal innovación del proyecto ClearBoard es que permite detectar el foco de atención del compañero de trabajo, así como los gestos, los movimientos de la cabeza, el contacto visual… PingPongPlus Presentado en el año 1998. Es un juego de ping-pong clásico, jugado con palas y pelotas normales. Utiliza una mesa con capacidad para sentir dónde bota la pelota, y también dispone de sonido y proyecciones [3].

Figura 4. Componentes de PingPongPlus. Cuando la pelota bota en la mesa, el sistema detecta su posición mediante el sonido que se produce. Éste es captado por una serie de micrófonos situados debajo de la mesa. Cuando se detecta el golpe, un valor de tiempo se asigna al micrófono que lo ha detectado, y se envía a un PC mediante un circuito electrónico, el cual evalúa los valores recibidos y determina la situación del bote en la mesa. El sistema, mediante el proyector, muestra patrones de luz y sombras en función de los sonidos. Por ejemplo, hay un modo de juego en el que simula la ondulación que produciría la pelota en contacto con agua. También genera al detectar un bote un sonido similar al que se produciría con el contacto de la pelota con una superficie líquida. Además, el ritmo de juego sirve para controlar las proyecciones extra y la música que lo acompañan.

3

Triangles Fue presentado en el año 1998. Es un sistema que permite interactuar mediante objetos físicos con información digital [2]. El usuario dispone de un conjunto de triángulos físicos con los que puede construir estructuras (usando las dos manos), y estos le permiten manipular información digital, por ejemplo, la información necesaria para manejar una aplicación web.

Figura 5. Ejemplo de una posible estructura de Triangles.

Consiste en un conjunto de triángulos planos e iguales, fabricados con plástico. Cada uno contiene un microprocesador y sus bordes se pueden conectar magnéticamente. Estos bordes además producen feedback táctil de las conexiones que se dan. Los conectores electromagnéticos son conductores y permiten la comunicación de información digital entre los triángulos y de los triángulos a un ordenador. Las configuraciones 2D y 3D de los triángulos pueden accionar eventos de una aplicación. Hay muchísimas posibles configuraciones 2D y 3D, por lo que se puede llegar a crear un nuevo lenguaje para interfaces tangibles. Sin embargo, puede resultar bastante difícil de utilizar para operaciones complejas, a la vez que bastante lento. Personal Ambient Displays Presentado en 1998. Los PAD son pequeños dispositivos que se han desarrollado para enviar información a una persona de una manera sutil y privada. Pueden utilizarse como llaveros, llevarse en el bolsillo, o incluso integrarse en relojes o joyería. Un usuario presiona un botón de su PAD, y provoca en el PAD del otro usuario un cambio de temperatura, o un movimiento o vibración.

La información se transmite y percibe únicamente de manera táctil.

Figura 6. Personal Ambient Displays. Han permitido la realización de estudios que examinan que zonas del cuerpo son mejores para percibir determinada información háptica. Funciona a un nivel de comunicación demasiado básico, y requeriere que cada usuario aprenda un código para interpretar que información intenta transmitirle el otro usuario. Sin embargo tiene otras posibles aplicaciones más útiles, como vemos en los proyectos relacionados: Comtouch: Complementa la comunicación convencional (audio y vídeo) mediante dispositivos hápticos (basados en el sentido del tacto) (ejemplo: teléfono móvil con botones que transmiten vibraciones). Lumitouch: Consiste en dos marcos luminosos para fotos. Cuando un usuario ejerce presión sobre uno, el otro se ilumina. Así se pretende hacer saber al otro usuario que en ese momento se está pensando en él. Intouch: Mediante un objeto con feedback de fuerzas, se crea la ilusión de que los usuarios, separados en la distancia, interactúan con un objeto físico compartido. musicBottles Presentado en el año 1999. Crea una interfaz que utiliza botellas vacías como contenedores y controladores de información digital. Consiste en 3 botellas con tapón de corcho y una tabla especial. Cada botella contiene el sonido de un instrumento, y estos suenan sólo cuando situamos las botellas en la tabla y las destapamos.

4

Además, da a conocer las características tonales y de volumen de los intrumentos, mediante la proyección de diferentes patrones de color sobre las superficies de las botellas.

Figura 7. Aspecto del sistema musicBottles. Utiliza sensores electromagnéticos integrados en las botellas, que permiten identificarlas y detectar si se abren o se cierran. Estos sensores sólo funcionan si las botellas están situadas en la tabla. Permite al usuario interactuar con una pieza musical, ya que puede activar y desactivar físicamente diferentes pistas de audio. Se publicó un artículo sobre este proyecto en la revista del Museo de la Ciencia de Boston, y recibió el segundo premio en el certamen anual IDEA en el año 2000, en la categoría de 'Design Exploration'. Existen algunos proyectos en la misma línea que musicBottles: geniebottles: Existe una historia explicada por tres genios que viven en botellas de cristal, cuando destapamos cada botella, cada uno cuenta su parte de la historia. bottlogues: Existe una historia explicada por tres personajes. Cuando se abre cada botella, el hombre, el pájaro y el ciervo cuentan su parte de la narración. GeoScape Presentado en el año 2000. Consiste en el desarrollo de una sistema para capturar medidas en un yacimiento arqueológico, y reconstruirlo más tarde mediante un modelo 3D. Utiliza una cinta digital extensible, con un hardware integrado sensible a la orientación.

Figura 8. Cinta digital extensible (izquierda) y ordenador que procesa los datos (derecha). Ésta transmite las medidas tomadas a un ordenador, en tiempo real mediante tecnología Gíreles, y el ordenador ejecuta un software que permite reconstruir con facilidad el espacio en 3D. Es una manera sencilla de explorar con tranquilidad las características de un espacio de gran fragilidad. Tangible Viewpoints Presentado en el año 2001. Es un sistema multimedia que cuenta historias, y el usuario puede modificar el punto de vista desde el que se cuenta la historia mediante la interacción con objetos físicos [5].

Figura 9. Tangible Viewpoints.

Las diferentes partes de la historia están organizadas de acuerdo con el punto de vista de varios personajes representados por peones de ajedrez. Cada parte de la historia puede consistir en diferentes tipos de datos (video, audio, imágenes, texto), y pueden representar el

5

desarrollo del personaje, la acción o el lugar donde transcurre esta.

Figura 10. Componentes del sistema Tangible Viewpoints.

Los peones transmiten su posición mediante tecnología Gíreles, y cuando un peón se situa en la superfície sensible, los segmentos de la historia asociados con los puntos de vista de los personajes se proyectan alrededor de él. El usuario puede seleccionar entonces los segmentos que desea mostrar en la pantalla, causando que la historia avance y que nuevos segmentos se vuelvan disponibles. SenseTable Este proyecto fue presentado en el año 2001, y hasta la fecha se sigue experimentando con variantes de este proyecto. Consiste en un entorno de trabajo tangible y multiusuario, que usa objetos especiales sobre una superficie sobre la que se proyecta información, a modo de interacción [4]. El sistema reacciona en respuesta a la posición y estado de estos objetos especiales. Se hicieron dos versiones, la primera usaba un proyector y un conjunto de tabletas digitalizadotas en serie, los objetos especiales no eran más que los dispositivos apuntadores de esas tabletas, modificados para incorporar botones y potenciómetros. Como se usaban 4 tabletas, dicho sistema era muy caro, por lo que se hizo una segunda versión que usaba etiquetas de radiofrecuencia (como las que se usan en la etiqueta de productos en centros comerciales)

y antenas especiales, recortando por lo tanto el coste de manera sustancial. Figura 11. Esquema del funcionamiento de la SenseTable. Este proyecto mejora la precisión en el reconocimiento de la posición de los objetos respecto a sistemas que usan cámaras, ya que no es sensible a la oclusión, ni a diferencias de iluminación. Cabe destacar que este proyecto es la base de la mayoría de los que hará el TMG en los siguientes años. AudioPad El proyecto AudioPad fue presentado en el año 2002, se trata de una interfície para crear y modificar música mediante objetos especiales. Figura 12. El usuario usa menús emergentes para modificar el sonido. Usa como base el sistema SenseTable, los objetos representan pistas de música, y se modifican sus parámetros según su

6

proximidad, posición, orientación y su estado, así como la elección en menús emergentes. En el 2004 ganó el trofeo de bronce en el IDEA (Industrial Design Excelence Awards), así como tres trofeos en diferentes categorías en el DIS (Designing Interactive Systems). Tiene un gran parecido con uno de los proyectos del sistema ReacTable*, en desarrollo en el departamento Music Technology Group de la Universidad Pompeu Fabra. SandScape Fue presentado en el 2002. Es una interfaz en forma de cajón de arena, diseñada para mostrar información cartográfica sobre terrenos creados por el usuario, aprovechando la habilidad natural del ser humano para moldear la arena con sus manos. Figura 13. Un usuario crea valles y montículos que se iluminan de acuerdo a su altura correspondiente. El sistema emplea un proyector perpendicular a la mesa, que muestra información acerca de la altura, inclinación, sombra, filtración, etc. del terreno. El cajón se ilumina des de abajo con luz infrarroja, la densidad de la arena hace que pase más o menos luz a través de ella, esta información se capta con una cámara infrarroja situada al lado del proyector. Su precursor, el proyecto Iluminating clay, utilizaba plastilina en lugar de arena y un láser muy caro en lugar de la cámara infrarroja. Super Cilia Skin Proyecto presentado en el 2003. Se trata de un experimento de interfaz con entrada táctil y salida táctil y visual. Consiste en una red de actores individuales

llamados “Cilios”, que detectan la fuerza que se les aplica (entrada táctil) y pueden cambiar la orientación según un programa, permitiendo mostrar imágenes o gestos. Figura 14. Un usuario presiona los cilios describiendo un camino. Se trata de un concepto interesante, pero complejo y relativamente costoso que no ha tenido mucho éxito. I/O Brush Se presentó en el año 2004. Es un innovador proyecto principalmente destinado al público infantil, consiste un sistema que permite coger texturas del mundo real y pintar con ellas en el mundo digital [7]. Figura 15. Un niño usa el pincel sobre un ovillo de lana. Para ello se usa un pincel con una mini-cámara escondida en la parte del cepillo, así como sensores táctiles y leds para mejorar la iluminación cuando se “coja” una textura. El usuario pone el pincel encima la superficie a capturar, los sensores táctiles activan la cámara, esta toma una foto, y ya se puede pintar en una pantalla táctil especial. Ganó el trofeo de oro en el certamen IDEA del

7

2005, y se expone des del 2004 en Ars Electronica. Topobo Presentado en el año 2004, se trata de un juguete educativo de construcción, con capacidad para memorizar movimientos [8]. Figura 16. Un niño fuerza el movimiento en las articulaciones del juguete (derecha). A la izquierda vemos otro juguete caminando gracias a la programación. Se dispone de dos tipos de piezas: partes rígidas y partes motoras. Estas últimas tienen un botón que al ser presionado memorizan el movimiento que se le aplica a su extremidad, y al volver a presionarlo lo reproduce. En el 2004 obtuvo menciones especiales en el certamen IDEA y Ars Electronica. Pico Presentado durante el periodo 2004-2005, es una interfaz proyectada que permite la interacción con objetos especiales movidos tanto por el usuario como por el ordenador. Figura 17. Esquema de funcionamiento del proyecto PICO. Se trata de la unión de dos proyectos: Actuated Workbench [6] y SenseTable (la segunda versión).

En este caso hay una red de electroimanes debajo de la mesa controlados por el ordenador, que son los encargados de mover las piezas. Ello permite un feedback visual y físico para, por ejemplo, mostrar cambios de estado/posición de un objeto a lo largo del tiempo o corregir errores de posicionamiento por parte del usuario. Es hasta la fecha, el proyecto más evolucionado de la saga SenseTable. Disaster Simulation Es el único proyecto que se presento durante el periodo 2005-2006. Es una interfaz colaborativa (multiusuario) para hacer planes de actuación basados en simulaciones de desastres y de evacuación, usando sistemas de información geográfica. Figura 18. Un usuario situando epicentros de terremotos. Basado en la SenseTable, permite la entrada de parámetros por parte de múltiples usuarios (escala del desastre, tsunamis, incendios, etc.). El sistema simula el desastre en cuestión y simula la evacuación de la gente a los refugios. CONCLUSIONES Consideramos que, a excepción de algunos casos, las aplicaciones en las que se han usado los proyectos hasta ahora no muestran todo su potencial. También hemos visto que, por desgracia, proyectos muy prometedores como ClearBoard no han tenido el éxito que

8

merecen por varios factores (espacio que ocupan, coste prohibitivo…). A lo largo de nuestra investigación se ha hecho obvia la (en general) poca importancia que se le da al coste del material, un ejemplo claro es el proyecto Iluminating Clay, que usaba un láser de 45.000 dólares, y la SenseTable, que en su primera versión usaba tabletas digitalizadoras para detectar la posición de los objetos. En los últimos años hay una clara tendencia a hacer pocos proyectos por año, y a centrarse en las interfaces de proyección que puedan ser utilizadas por varios usuarios a la vez. Los autores de este artículo coincidimos en creer que las interfaces con más futuro son aquellas que usan el sistema SenseTable por ser más intuitivas para el usuario y más baratas. REFERENCIAS Información extraída de la página Web del Tangible Media Group: http://tangible.media.mit.edu/ Papers consultados: 1. Hiroshi Ishii, Minoru Kobayashi, and Kazuho Arita. Iterative Design of Seamless Collaboration Media (1994). 2. Matthew G. Gorbet, Maggie Orth, Hiroshi Ishii. Triangles: Tangible Interface for Manipulation and Exploration of Digital Information Topography (1998). 3. Hiroshi Ishii, Craig Wisneski, Julian Orbanes, Ben Chun, Joe Paradiso. PingPongPlus: Design of an Athletic-Tangible Interface for Computer-Supported Cooperative Play (1999). 4. James Patten, Hiroshi Ishii and Gian Pangaro. Sensetable: A Wireless Object Tracking Platform for Tangible User Interfaces (2001). 5. Ali Mazalek, Glorianna Davenport, Hiroshi Ishii. Tangible Viewpoints:A Physical Approach to Multimedia Stories (2002). 6. Gian Pangaro, Dan Maynes-Aminzade, Hiroshi Ishii. The Actuated Workbench: Computer-Controlled Actuation in Tabletop Tangible Interfaces (2002).

7. Kimiko Ryokai, Stefan Marti, Hiroshi Ishii. I/O Brush: Drawing with Everyday Objects as Ink (2004). 8. Hayes Solos Raffle, Amanda J. Parkes and Hiroshi Ishii. Topobo: A Constructive Assembly System with Kinetic Memory (2004).