PRA1 Realitat Virtual (Joan Soler)

PRA1-Realitat Virtual 1 / 13

Grau de Multimèdia

REALITAT VIRTUAL

PRA1 (Novembre 2012)

Alumne: JOAN SOLER ABELLÓ

ENUNCIAT

Aquesta pràctica consisteix en elaborar un guió d'interacció d'una nova aplicació de Realitat Virtual (RV) de tipus Realitat Mixta que inclogui la definició dels seus elements principals i la situació ideal del seu funcionament.

Haureu de seguir els passos següents:

o Llegiu el capítol 6 del material didàctic, sobre la tecnologia usada en aplicacions de RV.

o Llegiu el capítol 7 del material didàctic, on trobareu una descripció del procés de disseny de les aplicacions de RV.

o Proposeu un nova aplicació de RV de tipus Realitat Mixta fent una breu descripció del seu funcionament.

o Expliqueu que aporta de nou la vostra aplicació en relació a altres aplicacions similars existents.

o Afegiu algun croquis que ens ajudi a entendre com us imagineu la connexió entre entorn físic i entorn virtual durant l'experiència de RV basada en Realitat Mixta.

o Expliqueu l'aplicació en funció de la llista de conceptes:

context d'ús de l'aplicació

definició dels usuaris

finalitat de l'aplicació

principi d'especificitat

entorn virtual

subjectivitat virtual

interfície lògica

interfície física

mapatge

sensors

comportaments

objectes físics i virtuals (tingueu present que és Realitat Mixta)

bucle principal de l'aplicació

No volem la definició d'aquests conceptes sinó entendre com han estat aplicats en la vostra aplicació. En el cas del principi d'especificitat, heu de raonar perquè creieu que allò que plantegeu a la vostra proposta no es podria fer millor sense RV.

o Elaboreu un diagrama d'autòmat finit per explicar els comportaments de l'aplicació.

o Comenteu si heu seguit una estratègia de disseny per contingut o per interacció i raoneu

perquè ho creieu així.


RESOLUCIÓN PRA1

En primer lugar se lleva a cabo una búsqueda intensa de ejemplos que se comparten en el Foro y que seguidamente paso a enunciar los más importantes:

Wikipedia

http://en.wikipedia.org/wiki/Mixed_reality (en versión inglés hay ejemplos)

http://es.wikipedia.org/wiki/Realidad_mixta

La siguiente presentación de Realidad Aumentada es muy buena:

http://www.slideshare.net/tecnotic/realidad-aumentada-y-educacin-hello-mixed-world

EJEMPLOS DE REALIDAD MIXTA

MXR wIzQubes - amazing mixed reality storytelling toy

http://youtu.be/WhVdf1y1OXQ

Mixed Reality Interface

http://youtu.be/kzGljuievpM

Nokia Mixed Reality Demo

http://youtu.be/qzJyE8OhOTk

Introducing mixed reality technology: Enabling 3-D interaction in the classroom

http://youtu.be/2M6mX-blFiI

Design Simulation Using Mixed Reality Technology : DigInfo [HD]

http://www.youtube.com/watch?v=o2NIX7DNpvk

ROOM RACERS: Mixed Reality Gaming (Nov 2010 version)

http://www.youtube.com/watch?v=oxjGRL7ZiLE

Realidad mixta (varios ejemplos)

http://www.youtube.com/watch?v=78z2IMUJp3Y

Mixed Reality and Computer Interaction Research

http://www.youtube.com/playlist?list=PLDA60ED7C2975DF5F

Discovery Channel Future Fun Adrian David Cheok

http://www.youtube.com/watch?v=gIzzcHUFzEM&feature=share&list=PLDA60ED7C2975DF5F

Metazoa Ludens-Mixed Reality Lab, Adrian David Cheok

http://www.youtube.com/watch?v=1x-8EzuMiqU&feature=share&list=PLDA60ED7C2975DF5F

Channel News Asia-Mixed Reality Lab,Adrian David Cheok

http://www.youtube.com/watch?v=m3saXiJp8iY&feature=share&list=PLDA60ED7C2975DF5F

Future Fun - Mixed Reality Lab, Adrian David Cheok (añadir más sensaciones físicas))

http://www.youtube.com/watch?v=1fEmExT96Vg&feature=share&list=PLDA60ED7C2975DF5F


Stream 2012 Ignite: Adrian Cheok, Mixed Reality Lab (Multisensory Communication)

http://www.youtube.com/watch?v=FaJqRQcAUG8&feature=share&list=PLDA60ED7C2975DF5F

National Geographic-Mixed Reality Lab,Adrian David Cheok (la gallina)

http://www.youtube.com/watch?v=24SzSL1FI1Q&feature=share&list=PLDA60ED7C2975DF5F

Wikipedia Adrian David Cheok

http://en.wikipedia.org/wiki/Adrian_David_Cheok

Un juego de ciber-magia con naipes

http://www.microsiervos.com/archivo/juegos-y-diversion/juego-cibermagia.html

http://blog.ted.com/2012/10/26/marco-tempest-tells-the-secret-story-of-a-deck-of-cards/

TED2009 Mixed Reality Interface

http://www.tomwujec.com/?page_id=478

Además se deben añadir los ejemplos recibidos del consultor y otros compañeros:

http://plex.plasticinteraction.com/?p=1 (PIPLEX, The Pingus Plasticine Experience)

http://www.dtic.upf.edu/~npares/projectes/InteractiveSlide/InteractiveSlide.htm

http://youtu.be/pfOfmSMohXg (LabTV FlatWorld)

Destaco en negrita los que dos que creo más interesantes relacionados con la Realidad Mixta (Piplex y Room Racers) siendo estos la base de mis posibles aplicaciones donde me interesa la interactividad entre el entorno real y el virtual.

Posteriormente llevo a cabo dos sesiones distintas de brainstorming.

En primer lugar se trata de hacer una relación de temas o ámbitos de aplicación posible así como ideas muy muy generales, siendo el resultado:

Informativos : proyección sobre planos orientables

Educación

Detección (movimiento, color, ..)

Mostrar productos (coches, edificios, …)

Ventas, demos, cambios de modelo, probadores, ..

Instrucciones de productos

Datos de edificios (linkado a Google)

Juegos

Ciencia, modificando tamaño usuario para acceder a otros niveles dimensionales

etc, etc

PERO, el problema más importante ha sido escapar de proponer una aplicación sin la suficiente carga de interactividad que nos lleve a un menú contextual.

Con ello en mente paso a una nueva sesión de brainstorming.


Y en esta segunda sesión se hace una lista de ideas posibles (sin olvidar la interactividad entre el entorno virtual y el real) que seguidamente describo de forma muy escueta los más representativos:

Titulo ó Tema Descripción resumida Elementos reales

Elementosvirtuales

Choques entre piezas

Piezas de distintas formas van cayendo de arriba hacia abajo. En su camino hay obstáculos. Hay que desviar para evitar que una pieza choque contra una de igual forma. Choque contra una igual resta puntos y choque contra pieza negra finaliza el juego.

Las piezas que hacen de

obstáculos son de cartón

Piezas que caen y piezas negras

Tetris área virtual Piezas de distintas formas van cayendo de arriba hacia abajo. Con un “desviador” el usuario las redirige por acción de rebote. Se trata de llenar la mayor area posible del escenario

Pieza rectangular de cartón:

“desviador”

Piezas que caen

Conducir coche Conducir coche que cambia su dirección según la señales de tráfico que se coloca en el escenario. Una señal de stop hace parar el coche. Un giro a la izquierda, …..

Señales de tráfico que el usuario va colocando sobre

tablero

Coche y circuito. El circuito se redibuja

cada vez.

Dirigir un pez Hay que dirigir un pez para que no choque con obstáculos (redes, pescadores, tiburones,…)

Una flecha de cartón sobre el

tablero. Su sentido y

orientación dirige el avance

Pez y obstáculos

Molino Unas aspas van girando en el escenario. En dichas aspas existen agujeros por los que un pájaro dirigida por el usuario debe pasar sin chocar con las aspas. La posición de los agujeros de paso varía en cada sesión y la velocidad de giro de las aspas es ajustable por el usuario. al empezar el juego.

Una flecha de cartón sobre el

tablero. Su sentido y

orientación dirige el avance

Aspas y pájaro

Peces de colores En el escenario se presentan unas manchas de colores que representan bancos de peces de colores distintos. El usuario debe colocar varios peces de colores en el banco que le corresponde. Pero hay tiburones y delfines que aparecen y desaparecen de los bancos. SI colocamos el pez cuando el tiburón está allí, perdemos la partida.

Peces de cartón de distintos

colores

Bancos de peces de distinto color.

Tiburones y delfines.

Futbol mesa Similar al juego de varias chapas y pelota. Con las chapas se impulsaba la pelota para marcar en la portería contraria. Las chapas aquí serán piezas redondas (representando jugador del futbol) que el jugado impulsa contra la pelota y ésta se mueve según el impulso recibido de la pieza redonda entendiendo un choque elástico.

Piezas redonda que representan

los futbolistas

Campo, porterías y pelota

Números romanos

Se trata de aprender números romanos ya sea que se nos presente un número en cifras árabes y por nuestra parte debamos indicar la solución. O bien suma y resta de números romanos

Números romanos que utiiza el

usuario como respuesta

Números árabes y romanos que

forman parte de la presentación del

ejercicio Qué hora es El ordenador nos indica una hora en cifras y el

usuario debe colocar las manecillas del reloj en la forma correcta

Manecillas del reloj

Reloj sin manecillas con números. Display hora

numérica Bola cesta Tenemos en el escenario una bola que cae de la

parte superior. Disponemos de un elemento “desviador” En la parte inferior hay tres cestas. Una verde, una roja y una negra. Si bola cae en la cesta verde sumanos un punto y seguimos entrando una nueva bola en escena, si cae en la roja no sumamos pero seguimos, pero su cae en la cesta negra el juego finaliza. Las cestas van intercambiando su lugar en la parte inferior con una cadencia continua.

El elemento desviador, que

puede ser rectángulo de

cartón o representando

una mano

Bolas y cestas


Aplicación que se propone. Funcionamiento

La aplicación que se propone no ha sido descrita en el apartado anterior.

La denomino: VIRTUAL BALANCE.

Aparte del doble sentido con respecto al equilibrio entre entorno real y entorno virtual ya que tratamos con Realidad Mixta, se trata de:

Tenemos una representación de una balanza en el escenario. La balanza es virtual.

Disponemos de varias piezas reales (trozos de cartulina o piezas) de distintas formas y medidas. Suponemos que el peso de cada pieza es directamente proporcional a su área.

También disponemos de algunas piezas virtuales también de varias formas y tamaños colocadas en el almacén de piezas virtuales.. El máximo número de piezas a aportar es de dos y que quepan en el área de reconocimiento (almacén de piezas reales).

El reconocimiento de piezas reales puede hacerse también directamente en el platillo. El tiempo de proceso de reconocimiento no es imputable a ninguno de los jugadores ya que el contador de tiempo se parará durante dicho proceso.

El número de jugadores puede ser de 1 (jugar contra la máquina) hasta 3.

Si jugamos contra la máquina, ésta estará en desventaja ya que no puede aportar piezas nuevas lo cual sí podrá hacerlo el usuario aunque sea en un número limitado. Pero sí que se le permitirá usar las piezas aportadas por el usuario.

Al empezar un juego, un display nos dará un número al azar entre 2 y 10 de la cantidad de piezas que puede usar cada jugador en su turno.

Una vez hecha su propuesta el display nos dará el “unbalancing” o desequilibrio obtenido. El objetivo es obtener un 0. Al acabar su turno (al finalizar tiempo) el jugador sacará sus piezas y las piezas virtuales volverán a su sitio, para que no sirvan de ayuda al jugador contrario. Cuando se juega contra la máquina mantendrá en memoria las piezas usadas por el jugador.

Lógicamente gana quien equilibre mejor la balanza.

Al empezar el juego el jugador que empieza define la duración de éste en segundos. El juego empieza justo al entrar el tiempo de juego y presionar el botón de empezar a jugar. El tiempo puede ser acordado entre jugadores y no así cuando jugamos contra la máquina siendo en dicho caso el usuario quien define el tiempo o indica “NO” cuando se solicite dicho valor para indicar que el tiempo no será tenido en cuenta.

No colocar ninguna pieza no se acepta como desequilibrio 0.

Aportación con relación a otras aplicaciones similares existentes

Tal como se ha comentado más arriba, el propósito es lograr una buena interacción entre la parte real y la virtual y los dos ejemplos que se han enunciado (Piplex y Room Racers) han servido de base de lo que se quiere conseguir.

En la aplicación que se propone se quiere elevar algo más la parte de aportación/adquisión entendida en que la aplicación sea algo más abierta que las mencionadas de forma que tenemos piezas del juego en los dos entornos y nuevas piezas que se aportan que no estaban en ninguno de los entornos al principio de la sesión.

E incluso durante un juego dispondremos en ocasiones de la misma pieza en ambos entornos para que pueda usarla el usuario y posteriormente la máquina. No deja de ser un paso más en la “mezcla” de entornos real y virtual.


Descripción gráfica de la aplicación

En primer lugar se muestra lo que debemos ver en la pantalla del ordenador donde se mezcla el entorno real y el entorno virtual:

Donde la parte real y la virtual quedarían diferenciadas de la siguiente forma:

Virtual Real

El montaje de la aplicación se puede ver en el gráfico siguiente:


Explicación de la aplicación

Se trata de una aplicación de entretenimiento y a la vez de aprendizaje que conjuga la competición entre dos o tres usuarios o de un usuario contra la máquina, de forma que ayuda al adiestramiento visual con el fin de ponderar objeto de mayor o menor área (traducido a peso mediante una metáfora de una balanza).

La interacción es a tiempo real ya que el usuario puede tomar decisiones sin un guión prefijado.

El contexto de uso de la aplicación se encuentra en equilibrio entre un entorno virtual y un entorno real tal como exige la realidad mixta. Nos movemos en un contexto de uso entre una aplicación de entretenimiento y enseñanza, o sea aprendizaje espacial a través de un pasatiempo.

El usuario objetivo primario es un niño/a de 8 a 12 años, No se trata de un usuario experto ni en la aplicación ni en la realidad virtual, por lo tanto lo calificaremos a un comportamiento asimilado a “público en general”. El usuario tendrá un cierto tiempo de aprendizaje, añadiendo además la simplicidad de la aplicación y el tipo de usuario, el cuál aprende rápidamente, no se prevé una curva de aprendizaje crítica. La interfaz debe tener un grado medio de robustez, lo cual las interfaces físicas usadas soportan correctamente un uso intensivo.

La finalidad de la aplicación, tal como se ha comentado, es la de educar la visión espacial, mediante el entretenimiento. La idea es que el usuario eduque/entrene su capacidad de ponderar superficies. Un comentario que puede ayudar a explicar la propuesta educativa es que la visión humana no es buena evaluando áreas en especial círculos o formas huecas. La propuesta quiere entrenar la visión del usuario.


Con respecto al principio de especificidad como principio básico del diseño de interacción y guionaje que no hace preguntarnos si la propuesta se podría haber desarrollado mejor sin hacer uso de la Realidad Virtual, le respuesta es que posiblemente podría haberse desarrollado totalmente en un entorno virtual convirtiéndolo además la aplicación más portátil. Y por otro lado podríamos haberlo hecho en un entorno totalmente real con una balanza real y piezas reales. En ambos casos hemos tenido que irnos a los extremos perdiendo la posibilidad de interacción entre ordenador y usuario.

Podemos ver claramente que en un entorno totalmente real sacrificamos muchas de las posibilidades de la propuesta tal como poder jugar sólo, aparte de que deberíamos disponer de una balanza real. Y en el caso del entorno virtual puro perdemos la aportación abierta de piezas reales.

Con todo ello entiendo que la mejor opción es la Realidad Mixta como la que se propone.

El entorno real es simple ya que sólo está constituido por las piezas que sobre un tablero colocamos y la webcam debe adquirir.

En cambio el entorno virtual lo representa una báscula, un almacén de piezas virtuales y una serie de campos para entrada y “marcadores” de resultados y parámetros (jugadores, tiempos, puntuaciones, ..)

En esta aplicación, la subjetividad virtual no nos aleja mucho del mundo real ya que no hacemos una inmersión del usuario en un sujeto virtual. Se definen unas formas simples y de fácil reconocimiento. Tan sólo suficientes para crear la al usuario sensación de interacción a tiempo real en dicho entorno. La experiencia virtual se percibe como una aportación e interacción pero no como “vivencia” dentro del entorno virtual. De hecho el sujeto virtual que hará de intermediario con el entorno virtual puede ser nuestra propia mano captada por la webcam. Dicho de otra forma, estamos ante una comunicación interactiva.

La interface física está constituida por el teclado (entrada de datos), ratón (aceptación y movimiento de elementos virtuales) y la parte más importante recae sobre la webcam, mediante la cual interactuamos con el entorno virtual aportando elementos a la aplicación que está abierta a su aceptación (aunque con algunas limitaciones) y también, la webcam debe apoyar los desplazamientos que llevemos a cabo tanto de objetos virtuales como reales.

La interface lógica la constituye además del propio posicionamiento de las piezas en pantalla y el movimiento de giro de los platos de la balanza según el desequilibrio del “peso” de las piezas colocadas en cada plato.

Con respecto al mapeo hay que tener en cuenta dos puntos importantes. Uno de ellos es la adaptación de movimiento (cambio de posición) de las piezas reales a la correspondiente traslación y rotación en el entorno virtual. Y en segundo lugar el cálculo del área de las piezas reales lo cual se hace a tiempo real para traducirlo posteriormente en un “peso” y a una rotación del brazo de la báscula. Todo lo anterior es una trascripción de unas unidades en el entorno real a otras ya dentro del entorno virtual.

En esta aplicación la parte de sensores, como recolectores de información externa recae en la lectura que hace la webcam de la posición en que colocamos las piezas ya bien sea leyendo su número, su forma para un cálculo interno del área como su posición para saber en cuál de los platos la colocamos. También la webcam deberá saber cuándo movemos una pieza virtual (señalándola y desplazándola con


el dedo o algún elemento que deberemos definir durante el desarrollo) o cuando seleccionamos alguno de los botones.

El comportamiento de los brazos de la báscula y la de su indicador (fiel) sobre la escala, se basa en un cálculo de la diferencia entre las áreas de las piezas colocado en cada plato. Se trata de un comportamiento por fórmulas. También tenemos algunos comportamientos por reglas como que dependiendo de la posición de las piezas computará o no en el “peso” y dependiendo si está posicionada en uno u otro plato computará en un sentido o el contrario. Otro comportamiento por reglas será el de adquisición de una pieza real traduciéndola en una forma virtual y además siendo su “adquisición” limitada en el número de piezas y en tamaño.

En el apartado en el que se ha descrito gráficamente la aplicación se han descrito los objetos físicos (piezas reales) y los objetos virtuales (báscula, marcadores, piezas virtuales, …)

Con referencia al bucle principal de la aplicación que se propone habrá que tener en cuenta algunos puntos importantes:

- La aplicación debe leer los datos de entrada tales como nº de jugadores, nombres de estos y el tiempo de juego que se aplicará.

- La webcam debe leer datos en cuanto detecte movimiento de las piezas reales o de nuestra mano (o puntero que definamos). Uno de los movimientos detectados en el almacén de piezas virtuales” o en los platos, deberá propiciar la lectura adquisitiva de la forma.

- La aplicación debe calcular las áreas de las piezas reales que el usuario “propone”

- Dependiendo de las formas colocadas en cada plato la aplicación debe hacer rotar el brazo de la balanza y el fiel. También deberá hacer ascender/descender los platos y las piezas tanto virtuales

- Si en el movimiento de las piezas, las piezas virtuales “colisionan” en posición con las virtuales, la aplicación deberá desplazar la pieza virtual evitando que queden superpuestas. Tampoco deben superponerse platos y piezas.

- Gestionar los cálculos de áreas, diferencia de “peso”, turno de jugadores y marcadores

- Gestionar el “contador del tiempo restante de juego” teniendo en cuenta de descontar el tiempo interno empleado en el reconocimiento y adquisición de formas.

Diagrama de autómata finito de la aplicación

Los diagramas de autómata finito ayudan a la definición de los comportamientos que reaccionan ante el entorno.

Dado que la descripción por reglas y la de los autómatas finitos son equivalentes ello nos indica que debemos prever diagramas de autómatas finitos en los mismos objetos en que aplicamos el comportamiento por reglas y que en el apartado anterior hemos empezado a mencionar al hablar de comportamientos.

Por ello debemos definir diagramas para cada uno de los sujetos virtuales tales como los platos de la balanza, brazo y fiel de la balanza, y las piezas virtuales y reales.

Seguidamente se presentan algunos de los diagramas de autómatas finitos para los sujetos virtuales:





Estrategia de diseño: Diseño por interacción

Teniendo en cuenta que realmente lo que me impactó al empezar a tratar la Realidad Mixta en esta práctica ha sido la interacción entre el entorno virtual y el real, la estrategia seguida se ha basado en el diseño por inetracción. Casi podría decir que he buscado un tema en base a poder aplicar la interacción entre entorno real y virtual a través de la interface física de entrada como es la webcam.

La aplicación está destinada a interactuar tanto con objetos reales como virtuales de forma que el usuario también puede aportar formas reales a la aplicación.

Aparte del objetivo de entretenimiento/aprendizaje propio de la aplicación, existe un objetivo en este caso propio del desarrollador de investigación en la interacción en las posibilidades de la interface de entrada.

Y es muy posible que el contenido se adapte durante el desarrollo de la aplicación a las posibilidades de la interacción ya bien sea añadiendo nuevos contenidos o adecuarlos.

Así pues, los pasos en la estrategia de desarrollo se han organizado en el orden:

- Se han identificado los interfaces de entrada: ratón, teclado y webcam

- Identificando los interfaces de salida: pantalla del PC y posibles sonidos. En una presentación pública podría considerarse un proyector para mostrar lo que aparece en el monitor del PC.

- El usuario es de un niño/a entre 8 y 12 años. Es importante indicar que se ha considerado la calificación de “público en general” en lo referente a la posible necesidad de robustez de la aplicación. El usuario no es experto y se considera una curva de aprendizaje no crítica.

- Se trata de una aplicación contributiva ya que podemos añadir elementos y se prevee posibles colisiones posicionales entre ellos.

- En cuanto a la metáfora, se trata de un balanza donde se quiere que el niño/a pueda a través del juego poder valorar de una forma visual los tamaños y áreas de los elementos tanto disponibles como los que pueda aportar. Hay una metáfora entre área y peso. El usuario puede “pesar” los elementos para intentar igualar de forma estratégica con los elementos que dispone y los que puede disponer, con ciertas limitaciones.

- Tal como se ha comentado anteriormente se establecen comportamientos por fórmulas y por reglas. También deberemos establecer algoritmos de cálculo tras reconocer formas. Tras adquirir una forma habrá que proceder al cálculo de su área aproximada.

- Se identifican los objetos virtuales y reales. Se han descrito en apartados anteriores.

- Los datos de entrada tales como nº de jugadores, sus nombres, tiempo de juego, .. han sido identificados como así también los resultados que se presentarán en los “marcadores” establecidos. También mencionar, por su interés, la captura de datos que representa la adquisición de formas mediante la webcam.

- Con referencia a la identificación de las herramientas de modelado de objetos, en su vertiente geométrica es sencillo ya que en la propuesta de trabaja en dos dimensiones. No se prevén algoritmos que generen modelos complicados ya que trabajamos con formas simples.

- No se prevé el uso de otras herramientas de desarrollo que no sea el propio Processing,

========================================

Documents

PRA1 Realitat Virtual (Joan Soler)