La Realidad MediadaHoy: Realidad Virtual de bajo costo con Head Mounted

displays y Cardboards

Una introducción a las tecnologías para la modelización física y representación espacial simultánea de información digital

Lic. Miguel GrassiUNTREF – Laboratorio de Arte Electrónico e Inteligencia Artificial

La Realidad Intervenida

� 1) Realidad Virtual (RV - VR)� 2) Realidad Aumentada (o

Expandida)� 2-1) Realidad Expandida Móvil� 2-2) Realidad Aumentada

Espacial (SAR)� 2-3) Virtualidad aumentada (AV -

Augmented Virtuality)� 3) Realidad Mixta (Mixed Reality)� 4) Realidad Mediada (Computer-

mediated reality)� 5) Virtualidad Embebida

(Emboded Virtuallity o Embedded System)

� 6) Intervención Robótica (I-ROB)� 7) Realidad Intervenida (R-INT)

Realidad Virtual

� Designa los sistemas donde los estímulos sensoriales reales pretenden reemplazarse completamentepor los que genera el sistema.

Ejemplo: Oculus Rift, Samsung GearVR, HTC Vive, PlayStation VR, etc. :

Realidad Aumentada o Expandida

� Define aquellos sistemas en los que la percepción -directa o indirecta- del mundo real es enriquecida mediante el agregado de información digital, sin reemplazar completamente la percepción directa de los objetos reales, sino complementándola con información no evidente de otro modo .

Ejemplo: Google Glass, Microsoft HoloLens, etc. :

Realidad Expandida Móvil

CulTu-RA Plataforma de Realidad Aumentada para Cultura y Turismo - Miguel Grassi - 2012

La percepción de la realidad es indirecta, mediante un dispositivo móvil (Tablet, Smart Phoneo similar) dotado de cámara y pantalla.

Virtualidad Aumentada (AV)

� Consiste en la integración de elementos reales, (personas, el propio usuario, dispositivos...) dentro de un entorno virtual mayor (Wii Remote, Kinect) en las que el usuario comanda, mediante actitudes corporales, un avatar de si mismo inmerso en el mundo virtual de la aplicación

Realidad Aumentada Espacial (SAR)

� El agregado de la información se hace directamente sobre los objetos reales, generalmente mediante alguna técnica de proyección. La percepción del objeto en esos casos suele ser directa.

Realidad Mixta (Mixed Reality)

� En 1994 Paul Milgram y Fumio Kishino definen la realidad mixta como "cualquier lugar entre los extremos de un continuum que se extiende entre los extremos del mundo real y la virtualidad completa"[1].

� El uso de esta denominación permite referirse al campo completo, sin necesidad de precisar una determinada ubicación dentro de ese continuum.

[1] Taxonomy of Mixed Reality Visual Displays , P. Milgram and A. F. Kishino, IEICE Transactions on Information and Systems, E77-D(12), pp. 1321-1329, 1994.

Realidad Mediada (Computer-mediated reality)

� Bajo esta denominación podríamos englobar todos los puntos anteriores, y se aplicaría a aquellos sistemas que aumentan, diminuyen o de algún otro modo MODIFICAN mediante la intervención de computadoras, la percepción que se tiene del mundo real

Virtualidad Embebida (EmbodedVirtuallity o Embedded Systems)� El término hace referencia al concepto de la computación ubicua,

popularizado por Mark Weiser en su famosísimo artículo de la revista Scientific America[1] en 1991. Consiste en la incorporación de la capacidad de procesamiento electrónico de la información en la mayoría de los objetos cotidianos, con el objeto de multiplicar sus prestaciones.

[1] The Computer for the 21st Century . Mark Weiser- 09-91 Scientific American Ubicomp

� Esto incluye, especialmente, dotar a esos objetos de capacidades de comunicación integrándolos en grandes redesinteligentes

� La Internet de las Cosas (IoT) alcanzará 75 mil millones de dispositivos para el 2020

Context Aware Systems

� Se basa en dispositivos –generalmente móviles- capaces de sensar su entorno y adaptar su comportamiento al contexto.

� Si bien es un desprendimiento de la computación ubicua o pervasivaprofetizada por Weiser, se potencia ahora gracias al GPS, Bluetooth y BTLE, redes NFC, iBeacons, etc.

La Internet de las Cosas (IoT)

Intervención Robótica (I-ROB)

� Es el concepto que proponemos para designar al conjunto de recursos mecatrónicos y robóticos que se integran en los objetos de diseño para darles la habilidad de desplazarse, modificar su forma y, en general, reaccionar física y mecánicamente a la interacción con otros objetos, con el usuario y con el entorno en general.

https://youtu.be/lX6JcybgDFo

Intervención Robótica (I-ROB)

https://youtu.be/5yG-eGKREWo

https://goo.gl/photos/6bssmsfZdhF4LeXg8

Intervención Robótica (I-ROB)

https://goo.gl/photos/6bssmsfZdhF4LeXg8

Realidad Intervenida (R-INT)

� Es la denominación que proponemos para asignar al conjunto completo de tecnologías que acabamos de enumerar.

� En las tecnologías Realidad MEDiada(indicadas con líneas punteada color rojo en el diagrama) lo único que se altera es la PERCEPCION que el usuario tiene de la realidad; el mundo físico que el usuario contempla permanece esencialmente inalterado para, por ejemplo, un observador externo

� En la Realidad INTervenida (indicada con línea continua y color azul), en cambio, se modifican físicamente los objetos , transitoria o permanentemente como resultado de la relación con el usuario y el entorno y esta modificación es apreciable tanto para el usuario como para cualquier eventual observador

Head Mounted Displays

VR de inmersión total con gafas y auriculares montados en la cabeza

� En la Realidad Virtual los estímulos sensoriales reales pretenden reemplazarse completamente por los que genera el sistema.

� La aislación del ambiente se logra mediante un dispositivo montado en la cabeza (Head Mounted): Usualmente Gafas, con o sin auriculares.

Inmersión total (VR) con HM Displays

Oculus Rift Samsung Gear VR HTC Vive PlayStation VR

GoogleCardboards: Original Modelos Enhaced Impresa 3D

Principios que intervienen

� Esteroscopía (a cada ojo lo suyo)

View-Master Modelo E ,1950

Anteojo polarizado actual

Google Cardboard

Visor estereoscópico portátil J. FleuryHermagis, 1870

Anteojo de Anaglifos actual

Principios que intervienen

� Para visualizar� Head tracking

� Sincronizar la imagen (estereoscópica y/o panorámica) con el punto de vista del usuario en tiempo real

� Para generar� Toma simultánea (video o foto)

� Lentes o espejos� Cámaras múltiples sincronizadas� Combinación de ambas

� Panorámica en secuencia� Mediante panning� Mediante stitching

� Las experiencias a 360º requieren

Principios que intervienen

VR Tracker: https://youtu.be/kt660Ca99bA

� Inmersión - Navegación

� Environmentrecognition

� Hands tracking

Leap Motion

Lo que se viene de Google

DaydreamOtoño 2016 (?) Developer Tablet disponible por

u$s 512. Sólo en ciertos paísesHMD con control manual (BT?)

Las dos clases principales de dispositivos

� Dispositivos que se conectan a PC o consolas de Video Juego� Pantallas propias� Precio elevado� Vinculados con cable� Alto rendimiento� SDK complejo� Ideales para juegos y aplicaciones

interactivas pesadas, diseñadas ad-hoc, de precio elevado

� Recursos de hardware adicionalespara positional tracking, comandosinalámbricos, etc.

� Dispositivos basados en teléfonos móviles (mobile VR headsets)� Sin pantallas propias (usan la del

smartphone)� Bajo costo (sin considerar el precio

del teléfono)� Portátiles (sin cable)� Rendimiento mediano� SDK simple� Alta compatibilidad con muchas

aplicaciones generales� Ideales para experiencias visuales a

360º, muchas de ellas gratuitas

Google Cardboard

� Versiones comerciales� Van desde los 15 a los 70 dólares

Las oficiales se pueden comprar en: https://vr.google.com/cardboard/get-cardboard/

� Versiones DIY (desde 0 a 20 dólares)

http://www.thingiverse.com/thing:729029

3d printed

https://vr.google.com/cardboard/downloads/wwgc_manufacturers_kit.zip

Cartón

Google Cardboard

� Manual de 20 páginas con recomendaciones para la fabricación del modelo de cartón

� Planos detallados� Cambios y mejoras permanentes (Ej. El botón)

https://vr.google.com/cardboard/

Planos de las lentes

Google Cardboard

� NFC (Near Field Communication) tag – 4 cm� Permite lanzar automáticamente la aplicación

por default (Cardboard App) al colocar el teléfono en las gafas

� Nuevo sistema de botón� Permite a los usuarios interactuar con la

pantalla. Es compatible con todos los modelos de teléfono, a diferencia del modelo magnético

https://vr.google.com/cardboard/

Google Cardboard

� QR viewer profile� Permite a los usuarios configurar correctamente las

aplicaciones para que trabajen bien con un modelo de gafas en particular. Suele imprimirse al costado de las gafas o en una etiqueta autoadhesiva

� Viewer Profile Generator� Permite al creador/fabricante de un modelo de gafas

generar un perfil con la información de su propio dispositivo para que el usuario configure sus aplicaciones y pueda aparearlas con sus gafas

� Brinda herramientas para su ajuste y calibración� Finalizada la carga y el ajuste, genera el QR especial

para ese perfil

Google Cardboard

� Uso del Viewer Profile Generator – Requiere las gafas a calibrar, un Smartphone compatible, otra computador a e Internet

� Se accede desde la computadora (NO desde el teléfono) a: https://vr.google.com/cardboard/viewerprofilegenerator/

� Se cargan en el form que aparece allí los parámetros geométricos básicos de las gafas

� Al enviar el form se generará una página que presenta una imagen 360º de un ambiente 3D estereoscópico interactivo que se usará para la calibración

� Se accede a ese ambiente virtual con el móvil usando el QR que aparece en la página del formulario. Una vez abierto, se coloca el smartphone en las gafas a calibrar

� Como el formulario de calibración está sincronizado con la imagen de RV, cuando se modifican los valores en el formulario usando el teclado de la computadora, se altera la imagen que se ve en el teléfono

� Una vez que se logra la imagen correcta, se salva el perfil y segenera el QR viewer profile específico para esas gafas

Fuentes de Contenidos

� Steam� Especialmente juegos

� Youtube VR y 360º� Videos

Noticias. AcontecimientosLocales. Música del Colón

Grandes medios

Acontecim. Históricosen Videos 360º

Presentó trailers (Strangerthings) y preparan lanzamientos

� VRTIFY� Conciertos y Videos

Musicales en RV

Generación de Contenidos

� Hardware para registros a 360º

GoPro Odyssey16 cámaras HERO4 sincronizadas

en toma simultánea, produce videos estereoscópicos de 4 veces 4K

Samsung 360º3840 x 920 a 30 fps

Generación de Contenidos

�Soluciones basadas en Software

Google Cardboard Camera

VideoStitch Studio

PTGui Panorama Tool

Generación de Contenidos

� Herramientas de desarrollo

� Google VR SDK for Android y iOS� Lens distortion correction.� Spatial audio.� Head tracking.� 3D calibration.� Side-by-side rendering.� Stereo geometry configuration.� User input event handling.

� Unity VR SDK for Android

“Oculus Rift” por menos de u$s100?Permite aplicaciones de Realidad Virtual de PC (Steam) en VR Mobile Headsets

� u$s 69 para la Leap Motion � u$s 1 para un soporte 3D Printed � u$s 15 Google Cardboard viewer� u$s15 para la full version del VRidge (Hay una versión free

con restricciones de tiempo a 10 minutos por sesión)

� VRidge es un software de Rifcatpara PC que simula un VR Headset conectado a la PC y envía el contenido generado por la aplicación de VR al Google Cardboard. Usa un Leap motion para el tracking posicional (manos)

Consideraciones fisiológicas y ergonómicas

� Fatiga visual y/o auditiva temprana

� Enfermedad del Simulador ( simulator sickness )

� Aparición de nauseas cuando los ojos perciben movimiento y el cuerpo no (diferencias entre el sistema vestibular y visual)

� Enfermedad del movimiento ( carsickness )

� Aparición de nauseas o mareos cuando hay disparidad entre lo que se siente y lo que se espera sentir. Suele aparecer cuando se lee en un auto en movimiento

Interesados en Participar en proyectos de I+D en Realidad Virtual y Aumentada

�Registrarse en:

miguelgrassi.com.ar/RegistroRV.htm

�Registrarse en:

miguelgrassi.com.ar/RegistroRV.htm

Preguntas

Muchas gracias !!!

Miguel GrassiAttribution-NonCommercialShareAlike CC BY-NC-SA

Material disponible para descarga en: https://untref.academia.edu/MiguelGrassi

Distribución libre bajo los téminos de la licencia Creative Commons:

https://creativecommons.org/licenses/by-nc-sa/4.0