View
219
Download
0
Category
Preview:
Citation preview
MAXINE:MAXINE:Motor de Motor de representaciónrepresentación y y gestióngestión
dede entornosentornos virtualesvirtualesde de entornosentornos virtualesvirtuales
Sandra Sandra BaldassarriBaldassarri
GrupoGrupo de de InformáticaInformática GráficaGráfica AvanzadaAvanzada (GIGA)(GIGA)DepartamentoDepartamento de de InformáticaInformática e e IngenieríaIngeniería de de SistemasSistemasInstitutoInstituto dede InvestigaciónInvestigación enen IngenieríaIngeniería de Aragón (I3A)de Aragón (I3A)InstitutoInstituto de de InvestigaciónInvestigación en en IngenieríaIngeniería de Aragón (I3A)de Aragón (I3A)
Universidad de Zaragoza (Universidad de Zaragoza (EspañaEspaña))
Estructura de la presentaciónEstructura de la presentaciónpp
IntroducciónIntroducción IntroducciónIntroducción ArquitecturaArquitectura FuncionamientoFuncionamiento Personajes interactivosPersonajes interactivos Interacción multimodal y emocionalInteracción multimodal y emocional AplicacionesAplicaciones AplicacionesAplicaciones FuturoFuturo
IntroducciónIntroducción
MAXINE es una aplicaciónMAXINE es una aplicaciónMAXINE es una aplicación …MAXINE es una aplicación … para la creación y gestión de entornos virtuales para la creación y gestión de entornos virtuales
en tiempo realen tiempo realen tiempo realen tiempo real que incluyen avatares o que incluyen avatares o actores virtualesactores virtuales que los actores pueden expresar que los actores pueden expresar emocionesemociones y permite lay permite la interacción multimodalinteracción multimodal con loscon losy permite la y permite la interacción multimodal interacción multimodal con los con los
mismosmismos
Presentación MAXINEPresentación MAXINE
IntroducciónIntroducción
RepresentaciónRepresentación Representación Representación de entornos de entornos virtualesvirtualesvirtualesvirtuales
IntroducciónIntroducción
Maxine permite la creación organización y animación deMaxine permite la creación organización y animación de Maxine permite la creación, organización y animación de Maxine permite la creación, organización y animación de diferentes elementos a través de un grafo de escena. diferentes elementos a través de un grafo de escena. Modelos geométricos simples y complejos Modelos geométricos simples y complejos Texto, imágenes, vídeoTexto, imágenes, vídeo Sonido 3D y ambienteSonido 3D y ambiente
LL LucesLuces AnimaciónAnimación Gestión de actoresGestión de actores Gestión de actores Gestión de actores
Síntesis de vozSíntesis de voz Animación facialAnimación facial
óó Sincronización labialSincronización labial Expresión de emociones, … Expresión de emociones, …
ArquitecturaArquitecturaqq
Diversas librerías recogidas bajo un mismo proyecto + Diversas librerías recogidas bajo un mismo proyecto + g j p yg j p ysoftware propiosoftware propio Mayor parte de librerías de código abierto o de libre distribuciónMayor parte de librerías de código abierto o de libre distribución
Bloques principalesBloques principales Motor 3DMotor 3D
ó óó ó Gestión y Representación 3DGestión y Representación 3D ActoresActores Animación GeneralAnimación General
A di Sí t i d VA di Sí t i d V Audio y Síntesis de VozAudio y Síntesis de Voz Control e Interacción con el usuarioControl e Interacción con el usuario
Motor de Motor de scriptingscriptingM i d l ió d l tM i d l ió d l t Mecanismos de evolución del entornoMecanismos de evolución del entorno
Gestión de entradasGestión de entradas
ArquitecturaArquitecturaqq
Desarrollado en C++ utilizando librerías deDesarrollado en C++ utilizando librerías de Desarrollado en C++ utilizando librerías de Desarrollado en C++ utilizando librerías de código abierto o libre distribucióncódigo abierto o libre distribución
ArquitecturaArquitecturaqq
ArquitecturaArquitecturaqq
Código abierto (licencias compatibles GPL)Código abierto (licencias compatibles GPL) Código abierto (licencias compatibles GPL)Código abierto (licencias compatibles GPL) OpenSceneGraphOpenSceneGraph: Gestión de grafos de escena: Gestión de grafos de escena Cal3D: Gestión y animación de actoresCal3D: Gestión y animación de actoresCal3D: Gestión y animación de actoresCal3D: Gestión y animación de actores OpenSteerOpenSteer: Animación por : Animación por steeringsteering OpenALOpenAL++: Sonido 3D++: Sonido 3Dpp LuaLua//LuaBindLuaBind: : ScriptingScripting
Software libreSoftware libre SAPI: Síntesis de vozSAPI: Síntesis de voz
Producto comercialProducto comercial LoquendoLoquendo: Paquete de voces en castellano: Paquete de voces en castellano
FuncionamientoFuncionamiento
Grafo de escenaGrafo de escena Grafo de escenaGrafo de escena Estructura jerárquica de tipo arborescente para la Estructura jerárquica de tipo arborescente para la
organización de los elementos de la escenaorganización de los elementos de la escenaorganización de los elementos de la escenaorganización de los elementos de la escena Ventajas:Ventajas:
Facilita la gestión del entorno virtualFacilita la gestión del entorno virtual Facilita la gestión del entorno virtualFacilita la gestión del entorno virtual Mejora la eficiencia (Mejora la eficiencia (cullingculling))
Utilizar Maxine es Utilizar Maxine es construir construir y y organizarorganizar un un grafo de escena ygrafo de escena y manipularmanipular sus elementossus elementosgrafo de escena y grafo de escena y manipularmanipular sus elementossus elementos
FuncionamientoFuncionamiento Componentes de Componentes de MaxineMaxinepp
EscenaEscena: Gestiona el árbol de escena y controla: Gestiona el árbol de escena y controla EscenaEscena: Gestiona el árbol de escena y controla : Gestiona el árbol de escena y controla aspectos generales de la aplicaciónaspectos generales de la aplicación
ElementosElementos: Añadidos automáticamente a la : Añadidos automáticamente a la escenaescena Básicos: Mallas, imágenes, textos, actores, sonidos, Básicos: Mallas, imágenes, textos, actores, sonidos,
l ál áluces, cámaras, …luces, cámaras, … Especiales: Grupos, animadores. Modifican el Especiales: Grupos, animadores. Modifican el
comportamiento de los elementos básicoscomportamiento de los elementos básicoscomportamiento de los elementos básicoscomportamiento de los elementos básicos
FuncionamientoFuncionamiento Grafo de escenaGrafo de escena
Escena
Luz Cámara GrupoLuz Cámara Grupo
Esfera Sonido
Ejemplo de grafo de escena sencilloEjemplo de grafo de escena sencillo
FuncionamientoFuncionamiento Elementos del grafoElementos del grafogg
Propiedades de losPropiedades de los elementoselementos Propiedades de los Propiedades de los elementoselementos
GeneralesGenerales: Comunes todos los elementos : Comunes todos los elementos (( i i f t )i i f t )((en ocasiones sin efecto)en ocasiones sin efecto)
Nombre y tipoNombre y tipo Posición, orientación y escalaPosición, orientación y escala Posición, orientación y escalaPosición, orientación y escala Estado de activación y Estado de activación y gizmosgizmos Asociación a una Asociación a una FSMFSM
EspecíficasEspecíficas: Dependen del tipo de elemento: Dependen del tipo de elementoColor fuente estado de reproducción dimensiones etcColor fuente estado de reproducción dimensiones etc Color, fuente, estado de reproducción, dimensiones, etc.Color, fuente, estado de reproducción, dimensiones, etc.
FuncionamientoFuncionamiento Componentes deComponentes de MaxineMaxineFuncionamientoFuncionamiento Componentes de Componentes de MaxineMaxine
ConsolaConsola: Permite introducir comandos en: Permite introducir comandos en ConsolaConsola: Permite introducir comandos en : Permite introducir comandos en tiempo de ejecucióntiempo de ejecución Crear elementos nuevosCrear elementos nuevos Crear elementos nuevosCrear elementos nuevos Organizar elementos en el árbolOrganizar elementos en el árbol
Modificación de sus propiedadesModificación de sus propiedades Modificación de sus propiedadesModificación de sus propiedades Ejecutar métodos propiosEjecutar métodos propios
FuncionamientoFuncionamiento Comandos y scriptsComandos y scriptsFuncionamientoFuncionamiento Comandos y scriptsComandos y scripts
act = actor();
/ / /
Creación del objeto de tipo actor
DIR = "./data/maxine/";
act:loadSkeleton(DIR.."woman.csf");act:loadMesh(DIR.."woman_body.CMF");act:loadMesh(DIR.."woman leye.CMF"); Carga de ficheros de
Directorio de ubicación de ficheros
_ yact:loadMesh(DIR.."woman_reye.CMF");act:loadMaterial(DIR.."woman_suit.xrf");act:loadMaterial(DIR.."woman_eyes.xrf");
act:loadAnimation("blink" DIR "blink CAF");
esqueleto, mallas, materiales
Carga de ficheros deact:loadAnimation( blink , DIR.. blink.CAF );act:loadAnimation("stand", DIR.."stand.CAF");
act:loadVisemeAnim("vis_silence", DIR.."default.CAF");act:setVisemeAnim ("vis_ae", "vis_silence");
Carga de ficheros de animaciones
Carga de animaciones para los visemas... ... ... ... ... ... ...
act:loadVisemeAnim("vis_p", DIR.."bmpv.CAF");
act:create();
para los visemas
Creación del actor a partir de los ficheros cargados
act:startPose("stand", 0.5, 0.5, 1.0);
act:startPeriodic("blink", 0.05, 0.05, 1.0, 3.0);act:setPeriodicVar("blink", 2.0);
Postura inicial del personaje
Animación periódica (parpadeo)
FuncionamientoFuncionamiento Componentes de Componentes de MaxineMaxinepp
Objetos externos al grafo de escenaObjetos externos al grafo de escena Objetos externos al grafo de escenaObjetos externos al grafo de escena Secuencias de comandos condicionadasSecuencias de comandos condicionadas
Pares condiciónPares condición--acción ejecutados de forma secuencialacción ejecutados de forma secuencialjj Ejecución periódica de comandosEjecución periódica de comandos
Periodicidad estricta o variablePeriodicidad estricta o variabled bú d dd bú d d Motores de búsqueda de respuestasMotores de búsqueda de respuestas
Basados en gramáticasBasados en gramáticas Máquinas de Estados Finitos (Máquinas de Estados Finitos (FSMsFSMs)) Máquinas de Estados Finitos (Máquinas de Estados Finitos (FSMsFSMs))
Guiadas por eventosGuiadas por eventos Sistemas de entradaSistemas de entrada FSMsFSMs Explícitamente mediante un comandoExplícitamente mediante un comando
FuncionamientoFuncionamiento Comunicación redComunicación redFuncionamientoFuncionamiento Comunicación redComunicación red
ComunicaciónComunicación redred Comunicación Comunicación redred
Basado en la filosofía Basado en la filosofía clientecliente--servidorservidor
Escenarios de comunicación:Escenarios de comunicación: Interacción de varios usuarios con una misma escena [UIB]Interacción de varios usuarios con una misma escena [UIB] Gestión remota de una única escena [UAM]Gestión remota de una única escena [UAM] Generación de diferentes vistas de una misma escena paraGeneración de diferentes vistas de una misma escena para Generación de diferentes vistas de una misma escena para Generación de diferentes vistas de una misma escena para
su representación en entornos su representación en entornos inmersivosinmersivos y/o estereográficos y/o estereográficos [CAVE][CAVE]
FuncionamientoFuncionamiento Comunicación redComunicación redFuncionamientoFuncionamiento Comunicación redComunicación red
Interacción de varios usuarios con unausuarios con una misma escena
Gestión remota de una única escenauna única escena
Generación de diferentes vistas de una misma escena
Funcionamiento Funcionamiento Entorno inmersivo CAVEEntorno inmersivo CAVE
Funcionamiento Funcionamiento Entorno inmersivo CAVEEntorno inmersivo CAVE
Funcionamiento Funcionamiento Entorno inmersivo CAVEEntorno inmersivo CAVE
Vídeo CAVEVídeo CAVE
Personajes interactivosPersonajes interactivos Técnicas de animaciónTécnicas de animaciónPersonajes interactivos Personajes interactivos Técnicas de animaciónTécnicas de animación
Técnicas de animaciónTécnicas de animación Técnicas de animaciónTécnicas de animación Animación esqueletalAnimación esqueletal Interpolación de mallas (Interpolación de mallas (morphingmorphing)) Interpolación de mallas (Interpolación de mallas (morphingmorphing)) Simulación de músculosSimulación de músculos
Técnicas de deformación local de mallas medianteTécnicas de deformación local de mallas mediante Técnicas de deformación local de mallas mediante Técnicas de deformación local de mallas mediante actuadoresactuadores
Personajes interactivosPersonajes interactivos AnimaciónAnimación esqueletalesqueletalPersonajes interactivos Personajes interactivos Animación Animación esqueletalesqueletal
Animación basada en un esqueletoAnimación basada en un esqueleto Animación basada en un esqueletoAnimación basada en un esqueleto Estructura jerárquica arborescente formada por Estructura jerárquica arborescente formada por
segmentos unidos (huesos)segmentos unidos (huesos)segmentos unidos (huesos)segmentos unidos (huesos) Similitud conceptual y funcional con los animales Similitud conceptual y funcional con los animales
vertebradosvertebradosvertebradosvertebrados
Personajes interactivosPersonajes interactivos AnimaciónAnimación esqueletalesqueletalPersonajes interactivos Personajes interactivos Animación Animación esqueletalesqueletal
Esqueleto Esqueleto Deformación de la geometríaDeformación de la geometría
Animación mediante cuadros clave (Animación mediante cuadros clave (keyframeskeyframes)) Animación mediante cuadros clave (Animación mediante cuadros clave (keyframeskeyframes)) Secuencia de posturasSecuencia de posturas Posición y rotación de los segmentos para cada posturaPosición y rotación de los segmentos para cada postura
Personajes interactivos Personajes interactivos Generación de actoresGeneración de actoresjj
Uso aplicaciones de modelado y de modelado y animación 3D
convencionales Character Studio
3D Studio MaxTexturas
Exportación a formato utilizado
3D Studio Max
Cal3D Plugin
Mallas Materiales AnimacionesEsqueleto
Formato utilizado por los actoresMotor
Actor
por los actores
Maxine
Motor animación
Personajes interactivosPersonajes interactivosjj
Diseño con herramientas comercialesDiseño con herramientas comerciales Diseño con herramientas comercialesDiseño con herramientas comerciales
1. Modelado geométrico 3. Definición del esqueleto 5. Animación
2. Aplicación de materiales 4. Asociación malla-esqueleto 6. Exportación y uso
Personajes interactivosPersonajes interactivosjj
Animación corporalAnimación corporal Animación corporalAnimación corporal AccionesAcciones CiclosCiclos CiclosCiclos PosesPoses
Mezcla automáticaMezcla automática Mezcla automáticaMezcla automática Animaciones secundariasAnimaciones secundarias
(basadas en ruido de Perlin(basadas en ruido de Perlin(basadas en ruido de Perlin(basadas en ruido de Perlinpara lograr “naturalidad”)para lograr “naturalidad”)
Captura de movimientoCaptura de movimiento
Personajes interactivosPersonajes interactivosPersonajes interactivosPersonajes interactivos
Animación facial basada en Animación facial basada en esqueletosesqueletos
Personajes interactivosPersonajes interactivosjj
Animación facialAnimación facial Animación facialAnimación facial Sincronización labialSincronización labial
Personajes interactivosPersonajes interactivosjj
Animación facialAnimación facial Animación facialAnimación facial Expresiones, emocionesExpresiones, emociones
Interacción emocionalInteracción emocional
Personajes interactivosPersonajes interactivosjj
ó l b ló l b l Sincronización labial y Sincronización labial y emociones en actores emociones en actores
llvirtualesvirtuales
Personajes interactivosPersonajes interactivosjj
Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo
Personajes interactivosPersonajes interactivosjj
Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo Expresión de emociones a través del cuerpoExpresión de emociones a través del cuerpo
Personajes interactivosPersonajes interactivosjj
En Maxine un personaje virtual se caracteriza por:En Maxine un personaje virtual se caracteriza por:En Maxine un personaje virtual se caracteriza por:En Maxine un personaje virtual se caracteriza por: Permite interacción con el usuario: Permite interacción con el usuario:
texto voz ratón teclado gestos expresionestexto voz ratón teclado gestos expresiones texto, voz, ratón, teclado, gestos, expresionestexto, voz, ratón, teclado, gestos, expresiones
Permite obtener información del usuario y del entornoPermite obtener información del usuario y del entorno nivel de ruido, posición del usuario, estado de ánimonivel de ruido, posición del usuario, estado de ánimo nivel de ruido, posición del usuario, estado de ánimonivel de ruido, posición del usuario, estado de ánimo
Soporta comunicación por voz en español en lenguaje Soporta comunicación por voz en español en lenguaje naturalnatural
Posee su propio estado de ánimo que varía en Posee su propio estado de ánimo que varía en función de la relación con el usuario.función de la relación con el usuario. expresión facial, modulación de la voz, tipo de respuestasexpresión facial, modulación de la voz, tipo de respuestas
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Descripción general del sistema: multimodal yDescripción general del sistema: multimodal y Descripción general del sistema: multimodal y Descripción general del sistema: multimodal y emocionalemocional
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Interacción con el usuario: EntradaInteracción con el usuario: Entrada Interacción con el usuario: EntradaInteracción con el usuario: Entrada Teclado, ratónTeclado, ratón Reconocimiento del hablaReconocimiento del hablaReconocimiento del hablaReconocimiento del habla Reconocimiento de expresiones facialesReconocimiento de expresiones faciales Sistema de posicionamientoSistema de posicionamientopp Micrófonos de entornoMicrófonos de entorno BotoneraBotonera
Interacción con el usuario: SalidaInteracción con el usuario: Salida Animación corporal y facialAnimación corporal y facial Síntesis de voz, LipSíntesis de voz, Lip--synch synch Expresión de emociones Expresión de emociones
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Reacciones del agente: Módulo Deliberativo /Reacciones del agente: Módulo Deliberativo / Reacciones del agente: Módulo Deliberativo / Reacciones del agente: Módulo Deliberativo / GenerativoGenerativo Puramente reactivo:Puramente reactivo: interrupción por teclado cambiointerrupción por teclado cambio Puramente reactivo: Puramente reactivo: interrupción por teclado, cambio interrupción por teclado, cambio
de orientación, pedir silencio si detecta ruido, etc. de orientación, pedir silencio si detecta ruido, etc. Deliberativo: análisis para determinar la reacción deDeliberativo: análisis para determinar la reacción de Deliberativo: análisis para determinar la reacción de Deliberativo: análisis para determinar la reacción de
agente (por ejemplo teniendo en cuenta el estado agente (por ejemplo teniendo en cuenta el estado emocional del usuario)emocional del usuario)
Estos módulos se encargan de dar la respuesta Estos módulos se encargan de dar la respuesta adecuada al usuario (mediante la voz, gestos,adecuada al usuario (mediante la voz, gestos,adecuada al usuario (mediante la voz, gestos, adecuada al usuario (mediante la voz, gestos, expresiones, movimientos, etc)expresiones, movimientos, etc)
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía voz: entradaavatar vía voz: entrada Comunicación usuarioComunicación usuario--avatar vía voz: entradaavatar vía voz: entrada ASR: Librería dinámica de LoquendoASR: Librería dinámica de Loquendo Uso de gramáticas independientes de contexto: JSGFUso de gramáticas independientes de contexto: JSGF Uso de gramáticas independientes de contexto: JSGF Uso de gramáticas independientes de contexto: JSGF
(Java Speech Grammar Format). (Java Speech Grammar Format). Resolución de problemas específicos del español:Resolución de problemas específicos del español: Resolución de problemas específicos del español:Resolución de problemas específicos del español:
Diferencia entre palabras con o sin ‘h’, con ‘b’ o ‘v’, o con ‘y’ Diferencia entre palabras con o sin ‘h’, con ‘b’ o ‘v’, o con ‘y’ o ‘ll’. o ‘ll’.
Diferencia entre palabras que se escriben igual pero se Diferencia entre palabras que se escriben igual pero se pronuncian diferente.pronuncian diferente.
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía voz: motor deavatar vía voz: motor deComunicación usuarioComunicación usuario avatar vía voz: motor de avatar vía voz: motor de búsquedabúsqueda
Basado en el proyecto CyN (ALICE: Basado en el proyecto CyN (ALICE: Artificial Intelligence Artificial Intelligence FoundationFoundation http://www alicebot org/http://www alicebot org/))Foundation Foundation http://www.alicebot.org/http://www.alicebot.org/))
Modificado para soportar los diálogos en españolModificado para soportar los diálogos en español Capacidad para trabajar con acentos, diéresis, eñes y permitir Capacidad para trabajar con acentos, diéresis, eñes y permitir
t d t d i t ió l iót d t d i t ió l iócaracteres de apertura de interrogación o exclamación.caracteres de apertura de interrogación o exclamación. Proceso de búsqueda de respuestas basado en reconocimiento Proceso de búsqueda de respuestas basado en reconocimiento
de patrones de palabras. Cada patrón lleva asociadas: de patrones de palabras. Cada patrón lleva asociadas: respuestas fijas (conocimiento estático)respuestas fijas (conocimiento estático) respuestas con variaciones aleatorias para evitar la impresión de respuestas con variaciones aleatorias para evitar la impresión de
repetición y para diferir en función del estado de ánimo del actor repetición y para diferir en función del estado de ánimo del actor i t al (conocimiento dinámico)i t al (conocimiento dinámico)virtual (conocimiento dinámico)virtual (conocimiento dinámico)
Uso de AIML Uso de AIML (Artificial Intelligence Markup Language)(Artificial Intelligence Markup Language)
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Motor de diálogoMotor de diálogo
<category>
Motor de diálogoMotor de diálogo
<pattern> I BELIEVE THAT WE WOULD HAVE TO LEAVE THIS CONVERSATION
</pattern>
<template> <random>
<li> <sad/>Well, I suppose I am not what you expected
</li>
<li> <angry/>But is the matter with you?
Don’t you like me?
</li>
<li><surprised/> Why? We were having such a good time! it
</li>
<li><happy/>Come on, let’s talk a little more
</li>
<li>Ok, we will continue another time
</li>
</random> </template>
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía voz: síntesis de vozavatar vía voz: síntesis de voz Uso de SAPI5 / Loquendo Uso de SAPI5 / Loquendo
SAPI5 permite obtener la información acerca de los visemas SAPI5 permite obtener la información acerca de los visemas (representación visual de un fonema). Esta información se utiliza (representación visual de un fonema). Esta información se utiliza
d l l i i t d l b d l t l h bld l l i i t d l b d l t l h blpara modelar los movimientos de la boca del avatar al hablar.para modelar los movimientos de la boca del avatar al hablar. Generación de emociones en tiempo real modificando la Generación de emociones en tiempo real modificando la
modulación de la voz.modulación de la voz.Se trabaja sobre los parámetros de tono escala de la frecuenciaSe trabaja sobre los parámetros de tono escala de la frecuencia Se trabaja sobre los parámetros de tono, escala de la frecuencia, Se trabaja sobre los parámetros de tono, escala de la frecuencia, volumen y velocidad del habla, que posee SAPI5.volumen y velocidad del habla, que posee SAPI5.
Se trabaja con las seis emociones universales de Ekman: alegría, Se trabaja con las seis emociones universales de Ekman: alegría, tristeza, enfado, sorpresa, aversión y miedo, más la neutral. tristeza, enfado, sorpresa, aversión y miedo, más la neutral. , , p , y ,, , p , y ,
Para determinar la credibilidad de las emociones sintetizadas, Para determinar la credibilidad de las emociones sintetizadas, se utilizaron tres métodos de evaluaciónse utilizaron tres métodos de evaluación Elección forzada: conjunto finito de emociones posiblesElección forzada: conjunto finito de emociones posibles Elección libre: no se restringe la respuestaElección libre: no se restringe la respuesta Elección libre modificada: textos neutrales mezclados con textos Elección libre modificada: textos neutrales mezclados con textos
con emocióncon emoción
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía voz emocionalavatar vía voz emocional Comunicación usuarioComunicación usuario--avatar vía voz emocionalavatar vía voz emocional
InteracciónInteracción mediantemediante lenguajelenguaje naturalnatural
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen Comunicación usuarioComunicación usuario--avatar vía imagenavatar vía imagen Obtención de imágenes a través de webcam.Obtención de imágenes a través de webcam. Clasificación emocional en base a 10 puntos y 5Clasificación emocional en base a 10 puntos y 5 Clasificación emocional en base a 10 puntos y 5 Clasificación emocional en base a 10 puntos y 5
distancias (estándar MPEG4)distancias (estándar MPEG4)
Verificación de resultados: pruebas con usuarios.Verificación de resultados: pruebas con usuarios.
Interacción multimodal y emocionalInteracción multimodal y emocional
Interacción multimodal y emocionalInteracción multimodal y emocional
Interacción multimodal y emocionalInteracción multimodal y emocional
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Clasificación emocionalClasificación emocional Clasificación emocionalClasificación emocional
Aplicaciones:Aplicaciones:pp
Presentadores virtuales: Presentadores virtuales: MaxinePPTMaxinePPT EE--MuseumMuseum Tutor Virtual para aplicaciones de enseñanzaTutor Virtual para aplicaciones de enseñanza Interfaz para control Interfaz para control domóticodomótico remotoremoto Intérprete Virtual: Lengua de Signos EspañolaIntérprete Virtual: Lengua de Signos Española Intérprete Virtual: Lengua de Signos EspañolaIntérprete Virtual: Lengua de Signos Española Juegos interactivos para niñosJuegos interactivos para niños
Gestión de entornos virtuales en tiempo realGestión de entornos virtuales en tiempo real
MAXINEMAXINE A li iA li iMAXINE: MAXINE: AplicacionesAplicaciones
Aplicaciones: Aplicaciones: MaxinePPTMaxinePPTpp
Presentadores virtualesPresentadores virtuales
EUROGRAPHICS’08EUROGRAPHICS’08MaxinePPT
Aplicaciones: Aplicaciones: MaxinePPTMaxinePPTpp
Aplicaciones: Presentaciones interactivasAplicaciones: Presentaciones interactivaspp
EUROGRAPHICS’08EUROGRAPHICS’08 Presentaciones / Presentaciones / demo interactivademo interactiva
Aplicaciones: MaxinePPTAplicaciones: MaxinePPTpp
Presentaciones virtuales en entornos inmersivosPresentaciones virtuales en entornos inmersivos Presentaciones virtuales en entornos inmersivos Presentaciones virtuales en entornos inmersivos ((CAVE.aviCAVE.avi))
Aplicaciones: EAplicaciones: E--museummuseumpp
Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum MuseoMuseo inteligenteinteligente queque se se adaptaadapta a a laslas característicascaracterísticas
dede cadacada visitantevisitante yy permitepermite lala interaccióninteracción natural connatural conde de cadacada visitantevisitante y y permitepermite la la interaccióninteracción natural con natural con laslas obrasobras de artede arte
TecnologíasTecnologías queque integraintegra elel sistemasistema::TecnologíasTecnologías queque integraintegra elel sistemasistema:: PersonajesPersonajes virtualesvirtuales:: interactúaninteractúan concon loslos visitantesvisitantes interfacesinterfaces oralesorales:: reconocimientoreconocimiento yy síntesissíntesis dede vozvoz robotsrobots móvilesmóviles:: recibiránrecibirán aa loslos visitantesvisitantes yy loslos acompañaránacompañarán
enen lala visitavisita tecnologíastecnologías inalámbricasinalámbricas dede comunicacióncomunicación yy localizaciónlocalización:: tecnologíastecnologías inalámbricasinalámbricas dede comunicacióncomunicación yy localizaciónlocalización::
comunicacióncomunicación yy localizaciónlocalización dede loslos visitantesvisitantes enen elel museomuseo tecnologíastecnologías ópticasópticas:: guiadoguiado ópticoóptico porpor elel museomuseo (realidad(realidad
d )d )aumentada)aumentada)
Aplicaciones: EAplicaciones: E--museummuseumpp
Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum MuseoMuseo inteligenteinteligente
SeSe adaptaadapta aa laslas característicascaracterísticas dede cadacada visitantevisitante Se Se adaptaadapta a a laslas característicascaracterísticas de de cadacada visitantevisitante PermitePermite la la interaccióninteracción natural con natural con laslas obrasobras de artede arte
Aplicaciones: EAplicaciones: E--museummuseumpp
Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum ElEl sistemasistema MaxineMaxine actúaactúa dede ‘puente’‘puente’ parapara lala
comunicacióncomunicación deldel serser humanohumano concon todotodo elel sistemasistemacomunicacióncomunicación deldel serser humanohumano concon todotodo elel sistema,sistema,conceptualmenteconceptualmente parapara elel visitantevisitante
ElEl sistemasistema MaxineMaxine sese utilizautiliza enen dosdos tipostipos dede visitavisita:: VisitaVisita librelibre comandoscomandos oralesorales VisitaVisita guiadaguiada
Aplicaciones: EAplicaciones: E--museummuseumpp
Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum
MM áá ll íí ll Max Max seráserá el el guíaguía en el en el museomuseo(robot)(robot)MaxineMaxine eses lala expertaexperta en arteen arte Maxine Maxine eses la la expertaexperta en arteen arte((pantallaspantallas) )
Aplicaciones: EAplicaciones: E--museummuseumpp
MAXMAX MAXMAX EsEs unauna cabezacabeza dede hombrehombre queque seráserá
guíaguía enen elel museomuseoguíaguía enen elel museomuseo MaxMax seráserá cargadocargado enen unun ordenadorordenador
portátilportátil situadosituado enen elel propiopropio robot,robot, aa susuportátilportátil situadosituado enen elel propiopropio robot,robot, aa susuvezvez lala salidasalida dede vídeovídeo estaráestará conectadaconectadaaa unauna pantallapantalla enen lala parteparte superiorsuperior deldelrobotrobot
PodremosPodremos interaccionarinteraccionar concon MaxMax paraparai di li di l ii ddindicarleindicarle queque nosnos guieguie aa unun cuadrocuadro enenconcreto,concreto, queque prosigaprosiga lala visita,visita, queque sesedetengadetenga etcetcdetengadetenga etcetc..
Aplicaciones: EAplicaciones: E--museummuseumpp
MAXINEMAXINE MAXINEMAXINE EspecialistaEspecialista enen artearte CuandoCuando elel visitantevisitante sese detengadetenga CuandoCuando elel visitantevisitante sese detengadetenga
enfrenteenfrente dede unun cuadrocuadro podrápodrá llamarllamar aaMaxineMaxine parapara resolverresolver sussus dudasdudasMaxineMaxine parapara resolverresolver sussus dudasdudasrelacionadasrelacionadas concon lala pinturapintura
CuandoCuando MaxineMaxine apareceaparece enen lala escena,escena,pp ,,relegarelega elel cuadrocuadro aa unun segundosegundo planoplanoparapara conversarconversar concon elel visitantevisitante
PodremosPodremos interaccionarinteraccionar concon MaxineMaxineparapara preguntarpreguntar sobresobre elel cuadrocuadro quequeestamosestamos observandoobservandoestamosestamos observandoobservando
Aplicaciones: EAplicaciones: E--museummuseumpp
IntegraciónIntegración IntegraciónIntegración ElEl servidorservidor centralcentral eses elel nodonodo
dede comunicacióncomunicación principalprincipaldede comunicacióncomunicación principalprincipalentreentre todostodos loslos sistemassistemas
IntegraciónIntegración mediantemediante DLLDLLIntegraciónIntegración mediantemediante DLLDLL SíntesisSíntesis dede vozvoz
ComunicaciónComunicación concon elel servidorservidorcentralcentral mediantemediante XMLXML--RPCRPC ReconocimientoReconocimiento dede vozvoz
óó óó LocalizaciónLocalización dede lala posiciónposición ControlControl deldel robotrobot
Aplicaciones: EAplicaciones: E--museummuseumpp
Ambient Intelligence in a Smart MuseumAmbient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum Ambient Intelligence in a Smart Museum
Aplicaciones: EnseñanzaAplicaciones: Enseñanzapp
Uso de agentes pedagógicos interactivos para laUso de agentes pedagógicos interactivos para la Uso de agentes pedagógicos interactivos para la Uso de agentes pedagógicos interactivos para la enseñanza de Informática Gráfica:enseñanza de Informática Gráfica: Actuando como profesores virtuales mediante laActuando como profesores virtuales mediante la Actuando como profesores virtuales mediante la Actuando como profesores virtuales mediante la
exposición de temas específicos. exposición de temas específicos. Como herramienta para trabajar temas consideradosComo herramienta para trabajar temas considerados Como herramienta para trabajar temas considerados Como herramienta para trabajar temas considerados
“díficiles” por los alumnos. “díficiles” por los alumnos.
Aplicaciones: EnseñanzaAplicaciones: Enseñanzapp
Tutoriales interactivosTutoriales interactivos Tutoriales interactivosTutoriales interactivos
Aplicaciones: Interfaz para control Aplicaciones: Interfaz para control dómoticodómoticop pp p
Se dispone de un entorno inteligente real (Dpto. Se dispone de un entorno inteligente real (Dpto. p g ( pp g ( pde Ingeniería Informática, Universidad Autónoma de Ingeniería Informática, Universidad Autónoma de Madrid) de Madrid) ))
Entorno inteligente Entorno inteligente domóticodomóticogg
Elementos que componen el entorno:Elementos que componen el entorno: Elementos que componen el entorno:Elementos que componen el entorno: Dispositivos de control (sDispositivos de control (sensoresensores/a/actuadoresctuadores)) Dispositivos multimedia (radios televisores pantallasDispositivos multimedia (radios televisores pantallas Dispositivos multimedia (radios, televisores, pantallas Dispositivos multimedia (radios, televisores, pantallas
de información, micrófonos, altavoces, etc.)de información, micrófonos, altavoces, etc.)
Entorno inteligente domóticoEntorno inteligente domóticogg
•• Bus domótico EIB (KNX) para el control de losBus domótico EIB (KNX) para el control de los•• Bus domótico EIB (KNX) para el control de los Bus domótico EIB (KNX) para el control de los dispositivos físicosdispositivos físicos
•• RRed Etherneted Ethernet para elpara el flujo de informaciónflujo de informaciónRRed Etherneted Ethernet para el para el flujo de información flujo de información multimedia multimedia
•• Definición del entorno y los elementos queDefinición del entorno y los elementos queDefinición del entorno y los elementos que Definición del entorno y los elementos que forman parte de él basándose en el lenguaje forman parte de él basándose en el lenguaje XMLXML
•• Repositorio común (pizarra), donde queda Repositorio común (pizarra), donde queda representado el entorno, sus elementos, representado el entorno, sus elementos, p , ,p , ,relaciones, estado, flujos de información, relaciones, estado, flujos de información, aplicaciones, etc.aplicaciones, etc.
Entorno inteligente domóticoEntorno inteligente domóticogg
Capa de contexto.Capa de contexto. Se ha escogido la metáfora de la pizarra por su Se ha escogido la metáfora de la pizarra por su
flexibilidad y simplicidadflexibilidad y simplicidadd d l b ld d l b l La capa de contexto se despliega sobre la La capa de contexto se despliega sobre la
infraestructra de dispositivos y éstos se comunican infraestructra de dispositivos y éstos se comunican ella utilizando mensajes estándar en XML y elella utilizando mensajes estándar en XML y elella utilizando mensajes estándar en XML y el ella utilizando mensajes estándar en XML y el protocolo HTTP (HyperText Transfer Protocol). protocolo HTTP (HyperText Transfer Protocol).
Las entidades disponen de una API deLas entidades disponen de una API de Las entidades disponen de una API de Las entidades disponen de una API de comunicación proporcionada por el sistema que comunicación proporcionada por el sistema que permite la interacción de los dispositivos con el permite la interacción de los dispositivos con el middleware.middleware.
Max: Max: lala nuevnuevaa interfazinterfaz
Objetivo:Objetivo: crear un agente (Max) que haga decrear un agente (Max) que haga de Objetivo: Objetivo: crear un agente (Max) que haga de crear un agente (Max) que haga de nuevo interfaz interactivo para el acceso y nuevo interfaz interactivo para el acceso y control remoto de la habitación inteligentecontrol remoto de la habitación inteligentecontrol remoto de la habitación inteligentecontrol remoto de la habitación inteligente
El interfaz debe permitir dialogar de forma El interfaz debe permitir dialogar de forma natural con el agente al que se ha de podernatural con el agente al que se ha de podernatural con el agente, al que se ha de poder natural con el agente, al que se ha de poder pedir que realice operaciones y consultas sobre pedir que realice operaciones y consultas sobre los dispositivos de la habitación inteligentelos dispositivos de la habitación inteligentelos dispositivos de la habitación inteligente.los dispositivos de la habitación inteligente.
Max: la nueva interfazMax: la nueva interfaz
Funcionalidades (actuación remota)Funcionalidades (actuación remota):: Funcionalidades (actuación remota)Funcionalidades (actuación remota):: Luces Luces ((normalesnormales // regulablesregulables)) CafeteraCafetera CafeteraCafetera TelevisiónTelevisión
F i lid d ( lt t )F i lid d ( lt t ) Funcionalidades (consulta remota)Funcionalidades (consulta remota):: Sensor de puertaSensor de puerta
óó PersonasPersonas y hy habitaciónabitación
Max: la nueva interfazMax: la nueva interfaz
Integración/adaptación a MaxineIntegración/adaptación a Maxine:: Para acceder a la pizarra de forma remotaPara acceder a la pizarra de forma remota sesePara acceder a la pizarra de forma remota Para acceder a la pizarra de forma remota se se
utiliza el protocolo HTPP utiliza el protocolo HTPP que resulta fácil de que resulta fácil de utilizar en scripts que pueden ejecutarse dentro utilizar en scripts que pueden ejecutarse dentro del sistema de preguntas y respuestas de del sistema de preguntas y respuestas de Maxine.Maxine.
Interacción multimodal y emocionalInteracción multimodal y emocionalyy
Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz Comunicación usuarioComunicación usuario--avatar vía vozavatar vía voz
Max: la nueva interfazMax: la nueva interfaz
Creación de:Creación de: Creación de:Creación de:1.1. Un script de Maxine que cargue el actor virtual, el Un script de Maxine que cargue el actor virtual, el
plano de la habitación y gestione el sistema deplano de la habitación y gestione el sistema deplano de la habitación y gestione el sistema de plano de la habitación y gestione el sistema de preguntas y respuestas.preguntas y respuestas.
2.2. Una gramática que contenga las palabras que debe Una gramática que contenga las palabras que debe g q g p qg q g p qentender.entender.
3.3. Un fuente AIML para la creación de la base de datos Un fuente AIML para la creación de la base de datos con las distintas respuestas.con las distintas respuestas.
4.4. Scripts para realizar las consultas o modificaciones Scripts para realizar las consultas o modificaciones l i t d óti di t HTTPl i t d óti di t HTTPen el sistema domótico mediante HTTP.en el sistema domótico mediante HTTP.
ResultadosResultados
El i d l tEl i d l t El usuario puede ver al agente El usuario puede ver al agente y un plano de la habitación y un plano de la habitación d d d ld d d ldonde se puede ver la donde se puede ver la disposición de los elementos.disposición de los elementos.
El interfaz permite ver los El interfaz permite ver los cambios que producen sus cambios que producen sus ó é áó é áórdenes a través de la cámara órdenes a través de la cámara web.web.
Aplicaciones: Interfaz para control dómoticoAplicaciones: Interfaz para control dómoticop pp p
Control remoto de un entornoControl remoto de un entorno domóticodomótico Control remoto de un entorno Control remoto de un entorno domóticodomótico
Usuario: “Enciende la luz uno”Max: “La luz ya esta encendida”
Usuario: “Enciende la luz uno”Max: “Hecho” (la luz uno pasa a estar encendida)a ec o ( a u u o pasa a esta e ce d da)
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p
Traductor automático: Español a LSETraductor automático: Español a LSE Traductor automático: Español a LSETraductor automático: Español a LSE
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p
Traductor automático: Español a LSETraductor automático: Español a LSE Traductor automático: Español a LSETraductor automático: Español a LSE
Intérprete virtual de LSEIntérprete virtual de LSE
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
Diseño de interfacesDiseño de interfaces usabilidadusabilidad accesibilidadaccesibilidad
p pp p
Diseño de interfaces Diseño de interfaces usabilidad, usabilidad, accesibilidadaccesibilidad Este trabajo pretende desarrollar una Este trabajo pretende desarrollar una
herramienta que permita mejorar el acceso a laherramienta que permita mejorar el acceso a laherramienta que permita mejorar el acceso a la herramienta que permita mejorar el acceso a la información por parte de las personas sordas.información por parte de las personas sordas.En EspañaEn España AproxAproxEn EspañaEn España Aprox.Aprox.
Personas sordas 1.000.000 (2.72%)
de los cuales, poseen alta vulnerabilidad 200.000 (0.05%)
Personas que conocen la lengua de signos 400.000 (0.97%)
Niños que nacen sordos (prelocutivos) 1 de cada 1.000
Personas que pierden capacidad de oído (postlocutivos) 4 de cada 1.000
Fuente: www.soycapaz.com
8080
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
Métodos de adaptación de los mensajes sonoros: Métodos de adaptación de los mensajes sonoros:
p pp p
SubtituladoSubtitulado Más sencilloMás sencillo Más sencilloMás sencillo No idóneo para personas sordas No idóneo para personas sordas
(prelocutivas) (prelocutivas) No resuelve el problema de adaptaciónNo resuelve el problema de adaptación
ó líó lí Interpretación explícitaInterpretación explícita Verdadera Verdadera traduccióntraducción
Programas más complejos y costososProgramas más complejos y costosos Programas más complejos y costososProgramas más complejos y costosos
8181
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
Surge la necesidad de disponer de herramientasSurge la necesidad de disponer de herramientas
p pp p
Surge la necesidad de disponer de herramientas Surge la necesidad de disponer de herramientas que permitan la traducción automática a que permitan la traducción automática a Lengua Lengua de Signosde Signos Sin embargo hay que considerar:Sin embargo hay que considerar:de Signosde Signos. Sin embargo hay que considerar:. Sin embargo hay que considerar: Las Lenguas de Signos poseen gramáticas propias Las Lenguas de Signos poseen gramáticas propias
distintas de las gramáticas de las lenguas habladasdistintas de las gramáticas de las lenguas habladasdistintas de las gramáticas de las lenguas habladasdistintas de las gramáticas de las lenguas habladas La lengua de signos La lengua de signos NO ES UNIVERSALNO ES UNIVERSAL Lengua de Signos Española (LSE):Lengua de Signos Española (LSE): Lengua de Signos Española (LSE): Lengua de Signos Española (LSE):
Gramática propiaGramática propia Variantes locales en España de algunas palabras y Variantes locales en España de algunas palabras y p g p yp g p y
expresionesexpresiones No es única: LSC, LSPV, etc.No es única: LSC, LSPV, etc.
8282
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
Sistema de traducción automática de español a LSESistema de traducción automática de español a LSE
p pp p
Sistema de traducción automática de español a LSESistema de traducción automática de español a LSE
Estudio de la LSE y la gramática españolaEstudio de la LSE y la gramática españolad d b ld d b l Estudio de trabajos similaresEstudio de trabajos similares
Gramática inglesaGramática inglesa Basados en estadística y entrenamiento: resultados imprevisiblesBasados en estadística y entrenamiento: resultados imprevisiblesy py p Basados en reglas: definición explícita de reglas, orientados al Basados en reglas: definición explícita de reglas, orientados al
problemaproblema
Los basados en reglas se adaptan mejor al problema de Los basados en reglas se adaptan mejor al problema de traducción de español traducción de español LSE y generan salidas que siempre LSE y generan salidas que siempre cumplen las reglas de la LSEcumplen las reglas de la LSEcumplen las reglas de la LSEcumplen las reglas de la LSE
8383
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
Características específicas del sistema desarrollado paraCaracterísticas específicas del sistema desarrollado para
p pp p
Características específicas del sistema desarrollado para Características específicas del sistema desarrollado para la traducción automática de español a LSE :la traducción automática de español a LSE :
Basado en reglas Basado en reglas gramaticalesgramaticales y y morfológicasmorfológicas Permite incluir las Permite incluir las emocionesemociones en la traducciónen la traducción
Puede integrarse en sistemas mayores Puede integrarse en sistemas mayores Entrada: cadena de texto en españolEntrada: cadena de texto en español Entrada: cadena de texto en españolEntrada: cadena de texto en español Salida: sistema de representación de signos para su posterior Salida: sistema de representación de signos para su posterior
animaciónanimación
Verificación de la validez de los resultadosVerificación de la validez de los resultados
8484
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
Definición de reglas en base a laDefinición de reglas en base a la gramáticagramática y lay la
p pp p
Definición de reglas en base a la Definición de reglas en base a la gramática gramática y la y la morfologíamorfología del español y la LSEdel español y la LSE Transformación atendiendo a las características sintácticas y Transformación atendiendo a las características sintácticas y
morfológicas de las palabras y a la semántica dentro de la frase.morfológicas de las palabras y a la semántica dentro de la frase.
¿Cómo son las reglas?¿Cómo son las reglas? ¿Cómo son las reglas?¿Cómo son las reglas? Cada categoría gramatical y sintáctica tiene reglas propias. Ej:Cada categoría gramatical y sintáctica tiene reglas propias. Ej:
Sintagma nominal: primero se colocan los genitivos, luego el Sintagma nominal: primero se colocan los genitivos, luego el g g gg g gsustantivo principal y luego los adjetivos.sustantivo principal y luego los adjetivos.
Verbo: al final de la oración.Verbo: al final de la oración. Partícula temporal: primera en la oración. Si no existe, se toma elPartícula temporal: primera en la oración. Si no existe, se toma el Partícula temporal: primera en la oración. Si no existe, se toma el Partícula temporal: primera en la oración. Si no existe, se toma el
tiempo del verbo (PASADO, FUTURO). El presente no se signa.tiempo del verbo (PASADO, FUTURO). El presente no se signa.
8585
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
La traducción se lleva a cabo en 4 etapas:La traducción se lleva a cabo en 4 etapas:
p pp p
La traducción se lleva a cabo en 4 etapas:La traducción se lleva a cabo en 4 etapas:
8686
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p
8787
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtual
El sistema se ha desarrollado como un móduloEl sistema se ha desarrollado como un módulo
p pp p
El sistema se ha desarrollado como un módulo El sistema se ha desarrollado como un módulo integrable dentro de cualquier sistema que:integrable dentro de cualquier sistema que:
tor
tor
EntradaEntrada
Sistema productor de texto en español escrito:
SalidaSalida
Sistema capaz de interpretar los signos:
adu
ctad
uct
en español escrito:
Fichero de texto Reconocedor de voz
interpretar los signos:
Avatar en una web Personaje virtual en
Tra
Tra Generador de
conversaciones…
Personaje virtual en entorno 3D…
8888
Aplicaciones: Intérprete virtualAplicaciones: Intérprete virtualp pp p
Aplicaciones: NiñosAplicaciones: Niñospp
ColegioColegio dede EducaciónEducación EspecialEspecial AlboradaAlborada ColegioColegio de de EducaciónEducación Especial Especial AlboradaAlborada EscenariosEscenarios interactivosinteractivos parapara mejoramejora del del hablahabla en en
alumnosalumnos dede educacióneducación especialespecialalumnosalumnos de de educacióneducación especialespecial JuegosJuegos parapara niñosniños con con problemasproblemas cognitivoscognitivos
DESARROLLODESARROLLO Modelo de procesoModelo de proceso
Generación de Herramientas Didácticas Configurables y Accesibles
DESARROLLO DESARROLLO Modelo de procesoModelo de proceso
Modelo de Proceso de laíIngeniería de la Usabilidad
y la Accesibilidad y(MPIu+a)
Diseño Centrado en el Usuario (DCU)Usuario (DCU)
Proyecto Fin de CarreraGuillermo Blasco Antón
Marzo 2010
DESARROLLO DESARROLLO Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles
g pg pespecial especial
Colaboración con el CPEE Alborada Colaboración con el CPEE Alborada Niños discapacitados – Necesidades heterogéneas Herramienta configurable – Perfil de usuario Herramienta configurable – Perfil de usuario Interacción multimodal Clasificación de pictogramas según categoríasClasificación de pictogramas según categorías Creación de nuevos juegos
Proyecto Fin de CarreraGuillermo Blasco Antón
Marzo 2010
DESARROLLO DESARROLLO Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles
g pg pespecialespecial
Scripts LUA J- Juego
- Niño- Aleatorio- Anima- Imagen
Texto- Texto- Log
Máquina de estados
Proyecto Fin de CarreraGuillermo Blasco Antón
Marzo 2010
DESARROLLO DESARROLLO Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles
g pg pespecialespecial
- Analizador XmlLite Almacenamiento de datos
- Nueva clase CTemplate- Perfil del alumnoPl till- Plantillas
Proyecto Fin de CarreraGuillermo Blasco Antón
Marzo 2010
Aplicaciones: NiñosAplicaciones: Niñospp
EVALUACIÓN EVALUACIÓN Juego para educación Juego para educación Generación de Herramientas Didácticas Configurables y Accesibles
g pg pespecialespecial
E l ióEvaluación 24 alumnos CPEE Alborada
P tí i f d di ñ Partícipes en fases de diseño Sesiones periódicas
Ob ió di t Observación directa Structure Expert Evaluation
M th d (SEEM)Method (SEEM)
Proyecto Fin de CarreraGuillermo Blasco Antón
Marzo 2010
EVALUACIÓNEVALUACIÓN SEEMSEEM
Generación de Herramientas Didácticas Configurables y Accesibles
EVALUACIÓN EVALUACIÓN SEEMSEEM
Structure Expert Evaluation MethodSt uctu e pe t a uat o et od
Proyecto Fin de CarreraGuillermo Blasco Antón
Marzo 2010
Aplicaciones: NiñosAplicaciones: Niñospp Interfaces tangibles y Interfaces tangibles y agentesagentes virtualesvirtuales
Aplicaciones: TANGIBLEAplicaciones: TANGIBLE
Plataforma de Plataforma de l b t i ll b t i l
pp
laboratorio para la laboratorio para la experimentación con experimentación con diferentes paradigmasdiferentes paradigmasdiferentes paradigmas diferentes paradigmas de interacción:de interacción: LEGO© LEGO© MindstormsMindstorms platformplatform
W kb hW kb h WorkbenchWorkbench..
FuturoFuturo
InclusiónInclusión dede modelos de emociones ymodelos de emociones y Inclusión Inclusión de de modelos de emociones y modelos de emociones y personalidadpersonalidadDesarrollo de nuevas aplicacionesDesarrollo de nuevas aplicaciones Desarrollo de nuevas aplicacionesDesarrollo de nuevas aplicaciones ITS (ITS (IntelligentIntelligent TutoringTutoring SystemsSystems))
Vid JVid J Video JuegosVideo Juegos Modelado de usuarioModelado de usuario
Comportamiento: Comportamiento: softcomputingsoftcomputing /modelos /modelos cognitivoscognitivos
MultimodalidadMultimodalidad: Integración y fusión de : Integración y fusión de modalidadesmodalidades
FuturoFuturo
Comportamiento:Comportamiento: softcomputingsoftcomputing / modelos/ modelos Comportamiento: Comportamiento: softcomputingsoftcomputing / modelos / modelos cognitivoscognitivos
MAXINEMAXINEMAXINEMAXINE
¿Preguntas?¿Preguntas?
Recommended