Embed Size (px)
Citation preview
Interacción basada en webcam Joaquin Fonoll [email protected]
Ambrosio Gassol [email protected]
http://www.xtec.cat/dnee/udc/
Resumen
Durante años hemos estado desarrollando herramientas informáticas destinadas a las
atención educativa de personas discapacitadas que facilitaran su acceso al ordenador y a las
actividades de clase. Recientemente hemos utilizados técnicas elementales de visión artificial
basadas en webcam que, integradas en desarrollos anteriores, han transformado la interfaz
tradicional basada en el paradigma teclado, ratón, pantalla. Con todo ello hemos ampliado el
número de usuarios potenciales y la tipología de actividades que podemos desarrollar.
SiMuove: un ejemplo de nuestro trabajo
SiMuove es un programa de ordenador que no se maneja ni con el teclado ni con el ratón,
sino que responde directamente a los movimientos captados por la webcam, gracias a un
uso elemental de tecnologías de visión artificial.
SiMuove se podría catalogar como un programa de causa – efecto semejante a NetSwitch,
el Pictures and Music y otros que se utilizan para la atención temprana, la educación infantil
o la rehabilitación.
SiMuove se ha concebido como un entorno abierto que se puede personalizar. Existe un
programa editor con el que el profesional puede modificar los contenidos o crear nuevas
actividades para ajustarse a los intereses o necesidades del usuario.
Para el usuario la interacción con SiMuove es semejante a los juegos para EyeToy de la PS2
o el Camgoo para PC. En la pantalla se muestra la imagen real del jugador, captada por la
webcam, junto a unos objetos virtuales generados por el ordenador. Al tocar virtualmente los
objetos, éstos se animan según el modo en que se haya programado.
En SiMuove los objetos son zonas estáticas definidas en el campo de visión de la webcam,
isomórfica con la pantalla. Cada zona u objeto dispone de secuencias de imágenes y sonidos
que, como un carrusel de diapositivas, avanzan cuando se detecta movimiento, o retroceden
al quedarse estático. Es semejante a un juguete elástico que avanza con el movimiento, pero
luego se recupera. Si se alcanza el final de la secuencia el programa ofrece un “premio”
Podemos configurar diferentes parámetros para regular la sensibilidad del programa para
avanzar, retroceder, crear una secuencia de ejercicios, así como utilizar imágenes con
colores transparentes, obteniendo un interesante efecto “croma”.
SiMuove requiere un ordenador, funcionando con Windows XP o Suse 10, con capacidad
para procesar la señal de vídeo a 15 fps, así como los recursos gráficos y de sonido del
programa.
La interacción mediante técnicas de visión artificial permite que una misma actividad de
SiMuove pueda realizarse a corta, media o larga distancia, en función del dispositivo que
capture las imágenes. Con una webcam deberemos trabajar a una distancia corta y
movimientos pequeños, pero con una videocámara digital podremos trabajar a grandes
distancias y los movimientos deberán ser mucho más amplios.
A partir de este esquema elemental hemos desarrollado diversas actividades que pueden
servir de ejemplo para desarrollos posteriores.
Animaciones
Es el más simple de los ejercicios. Muestra en la pantalla una sola imagen que se anima
cuando detecta nuestro movimiento. Este ejercicio trabaja la relación causa efecto y la
motricidad, estimulando la movilidad y la coordinación del jugador.
Carreras de coches
Imagen 1 Portada SiMuove Imagen 2 usuario de SiMuove
Simula la conducción de un coche que avanza con nuestros movimientos. En la pantalla se
muestra un coche, en cuyo interior nos vemos a nosotros mismos a través del parabrisas,
que avanza por el paisaje cuando nos movemos.
Ejercita el control postural y estimula la atención y la motricidad
Adivina
Muestra en la pantalla la construcción paso a paso de una imagen que hay que adivinar. Se
trata de un ejercicio para estimular la observación, el pensamiento hipotético y la expresión
oral.
Disfrazar
Aquí el ordenador se convierte en un fotomatón que combina la imagen real con un disfraz,
en el que se ha dejado uno o más “agujeros” donde poner la cabeza o las manos.
La exploración libre de los disfraces del programa no sólo se trata de una actividad lúdica,
sino que permite trabajar el control postural de la cabeza, así como la expresión facial, cosa
muy importante en usuarios gravemente afectados.
Para trabajar mediante selección voluntaria del disfraz se ejercita la direccionalidad, el léxico
oral, la memoria secuencial y la numeración.
Simetrías
Es el más complejo de los ejercicios realizados. En la pantalla hay dos zonas con mitades de
una fotografía que debemos emparejar moviendo la mano derecha o izquierda en cada zona.
No sólo ejercita la lateralidad derecha / izquierda y la coordinación óculo – manual, sino
también la percepción de las formas y la memoria visual.
SiMuove – Interfaz -Educación
Imagen 3 SiMuove Disfraz Imagen 4 Usuario disfrazado
Ver a alumnos escolarizados en centros específicos trabajar con SiMuove nos ha facilitado
comprender las ventajas e inconvenientes de esta nueva interfaz y el paradigma educativo
asociado.
La interacción mediante técnicas de visión artificial simplifica la interfaz del usuario, ya que el
ordenador se maneja como una extensión del propio cuerpo, sin requerir, aparentemente,
ningún dispositivo interpuesto. Por otra parte, el control mediante movimientos corporales
reduce el esfuerzo físico a realizar, así como la precisión en los movimientos o los
aprendizajes específicos para manejar dispositivos y programas.
Esta simplicidad amplía el número potencial de usuarios, favoreciendo aquellos que no
pueden manejar otros programas.
La webcam como periférico crea un entorno de trabajo más “ecológico”, libre de cables,
soportes y otros elementos invasivos, ya que sólo se requiere contacto visual. Trabajando
con el zoom de cámaras fijas robotizadas, semejantes a las que se emplean en vídeo-
vigilancia, se pueden crear espacios interactivos donde la tecnología sea invisible para el
usuario.
SiMuove amplifica las consecuencias de los movimientos del jugador, añadiéndoles efectos
visuales y auditivos, con la intención de que los movimientos involuntarios o descontrolados
pasen a la esfera del control voluntario y significativo.
La integración de la propia imagen en un entorno virtual es un plus que favorece el
autocontrol y la estimulación.
La interfaz mediante webcam no requiere estar sentado frente al ordenador, sino dentro del
campo visual que podemos modificar con el enfoque. Ello permite abordar otros contenidos
menos “escolásticos”, como el control postural, la estimulación sensorial o la psicomotricidad,
propios de la atención temprana, la educación infantil o la educación especial.
Nuestro proyecto Interacción con webcam
SiMuove no es el punto inicial o final de nuestro y trabajo, sino tan solo un ejemplo de lo que
hemos conseguido gracias al estadio actual de desarrollo de las tecnologías que manejamos.
En nuestra opinión las TIC han modificado profundamente aquellos sectores, como la banca,
el comercio, el ocio o el turismo, donde se ha integrado, cosa que todavía no ha ocurrido en
la educación.
El uso del ordenador debe ofrecer nuevas oportunidades para la educación, especialmente
allí donde ésta ha conseguido menores resultados. Un caso evidente, como el propio nombre
indica, es la atención a las necesidades específicas, alumnos a los que no les basta con las
atenciones ordinarias.
Algunos de los contenidos que se trabajan en la escuela desbordan el uso habitual de los
ordenadores, pensados inicialmente para el trabajo de oficina. Aunque no todo el contenido
educativo debe ser tratado con el ordenador, sí que hay modos alternativos, tal como
muestran los videojuegos y la videoconsolas.
Si superamos el paradigma del teclado y la pantalla como interfaz del ordenador, podremos
atender a nuevos contenidos y usuarios.
Antecedentes
SiMuove es el fruto de un proceso que tiene ya una larga trayectoria. Nuestro recorrido se
inició en 1980 instalando una aula de ordenadores en un centro de primaria y se consolido en
1987 con la creación del PIE, Programa de Informática Educativa – Generalitat de Catalunya
que tenía como objetivo introducir la informática en el sistema educativo de Cataluña.
Nuestro trabajo se caracteriza por centrarse en el ámbito educativo, tener muy próxima la
demanda del usuario, disponer de facilidades para dialogar con él y ensayar los materiales.
Por el contrario nuestro equipo es muy reducido y con limitaciones tecnológicas que nos
impiden avanzar.
Antes de 1990, introducimos los teclados de conceptos, como un acceso alternativo al
teclado para el parvulario y las NEE, cuando los ordenadores era CGA y todavía no se
vislumbraba el uso generalizado de los ratones. Nuestro teclado era una tableta
digitalizadora de 32 x 32 cm y 10 dpi que se conceptualizaba como un teclado expandido
alternativo o complementario al estándar.
El teclado de conceptos nos obligó a resolver la interfaz gráfica para el usuario, mediante
sistemas coherentes de pictogramas, así como técnicas de edición y distribución digital de
los materiales para facilitar su distribución.
De aquel proyecto nos queda un software, Tswin, que permite crear zonas en un mapa físico
cualquiera y asociarles comandos para controlar el ordenador. Igualmente disponemos de
más de 100 aplicaciones, que a diferencia de otros proyectos parecidos, hemos ido
actualizando, que pueden funcionar sobre Windows XP y actualmente los utilizan algunos
alumnos invidentes de Cataluña.
Después de las olimpiadas de Barcelona de 1992 dispusimos de pantallas táctiles donde
desarrollamos actividades que se manejaban con los dedos, y el Tpwin, un teclado virtual en
pantalla. A partir de esta experiencia comprendimos que las limitaciones físicas de la pantalla
reducen el número de aplicaciones educativas y que sólo un número reducido de alumnos
las necesita.
A partir de 1997 desarrollamos el proyecto TocaToca, un sistema de autor para actividades
de causa - efecto que son el inicio de la comunicación persona / ordenador y también
permiten trabajar la comunicación persona / persona.
Si habitualmente el niño trabaja estas actividades con el interruptor de la luz o con los
juguetes musicales, TocaToca aprovecha las posibilidades multimedia del ordenador para
crear espacios complejos y estructurados. El programa ha ido evolucionado con los años y
actualmente, además del teclado y el ratón podemos trabajar con el sonido, con el joystic, el
DancePad y otros periféricos parecidos.
En el años 2000 Jordi Lagares, un profesor de física de un instituto, desarrolló el Proyecto
Fressa http://www.lagares.org, que resuelve la interacción con el ordenador a través del
sonido. En Fressa encontramos Globus, un programa de visualización del sonido, Recofone
que reconoce patrones de voz o el Control del mouse por voz.
En el 2003 trabajamos con el DancePad y otros periféricos procedentes de los videojuegos
utilizándolos como ayudas técnicas para las personas con discapacidad. Ello supuso una
doble economía. En primer lugar estos periféricos son más asequibles y accesibles que los
periféricos específicos para la discapacidad. En segundo lugar, aplicamos la estrategia de
incorporarlos en desarrollos anteriores, Tswin, Tpwin, TocaToca, lo que nos permitió
aprovechar el trabajo realizado y disponer de un amplio abanico de actividades.
En el 2004, Cesar Mauri, en aquel momento estudiante de la Universidad Rovida Virgili,
desarrolló WebColor un sistema capaz, a tiempo real, de reconocer una marca de color
determinado en la imagen que proporciona una webcam.
Webcolor se distribuye como un API de programación con llamadas que retornan las
coordenadas de la marca de color, y con ejemplos de programación en C++ y Vb.
Webcolor y las tecnologías de reconocimiento de color requieren entrenar el sistema antes
de utilizarlo y, a menudo, se dan interferencias con la iluminación y los colores existentes en
el ambiente.
En el años 2000 Jordi Lagares, un profesor de físca de un instituto, desarrollo el Proyecto
Fressa http://www.lagares.org, que resuelve la interacción con el ordenador a traves del
sonido. En Fressa encontramos Globus un programa de visualización del sonido, Recofone
que reconoce patrones de voz o el Control del mouse por voz.
En el 2003 trabajamos con el DancePad y otros periféricos procedentes de los videojuegos
utilizándolos como ayudas técnicas para las personas con discapacidad. Ello supuso una
doble economía. En primer lugar estos periféricos son más asequibles y accesibles, que los
periféricos específicos para la discapacidad. En segundo lugar aplicamos la estrategias de
incorporarlos en desarrollos anteriores, Tswin, Tpwin, TocaToca, lo que nos permitió
aprovechar el trabajo realizado y disponer de un amplio abanico de actividades.
En el 2004, Cesar Mauri, en aquel momento estudiante de la Universidad Rovida Virgili,
desarrolló WebColor un sistema capaz, a tiempo real, de reconocer una marca de color
determinado en la imagen que proporciona una webcam.
Webcolor se distribuye como un Api de programación con llamadas que retornan las
coordenadas de la marca de color y con ejemplos de programación en C++ i Vb.
Webcolor, y las tecnologías de reconocimiento de color, requieren entrenar el sistema antes
de utilizarlo y a menudo se dan interferencias con la iluminación y los colores existentes en
el ambiente.
En el 2006 Jordi Sánchez, miembro de nuestro equipo y en aquel momento becario del
Departamento de educación, desarrolló WebColorToy, un sistema basado en webcam que
detecta el movimiento “restando” dos fotogramas consecutivos y devuelve, para un área, un
índice de cambio. También se trata de un conjunto de módulos de programación utilizables,
compatibles para Linux y Windows.
La ventaja de trabajar con el movimiento, aunque se consiga menor precisión, es que el
sistema no requiere de entrenamiento. Es decir, basta con situarse frente a la cámara para
ponerse a trabajar.
Productos desarrollados
A partir de las tecnologías que conocemos, combinándolas e integrándolas en desarrollos y
proyectos anteriores, actualmente disponemos de un abanico de recursos educativos que se
distribuyen gratuitamente
Emulator
Es un emulador de pulsador, mouse, joystick, o teclado de conceptos, que funciona con la
webcam mediante técnicas de reconocimiento de color o de movimiento.
Emulator, en versión para Windows y Linux, puede utilizarse como una Ayuda Técnica que
de forma virtual sustituya a:
• Pulsador. Hace clic sobre el programa activo cuando se muestra u oculta un color.
• Ratón. El puntero de la pantalla se sitúa directamente allá donde señala el cursor de
color. Esta aplicación permite trabajar a distancias alejadas, pero requiere un
entrenamiento, para no salirnos del campo visual de la webcam, y sólo consigue una
precisión semejante a una pantalla táctil manejada con los dedos.
• Joystick. El puntero se desplaza en la dirección que señalamos y se detiene al
situarnos en la zona central.
• Tablero de conceptos. Partiendo de una impresión de la pantalla, al señalar el papel
situamos el cursor de la pantalla en la zona indicada.
En todos lo casos el clic se realiza por tiempo y se precede de señales visuales y acústicas.
Imagen 5 Emulator como Joystick Imagen 6 Control cámara robotizada
Emular estas ayudas técnicas mediante la webcam tiene una evidente ventaja económica,
así como una mayor flexibilidad en equipos, como los de los centros educativos, que son
utilizados por diversos usuarios. Además los dispositivos basados en webcam tienen menos
averías mecánicas, que pueden ser muy frecuentes en los dispositivos físicos.
Una dificultad, que ha surgido de modo imprevisto, es que los usuarios no aceptan de igual
modo los sistemas estándar físicos, con una mayor presencia social, que los virtuales que,
además de ser menos conocidos, no proporcionan ninguna respuesta física.
Tswin
El editor de Tablero de conceptos ahora funciona con la webcam sin necesidad de ningún
soporte físico. Basta situar la lámina frente a la webcam y señalar sus vértices para
calibrarla.
Permite mapear el campo de visión de la webcam, con independencia del tamaño físico que
abarque, creando zonas a las que se asignan comandos. Esto convierte en interactiva
cualquier superficie
Funciona con tecnología de reconocimiento del color y puede tener problemas si nos
separamos de la lámina, al proyectarse los movimientos 3D sobre un plano 2D.
TocaToca
TocaToca es nuestra solución para los ejercicios de causa efecto y ahora funciona con la
webcam. El campo de visión de la webcam se divide en zonas, en relación isomórfica con la
pantalla, que se activan por detección de color y de movimiento.
Con esta nueva prestación, surgen nuevos ejercicios para estimular la motricidad y la
coordinación de movimientos en los que podemos incluir la interacción con objetos reales.
Imagen 7 TocaToca Fútbol Imagen 7 TocaToca contar pelotas
Así, el ordenador nos aplaude cuando marcamos un gol con una pelota en una portería real,
o debemos responder arriba o abajo señalando sobre nuestro cuerpo…
Estas nuevas prestaciones también nos han hecho descubrir nuevas dificultades. Por
ejemplo, resulta difícil ubicarse sin salirse del campo visual de la webcam y es complicado
tocar unas zonas sin invadir otras.
SiMuove
SiMuove es un desarrollo nuevo, específico para la webcam del que ya hemos hablado
ampliamente
WebColorToy
Este programa es un juego con webcam en toda regla. El juego muestra varios objetos en
movimiento y debemos atrapar algunos y evitar otros. Nuevamente se trata de un entorno de
autor que permite definir los objetos, sus movimientos y cómo reaccionan. El juego se
estructura en niveles y da vidas y puntos, y la persona puede verse integrada en la imagen.
Las potencialidades de este programa están por desarrollar, aunque permitirá actividad de
observación, discriminación y control motriz. Este juego permitirá retomar contenidos
pedagógicos tradicionales, discriminación de letras o figuras mediante actividades más
físicas. Hay que tener en cuenta que la actividad propiamente dicha se define por el tipo de
objetos (figuras, formas, letras, colores) y las reglas del juego.
DanceMusic Imagen 9 WebColorToy Imagen 10 usuarios con DanceMusic
Este programa es un generador MIDI que funciona a partir del movimiento de un cursor de
color. Le damos al usuario una batuta o unos guantes de color y las coordenadas obtenidas
se convierten en notas musicales.
Funciona con el ratón y el joystick, y existen opciones del menú para escoger diferentes
instrumentos.
En esta actividad los usuarios exploran un espacio que es físico y, al mismo tiempo, sonoro
con lo que permite desarrollar actividades de estimulación, psicomotricidad, danza y música.
El uso de videocámara con zoom posibilita trabajar estas actividades en espacios de mesa,
aula o patio. Permite actividades individuales o juegos de grupo, y trabajar sobre el plano
vertical u horizontal.
Una vez más, lo importante no es lo que ocurre en el ordenador, sino lo que hace el alumno.
Frío y caliente
Es un juego donde hay que encontrar un objeto escondido por el ordenador, por ejemplo: una
canción, siguiendo sus instrucciones. Debemos mover nuestro cursor de color al dictado de
las órdenes derecha, izquierda, arriba, abajo, o de las señales acústicas del programa.
Este programa es una actividad de discriminación auditiva y orientación espacial. Exige
rigor en el control del movimiento para resolver el ejercicio, ya que de otro modo no se
consigue.
Nuevamente es un entorno programable, en el que podemos variar las imágenes y sonidos
que utilizamos como refuerzo final.
A modo de conclusión
Algunos usuarios no pueden utilizar el ordenador con la interfaz actual y algunas de las
alternativas disponibles resultan costosas o aparatosas. Muchos de los contenidos a trabajar
son propios de la atención temprana, la estimulación sensorial o la discapacidad, y no
pueden trabajarse con la interfaz actual basada en el paradigma del teclado, el ratón y la
pantalla.
Disponemos de muchas herramientas para crear una nueva interfaz alternativa:
• Programas abiertos, con múltiples ejercicios, que responden a diferentes
necesidades educativas.
• La webcam como un sistema de acceso de bajo coste, basado en técnicas
elementales de visión artificial que utilizan dos tecnologías de reconocimiento del
color o del movimiento, con exigencias y resultado diversos.
• Disponemos de módulos de programación de libre acceso que podemos emplear
para :
o Desarrollar emuladores u otras Ayudas Técnicas
o Integrar los nuevos periféricos en programas anteriores, lo que supone una
economía de esfuerzos
o Desarrollar ejercicios nuevos que optimicen las prestaciones
La webcam como interfaz
La webcam nos proporciona un nuevo paradigma de interfaz que no requiere estar sentado
frente al ordenador en una ubicación específica. Se minimiza el esfuerzo físico, las
necesidades de aprendizajes previos, el contacto físico. El uso de dispositivos ópticos, y
quizás otros inalámbricos, permite un efecto escala que admite trabajar por un igual en
grandes espacios o en reducidos. Todo ello lleva a una desmaterialización de la tecnología
que, haciéndose invisible, se transforma en ubicua, ampliándose las situaciones y los
usuarios potenciales.
A pesar de nuestra pequeñez, la tecnología elemental que empleamos ha proporcionado sus
frutos que estamos interesados en compartir con otros equipos e instituciones. Creemos
poder desarrollar sistemas con 2 o más cámaras que identifiquen distintas marcas de
colores. Ello posibilitaría desarrollar situaciones más complejas. También hemos hecho
ensayos con cámaras robotizadas que desearíamos integrarlas en aulas de estimulación
sensorial o instalaciones semejantes.
Toda nuestra experiencia la ponemos a disposición de aquellos que quieran acompañarnos
en esta aventura.
Bibliografía González Rus, G. (2002). Pulsadores, conmutadores e interruptores: sistemas de acceso para el discapacitado motórico. En Las nuevas tecnologías en la respuesta educativa a la diversidad. Actas del II Congreso Nacional de Nuevas Tecnologías y Necesidades Educativas (TECNONEET) [en línea]. Murcia: Consejería de Educación y
Cultura. Disponible en http://www.tecnoneet.org/actas2002.php Fonoll, J.; Gassol, A. (2004) “Las TIC al servicio d’una escuela inclusiva” 1r congreso Sobre educación inclusiva- Vic Fonoll, J. (2004) “Nuevos periféricos utilizados como ayudas técnicas para personas con discapacidad ” Taller Tecnoneet 2004 – Murcia Fonoll, J.; Gassol, A. (2006) “Webcam como sistema de acceso en actividades de estimulación, psicomotricidad y ayudas técnicas” Taller Tecnoneet 2006 – Murcia
Enlaces
http://www.camgoo.com/
Enlace a la empresa camgoo con demos a juegos comerciales basados en webcam
http://www.crea-si.com/ Enlace a la web de CREA-SI desarrolldores del webcolor, y el raton facial http://www.lagares.org Enlace a la web del Fressa. Contiene numerosos programas para el reconocimiento del sonido y la discapacidad http://www.xtec.cat/~jfonoll/tocatoca/ Enlace a la web del TocaToca con el programa y las actividades desarrolladas http://www.xtec.cat/dnee/udc/ Enlace a la web del poyecto UDC que contiene programas con interfaz basada en webcam desarrollados en el Departamento Educación Generalitat de Cataluña http://www.xtec.cat/dnee/udc/act_simuove.htm enlace a la pagina web del SiMuove y las activiades educativas asociadas http://www.xtec.cat/dnee/udc/english/main.html Enlace a la web del Computer Accessibilty Group http://www.xtec.cat/recursos/tauleta/ Enlace a la web de la tauleta sensible teclado de conceptos distribuidompor la Genrealitat de Cataluña
http://www.pnte.cfnavarra.es/creena/010tecnologias/Estimulacion_Sensorial.htm
Enlace al NETSwich tradicdo al español por el Centro de Recursos de Educación Especial de
Navarra.
