Integración de Reconocimiento Cognitivo y Afectivo dentro de
un Sistema Tutor Inteligente
Dr. Ramón Zatarain CabadaDra. María Lucía Barrón Estrada
ITC
Instituto Tecnológico de CuliacánMaestría en Ciencias de la Computación
Junio 2013
ITC 2013 2
Contenido
•Introducción•Bases Teóricas•Fermat•Pruebas y resultados•Conclusiones•Contribuciones
ITC 2013 3
Introducción
ITC 2013 4
Educación Básica en México
Profesor
28.3 estudiantes
7.2 materias
Programa de estudios
Estudiante
800 horas al año de clases
La cifra de estudiantes por maestro va en aumento de acuerdo a la situación demográfica(OSDE,2007).
ITC 2013 5
Tecnologías Educativas
“Aplicación de la tecnología a la resolución de problemas educativos”
𝑎2+ 𝑏2= 𝑐
Contenido
…E1 E2 En
Proceso de Enseñanza-Aprendizaje Tradicional
ITC 2013 6
Tecnologías Educativas (Continua)
Las nuevas Tecnologías que demanda la sociedad denominada “Sociedad del conocimiento”
𝑎2+ 𝑏2= 𝑐
Contenido
…E1 E2 En
Conocimiento
TICs
ITC 2013 7
Definición del ProblemaEvaluación Académica
ENLACE (Evaluación Nacional del Logro Académico en Centros Escolares )
Instrumento para evaluar anualmente el rendimiento del estudiante en educación básica .
Asignaturas : Matemáticas, Español y alguna optativa.
PISA (Program for International Student Assesment)
Instrumento internacional para evaluar cada 3 años el aprovechamiento de los estudiantes.
Asignaturas : Matemáticas, Español y Ciencias.
ITC 2013 8
Definición del Problema (continua)
“De los estudiantes solo el 8.1% muestra
desempeño excelente” (SEP,2010).ENLACEEducación Básica
66.1%
33.9%Insuficiente y Elemental
Bueno y Excelente
ITC 2013 9
Definición del Problema (continua)
Teoría de Piaget VS Situación de la Educación México
28.7 Estudiantes
Explicación igual para todos los estudiantes
El maestro recrea un ambiente adecuado para cada estudiante.
ITC 2013 10
Bases Teóricas
ITC 2013 11
Inteligencia Artificial en la Educación
Inteligencia Artificial
Educación
Desarrollo de STI
Aprendizaje personalizado, flexible y progresivo
Aprendizaje más efectivo
• Sistemas Expertos• Sistemas Difusos• Redes Neuronales• Computación
Evolutiva
• Transferencia de Conocimiento
• Socialización• Facilitar los aspectos
cognitivos, sociales y físicos
ITC 2013 12
Sistemas Tutores Inteligentes
Programas de computadora que incorporan técnicas de IA y pedagogía para proveer tutores que saben lo que enseñan, a quién le enseñan y como enseñar
Componentes
Experto del Conocimiento
• Proceso Enseñanza-Aprendizaje
• Metodologías de Enseñanza
Conocimiento del estudiante
• Características del alumno.
• Modelo Overlay
Tutor
• Estrategias a utilizar para la interacción con el alumno
Interfaz de Usuario
• Métodos de comunicación Tutor-Estudiante
• Representación de la información
ITC 2013 13
Sistemas Tutores Inteligentes (continua)
Áreas en las que se auxilia
Educación
Psicología Ciencias
Computacionales
Aprendizaje Interactivo , Educación a Distancia
Psicología Educativa , Teorías de Apredizaje
Interfaces Humano-Computadora
Sistema Tutor Inteligente
ITC 2013 14
Redes Sociales de Aprendizaje
Redes Sociales
Redes Sociales de Aprendizaje
Redes Sociales de Aprendizaje Inteligente
• Grupos de Personas que comparten intereses comunes
• Aprendizaje Colaborativo
• Relación estudiante-estudiante
• Integran herramientas de IA para la personalización y toma de decisiones sobre los cursos.
Co
mp
uta
ció
n S
uav
e • Andes
• IMMEX
• COALA
Co
mp
uta
ció
n A
fect
iva
• LISTEN’sReading Tutor
• WayangOutpost
• AutoTutor
Age
nte
s Pe
dag
ógi
cos • Coach
Mike
• eSchool
• Pat
ITC 2013 15
Estado del Arte
ITC 2013 16
FERMAT
ITC 2013 17
¿Qué es FERMAT?
Red Social de Aprendizaje Inteligente para Matemáticas, apoyando el proceso enseñanza-aprendizaje de la educación
ITC 2013 18
Estructura general
ITC 2013 19
Arquitectura Lógica
ITC 2013 20
Arquitectura del STI
ITC 2013 21
ITS Afectivo
Modulo de Dominio del Experto:• Un curso puede ser visto como un espacio de conocimiento específico de la disciplina (un diagrama
de árbol en particular) que contiene capítulos que a su vez contiene temas. El total de nodos en el árbol representa el conocimiento del experto. El módulo de dominio se almacena como documento XML cuya estructura se muestra a continuación::
<?xml version="1.0" encoding="UTF-8"?>
<domain>
<name> Domain Name </name>
<chapters>
<chapter id="1">Chapter1 </chapter>
<urlDomain>Domain/Chapter1.xml</urlDomain>
<urlTest>Domain/Test_Chapter1.xml</urlTest>
<chapter id="2">Chapter2 </chapter>
<urlDomain>Domain/Chapter2.xml</urlDomain>
<urlTest>Domain/Test_Chapter2.xml</urlTest>
……
</chapters>
</domain>
ITC 2013 22
ITS Afectivo
Modulo del Estudiante• El módulo identifica el nivel de conocimientos del estudiante por medio de un examen
diagnóstico. • La representación del conocimiento se basa en un modelo llamado «overlay", donde el
conocimiento del estudiante es un subconjunto del conocimiento del experto. A medida que el estudiante usa el sistema tutorial inteligente él / ella expande este subconjunto.
ITC 2013 23
ITS Afectivo
Modulo Tutor
• Hemos implementado las reglas de producción (memoria procedimental) y hechos (memoria declarativa) a través de un conjunto de reglas XML.
• Además, hemos desarrollado un nuevo algoritmo de rastreo de conocimiento basado en lógica difusa, que se utiliza para rastrear estados cognitivos del alumno, aplicando el conjunto de reglas (XML y las reglas Fuzzy) al conjunto de hechos.
ITC 2013 24
Implementación del STI
ITC 2013 25
Reconocimiento de Emociones
• Las emociones se detectan por la expresión de la caray por voz (todavía trabajando en ello).
• El método utilizado para la detección de emocionesvisuales se basa en la teoría de Ekman. Trabajamoscon 7 emociones: ira, disgusto, miedo, alegría, tristeza,sorpresa y neutral (estamos iniciando con emocionesrelacionadas con aprendizaje (D’Mello))
• Una vez que el estado afectivo del estudiante se hareconocido (del rostro y la voz), ambos resultados secombinan con el estado cognitivo y se envían almódulo afectivo.
ITC 2013 26
Detección de Emoción con el Rostro
Subsistema 1 (Extracción Características and KNN)
¿Emoción?
Prueba el reconocimiento(Opcional)
Distancia y Emoción
Distancia Emoción
Pesos y metadatos
Subsistema 2.1 (Captura de imágenes
desde el lado del cliente
WEB
Subsistema 2.2 (Reconoc. Rostrodesde el servidor)
Reconocimiento de Emociones
ITC 2013 27ITC 2012 27
Distancia y Emoción
Reconocimiento de Emociones
ITC 2013 28
Implementación del STI
ITC 2012 28
Emoción
ITC 2013 29
Implementación del STI
ITC 2012 29
Entrenamiento de Red Neuronal
• JAFFE (Expresión facial en Mujer japonesa) es una base de datos deexpresiones faciales, que contiene 213 imágenes. Las 213 imágenes sedividen en siete expresiones faciales simulados por 10 Modelosfemeninos japoneses. Los resultados en el reconocimiento no fueronbuenos.
ITC 2013 30
Implementación del STI
ITC 2012 30
• Grimace (Spacek) contiene un total de 360 imágenes, las cuales se dividen en 18modelos con 20 imágenes por modelo. Una ventaja es que en ella existen tantohombres como mujeres, y la cantidad de imágenes, aunque no muy grande, es buenapara usarse en la red neuronal. La principal desventaja es que no está organizada poremociones, por lo tanto esta tarea se deja a juicio del desarrollador. Otra pequeñadesventaja es que las imágenes son un poco obscuras.
ITC 2013 31
Implementación del STI
ITC 2012 31
• RaFD (Radboud Faces Database) (Langner, y otros, 2010) (RaFD) es una base de datosde expresiones faciales que incluye un conjunto de 67 modelos incluyendo hombre ymujeres caucásicos, niños y niñas caucásicos y hombres marroquí holandeses. Losmodelos muestran 8 expresiones emocionales, las cuales corresponden al FACS(Ekman & Freisen, 1978). La base de datos presenta a los modelos demostrando 8expresiones, cada emoción en 3 direcciones de mirada diferente y además en 5posiciones de toma de la cámara. El gran total de toda la base de datos son 8040imágenes.
ITC 2013 32
Agente Pedagógico
ITC 2013 33
PRUEBAS Y RESULTADOS
ITC 2013 34
SESIÓN
ITC 2013 35
Pruebas
Caso de Prueba 1. Escuela: Lic. Benito Juárez ANS.
Caso de Prueba 2. Escuela: Instituto Chapultepec.
ITC 2013 36
Resultados
0
2
4
6
8
10
Calificación Inicial
Calificación Final
Caso de Prueba 1.
Escuela: Lic. Benito Juárez
ANS.
02468
10
Niñ
o 1
Niñ
o 2
Niñ
o 3
Niñ
o 4
Niñ
o 5
Niñ
o 6
Niñ
o 7
Niñ
o 8
Niñ
o 9
Niñ
o 1
0
Niñ
o 1
1
Niñ
o 1
2
pro
med
io
Calificación Inicial
Calificación Final
Caso de Prueba
2. Escuela: Instituto
Chapultepec.
ITC 2013 37
CONCLUSIONES
ITC 2013 38
Conclusiones
Se creó una herramienta que complementa los factores: Cognitivos, emocionales y sociales.
Los reconocedores todavía no han sido integrados a los STI.
Todavía estamos trabajando para mejorar la eficiencia del reconocedor y crear otros STIs. También se pretende reconocer emociones a través de diálogos u otros medios (multimodal) usando emociones mas enfocadas al aprendizaje (confundido, aburrido, etc.).
ITC 2013 39
PREGUNTAS