Embed Size (px)
DESCRIPTION
Presentacións sobre el proyecto de Modelado de Usuario de UTPL: Se aplican las siguientes especialidades de la informática: * Modelado de Usuario. * Diseño de Bases de Datos * Mineria de Datos. * Agentes Inteligentes. * Algoritmos de Clasificación. * Metodologías de Desarrollo de Agentes Inteligentes. Utilizando Metodologias: * Moodle *Java. *Jade *Ingenias *Weka. *Linux Ubuntu *MySQL
Citation preview
AGENTE DE MODELADO DE USUARIO PARA EL
ENTORNO VIRTUAL DE APRENDIZAJE DE LA UTPLProyecto de fin de carrera previo a la obtención del titulo de ingeniero en sistemas informáticos y computación
Agenda
Modelos de usuario
Selección de herramientas
Minería de datos
Diseño del modelo de usuario
Construcción del agente de modelado de
usuario
Conclusiones y recomendaciones
Modelos de Usuario
Definición
Elena Gaudioso (2002) define a los
modelos de usuario como:
Representación
Los modelos de Usuario se
representan de tres formas
diferentes:
Construcción
Se identifican cuatro faces para la
construcción de modelos de usuario
Recogida de datos
Diseño del modelo de usuario
Construcción del modelo de usuario
Validar el modelo construido
Construcción (Cont.)
Se distinguen dos técnicas para la construcción de modelos de usuario
Predefinir el modelo de usuario en base al conocimiento de expertos.
Diseñar el sistema de manera que sea éste el que aprenda autónomamente obteniendo información de las interacciones de los usuarios
Datos de entrada
Datos que se pueden tomar, evaluar y transformar, para que formen parte del modelo de usuario
Según Kobsa, Koenemann, y Pohl (1999) los datos que se deben incluir pertenecen a tres categorias principales:
Datos de usuario,
Datos de uso del sistema, y
Datos de entorno
Datos de entrada (Cont.)
Datos de usuario
Datos personales, demográficos, estatus social, etc.
Datos de uso del sistema
Uso observable (acciones selectivas, ratings, etiquetado, aprobación y
desaprobación)
Regularidades de uso (frecuencia, correlaciones, secuencias)
Datos de entorno
Entorno software (plugins, sistemas operativos)
Entorno hardware (ancho de banda, procesamiento, presentación,
dispositivos de entrada)
Localidad (localización, lugares frecuentes)
Aprendizaje Automático
El análisis del comportamiento de los usuarios, sistemas de apoyo a la educación, permitira la predicción de acciones futuras en el sistema (Gaudioso 2002).
La inclución de esta técnica conlleva el diseño de varias Tareas de aprendizaje, que necesitan de un conjunto de datos de entrenamiento etiquetados.
Se puede aumentar el rendimiento de las tareas de aprendizaje mediante combinación de clasificadores.
Agente de modelado de usuario
Definimos al agente de modelado de
usuario como:
Selección de herramientas
Herramientas que se utilizaron dentro del
proceso de diseño e implementación del
modelo de usuario de los estudiantes de
la UTPL, y del agente de modelado de
usuario que lo obtiene
Tipo de modelo de usuario
Clasificación de estilos de aprendizaje
Datos del modelo de usuario
Metodología de desarrollo del agente
Algoritmos de aprendizaje automático
Se selecciono la
clasificación de Felder y
Silverman (1988)
Alto grado de aplicación en
sistemas de apoyo a la
educación (Peña, Marzo, de
la Rosa y Fabregat, 2002)
Aplicado con buenos
resultados en grupos de
estudiantes de carreras
técnicas
Clasificación de estilos de aprendizaje
Datos del modelo de usuario
Metodología de desarrollo del agente
Fundamentada en Message
Proceso robusto de desarrollo de Sistemas
Multiagente (SMA)
Incorpora todos los paradigmas de
desarrollo de agentes y de ingeniería de
software
Describe formalmente la interacción entre
modelos
Presenta una de las mejores herramientas
de diseño y construcción de SMA el IDK
(Ingenias Development Framework)
Algoritmos de aprendizaje automático
Parámetros de
selección
Grado de aplicación en
trabajos similares
Grado de concordancia con
los datos disponibles para la
experimentación
Incidencia dentro del campo
de extracción de
conocimiento en la minería
de datos
Algoritmos de Clasificación
Árboles de decisión C4.5 (J48)
Arboles de decisión (REPtree)
Redes neuronales con perceptrón
multicapa (MultilagerPerceptron)
Clasificador NaiveBayes
Redes Bayesianas (BayesNet)
Combinación de clasificadores por el
método Bagging
Minería de datos
Proceso de extracción de conocimiento
Proceso de extracción de
conocimiento de alta
aceptación en investigaciones
sobre sistemas de apoyo al
aprendizaje (Hernández,
Ramírez y Ferri 2004).
Antecedentes
Base de datos de prueba tomada del servidor
evadev.utpl.edu.ec
Se tomo como población estudiantes de 14 carreras (6845
est.)
Se aplico la técnica de muestreo aleatorio (Hernádez, Ramírez
y Ferri, 2004), mediante scrips de php.
Es aplicable ya que en poblaciones en donde se identifican
estratos, y se necesita que la muestra contenga elementos
pertenecientes a cada uno de ellos.
Integración y recopilación
Se diseño una aplicación ETL en php
Extracción de datos mediante SQL
Creación de tablas en MySQL para
albergar en la base de datos
mineria_eva
Tabla cursos_y_alumnos: 2400 filas
Tabla interacciones: 35432 filas
Tabla acciones_objetos: 29323 filas
Las tablas contienen la interacción en
los cursos por parte de los usuarios.
Selección, limpieza y transformación
Uso de la discretación como técnica
para transformar valores numéricos
en valores nominales.
Se definió los atributos a obtener
mediante aprendizaje automático
Se diseñaron tres tablas las cuales
incorporan los datos transformados.
En la transformación, para su
representación, se incluyen las
técnicas como, discretación,
numeralización, y creación de
nuevas características, Hernández,
Ramírez y Ferri (2004).
Selección, limpieza y transformación (Cont.)
Introducción de conocimiento
previo, mediante interfaz en la
aplicación ETL.
Mediante discretación
utilizando WEKA (filtro
discretize) con 3 bins.
Se generan vistas minables
para conteniendo consultas
que son aplicables a la fase de
minería de datos
Minería de datos
Se desarrollo la experimentación
en la herramienta WEKA, con los
algoritmos seleccionados
anteriormente
La selección del los algoritmos
depende de los datos de entrada, y
de los resultados en estudios
referentes a la aplicación de
técnicas de aprendizaje
supervisado a modelos de usuario.
De la experimentación se
generaron un conjunto de archivos
(.txt, .model, .jpg)
Evaluación e interpretación
Para la evaluación de los modelos se utilizo la validación cruzada con n pliegles (Hernández, Ramírez y Ferri, 2004).
De los algoritmos se evalúa la predicción predictiva, y la evaluación de la matriz de confusión.
Se utilizo las implementaciónes de estas técnicas incorporadas en la herramienta WEKA.
Resultados muy diferentes para cada atributo. Varían dependiendo del número de parámetros utilizados en su evaluación
Los resultados son similares a los obtenidos por Gaudioso (2002) e Itmazi (2005).
Evaluación e interpretación (Cont.)
Finalmente de la evaluación
de resultados se obtiene los
algoritmos para crear los
modelos más idóneos para la
cada uno de los atributos
Diseño del modelo de usuario
Elementos
Los elementos de
modelo de usuario están
divididos en tres
categorías
Categoría 1Datos de entorno
Categoría 2Datos de usuario
Categoría 3Datos de interacción
Zona geográfica
Entorno de
usuario
Estilo de
aprendizaje
Nombre de
usuario
Cédula
Nombres
Carrera
Curso
Modalidad
Nivel de interés
Nivel de
interacción
Acciones sobre
objetos
Técnicas de obtención de atributos
Se utilizan varias técnicas
para la obtención de los
atributos del modelo de
usuario
Atributos
Extracción directa de
los datos del sistema
Nombre de usuario
Nombre
Apellido
Ciudad
País
Ultimo acceso
Ultimo login
Ultimo ip
Contraseña
Dirección
Teléfono
Cédula
Carrera
Curso
Modalidad
Reglas de adquisición
de atributos
Zona geográfica
Entorno de usuario
Acciones sobre objetos
Test electrónicos Estilo de aprendizaje
Tareas de aprendizaje
Nivel de Interés en el Curso
Nivel de Interés en Recursos
Nivel de Interacción
Diseño del Modelo de
UsuarioDentro de las técnicas de
obtención de atributos destaca la
obtención mediante tareas de
aprendizaje
Los atributos tienen valores fijos
para cada atributo
Provienen de la inferencia
mediante modelos de
aprendizaje automática.
Valores de atributos
Nivel de Interés en el
Curso
bajo
medio
alto
Nivel de Interés en
Recursos
bajo
medio
alto
Nivel de Interacción
principiante
medio
avanzado
experto
Modelo de datos
Se diseño un modelo
de datos en donde se
almacenan los
modelos de usuario
de los estudiantes en
cada uno de los
cursos en los que se
encuentra
participando
Modelo de datos (Cont.)
Ejemplo de
modelo de
usuario dentro
de las tablas del
modelo de datos
Construcción del agente de
modelado de usuario
INGENIAS
Sustentado mediante la
aplicación de la
metodología de
desarrollo de sistemas
multiagente (SMA)
INGENIAS
Se basa en el diseño de
metamodelos
IDK (Ingenias Development Framework)
Herramienta de apoyo a la
implementación de SMA que
acompaña a Ingenias
Multiplataforma (Windows,
Linux, Mac)
Soporta todas las etapas del
desarrollo (desde casos de
uso iniciales, a generación de
código fuente), incluyendo la
generación de la
documentación respectiva
Gestiona los meta - modelos
que propone Ingenias
Fases del desarrollo
Las fases que integra ingenias contemplan:
Inicio
Elaboración
Implementación
Incorporando en cada una de ellas el análisis y el diseño como ejes del desarrollo
Meta-modelos del diseño
Arquitectura del sistema
Arquitectura
modular e
incremental
Interacción
con el entorno
virtual de
aprendizaje
Módulos del agente de modelado de
usuario
Conclusiones y
recomendaciones
Conclusiones
Los datos de entrada no pueden ser operados directamente de las fuentes de información ya que necesitan transformaciones, dependiendo de la complejidad del atributo del modelo. Es por ello que este proyecto se desarrollo un proceso de extracción de conocimiento que ayudo a formalizar estos datos de entrada utilizando la técnica de discretación.
La clasificación que mejor se acopla a las características de los estudiantes de la UTPL, es la propuesta por Felder y Silverman.
El proceso de extracción de conocimiento, definió tres atributos del modelo de usuario que se obtienen mediante tareas de aprendizaje: el nivel de interés en el curso, el nivel de interés en recursos y el nivel de interacción.
Los atributos del modelo de usuario definidos mediante tareas de aprendizaje, según el proceso de extracción de conocimiento aplicado al EVA, se calculan mediante los algoritmos C 4.5 (J48), Bayes Net y Bagging (J48), respectivamente.
Se demuestra que los modelos de usuario de los estudiantes de la UTPL se pueden crear inicialmente, mediante los estilos de aprendizaje. Se actualizan ejecutando tareas de aprendizaje, que mediante el procesamiento de los datos de la interacción del estudiante infieren los nuevos valores de los atributos del modelo de usuario.
Conclusiones (Cont.)
Para la obtención de atributos del modelo de usuario mediante aprendizaje automático, en el
proceso de extracción de conocimiento, se determino que se necesita obtener: modelos para
inferenciar el atributo, un conjunto de datos de entrenamiento, y la instancia a clasificar.
El modelo de usuario contiene tres tipologías de atributos, datos de entorno, datos de usuario y
datos de interacción. Estos se pueden obtener mediante test electrónicos, extracción directa del
sistema, reglas de adquisición de atributos y mediante la utilización de tareas de aprendizaje.
Los modelos de usuario se almacenan en una base de datos relacional que permite albergar,
además del los modelos de usuario, las actualizaciones en los cambios en la interacción del
estudiante con la plataforma, así como los datos que apoyan el funcionamiento del agente de
modelado de usuario.
Conclusiones (Cont.)
Los modelos de usuario de los estudiantes de la UTPL se almacenan en una base de datos
relacional que permite albergar, además del los modelos de usuario, las actualizaciones en los
cambios en la interacción del estudiante con la plataforma, así como los datos que apoyan el
funcionamiento del agente de modelado de usuario.
La metodología de desarrollo de sistemas multiagente INGENIAS fue seleccionada de un grupo
de siete metodologías estudiadas para el desarrollo del agente de modelado de usuario de los
estudiantes de la UTPL, por demostrar un proceso de desarrollo robusto, que soporta el trabajo y
la implementación de agentes inteligentes en todas las fases del desarrollo.
Se diseño e implemento el agente de modelado de usuario de los estudiantes de la UTPL, para
que demuestre funcionalidades que permitan la construcción de modelos de usuario iniciales, así
como la actualización de estos modelos. Mediante una arquitectura modular, que permite
además mantener un grado de flexibilidad para la incorporación de nuevos atributos, y de las
funciones de obtención que los soportan.
Conclusiones (Cont.)
Se diseño e implemento el agente de modelado de usuario de los estudiantes de la UTPL,
para que demuestre funcionalidades que permitan la construcción de modelos de usuario
iniciales, así como la actualización de estos modelos. Mediante una arquitectura modular,
que permite además mantener un grado de flexibilidad para la incorporación de nuevos
atributos, y de las funciones de obtención que los soportan.
Recomendaciones
Considerar el incremento de nuevas funcionalidades en el entorno virtual de aprendizaje ya que esto,
conlleva la incorporación de nuevos datos de interacción que pueden utilizarse como datos de entrada,
que permitan la generación de nuevos atributos para el modelo de usuario.
La implementación e incorporación de nuevas tareas de aprendizaje a las existentes, que mediante
aprendizaje automático modelen atributos relacionados, con el nivel rendimiento académico, y la
identificación de las acciones del usuario sobre la interfaz del sistema.
La implementación de un modulo de administración del agente de modelado de usuario que permita
incrementar las opciones de configuración, y una mejor gestión de las funcionalidades del sistema.
Para las tareas de aprendizaje existentes y las nuevas, es recomendable la experimentación con
diferentes algoritmos de aprendizaje automático ya que dependiendo de los datos de entrada los
resultados con un mismo algoritmo pueden variar drásticamente entre atributos.
Considerar, para futuras extensiones del agente de modelado de usuario, las nuevas versiones de la
metodología INGENIAS, que soporten el trabajo con más de un desarrollador, ya que si la magnitud
del proyecto creciera seria difícil el soporte al proceso de desarrollo con la versión actual de la
metodología
Referencias bibliográficas
Felder, R y Silverman, L. (1988): “Learning and Teaching Styles in Engineering
Education Application”. Engr. Education, 78 (7), (pp. 674-681).
Gaudioso E. (2002). Contribuciones al Modelado del Usuario en Entornos
Adaptativos de Aprendizaje y Colaboración a través de Internet mediante técnicas
de Aprendizaje Automático. Tesis Doctoral. Universidad Complutense de Madrid,
Madrid, España.
Gómez, J. y Fuentes, R. (2002). The INGENIAS Methodology. Fourth
Iberoamerican Workshop on Multi-Agent Systems Iberagents.
Gómez, J. (2003). Metodologías para el Desarrollo de Sistemas Multi-Agente. En
Revista Iberoamericana de Inteligencia Artificial, 18, (pp. 51-63)
Gómez, J. y Pavón, J. (2004). INGENIAS Metthodology and Tools. En AL3
PROMAS TFG. Universidad Complutense de Madrid.
Referencias bibliográficas
Hernández, J., Ramirez, M., J., y Ferri, C. (2004). Introducción a la Minería de
Datos. España: Pearson Education.
Kobsa, A., Koenemann, J., y Pohl, W. (1999). Personalised hypermedia
presentation techniques for improving online customer relationships. German
National Research Center for Information Technology. St. Augustin, Germany:
Technical Report 66
