Embed Size (px)
Citation preview
Recolección, análisis y reporte de datos sobreestudiantes y sus contextos para efectos decomprensión y optimización del aprendizaje y elentorno en el que ocurre.
Uso de datos, análisis estadísticos y modelosexploratorios y predictivos para aproximarse y actuaren problemas complejos.Learning Analytics in Higher Education. Research report.
Louisville, CO: ECAR, March 2016.
Medición, recopilación, análisis y presentación dedatos sobre los estudiantes y sus contextos paracomprender y optimizar el aprendizaje y el entornoen que se produce.
2011
Algunas ideas…
Education is a moral practice, theobjective is to understand ratherthan to measure.Higher education cannot afford no to use itDigital desert vs ocean we are in the shoreSummative assessments are autopsies, formative exams are checkups, embedded assessmentsare heart monitors
Dr. Sanna Järvelä,
Learning and Educational Technology Research Unit(LET) in the Department of Educational Sciences, University of Oulu, Finland.
• Learning processes in technology-based• Virtual learning environments• Social and motivational processes in learning• Self-regulated• Computer supported collaborative learning
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.15 de marzo 2017
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
1997
• Un estudiante por computadora• Objetivo: Desarrollar sistemas adaptativos inteligentes,
capaces de ayudar a cada estudiante en sus necesidades.
Éxito / Fracaso
Eventualmente se dieron cuenta que…• Los estudiantes debían adaptarse.• Aquellos que se auto-regularon,
aprendieron exitosamente
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Big Data From the Little Person? Using Multimodal Data to Understand the Regulation of Learning.
Can a University becomea Learning Lab?
Timothy McKay
University of Michigan
16 de marzo 2017
Mejorar, incluso optimizar, el
aprendizaje en la práctica y para cada
estudiante
1. Todo lo que hacemos contribuye a desarrollarconocimiento sobre enseñar y aprender
2. No separar investigación de práctica3. Se puede llegar a conclusiones robustas de datos
observacionales
Siglo XXI Optimización
Sistema adaptado a cada individuo
Analítica permite aprender de la experiencia si los datos son
extensivos, precisos y relevantes
Conocer cada individuo en todas las formas relevantes
Siglo XXIndustrialización
Un solo sistema maximiza el aprendizaje de la población
Condiciones más favorables para unos que para otros
Ética
o Recolección de datos, consentimiento, privacidad, autonomía
o Respeto a los derechos y dignidad de los estudiantes
o Beneficencia
o Justicia
o Apertura (aprendizaje e investigación son activos públicos)
o Humanidad y consideración continua
Medición
Laboratory-like
Objetivos detallados, relevantes, perfil
evolucionante de cada estudiante, intereses, metas,
logros.
Curaje y acumulaciónUM LA data architecture
Cualquiera que solicite puede aprender de la
experiencia
Mejores medidas para calificar
Profundidad intelectual, disciplinar, rango de
experiencia, compromiso y esfuerzo, redes sociales y
profesionales
Los datos en las manos de las personas para motivar acción, toma de decisiones y creación de redes personales
Tomar ideas desarrolladas
Innovación Infraestructura para personalizar la educación
Interpretan y ayudan a los involucrados a proponer alternativas desde la ciencia del
comportamiento
Toman la decisión
DIG tools
• Información a estudiantes e instructores
• Inscripción, quién enseña, quién se inscribe, en cuál año están
ART 2.0
• Interpretación de expertos y consejos escalados
•+20 años de herencia en coaching digital
•Realimentación, consejos, motivación
Ecoach
•Preparación para exámenes
•Recursos disponibles y mis recursos
•Por qué y cuándo quieren usar una herramienta
•Reporte de puntaje
Exam Playbook
•Escritura reflexiva sobre los valores más importantes para ellos
•RCT >950 estudiantes, NLP para interactuar
Intervención para reafirmar valores
Evidence-based health care – learning health system
“Knowledge generation is so embedded into thecore of the practice that it is a natural outgrowthand product of the healthcare delivery processand leads to continual improvement in care.”
Institute of Medicine (US) Roundtable on Evidence-Based Medicine; Olsen LA, Aisner D, McGinnis JM, editors. The Learning Healthcare System: Workshop Summary. Washington (DC): National Academies Press (US); 2007. Available from: https://www.ncbi.nlm.nih.gov/books/NBK53494/ doi: 10.17226/11903
Self-Regulated Learning
LA para desvelar estrategias de aprendizaje en un aula invertida
Invo
lucr
ado
s
Restricciones externas
Instru
men
tos
DatosObjetivos
[Investigadores]Jelena Jovanović (a), Dragan Gašević (b), Shane Dawson (c), Abelardo Pardo (d), Negin Mirriahi (c)
RQ1. ¿Podemos detectar patrones en el comportamiento de aprendizaje de los estudiantes que son indicativos de las estrategias de aprendizaje que los estudiantes adoptaron cuando se preparaban para las sesiones cara a cara en un ambiente de FL? Si es así, ¿qué tipo de estrategias de aprendizaje sugieren los patrones identificados?RQ2. ¿Cuál es la asociación entre los patrones identificados en el comportamiento de aprendizaje de los estudiantes (es decir, las manifestaciones de las estrategias de aprendizaje adoptadas) al prepararse para las sesiones cara a cara en un entorno FL y el rendimiento general del curso del estudiante?
• El presente estudio examinó las estrategias de aprendizaje de los estudiantes utilizando los datos de traza recogidos en el LMS de la Universidad.
• El diseño de FL examinado se desplegó en un curso de ingeniería de primer año en sistemas informáticos en una institución australiana de investigación intensiva de educación superior. El curso duró 13 semanas y tuvo una matrícula de aproximadamente 300 estudiantes. Los datos de rastreo estaban disponibles para 290 estudiantes, 81.5% varones, 18.5% mujeres.
• Videos con preguntas de opción múltiple (MCQs)• Documentos con MCQs incrustados.• Secuencias de problemas (ejercicio)[Instituciones]
(a) Faculty of Organizational Sciences, Universityof Belgrade, Serbia(b) Moray House School of Education and Schoolof Informatics, University of Edinburgh, UnitedKingdom(c) Teaching Innovation Unit, University of South Australia, Australia(d) School of Electrical and InformationEngineering, University of Sydney, Australia
Trayectorias de aprendizaje: Los análisis se basaron en los datos de eventos (datos de traza) recogidos del LMS utilizado en el curso. Cada evento se representa como un cuádruple compuesto por id de evento, identificación de estudiante (anonimizado), tipo de acción de aprendizaje y marca de tiempo.
• El análisis de los datos de rastreo permite la detección y descripción de regularidades en una serie de eventos de aprendizaje, pero tiene poder limitado para explicar los patrones detectados
• El método condujo al despliegue de de estrategias de aprendizaje. No permitió del todo comprenderlas. No proporcionó respuestas a preguntas tales: i) por qué los estudiantes decidieron abordar una tarea de aprendizaje de la manera dada; ii) qué objetivos de aprendizaje fijaron para sí mismos, y iii) qué tipo de motivación de aprendizaje impulsó sus acciones
• El razonamiento por el cual los estudiantes pueden o no participar en actividades pre-clase es complejo y multidimensional
Limitaciones internas
La Tabla 1 proporciona una visión general de los tipos de acciones de aprendizaje que se consideraron en los análisis.
Trayectorias de aprendizaje
Distribución de las acciones de aprendizaje a lo largo de las secuencias de aprendizaje (sesiones) de (a) estudiantes con los resultados del examen por encima del percentil 90, y (b) estudiantes con puntajes por debajo del percentil 25.
El eje Y representa la proporción de cierto tipo de acción en cada "punto" de las secuencias, por ejemplo, en el caso de los estudiantes de alto rendimiento (a), la primera acción en el 65% de las secuencias de aprendizaje fue la lectura (color verde).
En el 10% de las secuencias de aprendizaje la primera acción fue la finalización exitosa de la evaluación sumativa (amarillo); En el 5% de las secuencias, la primera acción fue la evaluación sumativa realizada incorrectamente (violeta), y así sucesivamente.
Resultados
Clusters de secuencias de aprendizaje, indicativos de las estrategias de aprendizaje de los alumnos. Leyenda de la Fig. 2 se aplica también aquí. La interpretación de los ejes es también la misma que para la Fig. 2.
Fig. 4. Cambio en las estrategias de aprendizaje aplicadas para cada uno de los cinco grupos de estudiantes durante las 12 semanas del curso.
El eje Y representa el número medio de secuencias de aprendizaje por cada una de las 4 estrategias de aprendizaje.
El método analítico adoptado en este estudio permitió:1) identifica el comportamiento de aprendizaje de los estudiantes, que son indicadore
de las estrategias de aprendizaje que los estudiantes aplicaron al prepararse paralas sesiones cara a cara en un entorno FL;
2) identificar varios perfiles de estudiantes basados en la estrategia correspondientea los reportados anteriormente
3) detectar la tendencia de los estudiantes a cambiar sus estrategias de aprendizaje alo largo del curso, y recurrir a estrategias menos efectivas
4) detectar una asociación entre las estrategias de aprendizaje que los estudiantesadoptaron en el entorno FL y su desempeño en el curso.
De acuerdo con la investigación anterior en SRL (Bannert et al., 2013, Hadwin et al.,2007), encontramos que los estudiantes que eran más activos en la regulación de suaprendizaje tenían mayor rendimiento en el curso.
Conclusiones
Si se comunican adecuadamente, los resultados del método analítico aplicado en esteestudio pueden ser útiles de múltiples maneras:
• Informar al instructor sobre si el diseño desplegado de FL es una forma de mantenerel compromiso de los estudiantes y prepararlos para la participación activa en la clase• Proporcionar bases para la inclusión selectiva / adaptativa de andamios (porejemplo, sugerencias, directrices) para ayudar a los estudiantes a mejorar sucomportamiento de aprendizaje.• Hacer que los estudiantes conozcan sus estrategias de aprendizaje y cómo dichasestrategias se comparan con las estrategias de los compañeros de buen desempeño.
Implicaciones
LIN
K2
ME
Expression types: EMOTIVE, EPISTEMIC, CRITIQUE
Invo
lucr
ado
s
59 estudiantes de maestría en farmacia.
Sujetos
Clientes
Investigadores,estudiantes,docentes,instituciones
Objetivo
Proveer realimentación útil para realizaracciones en habilidades de escritura reflexiva
Reflexión
Instru
me
nto
s
Teoría
Tecnología
Presentación
Escritura reflexiva
Text Analytics Pipeline App modular basada en la nube,
agregar serviciosAWA (Academic Writing Analytics),
Arquitectura de información que puede mejorar la escritura
reflexivaXIP (Xerox Incremental Parser),
herramienta de NLP cuya funciónbase es proveer análisis sintáctico
profundo de las oraciones. CoreNLP (librería de NLP)
AWALimitaciones externas
Análisis en tiempo real
Limitaciones internas
Diferencias disciplinaresAceptación: integridad y confiabilidad del
algoritmoCompetencias de interpretación
Datos
Textos reflexivos escritos durante el primer año de la maestría
IR: movimientos retóricos clave CONTEXTO, RETO, CAMBIOEntradas totales, entradas con respuesta, respuestas favorables sobre la realimentación, calificaciones de la realimentación, comentarios de estudiantes
Understanding Discourse
Evaluación del lenguaje en la investigación científica auténtica revela diferencias putativas en la epistemología
Invo
lucr
ado
s
Restricciones externas
Limitaciones internas
Instru
men
tos
DatosObjetivos
[Investigadores]Melanie E. Peffer(1)Kristopher Kyle(2)[Instituciones](1)University of Northern Colorado(2)University of Hawai’i at Manoa[Patrocinio] Data consortium fellowship (NSF)
Determinar un método para utilizar técnicas de LA y evaluar de forma más rápida y precisa la epistemología en un entorno auténtico, durante una experiencia científica proporcionada por las simulaciones Science Classroom Inquiry (SCI).
• 20 novatos y 8 expertos de una ciudad grande del sureste de los EU.• Todos los novatos habían completado por lo menos un año de
educación universitaria, con la mayoría en su tercer o cuarto año de universidad (70% de los estudiantes de último año, 20% de secundaria y 10% de segundo)
• Los expertos habían superado los exámenes de calificación para avanzar a la candidatura de doctor o habían completado la formación doctoral.
• Herramienta de analítica del aprendizaje TAALES. • Validación cruzada de tipo LOOCV (Leave-one-out cross-validation)• Science Classroom Inquiry (SCI) • Ííndices del dominio-general, incluyen la frecuencia de contenidos de palabras,
calculada por la herramienta TAALES (Automatic Analysis of Lexical Sophistication)• Índices del dominio-específico, calculados para determinar elementos lingüísticos
específicos asociados con la escritura de novatos y expertos, empleando tecnología para el procesamiento natural del lenguaje (NLP) y métodos lingüísticos.
• Las creencias epistemológicas sobre la ciencia pueden variar ampliamente dentro y fuera de las disciplinas.
• No hay consenso definitivo sobre qué sería una respuesta "correcta" en una evaluación.
• La epistemología es difícil de definir con precisión y, por consiguiente, de medir.
• La investigación auténtica, es típicamente no lineal e implica una variedad de características complejas.
• La investigación simple puede ser más fácil de realizar en el aula, empero la falta de exposición a los resultados auténticos de la investigación científica en los estudiantes que desarrollan una comprensión de cómo funciona la ciencia, resulta inconsistente con las prácticas de la ciencia del mundo real.
As expected, conclusions written by experts tended toinclude more expert verbs (M = 3.38, SD = 2.56) thanconclusions written by novices (M = 0.85, SD = 0.75)(Figure 2).
A simple, rule-based prediction algorithm with LOOCV achieved a prediction accuracy of 89.3%. Table 3 comprises the model confusion matrix, whichcompares actual and predicted group membership.
Uso experto de los verbos
As expected, conclusions written by novices tended toinclude more novice verbs (M = 0.95, SD = 0.52) thanconclusions written by experts (M = 0.38, SD = 0.52)(Figure 3).
A simple, rule-based prediction algorithm with LOOCV achieved a prediction accuracy of 71.4%. Table 4 comprises the model confusion matrix, whichcompares actual and predicted group membership.
Uso novicio de los verbos
Los resultados indican que tanto las características lingüísticas del dominio-general como del dominio-específico, pueden utilizarse para clasificar conprecisión las conclusiones de las investigaciones de expertos y novatos,aunque los índices de dominio-específico pueden ser más relevantes para laconstrucción.
Resultados
Multimodal ClassroomAnalytics
Sydney D’Mello
17 de marzo 2017
Motivación
El salón de clase es un contexto crítico poco
estudiado
¿Qué se puede aprender de los estudiantes y profesores
observando lo que hacen/sienten/piensan en
aulas reales?
¿Cómo volver la docencia atractiva, disfrutable, eficiente y efectiva?
Mind wandering
Fenómeno consciente
Pensar fuera de contexto, no leer o hacer inferencias
50% de los pensamientos en la vida diaria están fuera de la tarea
20-40% durante el aprendizaje
Probe-got y self-got
Modelo teórico - MW
• El objetivo es comprender el contenido
• Pensamientos relevantes vs irrelevantes al objetivo constante
• Un pensamiento cada 150-300mseg
AmbienteDistractores
Tareainterferencias relacionadas
Contenido (relevante)
Preocupaciones
prospección+
Sentimientos introspección
Modelo teórico - MWRecuerdos son máquinas que completan contexto siguiendo un patrón asociativo
Contenido
Preocupación
Prospección
Correlación negativa con el aprendizaje que se acentúa cuando el contenido es difícil
Construcción afectada por pérdida de código necesario para incorporar más elementos
Invo
lucr
ado
s
Mind Wandering
Estudiantesuniversitarios (L) deprimaria, clase debiología (C)
Sujetos
Clientes
Investigadores,estudiantes,docentes
Correlación negativa con el aprendizaje que se acentúa cuando el contenido es difícil
Reflexión Grabaciones en laboratorio y 135,270 sesiones en aula de clase
IR laboratorio: self-got y 9 evaluadores.IR aula: posición de la mirada.
Teoría
Tecnología
Presentación
Mind wandering
Sistema inteligente Guru biologíaTobi EyeX
Modelo predictivo
Histograma
PrivacidadConsentimiento
ÉticaCompetencias de interpretación
Diseño de intervención
Objetivo Datos
Limitaciones internas
Limitaciones externas
Instru
me
nto
s
Laboratorio
Aula de clase
Guru
Detección de mirada
Resultados
Modelos computacionales detectan mejor MW (63% vs 53%)
Mirada>Cara>suerte
Profesores
The Mirage, Confronting the Hard Truth about our Quest for TeacherDevelopment
18,000 USD/año
Profesores + LA
¿Entrenamiento de expertos, práctica deliberada?
Práctica sin realimentación no conduce a la mejora
La construcción dialógica predice aprovechamiento
45 segundos de discurso, preguntas auténticas y realimentación
¿Puede LA ayudar a proveer realimentación formativa?
Detección de preguntas 97%, estudiantes 66% > aleatorioCodificador humano: nivel de profundidad, segmento, cómo se implementó, dialogismo. Reconocimiento del discurso de estudiantes: google, bing, at&t80% de palabras detectadas con google 2017
Invo
lucr
ado
sObjetivo
Instru
me
nto
s
Teacher feedback
14 Docentes deeducación básica
Sujetos
Clientes
Docentes
Realimentación constante sobre desempeño sin presión, sin repercusión. Práctica reflexiva sobre sus propios datos.
Reflexión 128 horas de audio, 132 clases.Codificación del contexto
IR: preguntas de los docentes y respuestas de los estudiantes
Teoría
Tecnología
Presentación
Construcción dialógica
Micrófono del docenteMicrófono del aula
MezcladorSoftware de reconocimiento de lenguaje
natural (google 2015/2017, bing, at&t)Modelaje temporal y spectral
Machine learning
Reconocimiento de componentes de la clase
Histogramas
PrivacidadÉtica
Tiempo de análisis
Fidelidad de la detecciónConfiabilidad del algoritmo
Competencias de interpretación
Predicción
Autenticidad, discusión, trabajo, desempeño.
Datos
Limitaciones internas
Limitaciones externas
Modelling Student Behaviour
Detección de cambios en el comportamiento del estudiante a partir de los datos de Clickstream
Invo
lucr
ado
s
Restricciones externas
Limitaciones internas
Instru
men
tos
DatosObjetivos
[Investigadores]Jihyun ParkKameryn DenaroFernando RodriguezPadhraic SmythMark Warschauer[Instituciones](1)University of Northern Colorado(2)University of Hawai’i at Manoa[Patrocinio] National Science Foundation
• Investigar los comportamientos en línea de los estudiantes.• Detectar cuando los estudiantes cambian su comportamiento de
previsualización y revisión, y cómo estos cambios pueden estar relacionados con otros aspectos de actividad y desempeño de los estudiantes
• Elaboración de técnicas estadísticas que ayuden a identificar a los estudiantes que están cambiando el comportamiento en el medio de un término (proceso, período, ciclo).
• Clickstream de dos cursos universitarios de gran tamaño,uno presencial y otro en línea.
• Los tipos de actividades registradas corresponden a ampliascategorías de comportamiento de los estudiantes, como laprevisualización de notas de clase, la presentación deasignaciones o la publicación y respuesta a las preguntas dela mesa de debate.
• Uno de los cursos que examinamos en este documento tuvo377 estudiantes registrados que generaron aprox. 380,000eventos de clics durante un período de 10 semanas.
• El enfoque para modelar y cambiar la detección de la actividad estudiantil. Se define alguna notación general
• Luego se introducen dos modelos diferentes:
• Un Modelo de Bernoulli para datos binarios
• Un Modelo de Poisson para datos de recuento.
• La sección concluye con una descripción de la detección de punto de cambio para ambos modelos.
• Para cada curso, los datos de clickstream se obtienen a través de un sistema de gestión de cursos en forma de {student ID, time stamp, activity}.
• Los tipos de actividades registradas corresponden a amplias categorías de comportamiento de los estudiantes, como la previsualización de notas de clase, la presentación de asignaciones o la publicación y respuesta a las preguntas de la mesa de debate.
Fig-1: Un gráfica contra el tiempo de la actividad declickstream de los estudiante durante el cursopresencial de 10 semanas; cada fila representa unestudiante individual y cada columna representa undía. Un marcador negro en la celda i, t indicaactividad de clickstream para el estudiante i el día t.
Fig-2: Proporción de estudiantes que hacen clic cada día durante un curso de 10 semanas
Fig-3: Número promedio de eventos de clic por estudiante cada día durante un curso de 10 semanas.
Los datos de clickstream de los estudiantes son intrínsecamente difíciles detrabajar dado su compleja y “ruidosa” naturaleza. Este documento describióuna metodología estadística para detectar puntos de cambio en dichos datose ilustró el potencial del enfoque aplicando la metodología a dos cursosuniversitarios de gran envergadura. El enfoque propuesto es relativamentesencillo y permite una serie de extensiones posibles.
Una extensión útil para los educadores sería desarrollar una variante dedetección en línea del enfoque fuera de línea propuesto aquí, lo que podríapermitir la identificación de estudiantes en riesgo, retroalimentación delinstructor o intervenciones mientras un curso está en sesión.
Conclusiones
