Upload
vanda-luengo
View
562
Download
4
Embed Size (px)
Citation preview
Learning AnalyticsVanda Luengo, [email protected]
Actuellement : Université Joseph Fourier, MeTAH, LIG Grenoble
En septembre 2015 : Université Pierre et Marie Curie, MOCAH, LIP6, Paris
1
Une opportunité pour rapprocher les
recherches et les pratiques à l’université ?
(𝑝𝑟𝑜𝑏𝑙è𝑚𝑒𝑠+𝑞𝑢𝑒𝑠𝑡𝑖𝑜𝑛𝑠) ∗(𝑑𝑜𝑛𝑛é𝑒𝑠+𝑎𝑛𝑎𝑙𝑦𝑠𝑒𝑠)
é𝑡ℎ𝑖𝑞𝑢𝑒 ∗𝑖𝑛𝑡𝑒𝑟𝑣𝑒𝑛𝑡𝑖𝑜𝑛
Belinda Tynan, LAK 2015
=> Une vision stakeholders
2
Des exemples,
collaboration avec le CHU de Grenoble
PACES
ECN
L’apprentissage des connaissances perceptivo gestuelles en chirurgie
orthopédique
3
Sur les données PACES, identifier des
Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 …
CoursDVD FLQ SEPI Tutorat
Etude des cours sur DVDFormulation en Ligne des Questions (FLQ)Séances d'Enseignement Présentiel Interactif (SEPI)Séances de Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ
CoursDVD FLQ SEPI
1 séquence d’apprentissage=
PACES, Grenoble4
Le cas de la chirurgie orthopédique
Action
Perception
action
Perception
Prise
d’information
pour agir
Prise d’information
pour Valider
5
Développement d’une plateforme Modèle d’analyse
Problèmes + Questions
Problème d’enseignement, apprentissage, administration plateforme TICE,
politique universitaire, ….
Question précise dont l’analyse des données peut apporter une partie de
la réponse
Des vraies questions
associés à des vrais
problèmes ?
Taux d’abandon
dans les MOOCS
6
PACES Grenoble
Contexte pédagogique : Pédagogie inversée en première année de
médecine
Contexte d’analyse : situation de concours.
Problème : Nombre d’apprenants trop important.
Question1 : comment rattraper certains étudiants qui risquent de
raccrocher ?
Crédit : PIERRE ANDRIEU / AFP
7
Le cas de la chirurgie orthopédique,
CHU Grenoble
8
Modèle d’analyse
Contexte pédagogique : apprentissage au bloc
opératoire et avec le simulateur
Problème : L’enseignement des gestes a un effet
chapelle
Question : Comment évaluer objectivement les
connaissances perceptivo gestuelles ?
Luengo et al. 2011
Data + Analysis9
Les données, considérations pour une
analyse de qualité
Données
Type
Centralisées : log data des interactions
Comme par exemple les LMS : accès aux ressources d’apprentissage, lecture, écriture,…
Distribuées : multiples logs de sources formelles et informelles
Wiki, google drive, … => Intégration
Extensive : grand nombre de participants, nombre limité de variables
MOOCs : QCM,…
Intensive : nombre relativement petit de participants mais des observations ou traces détaillées
Décider le type de données collectées et l’information à extraire ce sont des étapes clés sur le processus d’analyse.
Le choix des données utilisées comme prédicteurs et indicateurs auront une influence directe sur le type, la qualité et la précision de l’analyse.
(Homer, 2013) (Chatti et al., 2012):
10
Données PACES, distribuées, extensives
2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle
Année universitaire
Inscription
en PACES
Concours
Septembre Janvier Mai
Semestre
1
Semestre
2
Résultats de chaque séance de tutorat
Concours
Résultats
finaux
Inscriptions.xl
s
Données QCM par discipline
Concordance.
xls
ResFinaux.xls
Numéro anonymeN lignes par étudiant
Numéro UJF1 ligne par
étudiant
Numéro UJF1 ligne par
étudiantNuméro anonym
e
Numéro UJF
1 ligne par étudiant Travail Laura Dupuis, 2014
11
Données PACES, problèmes
Production :
Données produites pour les enseignants : suivre les étudiants
changement d’utilisateurs
changement de besoins
Données :
Quelques données anonymes
Fragments de données
reconstitution (volume + données incomplètes)
PEU de contrôle au niveau de la production des notes QCM
Aucun impact sur le résultat administratif (ne participent pas à l’admission)
12
Données PACES, garantir la qualité
=> CohérenceOutils : la fusion + indicateurs de qualité
n fichiers issus des séances du tutorat
…
résultats des QCM
pour une discipline,
un cycle et un
semestre donné
1 fichier unique : DonnéesQCM.xls
Variables :
- Semestre
- Cycle
- Discipline
13
Données Chirurgie orthopédique
Intensives, distribuées
Trouver les bonnes transformations
Réutilisables
Efficaces (temps)
Sans perte => backtracking
Trouver les bonnes architectures
Génériques
Algorithmes de clustering classique (K-means, ..)Algorithmes de Discrétisation
Algorithme de clustering oculométrique (I-DT)
Algorithme d’association et discretisationdynamique
Méthode d’annotation sémantique
Algorithme d’association
dynamique
Traces hétérogènes de type perceptivo gestuel
14
Données Chirurgie orthopédique
Processus pour production de séquences
Séquence perceptivo-gestuelle
S = < (Actions; | Gestes); (Perceptions)>
15
Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015
Données Chirurgie orthopédique
Une séquence perceptivo gestuelle
16
Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015
Analyses
FP7 619762 LEA’s BOX
17
Analyses, la visualisation
Essentielle pour l’intervention Humaine
Différentes usages
Outil réflectifs, Pour la prise de décisions
Travaille pluridisciplinaire
Cartographes
Infographistes
Informaticiens
Statisticiens
Psychologues
Associations de plusieurs visualisations
Dashboard.
18
Duval, E., 2011.
Analyses, PACES, découverte de
structures
Étudier les évolutions des apprenants
Comprendre les résultats concours en fonction des résultats obtenus aux QCM
Outils : Statistiques Descriptives & Visualisations
Création de typologies
Outils :
ACM : Structurer les données en fonction des variables initiales : 3 axes
CAH : Représentation simplifiée des données en formant des classes : 4 classes
1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3
2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3
3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4
4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1
19
Visualisations, PACES20
Travail Laura Dupuis, 2014
Visualisations PACES
Année universitaireS1 –C1 S2-C6
21
Visualisation plateforme Undertracks
PACES, une itération
Analyse peu utilisable pour l’intervention
2014-2015 : Analyse qualitative des séances SEPI
Préciser le problèmes et questions vis-à-vis des Utilisateurs finaux
Utiliser les données textuelles (Questions FLQ)
22
Analyses, ChirurgieDécouverte de structures et analyse de relations
Montrer la pertinence de la prise en compte de ce type de séquence
Trouver des séquences significatives pour la rétroaction
23
Un processus d’analyse (PETRA) capitalisable dans la plateforme Un algorithme de création de séquences perceptivo gestuelles Un algorithme pour la recherche de patterns perceptivo gestuels
Thèse Ben-Masson Toussaint,
AIME 2015 Nouveau Algorithme => données intensives
Ethique + Interventions24
L’éthique, le monopole des données ?
Un discours trop centrée sur l’anonymisation des données.
Et les analyses ?
Modèle prédictif pour estimer la probabilité d’échec d’un enfant en
maternelle…
25
Ethique, PACES
Situations de concours
Equité
Transparence
26
Ethique, Chirurgie
Manipulation des données patient
27
Interventions
Interventions Humaines
Proposer des rétroactions adaptés lors des séances de SEPI
Interventions machine
Diagnostiquer les connaissances perceptivo gestuelles
Evaluations formative
28
Peut être commencer par
ces deux points…29
L’analyse des traces d’enseignement et
d’apprentissage
Un équilibre entre application et recherche
30
LA à l’international
Rapport US, défis bien identifiés
Rapport UK, on peut voir une grande diversité
Institutions and drivers
Stage of development
Ethics and legal issues
Data Sorces
Analytic systems
ACCOUNTABILITY
31
Et en France ???
DERNIER appel E-LEARNING Pédagogie universitaire numérique
Augmenter le % du numérique.
On va passer de 20% à 50%...
Mais
Quels sont les vrais problèmes et questions de ce passage au numérique ?
comment mesure-t-on ce passage ?
Quelles indicateur allons nous mettre en place ?
Comment analyser leur pertinence ?
Comment analyser l’impact ?
32
Observatoire de processus d’analyse des traces e-
learning massives
MOOCS
Serious Games
Pédagogies innovantes
Pédagogie inversée (Médecine CHU Grenoble)
Pour la prise de décision des acteurs
Processus utilisables et redéployés dans leurs
environnements
33Prise en
compte de l’utilisateur
Partenaires
• LIP6 (UPMC)
• LIG (UJF)
• IFE (ENS LYON)
• STEF (ENS Cachan)
• LIRIS Lyon 1
• Télécom Bretagne
• Université du Maine
• OpenClassrooms
• LINA 34
Cas d’étude
• Données• Scénarios• Modèles
pédagogiques
Collecte
• Outils • Traces
Analyse
• Processus • Langages• Patterns
Exploitation
• Tableaux de bord pluri-acteurs
Ethique
35
Premier cycle du projet : travail sur des cas pratiques
Cas d’étude
• MOOC• Jeux sérieux• Plateformes
d’exercice
• Formalisation des cas et scénarios
Collecte
• Test d’outils
Analyse
• Qualité QCM• Types
d’apprenants• Évolution
activité• Parcours
d’apprenants
Exploitation
Ethique 36
Références
Chatti, M.A., Dyckhoff, A.L., Schroeder, U., & Thüs, H. “A reference model for learning analytics.” International
Journal of Technology Enhanced Learning, 5, 318-331, 2012
Duval, E., “Attention please! learning analytics for visualization and recommendation”. In Proceedings of the
International Conference on Learning Analytics and Knowledge (9-17). New York: ACM, 2011.
Greller, W. & Drachsler, H., “Translating learning into numbers: A generic framework for learning analytics”.
Educational Technology & Society, 15, 42-57, 2012.
Homer, B.D., “Introductory Talk to the Learning Analytics and Educational Data Mining Workshop”, CREATE Lab,
New York University, April 2013.
D3.1 Review article about LA and EDM. FP7 619762 LEA’s BOX
Niall Sclater, Learning analytics in the UK, JISC, 2014
NMC Horizon repport 2013, US.
Learing Analytics, rapport Unesco 2012
V. Luengo, L. Vadcard, J. Tonetti, and M. Dubois. Diagnostic des connaissances et rétroaction épistémique
adaptative en chirurgie. Revue d'Intelligence Artificielle, 25(4):499-- 524, 2011.
B. Toussaint, V. Luengo., F. Jambon, J ; Tonnetti. From Heterogeneous Multisource Traces to Perceptual-Gestural
Sequences: the PeTra Treatment Approach. 17th International Conference on Artificial Intelligence in Education.
IOS press, Juin 2015.
B. Toussaint, V. Luengo. Mining Surgery Phase-Related Sequential Rules from Vertebroplasty Simulations Traces.
Artificial Intelligence in Medicine. Juillet 2015
Undertracks.imag.fr
37
38