Navigation Interactivedans les documents
Proposée par Brigitte Grau (LIR)
et Jean-Paul Sansonnet (AMI)
2
Plan
Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan
3
ASP Navigation Interactive
Participants• Groupe AMI
• J-P Fournier, J-C. Martin, Guillaume Pitel, Jean-Paul Sansonnet, Bill Turner, Haïfa Zargayouna, Stéphanie Buisine
• Stagiaire : Assia Amara• Groupe LIR
• Brigitte Grau, Nicolas Hernandez, Martine Hurault-Plantet, Anne Vilnat• Stagiaire : Hawar Talabani
Problématique• Exploration guidée par la structure du contenu
Outils de structuration Outils de médiation
• Navigation intra et inter - document
4
Objectifs
Objectifs scientifiques• Structuration sémantique et fonctionnelle
• Analyse et évaluation des pratiques de navigation
• Assistance à la navigation
Objectif technique : • Intégration et développement d'outils informatiques
Objectif structurant entre LIR & AMI• Savoir-faires existants complémentaires
• Collaboration entre les approches et les outils
5
Applications envisagées
Intra-document• Navigation interactive dans un tutoriel (cas d'un document
actif)
• Fondé sur AMICAL : Navigation multimodale dans un cours de Java
Inter-document• Réponses à des questions de nature encyclopédique en
utilisant plusieurs documents
• Généralisation de QALC : extrait des réponses à partir d'un seul document
6
Programme de travail initial
Première année• Outils de structuration, de représentation et de médiation de documents• Etude des modes de parcours• Démonstration : Exemple de représentation médiatisé d'un document
Deuxième année• Architecture du système • étude des liens entre multimodalité de la communication et stratégies
pédagogiques• Assistance à la navigation intra-document • Modélisation de l’interaction• Démonstration : Navigation interactive dans un tutoriel
Troisième année• Outils d'interaction multi-documents• Environnement intégré du démonstrateur pour un fatras• Expérimentations et Evaluations.
7
Mode de fonctionnement
Construction d’un site
http://www.limsi.fr/Individu/jps/actions/aspnid/index.html
Réunions régulières
• > 15 réunions avec CR sur le site de l’intranet de l’ASP NID
Documentation mise sur l’intranet de l’ASP
• > 50 documents sur le site de l’intranet de l’ASP NID
8
Plan
Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan
9
Structuration
Document textuel
Structuration thématique
Segmentation thématique
Typage des relations et des
segments
XXX X XXXXXXXXXX XXXXXX XX XXXXX XXXX XXXXX XXXXXXXXX XX XXXX XXXXXXXXX X XXXXX XXXXXXXXX XXXXXXX XX XXXXXXX XXXXXX XXXXXX XXXXX XXXX XXXXX XXXXXX XXXX XXXXX XX XXXXXXXXX XXX XXXX XXX XXXXXXXX XX XXXXXX XXX XXX XXXX XXXXX XX XXXXX XXXXXX XXXXXXXXX XXXX XXXXXXX XXXXXXXXX XXXXXXXX XXXXXX XXX XXXX XXXX XXXXXXX XXXXXX XXX XX XX XXXX XXX XXXXXX XXXXX XXXXX XXXXXX XXXX XXX X XXXXXXXXXX XXXXXX XX XXXXX XXXX XXXXX XXXXXXXXX XX XXXXX XXXXXXXX X XXXXX XXXXXXXXX XXXXXXX XX XXXXXXX XXXXXX XXXXX X XXX XXXX XXXXXXX XXXXXX XXXX XXXXX XXX XXX XXXXX XXX XXXXXXX XXXXXXXX XXXXXX XX XXX XXX XXXX XXXXX XXXX XXXXXXXXX XXXXXXXXX X XX XXX XXXX XXXXXXXXX XXXX XXXX XXXXXX XXXX XXXXXXX XXXXXXX XXXXXXXXX XX XXX XXXXXX XXXXXXXXXXX XXXXXXXXXXX XXX XXXX X XXXXXXXXXX XXXXXX XX XXXXX XXXX XXXXX XXXXXXXXX XX XXXXXXX XXXXXX X XXXXX XXXXXXXXX XXXXXXX XX XXXXXXX XXXXXX XXX XXXX XXXXXXXX XXXXX XXX XXXXXXX XXXXX XXXXXXX XXXXxxxxxxxxx x x xx xxxxxxxxxxxxxxx xxxxxxxxxxxx xxxxxxxxx xxxxxx x x xxxxxxxxxxxxx x xxxxxxxxxxxx xxxxxxxx xxxxxxxx x xxxx
Structure thématique
• Repérer les unités discursives
• Établir des relations entre elles
• Décrire ces unités et ces relations
10
Format XML générique, multi-annotations et multi-directionnels
Optique fédératrice Exploite les technologies XML, XLink et
Xpointer Dissociation du texte annoté (avec entités de
base), de la description des objets, et des éléments liens entre ces objets
Représentation générique des objets (token, phrase, paragraphe, les segments thématiques, la structure thématique, etc.)
11
Plan
Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan
12
Multimodalité
Stage DUT en cours au LINC: • protocole d'enregistrement de vidéo de cours et
numérisation des vidéos • annotation XML avec Anvil, recherche de mots-clés
dans les vidéos annotées Annotation de la vidéo d'une présentation
collective de 2 étudiants avec Anvil (schéma de codage TYCOON)
Spécification XML du comportement multimodal d'un agent conversationnel (stage de DEA, projet NICE)
13
Modes de parcours
Etude des modes de parcours de navigation (Stage de DEA)• Les nouveaux rapports « maître-élève » à
distance
• Etude bibliographique des systèmes et des projets (NaVir, Hezinet,…)
• Les langages associés : EML (Educational Modelling Language) - XML pour les concepts éducatifs
14
Adaptation des outils : Prototype
Adaptation de la chaîne Q&A sur un cours Java• Cours choisi : cours html de Sun
• Récupération de questions dans les FAQ de Sun
• Intégration d’un moteur de recherche dans Q&A : • Choix du moteur : MG, moteur booléen
• Tests d’interrogation avec MG
• Démonstration
Installation sur le serveur de l’ASP « fluctuat »
15
Plan
Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan
16
Outil pour l’expérimentation
Côté sujet• Le cours en HTML (utilise composant IE)• Une interface de dialogue avec le tuteur (boîte texte
+ historique du dialogue)
Côté expérimentateur• Un navigateur pour chercher les pages dans le cours
• Visualisation des “déplacements” du sujet dans le cours
• Une interface de dialogue (boîte texte + historique)
17
Outil pour l’expérimentation : côté sujet
Interface de dialogue Le cours
18
Outil pour l’expérimentation :côté expérimentateur
Suivi navigation sujet etInterface dialogue
Le navigateur de l’expérimentateur
19
Expérimentations
Distribution consignes + 2 questionnaires Java 2*10 minutes,
• soit avec dialogue possible avec le tuteur (Le tuteur doit répondre aux questions ou diriger le sujet sur la page du cours demandée)
• soit sans dialogue avec le tuteur A la fin de la session, un questionnaire dit
subjectif est à remplir. On récupère le fichier « log » de la session
20
Mise en place collective d’un protocole expérimental
17 étudiants de l’IIE Magicien d’Oz
• Limsi : GP / JCM
• IIE : BG, NH Cours Java 3 dates de sessions
• 9 mars (5 sujets), 16 mars (4 sujets), 23 mars (8 sujets) 2 tâches
• Navigation seule
• Navigation et question
21
Enregistrement de la session
22
Fichiers de log
Questions posées par le sujet
Réponsedu Wizard
Action denavigation
23
Résultats
Données recueillies• Questionnaires subjectifs
• Questions
• Actions de navigation
Analyse informelle• Peu de questions bien formées (mots-clés)
• Des sujets retapent telles quelles les questions
24
Plan
Présentation généraleTravail première annéeTravail deuxième annéeTravail Troisième annéeBilan
25
26
27
Documentation en ligne > 5O items Expériences de fin mars 04 : les fichiers .log (G. Pitel) Accès au dossier (24 fichiers) Expériences du 23 janvier 2004 (JC Martin) Accès au dossier (8 fichiers) Questionnaire post-expérimental (Stéphanie Buisine) Protocole-v8.doc Questionnaire.doc Protocole du Magicien d'oz (Jean-Claude Martin) ProtocoleV4 (.doc) tuteur-log.xml reponses.txt consignes-sujet-v0.doc protocole-v7.doc Cours Java (J-P. Sansonnet) Les 109 pages HTML sur le cours Java de Jean-Claude Martin Les relations entre les paragraphes du cours Java. Information générale sur l'ASP (Brigitte Grau et Jean-Paul Sansonnet) Présentation en double page de l'ASP Navigation 2003 Présentation en double page de l'ASP Navigation 2002 (.doc) Document de demande de l'ASPNavigation (.doc) Présentation de l"ASP Navigation à Saint Malo en nov 2001 (.ppt) Présentation du système de Questions-Réponses Q&A. (.ppt) Présentation du système d'analyse thématique (.ppt) Présentation de l'ASP à un an (le 27 mai 2002) devant le LIMSI (ppt) Présentation du modèle VDL du projet InterViews (.ppt) Présentation du modèle de traitement de requêtes à base d'observateurs (.ppt) Analyse Sémantique de Requêtes en Langue Naturelle pour un Agent Assistant d’Interface (.ppt) Présentation de la théorie des observateurs (.ppt) Exposé sur le rôle de la référence dans le dialogue navigatif (.ppt) Présentation de Animal2 (.ppt) Navigation et outils éducatifs (.ppt) Relations maître- Elève (.ppt) Sujet de Stage de DEA de Sciences Cognitives 2002 de Assia AMARA (.doc) Un nouveau format d'annotation (.ppt) Un ensemble d'informations sur le modèle d'annotation de Nicolas Hernandez (page html de dispatch) Présentation du projet MICAME (.ppt) Nicolas Hernandez, Jean-Claude Martin, Guillaume Pitel : un exemple commun de document traité selon trois modèles de représentation différents Modèle à Objets de J-C. Martin (.doc) Modèle à Observateurs de G. Pitel Modèle XML de N. Hernandez (page html de dispatch) Présentation du modèle Entité-recette Rapport du stage de DEA de Sciences Cognitives de paris XI, sept 2002, "Etude de fonctions génériques de navigation dans les documents indexés". (sous presse) Rapport du stage LIMSI "Etude et implémentation d'un médiateur dialogique pour les Environnements Interactifs d'Apprentissage avec Ordinateur en ligne sur l'Internet", 5 juin 2002. Démonstration en ligne de la Navigation dans le cours Java.
28
Bilan et perspectives pour LIR
Corpus d’interactions• Etudier les modes de parcours, la production
des balises nécessaires
• Etude des modalités : • Clic sur des liens
• Questions
• Modéliser l’interaction• Variations inter-utilisateurs ou liées à la difficulté de
la tâche
29
Bilan et perspectives pour AMI
Agents Conversationnels
• Agents Animés• Cadre HUMAINE
• Cadre A©A
• Cadre PCD
• Modéliser l’interaction• Passer au multimodal
• Etudier les schémas argumentatifs