Dialogue et apprentissage Le système ICPdraw CNRS - INPG - UJF Communication Langagière et Interaction Personne-Système GEOD Groupe dEtude sur lOral et

Dialogue et apprentissageDialogue et apprentissageLe système ICPdrawLe système ICPdraw

CNRS - INPG - UJF

Communication Langagière etInteraction Personne-Système

GEODGroupe d’Etude sur l’Oral et le Dialogue

Jean CaelenJean Caelen

2

ProblématiqueProblématiqueObjectifsObjectifsModèle de dialogue proposéModèle de dialogue proposé

• L’apprentissage de plansL’apprentissage de plans• La construction de connaissances communesLa construction de connaissances communes• La coordination d’actionsLa coordination d’actions

Réalisation d’un système adaptatif : ICPdraw, un Réalisation d’un système adaptatif : ICPdraw, un expert de dessinexpert de dessin

Conclusions et PerspectivesConclusions et Perspectives

PlanPlan

Problématique Problématique

Le dialogue… pour agir, mais souvent, en Le dialogue… pour agir, mais souvent, en machine…machine…

• connaissances statiques sur la tâcheconnaissances statiques sur la tâche

• connaissances statiques sur la langueconnaissances statiques sur la langue

Le dialogue pour apprendre...Le dialogue pour apprendre...• connaissances dynamiques sur la tâcheconnaissances dynamiques sur la tâche

• connaissances dynamiques sur la langue (concepts, connaissances dynamiques sur la langue (concepts, référents)référents)

3

Exemple d’acquisition de Exemple d’acquisition de concept :concept :

U : il me faudrait un architecteU : il me faudrait un architecteM : qu’est-ce qu’un « architecte » ?M : qu’est-ce qu’un « architecte » ?U : c’est un dessinateur de bâtimentsU : c’est un dessinateur de bâtimentsM : quelle sorte de bâtiments ?M : quelle sorte de bâtiments ?U : essentiellement des maisonsU : essentiellement des maisonsM : ah très bien, je peux devenir un dessinateur de M : ah très bien, je peux devenir un dessinateur de

maisons…maisons…/architecte/ = entité(dessiner(maisons))/architecte/ = entité(dessiner(maisons))

M = sorte_de(entité)M = sorte_de(entité)

4

Exemple d’acquisition de Exemple d’acquisition de savoir-faire :savoir-faire :

U : dessine une maisonU : dessine une maison

M : montre-moi comment faireM : montre-moi comment faire

U : <suite d’actions> voilà c’est finiU : <suite d’actions> voilà c’est fini

M : comment veux-tu que j’appelle cette maison ?M : comment veux-tu que j’appelle cette maison ?

U : disons… un chaletU : disons… un chalet

M : ah très bien, je sais maintenant dessiner un chaletM : ah très bien, je sais maintenant dessiner un chalet

dessiner(chalet) = <suite d’actions>dessiner(chalet) = <suite d’actions>

Chalet = sorte_de(maison)Chalet = sorte_de(maison)

5

Connaissances acquisesConnaissances acquises

Dessiner(chalet) = <suite d’actions>Dessiner(chalet) = <suite d’actions>

Chalet = sorte_de(maison)Chalet = sorte_de(maison)

Dessiner(maison) = ??Dessiner(maison) = ??

/Architecte/ = entité(dessiner(maison))/Architecte/ = entité(dessiner(maison))

/Architecte/ = entité(dessiner(chalet))/Architecte/ = entité(dessiner(chalet))

U = sorte_de(entité), M = sorte_de(entité)U = sorte_de(entité), M = sorte_de(entité)

Connaissances sur les interlocuteurs (performances)Connaissances sur les interlocuteurs (performances)

Connaissances sur les concepts (objets)Connaissances sur les concepts (objets)

Connaissances sur les plans (procédures)Connaissances sur les plans (procédures)

……à travers l’activitéà travers l’activité 6

7

PostulatsPostulats

Le dialogue finalisé est structuré par l’activitéLe dialogue finalisé est structuré par l’activitéil se modélise bien par la théorie des actes de langageil se modélise bien par la théorie des actes de langage

L’activité est planifiée autour de la tâcheL’activité est planifiée autour de la tâcheelle est dirigée par le butelle est dirigée par le but

Le dialogue a un double objectifLe dialogue a un double objectif• la conduite interactive de la tâchela conduite interactive de la tâche

• l’acquisition de connaissances pour adapter et améliorer l’acquisition de connaissances pour adapter et améliorer le comportement de la machine le comportement de la machine

8

OBJECTIFS (1)OBJECTIFS (1)

Définir un modèle de tâche dynamique basé Définir un modèle de tâche dynamique basé sur l’apprentissagesur l’apprentissage

Définir une stratégie coopérative de dialogue Définir une stratégie coopérative de dialogue pour l’apprentissage d’un comportement pour l’apprentissage d’un comportement « expert »« expert » villasen:

Intégrer une composante en langage naturel dans une interface multimodale

villasen:

Intégrer une composante en langage naturel dans une interface multimodale

9

OBJECTIFS (2)OBJECTIFS (2)

Réaliser un modèle de dialogue qui incorporeRéaliser un modèle de dialogue qui incorpore• la gestion des échanges dialogiques la gestion des échanges dialogiques

• la construction de connaissances communes à la construction de connaissances communes à travers l’acquisition et la structuration de tâches travers l’acquisition et la structuration de tâches

• la coordination d’actions à partir de la la coordination d’actions à partir de la reconnaissance de plans reconnaissance de plans

...Savoir faire en voyant faire...Savoir faire en voyant faire

10

UU : : dessine une maisondessine une maison

EXEMPLE : ICPdrawEXEMPLE : ICPdraw

11


MM : : montre-moimontre-moi

EXEMPLE EXEMPLE

12



UU: : dessine un carré rougedessine un carré rouge

MM : : <<dessine un carré rougedessine un carré rouge>>

EXEMPLE EXEMPLE

13





UU: : <<dessine un triangledessine un triangle>>

EXEMPLE EXEMPLE

14





UU: : <<dessine un triangledessine un triangle>>

UU: : <<déplace le triangledéplace le triangle>>

EXEMPLE EXEMPLE

15

UU : : dessine une maisondessine une maisonMM : : montre-moimontre-moi UU: : dessine un carré rougedessine un carré rouge MM : : <<dessine un carré rougedessine un carré rouge>> UU: : <<dessine un triangledessine un triangle>> UU: : <<déplace le triangledéplace le triangle>> UU: : voilà une maisonvoilà une maisonMM : : d’accordd’accord

la machine connaît maintenant les actions pour la machine connaît maintenant les actions pour dessine une maison dessine une maison et le conceptet le concept maison maison

EXEMPLE EXEMPLE

16

ProblématiqueProblématique

ObjectifObjectif

Modèle de dialogue proposéModèle de dialogue proposé• L’apprentissage de plansL’apprentissage de plans • La construction de connaissances communesLa construction de connaissances communes• La coordination d’actionsLa coordination d’actions

Réalisation d’un système adaptatifRéalisation d’un système adaptatif


Plan Plan

17

L’interaction H/M en conceptionL’interaction H/M en conception• tâches non routinières (évolutives)tâches non routinières (évolutives)• mais la conception s’appuie sur la réutilisation de tâches mais la conception s’appuie sur la réutilisation de tâches

antérieures (ex. architecture, design)antérieures (ex. architecture, design)

Un dialogue à double filUn dialogue à double fil• la conduite interactive de la tâche - la conduite interactive de la tâche - quoiquoi faire faire

• l’acquisition de connaissances - l’acquisition de connaissances - commentcomment le faire le faire

La machine a un double rôleLa machine a un double rôle • d’assistant quand elle est suffisamment experte dans les d’assistant quand elle est suffisamment experte dans les

tâches routinièrestâches routinières• d’apprenti pour les tâches nouvellesd’apprenti pour les tâches nouvelles

Modèle généralModèle général villasen:resumen entre la anterior y esta

villasen:

resumen entre la anterior y esta

18

Incorporation d’actions langagières et Incorporation d’actions langagières et non-langagières dans le même cadre actionnelnon-langagières dans le même cadre actionnel

Une logique de l’action Une logique de l’action [Prendinger, 96; van der Hoek, 94][Prendinger, 96; van der Hoek, 94]

• [ action[ action ] ] propositionproposition• [ plan ] [ plan ] propositionproposition • [ vérifier [ vérifier proposition1proposition1 ] ] proposition2proposition2

[ dessiner-carré(O[ dessiner-carré(O11) ] ) ] OO11 : Carré(O : Carré(O11))

[ dessiner-triangle(O[ dessiner-triangle(O22) ] ) ] OO22 : Triangle(O : Triangle(O11))

[ vérifier [ vérifier au-dessousau-dessous (O (O11,O,O22)] maison (O)] maison (O11,O,O22))

[ plan-maison ] = [ dessiner-carré [ plan-maison ] = [ dessiner-carré dessiner-triangle dessiner-triangle vérifier vérifier au-dessousau-dessous ] ]

Une logique de l’actionUne logique de l’action villasen:


villasen:


19

L’actionL’action dialogique dialogique

Les actes de baseLes actes de baseFF faire-faire; F faire (changements dans le monde)FFS faire-faire-savoir; FS faire-savoir (échange de connaissances)

• Effets des actions dialogiquesEffets des actions dialogiques

ex : ex : [F[FFFUU a] a] effets effets

interlocuteur : U interlocuteur : U utilisateurutilisateur, M , M machinemachine effetseffets (sur la tâche ou sur les objets ou sur (sur la tâche ou sur les objets ou sur

l’interlocuteur) est une proposition l’interlocuteur) est une proposition en réalité : en réalité : effets = effets = [F[FMM a] a] proposition proposition que l’on abrège que l’on abrège

en [en [FFFFUU a] a] proposition proposition

20

Temps / événementTemps / événement

Logique d’intervalles Logique d’intervalles [Shoham, 87][Shoham, 87]

La proposition p prend sa valeur de vérité La proposition p prend sa valeur de vérité pendant l’intervalle de temps tpendant l’intervalle de temps t11\t\t22

HOLDS( tHOLDS( t11\ t\ t2 2 , , pp ) abrégé en ( t ) abrégé en ( t11\ t\ t2 2 , , pp ) )

Logique d’événementsLogique d’événementsL’action est considérée comme un événement L’action est considérée comme un événement

(car seul son résultat importe)(car seul son résultat importe)OCCURS( tOCCURS( t3 3 , , action action ) abrégé en ( t) abrégé en ( t3 3 , , action action ) )

21

Séquence d’actionsSéquence d’actions

NotationsNotations[ t[ t00, F, FFF

UU dessiner-carré(O dessiner-carré(O11) ] (t) ] (t11\T, \T, OO11 Carré(O Carré(O11,h(O,h(O11))))))

[ t[ t22, F, FUU dessiner-triangle(O dessiner-triangle(O22) ] (t) ] (t22\T, \T, OO22 Triangle(O Triangle(O22,h(O,h(O22))))))

[ t[ t33, F, FSSUU maison(O maison(O11 ,O ,O22) ] ) ] R R R(O R(O11, O, O22))

[ F[ FMM vérifier vérifier au-dessousau-dessous (O (O11,O,O22)] (t)] (t44\T, maison (O\T, maison (O11,O,O22))))

Avec :Avec :T = temps indéfiniT = temps indéfinih(x) = paramètres de x (position, taille, etc.)h(x) = paramètres de x (position, taille, etc.)R(x,y) = relation prédéfinie entre x et y (position, taille, etc.)R(x,y) = relation prédéfinie entre x et y (position, taille, etc.)

22

Le planLe plan

Plan d’une tâche = séquence d’actions Plan d’une tâche = séquence d’actions orientée vers la réalisation d’un butorientée vers la réalisation d’un but

Plan (But) = [ FPlan (But) = [ FMM vérifier(pré-conditions(But)) vérifier(pré-conditions(But)) FFMM a a11 F FMM a a22 … F … FMM a ann FFMM vérifier(post-conditions(But)) ] vérifier(post-conditions(But)) ]

On suppose que les conditions préparatoires et les On suppose que les conditions préparatoires et les conditions de succès des actions aconditions de succès des actions aii sont remplies (en sont remplies (en effet elles ont été apprises et validées au cours du effet elles ont été apprises et validées au cours du dialogue)dialogue) villasen:

una tarea de concepcion se hace en el momento, lo que provoca, un gran numero de rectificaciones, asi que el primer paso es la eliminacion de acciones redundantes

villasen:


23

ExempleExemple

Plan(Maison)Plan(Maison)Séquence observée : Séquence observée : [ t[ t1 1 , dessiner(carré1, p1) ] , dessiner(carré1, p1) ] tt2 2 , ,

dessiner(triangle2, p2) ] dessiner(triangle2, p2) ] [ t[ t3 3 , déplacer(triangle2, p3) ], déplacer(triangle2, p3) ]

Création du plan :Création du plan :H1= H1= [ dessiner(carré1, p1) ] [ dessiner(carré1, p1) ] dessiner(triangle2, p3) ] dessiner(triangle2, p3) ] le le

déplacement n’est pas pertinent (action fortuite)déplacement n’est pas pertinent (action fortuite)H2= H2= [ dessiner(carré1, p1) ] [ dessiner(carré1, p1) ] dessiner(triangle2, p3) ] dessiner(triangle2, p3) ] vérifier vérifier

au-dessousau-dessous (p1, p3) ] (p1, p3) ] le déplacement est pertinent (action le déplacement est pertinent (action nécessaire)nécessaire)

Validation de la solution :Validation de la solution :• Par dialogue ou,Par dialogue ou,• En généralisant à partir d’autres exemplesEn généralisant à partir d’autres exemplesvillasen:


villasen:


24

Apprentissage de planApprentissage de plan

Règles de constructionRègles de construction[ t[ t11\ t\ t2 2 , , positionposition(x, p(x, p11(x)) ] (x)) ] t t2 2 , déplacer(x, p, déplacer(x, p22(x)) ] (x)) ]

[ t[ t22\ T\ T , , positionposition(x, p(x, p22(x)) ](x)) ]

Etc.Etc.A partir des connaissances d’arrière-plan on déduit les relations A partir des connaissances d’arrière-plan on déduit les relations

R(x,y) R(x,y) = {au-dessus, à-droite, etc.} = {au-dessus, à-droite, etc.}

Règles de généralisationRègles de généralisation• Maximisation du nombre des actions pertinentes • Généralisation minimale

villasen:


villasen:


25

ExempleExempleMaximisation des actions : H2Maximisation des actions : H2Généralisation minimale à partir de plusieurs exemplesGénéralisation minimale à partir de plusieurs exemples

maison

maison1

maison2

Actions observées

Planest-un

est-un

généralise

26

Apprentissage de conceptsApprentissage de concepts

La formation de conceptsLa formation de concepts • Les concepts sont des plans (et non des formes ou des propriétés)Les concepts sont des plans (et non des formes ou des propriétés)

• Formés à partir d’exemples positifsFormés à partir d’exemples positifs

Plan(maison)Plan(fenêtre)Plan(chalet)Plan(balcon)

On ne peut exprimer par des actions chalet = maison en boisMais maison avec balcon (=chalet) ou maison sans fenêtre

Deux relations : sorte-de, partie-de

maison

chalet

chaletmaison

fenêtre

sorte-departie-de partie-departie-de

balcon

27

Correspondance Correspondance concept/planconcept/plan

Si y sorte-de x alors Plan(x) Plan(y)en d’autres termes z : Plan(y) = Plan(x) Plan(z)

Si y partie-de x alors Plan(y) Plan(x)

Pour y x faire Plan(y) Plan(x) ( se lit « avec »)

Pour y – x faire Plan(y) - Plan(x) (- se lit « sans »)

Cela permet de factoriser les plans et de ramener les notions d’héritage à des notions ensemblistes

28

Modèle de dialogueModèle de dialogue

Dirigé par le butDirigé par le but [Caelen, 95; Vernant, 92][Caelen, 95; Vernant, 92]

• le dialogue est vu comme un processus de le dialogue est vu comme un processus de

convergenceconvergence

• chaque acte de dialogue affecte ce processus chaque acte de dialogue affecte ce processus

de convergencede convergence

villasen:

l’évolution du but (de l’action à réaliser) est décrite au cours du dialogue

villasen:

l’évolution du but (de l’action à réaliser) est décrite au cours du dialogue

29

Un échangeUn échangeAvancement vers l’AccordAvancement vers l’Accord

Requêtes Requêtes Répliques Répliques

Mises en Mises en causecause

Mises en Mises en questionquestion

Offres Offres Demandes Demandes

ButBut

Demandeur Demandeur Répondeur Répondeur Convergence

DivergenceDivergence

d’après [Vernant, d’après [Vernant, 92]92]

30

Gestion des échangesGestion des échanges

Le but Le but

but posé :but posé : par U ou M, initialise le début d’un nouvel par U ou M, initialise le début d’un nouvel échangeéchange

but atteint :but atteint : l’échange est marqué par un succès (au l’échange est marqué par un succès (au sens de la logique illocutoire)sens de la logique illocutoire)

but abandonné :but abandonné : par suite d’erreur, par suite d’erreur, d’incompréhension, de changement d’objectif, etc.d’incompréhension, de changement d’objectif, etc.

but satisfait :but satisfait : l’échange est conclu par un accord (ne l’échange est conclu par un accord (ne peut satisfaire un but que celui qui l’a posé)peut satisfaire un but que celui qui l’a posé)

31

Une logique dialogiqueUne logique dialogique but posé (par U)but posé (par U)

[F[FFFUUa] (Ca] (CMM C CUU [F [FMMa]p)a]p)

?[F?[FMMa]pa]pSimplification d’écriture


32

Une logique dialogiqueUne logique dialogique

but atteintbut atteint

? [F? [FMMa]p a]p [F [FMMa]pa]p +[F+[FMMa]pa]p


33


but abandonnébut abandonné

?[F?[FMMa]p a]p ([F([FSSUU CCUU [F [FMMa]p] q a]p] q

?[F?[FUUa’]p’)a’]p’)

expliciteexplicite

impliciteimplicite


@[FFU a]

34


but satisfaitbut satisfait

+[F+[FMMa]p a]p ([F([FSSUU CCUU [F [FMMa]p] q a]p] q

?[F?[FUUa’]p’)a’]p’)

expliciteexplicite

impliciteimplicite


++[FFUa]

35

Aide à la tâcheAide à la tâche

Acquisition des savoir-faire pour…Acquisition des savoir-faire pour…• réitération de la tâcheréitération de la tâche

• réutilisation de parties de la tâcheréutilisation de parties de la tâche

• anticipation sur la tâcheanticipation sur la tâche en coursen cours

Apprendre le plan d’une tâche à chaque Apprendre le plan d’une tâche à chaque occurrence d’un nouvel exemple de cette occurrence d’un nouvel exemple de cette tâchetâche

• à partir de peu d’exemplesà partir de peu d’exemples

• et seulement des exemples positifset seulement des exemples positifs

36

AXIOMESAXIOMES

Comportement de la machine envers un but Comportement de la machine envers un but poséposé

?[F?[FMM a]p a]p C CMM a a [F [FMM a]p a]p

?[F?[FMM a]p a]p CCMM a a [F [FSSMM b]( ?[F b]( ?[FUU a] C a] CMM a ) a )

M sait faire la tâche

M ne sait pas faire la tâche

…M demande qu’on lui montre

37

AXIOMESAXIOMES

Si M sait faire la tâche…Si M sait faire la tâche…

?[F?[FMMa] a] C CMM plan(a) plan(a)

[ F[ FMMvérifier(précondvérifier(précondaa))

F FMM actions actionsaa, ,

F FMM vérifier(postcond vérifier(postcondaa) ]) ]

[F[FMMa] pa] p

38

AXIOMESAXIOMES

Si M sait continuer la tâche commencée…Si M sait continuer la tâche commencée…Détermination de l’intentionDétermination de l’intention

Confirmation de l’intervention et exécutionConfirmation de l’intervention et exécution

+[F+[FUU b] b] C CMM (b partie-de a) (b partie-de a) C CMM a a

?[F?[FMM vérifier(C vérifier(CUU [F [FUU a])] a])]

CCMM C CUU [F [FUU a] a] [F [FMM a] p a] p

39

AXIOMESAXIOMES

Si M sait faire une partie de la tâche…Si M sait faire une partie de la tâche…Demande de montrer la suiteDemande de montrer la suite

Et apprend si U lui montreEt apprend si U lui montre

+[F+[FMM b] b] C CMM (b partie-de a) (b partie-de a) C CMM a a

[F [FSSMM a]( ?[F a]( ?[FUU a] C a] CMM a ) a )

+[F+[FUU a] a] [C [CMM a] p a] p [F [FSSMM a] a]

40

AXIOMESAXIOMES

Si M ne sait pas faire la tâche…Si M ne sait pas faire la tâche…Demande de montrer la tâcheDemande de montrer la tâche

Et apprend si U lui montreEt apprend si U lui montre

?[F?[FMM a] a] ( ( C CMM a) a)

[F [FSSMM a]( ?[F a]( ?[FUU a] F a] FSS

MM a ) a )

+[F+[FUU a] a] [C [CMM a] p a] p [F [FSSMM a] a]

41

Reconnaissance du planReconnaissance du plan

maisonmaison

Plan-maisonPlan-maison

ActesActes

Est un processus Est un processus d’explicationd’explication

hiérarchie de hiérarchie de compositioncomposition

Etape 1 : activer les candidatsEtape 2 : filtrer les hypothèses

hiérarchie hiérarchie d’abstractiond’abstraction

42

Reconnaissance du planReconnaissance du plan

triangletriangle

Partie-dePartie-de

ExplicationExplication

MaisonMaison

carrécarré

Partie-dePartie-de

BusBus

Partie-dePartie-de

?? Hypothèse uniqueHypothèse unique

temps

MaisonMaison

43

ProblématiqueProblématique

ObjectifObjectif

Modèle de dialogue proposéModèle de dialogue proposé• L’apprentissage de plans L’apprentissage de plans • La construction de connaissances communesLa construction de connaissances communes• La coordination d’actionsLa coordination d’actions

Réalisation d’un système adaptatifRéalisation d’un système adaptatif


Plan Plan

44

ICPdraw = Interacteur Collaboratif ICPdraw = Interacteur Collaboratif Parlé pour le dessinParlé pour le dessin

ICPdraw (interface multimodale adaptative ICPdraw (interface multimodale adaptative

pour le dessin)pour le dessin)

• Un gestionnaire de dialogueUn gestionnaire de dialogue

• Les procédures d’acquisition de tâche et de Les procédures d’acquisition de tâche et de

reconnaissancereconnaissance

(avec simplification dans la reconnaissance et la génération d’actes (avec simplification dans la reconnaissance et la génération d’actes

de langage)de langage)

45

L’interfaceL’interface

ICPdrawICPdraw

Fenêtre de Fenêtre de dialoguedialogue

46

Modules du systèmeModules du système

ICPdrawICPdraw

Formation de Formation de conceptsconcepts

Reconnaissance Reconnaissance de la tâchede la tâche

action action langagièrelangagière

action action directedirecte

nouvelle tâche nouvelle tâche acquiseacquise

Répertoire Répertoire de tâchesde tâches

action action observéeobservée tâche tâche

reconnuereconnue

UtilisateurUtilisateur

séquence d’actions séquence d’actions de basede base

action action de basede base

GestionnaireGestionnairedu dialoguedu dialogue

47

RÉSULTATS RÉSULTATS

Validation générale du système réalisé et des Validation générale du système réalisé et des

concepts théoriquesconcepts théoriques

• Logiciel opérationnel (sur-couche en C++ et Logiciel opérationnel (sur-couche en C++ et

Prolog)Prolog)

• Des utilisateurs ont manipulé le système...Des utilisateurs ont manipulé le système...

villasen:

de facon tres simple, no necesitamos aprender un nuevo lenguaje para enseniar al sistema

villasen:

de facon tres simple, no necesitamos aprender un nuevo lenguaje para enseniar al sistema

48

OBSERVATIONS : USAGE OBSERVATIONS : USAGE

L’utilisateur devant l’ordinateur assistant L’utilisateur devant l’ordinateur assistant

doit :doit :

• S’habituer au rôle de maîtreS’habituer au rôle de maître

• Accepter des interruptions de la machineAccepter des interruptions de la machine

• Se souvenir des connaissances en machine Se souvenir des connaissances en machine

d’une session à la suivanted’une session à la suivante

49

OBSERVATIONS : APPRENTISSAGE OBSERVATIONS : APPRENTISSAGE

Jugement sur la stratégieJugement sur la stratégie

• Acquisition des tâches : il y aurait aussi Acquisition des tâches : il y aurait aussi

nécessité d’acquérir une tâche de manière nécessité d’acquérir une tâche de manière

opportuniste ou opportuniste ou a posterioria posteriori

• Pertinence des interventions de la machine :Pertinence des interventions de la machine : la la

machine n’intervient pas toujours au bon machine n’intervient pas toujours au bon

moment dans la tâche et quelque fois trop tard moment dans la tâche et quelque fois trop tard

50

OBSERVATIONS : ROBUSTESSEOBSERVATIONS : ROBUSTESSE

Évaluation du pouvoir de généralisation du point de Évaluation du pouvoir de généralisation du point de

vue de l’utilisateurvue de l’utilisateur

• si l’utilisateur fait des généralisations très complexes, si l’utilisateur fait des généralisations très complexes,

la machine a du mal à suivre, et ses résultats la machine a du mal à suivre, et ses résultats

déconcertent l’utilisateurdéconcertent l’utilisateur

• pour arriver à un ensemble de concepts bien structuré pour arriver à un ensemble de concepts bien structuré

pour la machine, l’utilisateur doit faire des effortspour la machine, l’utilisateur doit faire des efforts

51

OBSERVATIONS : ROBUSTESSEOBSERVATIONS : ROBUSTESSE

Évaluation du pouvoir de généralisation du côté de la Évaluation du pouvoir de généralisation du côté de la

machinemachine

• le système de généralisation est perturbé dans le cas où le système de généralisation est perturbé dans le cas où

les exemples d’une tâche sont trop différents, et par les exemples d’une tâche sont trop différents, et par

l’ordre de présentation des exemples (la recherche l’ordre de présentation des exemples (la recherche

d’actions caractéristiques en dépend),d’actions caractéristiques en dépend),

• l’arbre des concepts peut être « plat » (à la suite de l’arbre des concepts peut être « plat » (à la suite de

généralisations triviales).généralisations triviales).

52

OBSERVATIONS : ERGONOMIEOBSERVATIONS : ERGONOMIE

Pendant la reconnaissance de la tâchePendant la reconnaissance de la tâche

• intervention souhaitée de l’utilisateur dans l’élaboration intervention souhaitée de l’utilisateur dans l’élaboration

d’une hypothèse (principe du contrôle partagé)d’une hypothèse (principe du contrôle partagé)

Après la reconnaissance de la tâcheAprès la reconnaissance de la tâche

• éviter les ruptures, par ex. finir le dessin avec les objets éviter les ruptures, par ex. finir le dessin avec les objets

reconnus plutôt que refaire le dessin (principe de reconnus plutôt que refaire le dessin (principe de

continuité alternée dans le fil de l’action)continuité alternée dans le fil de l’action)

53

CONCLUSIONSCONCLUSIONS

Apport théorique au modèle de dialogue :Apport théorique au modèle de dialogue :

Le modèle permet d’interagir avec l’utilisateur et Le modèle permet d’interagir avec l’utilisateur et

d’établir en dialoguantd’établir en dialoguant quoi fairequoi faire et et comment comment

fairefaire

• intégration sur le même cadre actionnel des intégration sur le même cadre actionnel des

interventions langagières et non-langagièresinterventions langagières et non-langagières

• prise en compte de tâches évolutivesprise en compte de tâches évolutives

54


Exploration de solutions possibles pour la Exploration de solutions possibles pour la

construction de connaissancesconstruction de connaissances communescommunes

• par représentation de la tâche, des actions par représentation de la tâche, des actions

pour généraliser les conceptspour généraliser les concepts

Mise au point d’un processus dynamique pour la Mise au point d’un processus dynamique pour la

reconnaissance du planreconnaissance du plan

• pour anticiper la réalisation d’une tâchepour anticiper la réalisation d’une tâche

55


Apport pratique au modèle de dialogue : Apport pratique au modèle de dialogue :

Réalisation d’un démonstrateur autour de Réalisation d’un démonstrateur autour de l’application de dessin ICPdrawl’application de dessin ICPdraw

mais d’utilisation délicate sur le plan de mais d’utilisation délicate sur le plan de l’ergonomie...l’ergonomie...

56

PERSPECTIVESPERSPECTIVES

Nécessité d’intégration des stratégies de Nécessité d’intégration des stratégies de négociationnégociation

• participation de l’utilisateur dans le processus de participation de l’utilisateur dans le processus de formation de concepts formation de concepts

Mettre à disposition de l’utilisateur les résultats Mettre à disposition de l’utilisateur les résultats partiels de la reconnaissance de tâchespartiels de la reconnaissance de tâches

• pour déléguer, le plus tôt possible, le travail à la pour déléguer, le plus tôt possible, le travail à la machinemachine

57

DEMONSTRATIONDEMONSTRATION

dessine un carré

Voilà, j’attends la commande suivante

Je dessine un carré

d’accord, tu viens de dessiner un triangle

dessine un cercle noir

Tu sélectionnes triangle

Tu effaces le triangle

Je sélectionne triangle

Tu dessines le triangle

Tu sélectionnes destruction

Je dessine un cercle noir


Je dessine un cercle noir

Efface tout

Voilà, j’attends la commande suivante


voilàtu dessines un(e) bus ?

Je dessine le camion que j’ai appris

Camion appris

Voilà un camion.Veux-tu le compléter ?

Je ne connais pas le concept « fenêtre »

Dessine l’objet fenêtre(début d’apprentissage)

Fenêtre apprise

J’apprends

Fin d’apprentissageFaut-il l’associer à camion ?

Je construis l’objet camion+fenêtre

Voici le concept construitComment l’appelle-t-on ?

Dessine un camionOui, avec une fenêtreVoilà la fenêtreOui

Documents

Dialogue et apprentissage Le système ICPdraw CNRS - INPG - UJF Communication Langagière et Interaction Personne-Système GEOD Groupe dEtude sur lOral et