Upload
gilles-lecomte
View
114
Download
0
Embed Size (px)
Citation preview
Interaction homme-machine
Jean CaelenLaboratoire CLIPS-IMAG
Historique
Opérateur humain(...perforation de cartes...)Ecran de saisie(...page par page...)Ecran graphique(...clavier, souris, écran...)
Calculateur
Ordinateur
Personnel
Actuellement…
De : Combiné téléphonique(...communication humaine...)A : Interface instrumentale(...robot... action sur l’environnement…)
Met en relation des humains et des systèmes
Personne / personne
Personne / système
Les applications de l’informatique
les transports (air, rail, route, etc.),les télé-services transactionnels : commerciaux et bancaires,les télécommunications et les espaces de médiation,la formation et la télé-formation,la simulation et la conception assistée par ordinateur,la robotique et la télé-manipulation,la bureautique — concept du bureau du futur, du bureau de l’handicapé, etc.,l’utilisation collective de l’ordinateur : le travail collaboratif, les “ cyber-villages ”, etc.,la commande de processus continus ou discrets — environnement robotique, chaînes de production, etc.,l’aide à la création et aux activités artistiques, aux loisirs, à la diffusion de la culture — concept de télévision interactive, de musée virtuel, etc., l'aide à la maintenance de systèmes complexes, etc.l'aide à l'acte chirurgical et médical.
Nouvelles interfaces
Humains... plus diversifiésprofessionnel / grand publicSystèmes... plus complexesfonctions diversifiées, en réseau, distribués, agents, assistantsL’ordinateur envahit tous les champs d’application et atteint tous les publicsLes humains ne veulent plus « subir », la « machine » doit s’adapter
Les contours du domaine
Les modalités : vocal, gestuel, visuelLe traitement automatique du langage naturelL’ingénierie de l’interaction homme-machineLes environnements virtuels et augmentésL’image et le son (synthèse et traitement)Les médiaspaces, les objets communicantsL’intelligence ambianteLe collecticiel
L’ergonomie des interfaces et la sociologie…
Les conditions de la réussite
« Utilité »adéquation au besoin opératoire (adéquation à la tâche)pertinence de l’outil (pas un outil à « tout faire »)
« Utilisabilité »fiabilité (vers le zéro-défaut)efficacité (réduction du temps de la tâche)facilité d’emploi (en adéquation avec la mémoire)rapidité d’apprentissagemanipulation agréable
Les ingénieurs ne sont pas seuls concernés par les interfaces
Principes ergonomiques
Adéquation des modes et des modalités sensoriellesAdéquation des représentationsTraitements compatibles avec les objectifs et avec le raisonnement
H ► E + Mmodalités sensorielles modesreprésentations modèles, objetsraisonnements traitementsH = humain, E = environnement, M = machine
Processus interactionnel
Intention
Spécificationaction
Etablissementd'un but
Evaluation
Perception
Sens de
d'entréel'expression
l'expressionForme de
d'entrée
de sortie
Sens del'expression
l'expressionForme de
de sortie
Distance
de sortiesémantique
articulatoireDistance
de sortie
sémantiqueDistance
d'entrée
d'entrée
Distancearticulatoire
Exécution
Interprétation
Légende
Etapes
Sens de l'action
Variables Psychologiques
Variables Physiques
Théorie de l’action [Norman, 86]
Modèle de [Rasmussen, 86]• Habiletés• Comportement• Raisonnement
Habiletés
Comportement
Raisonnement
Le modèle ICS [Barnard, 92]
Sous-systèmeacoustique
(AC)
Sous-systèmemorphono-lexical
(MPL)
Sous-systèmearticulatoire
(ART)
Sous-systèmeétat physique
(BS)
Sous-systèmeimplicationnel
(IMPLIC)
Sous-systèmepropositionnel
(PROP)
Sous-systèmeobjet(OBJ)
Sous-systèmevisuel(VIS)
Sous-systèmemouvement
(LIMB)
ICS peut se voir, en première approximation, comme un affinement du Modèle du Processeur Humain [Card 83]. ICS est une architecture parallèle multi-processus décomposée en un ensemble de neuf sous-systèmes spécialisés
Cadre
Des individus qui agissent intentionnellement sur un environnement naturel ou artificiel au moyen d’un système informatique pour réaliser une tâche.
Définition
Adaptateur d’impédance (elle doit « résister »)Loupe (elle doit « focaliser »)Miroir (elle doit « refléter »)Attracteur (elle doit « motiver »)
L’interface est une abstraction (elle ne commence ni ne s’arrête au clavier-écran : elle a une profondeur)
Exemple : interface vocaleReconnaissanceparole => chaîne
Compréhension chaîne => structure
Dialogue structure => script
Action = script
Génération script => texte
Transduction texte => chaîne
Synthèsechaîne => signal
Interfaced'entrée
Interfacede sortie
niveau applicatifAction = script
Interface : opérateur / tâche
Domaine
Complexité
Type : innovation routine
Système cognitif perceptif, moteur
variations inter-individuelles
intr
a-in
div
idu
elle
s
Mo
dal
ités
UsagerInterface
Tâche
Contrôleur de Dialogue
Activité de l’usager cadrée par la tâche
L’interface doit avoir :
des représentations sur l’opérateur, aux plans cognitif et/ou social,une représentation des capacités perceptives et sensorielles humaines,un modèle du domaine de la tâche,un modèle d’interaction et/ou des règles sociales,une représentation d’elle-même (pour s’adapter ou pour être plus générique) et de ses différents dispositifs.
Typologie
1. Typologie des usagers,2. Typologie des environnements,3. Typologie de l’interaction,4. Typologie des tâches, 5. Typologie des connaissances,6. Typologie des dispositifs.
Typologie des usagers
Utilisateur de référence = HoUsagers proches = HpUsagers distants = HdSystème = M
Ho U Hp travaillent avec Hd à l’aide de M
Typologie des univers
Univers de référence artificiel = UoUnivers réel proche = UpUnivers réel distant = Ud
Environnement E = Uo U Up U UdUo
Ud
Up
Typologie de l’interaction
4 Directions d’ajustement
Ho contrôle E (Ho => E)Ho s’informe sur E (E => Ho)Ho interagit avec E (Ho E)Ho indépendant de E (Ho / E)
Rôles du système
Médiateur Simulateur Assistant Partenaire
E
E : réel, artificiel, métaphorique, virtuel
H
H o
p
m
Typologie des tâches
Tâches routinièrespar réutilisation complète de schémas
Tâches innovantes ou de conception par réutilisation de parties de schémas
(scripts)Tâches de création
toujours nouvelles• type de planification mise en jeu (hiérarchique,
opportuniste, fin-moyens, etc.),• nombre de buts poursuivis simultanément,• avec partage des tâches à plusieurs ou non,• astreinte à un processus temps réel ou non (qui
conditionne les interventions sur interruptions externes),
Typologie des connaissances
croyances de Ho sur E, croyances de Ho sur le système M, croyances de Ho sur lui-même, représentations de E dans M, croyances de M sur Ho,
Connaissances de H sur le monde
Connaissances de H sur M
ActionsH M
Conscience, Inférences
Signes
Connaissances de M supposées par H
Représentation des univers et des mondes d'arrière-plan
Connaissances représentées dans M
Connaissances partagées par H et M
Adaptation
Situation
Connaissances de M sur H
PerceptionActions
o
o
o
o
o
o
Typologie des dispositifs
Dispositifs statiques (écran) Dispositifs mobiles (robots) Dispositifs portables (PDA, téléphone) Dispositifs vestimentaires (capteurs) Dispositifs environnementaux (bornes)
Directionnalité (E/S), taille, type canal, débit, etc.
Exemple de dispositifs
Graphique (écran + clavier + souris) Vocal (microphone + HP) Gestuel (gant, retour d’effort) Visuel (caméra, vidéo-projecteur) Multimodal (mixte)
Exemple : interface vocale
Interface vocale téléphonique pour le renseignement touristique Ho = client, [Hd = agent], M = agent E = Base de données “tourisme” (E => Ho) Connaissances Ho = {langue, transport} Tâche = {routinier, hiérarchique, 1 but à la
fois} Dispositifs {entrée = microphone, sortie =
HP)
Tâche / activité• Tâche : caractéristiques
définition : suite(s) d’actions conduisant potentiellement à un(des) but(s) — nombre de buts poursuivis simultanément (tâches concurrentes et parallèles)— type de planification et dynamicité du raisonnement (de la routine à l’innovation)— tâche individuelle ou collective— astreinte à un processus externe (interruptions)— contraintes particulières (urgence, sécurité, etc.)— complexité (niveau cognitif exigé)
• Activité
suite d’actes effectués par un usager dans le cadre d’une tâche — actes langagiers— actes non-langagiers
On distingue la tâche prescrite de la tâche réalisée
Analyse de tâche
Pour concevoir et évaluer des systèmes informatiques, on analyse le comportement de l'utilisateur, avant pendant et après l'existence du système.
Le modèle UAN utilise des opérateurs d'enchaînement de tâches.
Séquence Attente Disjonction répétée Indépendance d'ordre Entrelacement Parallélisme
Tâche = hiérarchie
(a) A() (b) A(
avec = acteoù est une non-action
Modèle de tâche : Ensemble des actions Amuni de relations: précédé (<), suivi (>), simultané (||), disjonctif (OU), Indépendance d'ordre (ET), entrelacements (,)
Tâche
Plan(1) Plan(2) Plan(3) etc.
Scén(1,1) Scén(1,2) etc.
Script(1,1,1) etc.temps
A1, A2, A3, ...... An : suite d'actions effectuées
Rep
rése
ntat
ion
stat
ique
Représentation
Script : s (ou scénario)| appartient-à {scénarios}| liens de séquentialité {<, >, ||, OU, ET}| Corps : {Actions}| Conditions : {Contraintes}|_ Effets : {Actions} Action : A| appartient-à {scripts s}| liens de séquentialité {<, >, ||, OU, ET}| Corps : {Processus élémentaires}| Conditions : {Contraintes}|_ Effets : {Processus élémentaires}
Activité Actes verbaux et gestuels
Actions et situations
But atteint P1 réalisé
Intention en action
A(1) A(2) A(3) A(4)
P1
S1
S2
s2
s4s5
temps
Š
Š Š
Š
ŠŠ
Š Š
Activité :
Modèles de tâche pour conduire l'interaction : on s'appuie sur le modèle de tâche prescrit, pour situer le cadre pragmatique : on s'appuie sur les connaissances requises, Le modèle de tâche décrit la structure de coordination des activités entre l’usager et la machine
Deux catégories de modèles
Explicites Implicites
Modèles explicitesDéfinition : un modèle de tâche explicite décrit de manière explicite la succession des actions (corps, effets, conditions, ordonnancement, etc.) conduisant à un but donné. Propriété : ce modèle convient bien aux tâches dites de routine.
Formalismes :CLG [Moran, 81], GOMS [Card, 83], TAG [Payne, 86], MAD [Pierret-Golbreich, 89], ETAG [Tauber, 90], TKS [Johnson, 91], UAN [Hartson, 92], LOTOS [Amodeus, 93]etc. Outils :Arbres ET/OU, ATN, Pétri, Schémas, etc.± richesse des opérateurs
UAN [Hartson, 92]
Tâche sélectionner objet
Acte utilisateur
Action machine
Etat
CursorMove Icône(objet) MouseDown MouseUp
Icône(objet) Inverse vidéo Icône(objet) inv.video
ObjetSélectionné(objet)
Modèles implicitesDéfinition : un modèle de tâche implicite décrit seulement le but à atteindre et quelques moyens pour l’atteindre. Propriété : ce modèle convient aux tâches dites “innovantes” ou de conception. Formalismes issus de l’IA :• exploration d’arbres de buts [Mahler, 85], [Mittal, 85],• sélection et expansion de plans de conception [Brown, 85],• proposition et révision d’hypothèses par satisfaction et propagation des contraintes [Marcus, 86],• modification de solutions presque bonnes [Stallman, 77], [Howe, 88], Outils :Prototypes, algorithmes génétiques, etc.
Algorithmes génétiques
Pour une séquence P de prototypes donnée et un but B à atteindre :
a) Mutation P’m M(Pm P)
b) Croisement P’c C((P’m) (P-Pm))
c) Sélection P’ S (P’c)d) Satisfecit si x P’ satisfaisant B
alors arrêtsinon P = P'; retour a)
Modèle d’usagerProfil…
• Perceptif• Cognitif • Actionnel
(-> par le langagier et le non-langagier)• Psycho-social Usage : Comportement typemodèle de l’usager ou des usages ?
Les connaissances
Connaissances de U sur le monde
Connaissances de U sur M et de M sur U
Actions
U M
Conscience, Inférences
Signes
Connaissances de M supposées par U
Monde
Connaissances représentées dans M
Adaptation
Modèles d’usager• Statiques
-> Dialogue adaptable- préférences- niveau d’expertise- particularités langagières- etc.
• Dynamiques-> Dialogue adaptatif- connaissances évolutives- stratégies dynamiques- robustesse- etc.
TechniquesCentralisé Distribué
Architecture Seeheim
Modèle en couche : des dispositifs à l’application
Seeheim (1980)
Présentationcontrôle lexical
Dialoguecontrôle syntaxique
Interface de l'applicationcontrôle sémantique
n þ Ý f N Ý Ó H n ý Ù H n þ "p
PAROLE VISION
GESTION DESEVENEMENTS
APPLICATION
DIALOGUE
Modèle dela tâche
Modèle del'usager
Historiquedu dialogue
FUSIONINTERPREATION
Modèle dedialogue
Modesd'interaction
Historiquedes évts
INTERFACE
NUM NUM
SOFT
WA
RE
NUM
HA
RD
WA
RE
Le composant vocal…1. Moteur2. Filtrage acoustique3. Filtrage linguistique4. Lexique5. Rehaussement 6. Rejet 7. Analyse sémantique8. Synchronisation9. Fusion10. Transduction phonétique 11. Prosodie
ReconnaissanceCMC
Fusion
SynchronisationCalibrage
Lexique
Analysesémantique
Filtrageacoust.
Rehausst.
Transduction phon.
Rejet
Filtrage linguistiqueHypothèses
actes de parole
Séquencesreconnues
voie 1
voie 2
signalexterne
Prosodie
Apprentissage
La boucle « à événements »
Phase d'introduction Etat courant Réception des événements Analyse et interprétation si incohérent alors modification ou abandon si incomplet ou ambigü alors explicitation si invalide alors explication si validé alors exécution si demande aide alors aide Prédiction actions suivantes selon type utilisateur proposition aide Analyse du comportement de l'utilisateur remise à jour du modèle utilisateur Phase de conclusion
Sortie
Entrée
ARCH : Seeheim révisé
Adaptateur de noyau
fonctionnelNoyau
Fonctionnel
Contrôleur
de Dialogue
Techniques de
PrésentationInteracti
on de Bas
Niveau
ARCH : ex. système Matis
Adaptateur de noyau
fonctionnelNoyau
Fonctionnel
Techniques de Présentation
Phrasesreconnues
Interaction de Bas NiveauEntrées et Sorties graphiques
Système de fenêtrageQueues d'événements
Interface Builder
Entrées en langage naturel
Parser (Grammaires)
Mapper
Vocabulaire
Contrôleur
de Dialogue
Reconnaissance
ARCH : ex. système Matis
Adaptateur du
Contrôleur de Dialogue
Noyau Fonctionnel
Techniques de
PrésentationInteracti
on de Bas
Niveau
Requêtes sous forme de structure de données
Base de Données
Requêtes S.Q.L.
Requêtes S.Q.L.
Résultats sous
forme textuelle
Traduction
noyau fonctionnel
Modèles à agents
Modularité et parallélisme Conception itérative (modifiabilité) Dialogue à plusieurs fils Mise en œuvre des collecticiels
Correspondance avec l’approche objets Catégorie d’agents réactifs => classe Événement => méthode Encapsulation : l’agent est seul à modifier son
état Mécanisme de sous-classe
MVC (Smalltalk)
M = MODEL la compétence abstraite de l’agent (noyau fonctionnel) V = VIEW le rendu perceptible de l’agent (comportement en sortie) C = CONTROLLER le comportement en entrée
Un agent = 3 facettes Une hiérarchie d’agents
Architecture PAC (Coutaz 87)
Une hiérarchie d’agents
AP
C
AP
C
AP
C
AP
C
Menu
DessinPale
tte
AP
C
P A
Présentation
Abstraction
Contrôle
Exemple : le réchaud
Deux agents : la casserole et le réchaud
ON/OFF
PA
C
TempRéchaudOn/off
PA
C
MasseEauTempEau
TempSource
ObjetSur
ObjetSur
Réchaud(TempSource, TempAmbiant, On, ObjetSur)facette-P
image-réchaudif-MouseClick(button) On ; Color(button)=rougeif-MouseDoubleClick(button) ¬On ; Color(button)=noirif TempRéchaud > Teff image-effluves
facette-Aif-On TempRéchaud=F+(TempRéchaud, t)
else TempRéchaud=F-(TempRéchaud, TempAmbiant, t)facette-C
if-ObjetSur TempSource = TempRéchaud
Casserole(TempSource, TempAmbiant, TempEau, MasseEau)facette-P
image-casseroleif-MouseDrag(Réchaud) ObjetSur ; else ¬ObjetSurif TempEau > T100 image-bulles
facette-ATempEau=H(TempEau, MasseEau, TempSource, t)
facette-Cif- ¬ ObjetSur TempSource=TempAmbiant
ARCH-MVC
Techniques de Présentation
Ensemble d'objets d'interaction
Analyse des phrases reconnues
Interface avec le Noyau Fonctionnel
Adaptateur du domaine de l'application
Noyau Fonctionnel
Spécifique au domaine de l'application
Niveau Bas d'Interaction
Système de fenêtrage
Reconnaissance de la parole
Objets d'Interaction
Contrôleur de Dialogue
Objets de Présentation
Objets Conceptuels
Objets du Domaine
Composants indépendants des modalités
Contrôle
Abstraction Présentation
Base d'objets
Base de tâches
ouvrir dilater couper coller écouter etc.
fich cur sona pale etc.
Historique
Réseau d'actions
fichier: a.sig fenêtre:3 fichier: a.ech SYNCH(a.sig) etc
syntaxe
P GV GN V GN GP Mvt etc.
lexique Scripts
Introduction Corps Conclusion
Exemple : agent linguistique
Morpho-syntaxeSémantique
Pragmatique
Perspectives
Interface,tend à posséder...
• des représentations sur l’opérateur, aux plans cognitif et/ou social,• une représentation des capacités perceptives et sensorielles humaines,• un modèle du domaine de la tâche,• un modèle d’interaction et/ou des règles sociales,• une représentation d’elle-même (pour s’adapter ou pour être plus générique) et de ses différents dispositifs.
Perspectives
Evolutions prochaines ? Multimodalité, multi-sensorialité
parole, geste, langage, vision
Modes de communicationà distance, virtualisés, augmentés
Diversitépublic, tâches, objets communicants,
environnementLes ingénieurs ne sont pas seuls concernés par les interfaces
Recommandations
A l’ingénieuril manque des outils génériques de spécification
et de génération des interfacesil faut en même temps personnaliser l’interfaceil faut maîtriser tous les dispositifs, les
fiabiliser... il manque des méthodes d’évaluation
A l’ergonomeil faut rechercher une plus grande synergie dans
le processus de conceptionil manque une ergonomie prédictiveil faut une formation adaptée des ingénieurs
Au sociologue, au juristeil manque une « logique » des usagesil y a des problèmes éthiques