View
105
Download
2
Category
Preview:
Citation preview
1
IF-05
Qualité ergonomique des logiciels
Pascal Salembier
2
Plan
Qualité et qualité… : génie logiciel et qualité d’usage Qualité ergonomique et utilisabilité
• Comment évaluer l’utilisabilité ?• Inspection ergonomique et test utilisateur• Normalisation
Au-delà de l’utilisabilité : « new usability » et « user experience »• Concepts• Méthodes• Limites
Exemples de conception basés sur un point de vue enrichi de l’utilisabilité
3
Quelques mauvais exemples…
4
Désorientation perceptivo-cognitive
Je regarde où ?…
5
Quelle heure est-il ?…
6
A quelle vitesse ?…
7
Qu’est-ce que c’est ?…
8
Codes multiples
9
Quel numéro ?…
10
Facteurs secondaires de déterminationde la qualité d’usage
Top-loading VCR
11
Situations professionnelles « à risque »
Three Miles Island Les opérateurs ne parviennent pas
à identifier que la vanne de suppression est coincée en position « ouverte »
Les opérateurs ont été induits en erreur par les indications du pupitre de commande : l’indicateur lumineux présent indique uniquement si la fermeture de la vanne a été commandée ou non ; il ne donne pas directement l’état de la vanne.
12
Prolifération des sites web… pour le meilleur et pour le pire… (1670 liens sur la page !)
13
Abstraction de cas singuliers problématiques
Des objets/commandes qui ne fonctionnent pas comme on s’y attend
Des objets/supports d’affichage/commandes différents qui apparaissent comme trop semblables
Des informations trop difficiles à voir/interpréter Des objets incompatibles entre eux Des objets difficiles à manipuler Des informations/commandes difficiles à mémoriser
14
Abstraction de cas singuliers problématiques
Des informations trop longues à s’afficher Des informations qui ressemblent à des commandes Des commandes placées de manière inattendue Des commandes disposées trop loin des dispositifs
qu’ils contrôlent Des commandes cachées Des commandes « destructrices » trop faciles à activer Des signes ambigus Des informations manquantes …
15
Qualité et qualité…
16
Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels
Optique « Génie logiciel »• Relativement bien cadrée• Appréhendable par la série de normes ISO SQuaRE
(norme de référence ISO/IEC 25000:2005 - Ingénierie du logiciel - Exigences de qualité et évaluation du produit logiciel ; normes annexes)
ISO/IEC 25001:2007 - Planification et gestion ISO/IEC 25020:2007 - Modèle de référence de mesure et guide ISO/IEC TR 25021: 2007 - Éléments de mesure de la qualité ISO/IEC 25030: 2007 - Exigences de qualité ISO/IEC 25051: 2006 - Exigences de qualité pour les progiciels et
instructions d’essai ISO/IEC 25062: 2006 - Format commun de l’industrie (CIF) pour les
rapports d’essai et de rentabilité (propose un guide pour présenter les résultats des test utilisateurs)
17
Plusieurs optiques d’évaluation/qualification/conception de la qualité des logiciels
« Le concept de «qualité à l’usage» a été employé dans l’ISO/CEI 14598-1 afin d’opérer une distinction entre la qualité considérée comme caractéristique inhérente d’un produit logiciel, et la qualité atteinte lors de l’utilisation d’unproduit logiciel dans des conditions définies, c’est-à-dire dans un contexte d’utilisation spécifique. Cette définition de la «qualité à l’usage» est très proche de celle de l’utilisabilité énoncée dans l’ISO 9241-11:1998. L’emploi du terme«qualité à l’usage» implique par conséquent la nécessité de prendre en compte les problèmes centrés sur l’opérateur humain lors de l’évaluation des produits logiciels. »NOTE La qualité à l’usage est définie comme «le degré auquel un produit peut être utilisé par des utilisateurs donnés pour répondre de manière efficace et satisfaisante à leurs besoins et satisfaire des objectifs déterminés, dans un contexte d’utilisation spécifique».
Optique « Usage »
ISO/CEI 14598-1
18
Qualité ergonomique des systèmes interactifs
Qualité ergonomique ou « utilisabilité »
• Ergonomie (définition de l’IEA)« L’ergonomie (ou l’étude des facteurs humains) est la discipline scientifique qui vise la compréhension fondamentale des interactions entre les êtres humains et les autres composantes d’un système, et la mise en oeuvre dans la conception de théories, de principes, de méthodes et de données pertinentes afin d'améliorer le bien-être des hommes et l'efficacité globale des systèmes. » « Les ergonomes contribuent à la conception et à l’évaluation des tâches, du travail, des produits, des environnements et des systèmes en vue de les rendre compatibles avec les besoins, les compétences et les limites des personnes. »
19
«Utilité» et «utilisabilité»
Utilité : propre à la vision ergonomique liée à la notion de besoin fonctionnel (existence de points de vue différents : cf approches marketing)
Utilisabilité : notion faussement simple qui intègre plusieurs facettes et déterminants• Définition ISO 9241-11 (Exigences ergonomiques pour le travail
de bureau avec les terminaux à écrans d evisualisation - Partie 11)« L’utilisabilité est le degré selon lequel un produit peut-être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction dans un contexte d’utilisation spécifié. »
20
Utilisabilité
Efficacité : représente ce qui produit l’effet attendu par l’utilisateur. Elle concerne la précision ou degré d’achèvement selon lesquels l’utilisateur atteint des objectifs spécifiés
Efficience : représente la capacité à réaliser une tâche donnée avec le minimum d’effort ; plus l’effort est faible, plus l’efficience est élevée. Elle concerne le rapport entre les ressources dépensées, la précision et le degré d’achèvement selon lequel l’utilisateur atteint des objectifs spécifiés
21
Utilisabilité
Satisfaction– Initialement notion « fourre-tout », mal spécifiée,
appréhendable selon des méthodes approximatives (échelles de satisfaction, questionnaires,…)
– Origine : incapacité à rendre compte de certains phénomènes avec les seuls critères d’efficacité et d’efficience, associés à des métriques non discriminantes
– Incorporation progressive de dimensions d’évaluation supplémentaires par rapport à la norme ISO 9241-11 : facilité d’apprentissage, facilité de mémorisation
22
Utilisabilité
Facilité d’apprentissage« La facilité d’apprentissage est ce qui permet à un utilisateur débutant de se consacrer
rapidement à son travail, en diminuant le temps nécessaire à l’apprentissage de
l’application. La facilité d’apprentissage et la facilité d’utilisation sont généralement obtenus
par différentes techniques qui permettent un guidage plus ou moins étroit de l’utilisateur. »
Facilité de mémorisation« La facilité de mémorisation est ce qui permet à l’utilisateur, après une période plus ou
moins longue de non-utilisation, d’effectuer ses tâches sans avoir à réapprendre le
fonctionnement de l’application. Cet attribut est d’autant plus important que l’application
n’est utilisée qu’occasionnellement. Une application dont le fonctionnement est facile à
retenir ne nécessite pas ou peu de réapprentissage. On voit ici que la facilité d’utilisation
est liée à la facilité d’apprentissage. »
23
Evaluation de l’utilisabilité
Comment évaluer l’utilisabilité d’un système interactif ?– Approche centré sur le système : inspection
ergonomique, évaluation experte– Approche centrée sur le couplage
utilisateur/caractéristiques du système : tests utilisateurs
24
Inspection ergonomique : opérationnalisation de la notion d’utilisabilité
Conditions de l’utilisabilité d’un système interactif : respect de critères (ergonomiques) utilisables pour la conception et l’évaluation des dispositifs
Tentative d’assemblage opérationnel de résultats de travaux expérimentaux dispersés
Organisation d’un corps de recommandations existantes Mise en oeuvre des critères d’évaluation lors de l’analyse
d’une IHM doit permettre de se passer de tests utilisateurs Applicables par des non-spécialistes : « discount method » Niveau d’explicitation suffisant pour permettre des mesures Niveau de standardisation suffisant pour permettre la
réplicabilité de la démarche
25
Critères ergonomiquesd’évaluation des IHM
26
Critères ergonomiques
1. Guidage1.1. Incitation1.2. Groupement/Distinction entre items
1.2.1. Groupement/Distinction par la localisation1.2.2. Groupement/Distinction par le format
1.3. Feedback immédiat (p.53)
1.4. Lisibilité
2. Charge de travail2.1. Brièveté
2.1.1. Concision2.1.2. Actions minimales
2.2. Densité informationnelle
3. Contrôle explicite3.1. Actions explicites3.2. Contrôle utilisateur
27
Critères ergonomiques
4. Adaptabilité4.1. Flexibilité4.2. Prise en compte du niveau d’expérience de l’utilisateur
5. Gestion des erreurs5.1. Protection contre les erreurs5.2. Qualité des messages d’erreur5.3. Correction des erreurs
6. Homogénéïté/Cohérence7. Signifiance des codes et dénominations8. Compatibilité
28
Critères ergonomiques
Catégorisation intensionnelle, extensionnelle, par différentiation
Validations expérimentales avec différents groupes de spécialistes facteurs humains de certaines propriétés des critères :• Complétude (couvre ts les problèmes rencontrés)• Indépendance (pas de recouvrement entre critères)• Applicabilité (tous les critères sont utilisés)
Limites des règles de conception/évaluation• Trop générales• Trop singulières• Travail d’adaptation à réaliser• Quid des nouvelles technologies pour lesquelles pas de
critères ?
29
Tests utilisateur
Inspection ergonomique basée sur les critères ne se substitue pas à d’autres méthodes d’évaluation (tests utilisateurs)
La « qualité » ergonomique du système va être évaluée par des mesures de performance de l’usage du dispositif
Le problème est donc de trouver des indicateurs de performance pertinents
Classiquement : mesures de performance comportementale censés renvoyer à documentation de processus perceptifs/cognitifs (approche psychologie cognitive expérimentale classique)
Plus mesures de la « satisfaction » estimée par échelles de Likert (typique psychologie sociale expérimentale)
30
Tests utilisateur
Élaborer un test utilisateur (différentes phases)
Définir les objectifs du test Choisir et recruter les participants Sélectionner et organiser les tâches à réaliser Créer des scénarios de test Choisir quelles dimensions de l’utilisabilité évaluer Préparer le matériel et l’environnement de test Choisir les expérimentateurs Conduire le test (consignes, accompagnement, interventions,…) Développer et faire passer des questionnaires de statisfaction Analyser les données Présenter les résultats
31
Tests utilisateurs : normalisation
Normalisation de la passation de tests utilisateurs, du choix des méthodes, du format des CR- ISO/IEC 25062: 2006 ; ISO 16982- Permettent d’assurer la traçabilité et l’historiques des
campagnes de test- Elaborées pour permettre la comparaison entre résultats
de tests utilisateurs, et la capitalisation de connaissances relatives à l’utilisabilité des systèmes interactifs
• Basée sur la norme US ANSI NCITS 354-2001- Permet de standardiser le rendu des résultats de tests utilisateurs- Donne un exemple de cartouche de rapports et précise les
informations minimales que ce type de rapport doit contenir- Propose une checklist pour le suivi de la complétude de la passation
(p.5) et du rapport (pp. 25-29)
32
Méthodes pour les tests utilisateurs (ISO 16982)
33
Exemples de mesures
Extraits de la norme 9241 -11
34
Méthodes : choix en fonction des caractéristiques des utilisateurs(ISO 16982)
35
Méthodes : choix en fonction des caractéristiques des tâches (ISO 16982)
36
L’utilisabilité épuise-t-elle la qualité ergonomique d’un système interactif ?…
Le respect des critères ergonomiques et de « bons » résultats à des tests utilisateurs garantissent-ils la qualité ergonomique d’un système ?
Même avec enrichissement des dimensions d’évaluation (apprentissage ; mémorisation) : incapacité à rendre compte de certains résultats– Ex : visioconférence vs. Audioconférence (Ohlson et al.)– Ex : échec commercial de certains produits grand-public– Ex : refus d’utilisation de sytèmes d’aide à la décision dans
environnements critiques Nouvelle étape : intégration des aspects économiques,
esthétiques, émotionnels, interactionnels, liés à la confiance,…=> « New usability » ; « User experience »
37
« New usability » ACM Transactions on Computer-Human Interaction, Vol.9, n°2, June 2002
Evolution du statut de l’utilisateur– User ---> Digital consumer (plus complexe à appréhender)
Extension des domaines d’application– Environnements domestiques– Ludo-éducatif, Loisirs
Extension des domaines technologiques– Terminaux mobiles (cadre classique de l’interaction modifié)– Intelligence ambiante (problème de l’attention, de l’interaction incidente
et implicite)– Informatique ubiquitaire
Extension de l’empan temporel de l’évaluation– Appropriation– Usages émergents– «Innovation ascendante»
38
« User Experience » Behaviour & Information Technology, Vol.25, n°2, 2006
Approche holistique– équilibre entre les aspects pragmatiques liés à l’accomplissement d’une
tâche et les aspects indépendants de la tâche (« hédoniques »)– Réintégration de dimensions esthétiques, émotionnelles,
développementales, sociales,…– La situation (caractère « ici et maintenant » de l’expérience devient l’unité
pertinente d’analyse) Focus sur le « subjectif » (vs. « objectif » de la usability traditionnelle)
oriente le choix des méthodes et des paradigmes de référence (psycho-sociologie, micro-sociologie, phénoménologie plutôt que psychologie cognitive)
Accent sur le « + » plutôt que sur le « - » Reconnaissance de la variation dynamique des critères
(ex : centration sur les objectifs liés à la tâche puis sur incitation à l’exploration)
Equilibre « harmonieux » entre l’intérêt de l’utilisateur et l’intérêt commercial de l’entreprise (faire intervenir le jugement de tiers dans l’évaluation)
39
« New usability » et « User experience »
Caractère inapproprié des approches classiques de usability engineering– Situations de laboratoire vs. études de terrain– Paradigme HCI classique (1 ordinateur+1 utilisateur dans un lieu fixe
interagissant de manière intentionnelle et visible) vs. nouveaux paradigmes (appliances disséminées dans l’environnement interagissant de manière implicite ou incidente avec plusieurs acteurs)
– Echelle de temps différentes– Multi-dimensionnalité de l’utilisabilité (de l’utilisateur
professionnel au consommateur numérique) : intérêt (« value ») de l’interaction est de nature variable (plaisir dans l’interaction, réalisation rapide d’un objectif, émotion esthétique, acquisition de connaissances,…)
40
Méthodologie d’évaluation « enrichie »
Modifications des dispositifs de recueil des données (ex : observation)
41
Méthodologie d’évaluation « enrichie »
Questionnaires Tests psychotechniques/Grilles de personnalité Entretiens Recueil de commentaires sur l’expérience
d’interaction
42
Entretiens d’Explicitation et d’Autoconfrontation
Verbalisations consécutives à l’activité Sans traces : Explicitation
• Guidage par l’intervieweur : focalisation et relances sur les points importants ; techniques d’entretien spécifiques
Assistées par les traces : Autoconfrontation• Eviter les rationnalisations a posteriori
(justifications)• Relances adaptées pour éviter ce type de biais
43
Méthodologie d’évaluation « enrichie »
Questionnaires Tests psychotechniques/Grilles de personnalité Entretiens Recueil de commentaires sur l’expérience d’interaction Délégation du recueil de données aux sujets (diary
reports, scrapbooks,…)
44
Limite actuelles de la notion de « user experience »
Approche pré-théorique (voire a-théorique…)– Pas de concepts et de langage de description ancrés dans un
arrière-plan théorique– Quelques candidats possibles
• Théories instrumentales de l’Activité : accent sur le « développement » psychique du sujet ; ré-actualisation dans le concept « d’extension du pouvoir d’agir »
• Psycho-phénoménologie et neuro-phénoménologie (en liaison avec les travaux sur la conscience)
Développement de méthodes dédiées Démonstration systématique de l’intérêt des
évaluations basées sur l’UX et lien avec les problématiques de « qualité »
45
Documents associés au cours
• Norme ANSI NCITS 354 - 2001 Common Industry Format for Usability Test Reports (CIF). Similaire à la norme ISO/IEC Exigences de qualité et évaluation du produit logiciel (SQuaRE) - Formation commun de l’industrie (CIF) pour les rapports d’essai et de rentabilité.
• Critères Ergonomiques de Bastien & Scapin, 1993 (rapport INRIA)
• Norme ISO 13407 Processus de conception centrée sur l’opérateur humain pour les systèmes interactifs
• Norme ISO/TR 16982 Méthodes d’utilisabilité pour la conception centrée sur l’opérateur humain
46
• Le site de Jakob Nielsenhttp://www.useit.com/jakob/index.html
QuickTime™ et undécompresseur TIFF (LZW)
sont requis pour visionner cette image.
• Les ouvrages de Don Norman
QuickTime™ et undécompresseur TIFF (LZW)
sont requis pour visionner cette image.
Recommended