1

Træning af software-udviklere i usability-arbejde

Jane Billestrup

Human-Computer Interaction (HCI)Research Centre for Socio-Interactive DesignAalborg Universitet, Institut for Datalogi

jane@cs.aau.dk

Træning af software-udviklere i usabilityarbejde

Baggrund

● Ikke altid realistisk for virksomheder at have ansat usabilityspecialister

● Begrænsning i økonomi og antallet af specialister

Formål

● At træne softwareudviklere i at arbejde med usability og kunne udføre en brugerevaluering.

● Uddanne softwareudviklere til at udføre “barfodsevalueringer”

Program for workshops

Dag 1 Dag 2 Hjemme-arbejde

Dag 3

kl. 9 – 16

Oplæg ●Hvad er usability●Evaluering af usability●Usability i praksis●Investering i usability●Opgavedefinering●Planlægning

Øvelser●Find problemer i eksisterende design●Opgavedefinering til test● Planlægning af test

Opsamling

kl. 9 – 15

Oplæg●Forberedelse af test●Udførsel af test●Fortolkning af resultater●Formidling af resultater

Øvelser●Forberedelse af test●Udførsel af test●Fortolkning af resultater●Formidling af resultater

Opsamling og evaluering

Udfør bruger-evalueringplanlagt på kurset i øvelserne

Foretag video-analyse

kl. 9 – 15

Oplæg●Opsamling på dag 1 + 2 og erfaringer efterfølgende●Introduktion til Instant Data Analysis (IDA)

Øvelser●IDA med 2 testpersoner●IDA analyse

Opsamling og evalueringDiskussion af erfaringer

Opbygning af kursus

EvalueringFormål og baggrund

Resultat

Formål og baggrund

● Hvad er brugervenlighed?

● Eksempler på problemer

● Klassificering af

problemerne

6

Usability: Hvorfor er det vigtigt?

Dårlig usability vedbliver med at give problemer

Tiden heler ikke dårligt design

• Longitudinal study of usability with EPRsystem: IBM IPJ 2.3 (05-2002 og 08-2003)

• Evaluation with nurses

20022003

20022003

20022003

7

Aktiviteter i en usability-evalueringJeffrey Rubin – Handbook of Usability Testing

• Form: formative/summative• I udviklingsprocessen:

• Eksplorativ• Vurdering• Validering• Sammenligning

• Deltagere og roller• Sted og udstyr

• Genskabelse af kontekst• Informering af deltagerne• Fordel roller i teamet• Klargør udstyr• Opgaveudarbejdelse• Fremstilling af materialer

• Tidsforbrug• Videoanalyse• Transskribering af logfiler• Identifikation af problemer• Kategorisering af problemer

Testplan:• Formål• Hovedspørgsmål• Brugerprofil• Deltagere og roller• Testmetoder• Opgaver• Kontekst og udstyr• Dataindsamling• Formidlingsform

For hver deltager:• Introduktion• Opgaveløsning• Dataindsamling• Logning• Debriefing

• Rapport (komplet)• Rapport (fokuseret)• Redesignforslag• Redesign workshop• Observation • Multimedia præsentation

Opgavedefinering

Planlægning

Forberedelse

Udførelse

Fortolkning

Formidling

8

Hvornår i systemudviklingsprocessen

• Formative evaluation: improve design

• Summative evaluation: check product

ComparisonTest

ExploratoryTest

AssessmentTest

ValidationTest

3.Preliminary

Design

4.DetailedDesign

5.Product

Build

6.ProductRelease

1.User and UsageNeeds Analysis

2.Specification ofRequirements

EarlyTest

9

Testplanen

I testplanen beskrives følgende specifikke forhold for evalueringen:

• Formål

• Hovedspørgsmål

• Brugerprofil

• Deltagere og roller

• Testmetoder

• Opgaver

• Kontekst og udstyr

• Dataindsamling

• Formidlingsform

Genskab konteksten

• Brugeren:• Demografi: alder, køn,

uddannelse, social og kulturel baggrund, ...

• Erfaring med IT generelt og med systemet

• Brugsomgivelsen:• Hvor foregår brugen normalt• Miljø, personer og ting I denne

omgivelse• Brugssituationen:

• Hvilken arbejdsopgave• Hvad gør brugeren med systemet• Relation til andre personer og

opgaver• Relevante og realistiske data

Udførsel af test

● Brugerevaluering udføres efter workshop dag 1+2● Mulighed for at få hjælp under testen ● Brugerevaluering blev efterfulgt af en videoanalyse

12

Videoanalyse

• Brugbarhedsproblem – hvad er det og hvordan forholder det sig til definitionen

• Identificer steder, hvor brugere• Laver fejl• Skifter angrebsvinkel• Kommer med udbrud• Andre markante skift

• Find årsagen til, at der bruges længere tid eller laves fejl – vanskeligt og tidskrævende

Transskribering af logfil

Transskription: Detaljeret skriftlig beskrivelse af et hændelsesforløb.

Ud fra video og noter taget undervejs produceres en detaljeret logfil:

13

Transskribering af logfil

Transskription: Detaljeret skriftlig beskrivelse af et hændelsesforløb.

Ud fra video og noter taget undervejs produceres en detaljeret logfil:

14

Formidling

● Resultat af brugerevaluering

● Usability rapport

● Redesign workshop

● Multimedie-præsentationer af problemer

● Inddrage udviklere i brugerevalueringerne som logger

Instant Data Analysis (IDA)

● Analysen laves umiddelbart efter afslutningen af sidste brugertest

● Der anvendes ikke videomateriale til at foretage analysen

● Logfiler transkriberes ikke

17

IDA: Roller

– Testleder: ● Oplæser instruktioner● Overholder tænke-højt proceduren● Osv.

– Data logger:● Observerer● Noterer problemer løbende

– Facilitator● Ordstyrer● Stiller opklarende spørgsmål● Noterer problemer på tavle● Organiserer ift. temaer● Behøver ikke at have overværet testen● Renskriver problemlisten

IDA: Procedure

1. Brainstorm (testleder og logger)

2. Gennemgang af opgaver (testleder og logger)

3. Gennemgang af noter (logger)

– Kategorisering af problemer

(testleder og logger)

– Varighed: 1-1½ time

– Renskrivning af problemliste

– (facilitator)

● Overskrift, problembeskrivelser

m. referencer til systemet● Varighed: 1-1½ time

– Validering af liste (testleder,

logger og facilitator)

● Varighed: ½-1 time 18

19

IDA: Sammenligning m. klassisk evaluering

Antal fundne problemer:

IDA (69 %): Kritisk = 89 %, Alvorligt = 76 %, Kosmetisk = 42 %

Video (82 %): Kritisk = 72 %, Alvorligt = 76 %, Kosmetisk = 95 %

IDA VideoAntal problemer ialt

Kritisk 16 13 18

Alvorligt 13 13 17

Kosmetisk 8 18 19

Total 37 44 54

20

IDA: Sammenligning m. klassisk evaluering

Tidsforbrug:

IDA = 10.5 t., Video = 61.75 t.

IDA Testleder Datalogger Facilitator Total

Analyse 2t 2t 2t 6t

Renskrivning 1.5t 1.5t

Validering af liste 1t 1t 1t 3t

Total 3t 3t 4.5t 10.5t

Video Evaluator 1 Evaluator 2 Evaluator 3 Total

Analyse 15.5t 13.75t 14.5t 43.75t

Fletning af lister 6t 6t 6t 18t

Total 21.5t 19.75t 20.5t 61.75t

Sammenfatning

Læring om● Hvorfor det er vigtigt at reducere mængden af usabilityproblemer● Hvordan det gøres i praksis● Hvordan en usability test planlægges og udføres● Hvordan data analyseres efterfølgende ● Hvordan resultaterne formidles

Læring ved ● Klassiske forelæsninger● Øvelser i grupper og individuelt● Selvstudie ● Mulighed for eksperthjælp under selvstudiet

21

22

Spørgsmål?

Jane Billestrup

Human-Computer Interaction (HCI)Research Centre for Socio-Interactive DesignAalborg Universitet, Institut for Datalogi

jane@cs.aau.dk