Evaluering vol. 1 · samme oppgavene (memorability) EVALUERING - KONTROLLERTE OMGIVELSER ......

Evaluering vol. 1Plenum IN1050 Uke 11

Maria og Helle

Hva skjer i dag?

EVALUERING- Hva og hvorfor- Viktige begreper

TILNÆRMINGER OG TILHØRENDE METODER- Kontrollerte omgivelser- Naturlige omgivelser- Uten brukere

EVALUERING

Aktivitet

EVALUERING

Hvorfor?- Evaluering er en av de mest sentrale aktivitetene i UCD. - Dersom man ikke evaluerer, hvordan skal man ellers vite at man har

laget et system brukeren vil ha (validere), og at man har laget det slik brukeren vil ha det (verifisere)?

- Evaluering er også datainnsamling, men har et annet fokus: å på en eller annen måte undersøke et konsept eller en prototypes egnethet/kvalitet.

EVALUERING

Hvordan?- Når man velger metode for evaluering bør man begynne med å svare

på disse spørsmålene: - Hva ønsker jeg å finne ut om systemet? - Hvilken metode gir meg den dataen jeg er ute etter? - Hvilken metode vil gi meg svar på mine spørsmål?

EVALUERING

Ting å tenke påHva vil man finne ut av?

- Bestemme konsept?- Store eller små designvalg?- Finne designproblemer?- Brukbarhet eller brukeropplevelser?

Hvordan skal man finne ut av det?- Vise skisser/storyboards til brukere?- Teste interaktiv prototype med brukere i lab?- Bruke eksperter innen HCI eller domenet?- Teste prototype i naturlig miljø?

Praktiske ting- Hvor, når, hvem, metrikker, måling, utstyr?

EVALUERING

Formativ vs. summativFormativ

- Utføres tidlig i prosessen, ofte med lavoppløselige prototyper- Store endringer kan skje raskt- Eksempel: evaluere ulike konsept eller hvilket ikon man skal bruke

Summativ- Utføres senere i prosessen hvor mer detaljert designvalg er tatt- Måle påvirkningen systemet/designvalget har på brukergruppe- Eksempel: evaluere hvor effektiv en funksjon er

TILNÆRMINGER

EVALUERING

Tilnærminger→ Naturlige omgivelser

→ Kontrollerte omgivelser→ Uten brukere (analytisk evaluering)

EVALUERING

Naturlige omgivelser

EVALUERING

Kontrollerte omgivelser

EVALUERING - KONTROLLERTE OMGIVELSER

Brukbarhetstesting- Når vi brukbarhetstester, tester vi opp mot brukbarhetsmål:

- Effektivitet: hvor godt vi klarer å løse oppgaver (effectiveness)

- Flittighet: hvor raskt vi klarer å løse oppgaver (efficiency)

- Tilfredshet: hvor tilfreds vi er med å løse oppgaver (satisfaction)

- Lærbarhet: hvor lett kan vi lære oss å løse oppgaver (learnability)

- Memorerbarhet: hvor mye som huskes hvis vi etter stund skal løse de

samme oppgavene (memorability)

EVALUERING - KONTROLLERTE OMGIVELSER

Brukbarhetstesting- Det er også viktig å tenke ut hvilke metrikker du ønsker å måle:

- Tid (feks. på én oppgave, effektivitet)

- Fullføringsrate (oppgavesuksess)

- Antall feil

- Antall forsøk

- Lærbarhet (hvordan forbedres feil og effektivitet over tid)

Metrics is a system or standard of measurement.

EVALUERING

Uten brukere

EVALUERING - UTEN BRUKER

Heuristisk evaluering- Heuristikk: bygger på (nedfelte) erfaringer og prinsipper- Designere og domeneeksperter er evaluatorene- Plukker ut heuristikker man skal se etter

- Eksempelvis: 10 usability Heuristics for User Interface Design- Nielsen: kan avdekke opptil 80% ved 3 - 5 deltakere

https://www.nngroup.com/articles/ten-usability-heuristics/

EVALUERING - UTEN BRUKERE

Cognitive walkthrough - Designet evalueres av eksperter - Fokus på om designet støtter brukeren i oppgaveløsning - Bruker psykologiske prinsipper

- For hvert steg: - Hvilken påvirkning vil interaksjonen ha? - Hvilke kognitive prosesser kreves fra brukeren? - Hvilke læringsproblemer kan oppstå?

“MIN ONKEL BLE FRISK AV KIROPRAKTIKK”

Kiropraktorbehandling

Ny sengNy pute

Tid

Trening

Stress

Mat

Vær

Ferie

Nye sko

EVALUERING

Metoder og teknikker for evaluering

Kontrollerte omgivelser Naturlige omgivelser Uten brukere

- Observasjon- A/B-testing- Presentere

storyboards/skisser- Intervju og diskusjon- Brukbarhetstesting

- Feltstudier (etnografiske metoder)

- Observasjon- Gruppeintervju- Systemlogg- Brukerdagbok- Contextual inquiry

- Cognitive walkthrough- Heuristisk evaluering- Modellering

EVALUERING

Metoder og teknikker for evaluering

Kontrollerte omgivelser Naturlige omgivelser Uten brukere

- Observasjon- Presentere

storyboards/skisser- Intervju og diskusjon- Brukbarhetstesting

- Feltstudier (etnografiske metoder)

- Observasjon- Gruppeintervju- Systemlogg- Brukerdagbok- Contextual inquiry

- Ekspertevaluering- Cognitive walkthrough- Heuristisk evaluering- Modellering

Tilnærming

Metode Teknikk

PRAKTISK OPPGAVE

Praktisk oppgave

Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen.

Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.

Praktisk oppgave

Case: Du og din prosjektgruppe har utviklet en prototype av en app som skal brukes for stemmegivning ved stortingsvalg. Prototypen er ganske høyoppløselig. Brukere kan interagere med den, og avgi en fiktiv stemme på et ønsket parti. Dere ønsker nå å evaluere brukeropplevelsen til denne løsningen.

Oppgave: Hvilken tilnærming velger dere? Hvilke(n) metode(r)? Hvilke deltakere ønsker dere å inkludere? Hvilke etiske hensyn må dere eventuelt ta? Begrunn valgene.

EVALUERING

EksamensoppgaverDefinisjonsteori

- Hva er de tre hovedtilnærmingene til evaluering?- Gi et eksempel på en måte å gjøre indirekte observasjon.- Hva ligger i begrepene pålitelighet (reliability), gyldighet (validity) og økologisk gyldighet (ecological validity)?

OBS! Kommer neste uke

Begrepsteori- Hvilke fordeler har man ved å gjennomføre en evaluering i kontrollerte omgivelser kontra naturlige omgivelser?- I noen situasjoner er det ikke hensiktsmessig å involvere brukere ved evaluering. Diskuter hva en slik situasjon kan

være og gi eksempler på metoder eller teknikker man kan bruke.- Hva vil du si er fordelen med en ekspert- (analytisk) evaluering?- Har du noen eksempler på evalueringsformer hvor observasjon kan inngå? Hvorfor tror du observasjon kan være et

nyttig verktøy her?- Hva går brukbarhetstesting (usability testing) ut på og hvilke fordeler har denne typen testing?

Diskusjonsoppgaver- Hvilke fordeler oppnår man ved analytisk evaluering sammenliknet med andre tilnærminger?

OBLIG 4

Spørsmål?

Takk for i dag Neste uke: Evaluering vol. 2

Lurer du på noe? Send oss en mail!Maria: mlstolin@ifi.uio.noHelle: hellekhe@ifi.uio.no