IN1050 - Introduksjon til design, bruk, interaksjon Gjennomføring … · 27.10.20 IN1050 –Introduksjon til design, bruk og interaksjon Forelesning 11: Gjennomføring av evaluering

27.10.20 1IN1050 – Introduksjon til design, bruk og interaksjon Forelesning 11: Gjennomføring av evaluering

IN1050 - Introduksjon til design, bruk, interaksjon

Gjennomføring av evaluering

27. oktober 2020

Institutt for Informatikk, Universitetet i Oslo

[email protected]


Dagens forelesning

• Årets eksamen og neste ukes forelesning

• Repetisjon av sist ukes pensum

• Tre tilnærminger for evaluering

• Kombinasjon av tilnærminger

• Evalueringsmetoder

• DECIDE-rammeverket

• Bestemme mål

• Utforske spørsmålene

• Velge tilnærming og metode for evaluering

• Identifisere praktiske forhold

• Beslutte hvordan etiske forhold skal håndteres

• Evaluere, analysere, tolke og presentere data

• Obligatorisk oppgave 4

• Repetere

• Tydeliggjøre og oppklare

• Eksemplifisere

• Utvide

• Kontekstualisere


Årets eksamen

• Dato: onsdag 2. desember kl. 15:00 – 19:00

• Sted: Inspera (digital hjemmeeksamen)

• Format: alle hjelpemidler tillatt og det skal ikke være kommunikasjon studenter i mellom under eksamen

• Husk! Samme pensum og samme læringsmål som tidligere, men et annet eksamineringsformat enn tidligere

• Hva blir annerledes med innholdet i eksamen i år?

• Færre konkrete spørsmål om definisjons- og begrepsteori (tilsvarende tidligere del 1 og 2)

• Fortsatt oppgaver med et gitt case (tilsvarende tidligere del 3)

• Mer fokus på spørsmål hvor dere ikke kan skrive av svaret fra et lysark eller rett av boka

• Mer fokus på åpne diskusjonsoppgaver hvor dere selv må trekke inn relevante begreper (tilsvarende tidligere del 4)

• Avklaring rundt trøsterunde kommer til uka


Neste uke (med forbehold om endringer)

• Vi gjør oss ferdig med pensum i dag, så fra neste uke er det fokus på oppsummering, repetisjon og eksamen

• Neste uke starter vi med å snakke mer om faglig innhold eksamen

• Vi ser også på Inspera (system for digital hjemmeeksamen)

• (Hvis tid) Vi snakker om hvordan sensorer typisk vurderer oppgaver i dette emnet

• Vi kommer tilbake neste uke med en plan for resten av semesteret, inkl. plenums- og gruppeundervisningen


Hvordan bruke oss best mulig frem mot eksamen?

• Med utgangspunkt i det du allerede har:

Spørsmål til konkrete tilbakemeldinger du har fått på innleverte obligatoriske oppgaver → Obligretter, gruppelærer, Joshi

• Raske spørsmål som er raskt avklart:

Spørsmål rundt begreper du er usikker på om du har forstått korrekt → Gruppelærer, plenumslærer, Joshi

• Når du har kommet i gang med repetisjonen:

Konkrete spørsmål til tolkning av tidligere eksamensoppgaver → Gruppelærer, plenumslærer, Joshi

• Når du har begynt å øve på å svare konkret:

Gjennomlesing av konkrete svar på konkrete oppgaver fra tidligere eksamener → Plenumslærer, Joshi

• Når du er klar for generalprøven:

Vurdering av en hel eksamensbesvarelse som er besvart som en ekte innlevering → Joshi

• Vi er kan sette av tid allerede fra i dag, så dere bestemmer når dere er klare – det er ingen grunn til å vente

Husk:

- Start gjerne med et spørsmål på Teams

→ så svarer vi hvis vi kan og gir beskjed

om det heller bør rettes til noen konkrete

- Vi foretrekker å ikke ta ting over e-post

da det av erfaring fungerer bedre og går

raskere over Zoom eller ansikt-til-ansikt

→ send e-post for å avtale tid, ikke

for å stille mange spørsmål

- Vi må prøve å få tid til alle

→ jo flere som kan delta samtidig, desto

mer tid kan vi sette av (men man kan fint

ta kontakt på vegne av bare seg selv)

- Jo nærmere eksamen, desto flere

henvendelser og mindre tid for oss

→ tar dere tidlig kontakt har vi garantert

tid, venter dere til nærmere eksamen kan

det hende vi ikke klarer å finne et

passende tidspunkt


Nøkkelbegreper

• DECIDE → s. 30-39

• Bias → s. 39


Rask repetisjon: evaluering

• Evaluering: teste, eksperimentere, eksaminere, sjekke, prøve ut, verifisere, validere…

• Iterativ utvikling: design og evaluering er kontinuerlige prosesser (tatt ut av pensum i år)

Behovsanalyse →

kravspesifikasjon

Design →

prototype

Evaluering →

analyse

Obligatorisk oppgave 2




Rask repetisjon: hvorfor evaluere?

• Avgjøre hvor brukbar en løsning er for ulike brukere og brukergrupper

• Identifisere gode og dårlige egenskaper for å drive videre design

• Sammenlikne designalternativer og hjelpe oss med å ta beslutninger

• Observere effekten spesifikke interaksjoner og grensesnitt har på brukeren

• Husk:

• Evaluering er en prosess, ikke en hendelse

• Gode designideer stammer ofte fra evaluering av eksisterende løsninger

• "Making things better" starter alltid med evaluering


Rask repetisjon: tre tilnærminger

• Tre tilnærminger for evaluering:

• Kontrollerte omgivelser

Bruker involveres i kontrollerte omgivelser: brukbarhetstesting og eksperimenter i laboratorium, living labs etc.

• Naturlige omgivelser

Brukere studeres i naturlige omgivelser, f.eks. feltstudier, for å undersøke bruken av et produkt i den virkelige verden.

• Uten brukere

All evaluering som gjøres uten brukere, dvs. analytisk evaluering. Eksempler: Heuristisk evaluering, analytics, modellering.


Rask repetisjon: kombinert og opportunistisk eval.

• Kombinerte tilnærminger

• Opportunistisk evaluering

Feltstudie for å evaluere utkast til designideer og få tidlig feedback

Gjøre designendringer

Brukbarhetsteste for å sjekke spesifikke designegenskaper

Feltstudie for å se hvordan designet fungerer i naturlige omgivelser

Gjøre endelige designjusteringer


Rask repetisjon: evalueringsmetoder og teknikker

• Eksempler på metoder og teknikker som brukes:

Metode/teknikk Kontrollerte omgivelser Naturlige omgivelser Uten brukere

Observasjon Video, living lab, think-aloud, interaksjonsloggEtnografiske teknikker: skygging, flue-på-

veggen-

Spørre brukerePre- og posttestingsspørsmål, strukturerte

intervjuerÅpne intervjuer, workshops og diskusjoner -

Spørre eksperter - Heuristisk evaluering, intervjuer, diskusjoner Heuristisk evaluering, intervjuer, diskusjoner

TestingTesting av typiske oppgaver

(brukbarhetstesting)- Kognitiv gjennomgang

Modellering - -HTA, GOMS og annen teori

Modeller og teorier


Terminologi og struktur for evalueringsbegreper

Tilnærming

• Beskriver den overordnede ideen man har om hvordan man best for svar på det man lurer på

• Låser oss ikke til konkrete metoder eller teknikker, men gir oss indikasjoner på passende metoder og teknikker gjennom sin overordnede plan

Metode

• Beskriver den konkrete strukturen og omfanget på hvordan man har gått frem med én aktivitet

• Inkluderer detaljer omkring aktiviteten (f.eks. evaluering) som formål, kontekst, antall deltagere etc.

• Valg av metode må samsvare med den overordnede tilnærmingen man har argumentert for

Teknikk

• Beskriver detaljene i fremgangsmåten valgt som utdyper prosedyren man har fulgt for å gjennomføre aktiviteten

• Er ikke alltid nødvendig å ha med hvis metodebeskrivelsen er utfyllende


Terminologi og struktur for evalueringsbegreper

Tilnærming Kontrollerte omgivelser Naturlige omgivelser Evaluering uten brukere

Metoder Brukbarhetstesting Intervju Observasjon Ekspertevaluering Gjennomgang

Teknikk Skygging Flue-på-veggen Gruppeintervju Heuristisk analyse Oppgavebasert testing


Eksempel: kontrollerte omgivelser





Eksempel: naturlige omgivelser





Eksempel: evaluering uten brukere





Eksempel 1

Utgangspunkt

Jeg har valgt musikk som tema og har laget to prototyper som skal hjelpe turister med å enkelt finne frem til tradisjonell lokalmusikk når de er ute på reise. Behovene jeg kom

frem til i intervjuene omhandlet informasjonsbehov tilknyttet lokal kultur- og underholdningstilbud. Jeg har laget to prototyper som begge er ment som digital

reisekompanjonger – den første er en mobilapp og den andre er en liten fysisk musikkspiller. Kravene jeg har fokusert på har vært portabilitet (vekt), enkelhet

(grensesnitt/interaksjonstype) og delbarhet (deling).

Tilnærming

Metode

Teknikk


Eksempel 1

Utgangspunkt

Jeg har valgt musikk som tema og har laget to prototyper som skal hjelpe turister med å enkelt finne frem til tradisjonell lokalmusikk når de er ute på reise. Behovene jeg kom

frem til i intervjuene omhandlet informasjonsbehov tilknyttet lokal kultur- og underholdningstilbud. Jeg har laget to prototyper som begge er ment som digital

reisekompanjonger – den første er en mobilapp og den andre er en liten fysisk musikkspiller. Kravene jeg har fokusert på har vært portabilitet (vekt), enkelhet

(grensesnitt/interaksjonstype) og delbarhet (deling).

Tilnærming

Jeg planlegger å evaluere i kontrollerte omgivelser av både faglige og praktiske hensyn. Jeg tror den mest verdifulle tilbakemeldingen på et tidlig stadie vil være tilknyttet

grensesnittet og dets forståelighet, og det mener jeg egner seg for å undersøkes i lab hvor jeg kan la brukerne konsentrere seg om oppgaveløsning. Siden prototypene er laget

for bruk på reise er det også vanskelig med feltstudier, men det egner seg bedre når prototypene er mer modne og mindre sensitiv for elementære feil og svakheter.

Metode

Jeg trenger svar på hvordan brukerne forstår grensesnittet og hvordan det oppleves i bruk. Jeg har sett for meg at interaksjonen bør være mulig å gjennomføre selv om man

reiser sjeldent og aldri har brukt appen eller musikkspilleren før. Jeg vil derfor bruke brukbarhetstesting til å sammenlikne tiden det tar brukerne å få spilt gjennom et sett med

lokale sanger og dele minst én av dem med en venn. På den måten kan jeg evaluere memorerbarhet, dvs. hvor lett det å komme i gang med bruken og hvilken som best

støtter god memorerbarhet. Siden det bør gå ganske raskt å teste ser jeg for meg at jeg ønsker 5-10 deltagere i min evaluering.

Teknikk

Jeg ønsker å gjøre en oppgavebasert brukbarhetstesting med tre konkrete oppgaver: (1) starte avspilling av en lokal sang; (2) bla gjennom fem sanger; (3) dele den femte

sangen med en venn. Jeg kommer til å bruke tid og prestasjon som metrikker, og måler da tiden i sekunder og prestasjon i antall feil.


Eksempel 2

Utgangspunkt

Temaet mitt er forflytning og det er laget to prototyper som jeg håper kan imøtekomme behov tilknyttet enkel navigasjon for turgåere i skog og mark. Sentrale krav jeg har

utledet har vært knyttet opp mot batteritid, dekningsproblemer, og værforhold. Den første prototypen har et touchbasert grensesnitt, mens den andre er wearable.

Tilnærming

Metode

Teknikk


Eksempel 2

Utgangspunkt

Temaet mitt er forflytning og det er laget to prototyper som jeg håper kan imøtekomme behov tilknyttet enkel navigasjon for turgåere i skog og mark. Sentrale krav jeg har

utledet har vært knyttet opp mot batteritid, dekningsproblemer, og værforhold. Den første prototypen har et touchbasert grensesnitt, mens den andre er wearable.

Tilnærming

Jeg mener jeg får best tilbakemelding på om prototypene imøtekommer brukernes behov om jeg gjør min evaluering i naturlige omgivelser. Jeg mener dette blir best fordi

forhold som vær, dekning og batteritid er av praktisk art som er vanskelig å simulere i kontrollerte omgivelser.

Metode

Jeg ønsker kun å teste den ene prototypen da den med touchbasert grensesnitt er ment som en mobilapp og ikke introduserer noen ny interaksjon for mine brukere som er

godt kjent med apper og interaksjonsmekanismene jeg har prototypet. Prototypen jeg ønsker å evaluere har et wearable grensesnitt som festes utenpå jakkeermet, og jeg

ønsker å bruke observasjon til å undersøke om dette grensesnittet faktisk passer når folk befinner seg i en reell kontekst, nemlig på tur ute i skogen. Dette gir mest mening for

meg da forhold som vær kan gjøre det vanskelig å se hva som vises på displayet eller man kan observere hvor ofte de trenger hjelp med navigering og dermed kan forstå mer

av hvor god batteritid jeg må beregne for å støtte en vanlig tur. Siden jeg ønsker at dette skal bli mest mulig naturlig må jeg slenge meg på en av brukernes faste turer, og da

tror jeg ikke jeg rekker mer enn 1-2 turer maks selv om det hadde vært praktisk med flere.

Teknikk

Jeg ønsker ikke å forstyrre brukerne mens de er ute på tur da jeg tror det vil forstyrre den avslappende atmosfæren de sa i intervjuet at var en viktig del av opplevelsen. Derfor

velger jeg skygging som observasjonsteknikk og ser for meg at jeg bare skal gå bakerst og notere forsiktig mens brukerne gjennomfører turen sin som vanlig.


Eksempel 3

Utgangspunkt

Jeg valgte eldre som tema og har designet to prototyper som skal hjelpe eldre mennesker på sykehjem med å holde kontakten med barnebarn og andre familiemedlemmer. Behovene

jeg har kommet frem til er tilknyttet sosialisering og tilgjengelighet, og jeg har derfor valgt å lage to prototyper som kan være fremme i hjemmet til brukerne uten at de er ment som

noe som tas frem ved bruk og legges vekk etterpå. Prototype 1 er en digital fotoramme som automatisk henter bilder og videoer fra familiemedlemmers sosiale mediekontoer, og

brukerne kan trykke på skjermen for å bla gjennom bilder og videoer. Prototype 2 er en lampe som fungerer som en vanlig lampe, men som lyser svakere og svakere jo lenger det er

siden man hadde kontakt med et familiemedlem. Hver gang man er i kontakt med et familiemedlem vil en app på telefonen gjenkjenne telefonnummeret og automatisk skru lysstyrken

opp igjen.

Tilnærming

Metode

Teknikk


Eksempel 3

Utgangspunkt

Jeg valgte eldre som tema og har designet to prototyper som skal hjelpe eldre mennesker på sykehjem med å holde kontakten med barnebarn og andre familiemedlemmer. Behovene

jeg har kommet frem til er tilknyttet sosialisering og tilgjengelighet, og jeg har derfor valgt å lage to prototyper som kan være fremme i hjemmet til brukerne uten at de er ment som

noe som tas frem ved bruk og legges vekk etterpå. Prototype 1 er en digital fotoramme som automatisk henter bilder og videoer fra familiemedlemmers sosiale mediekontoer, og

brukerne kan trykke på skjermen for å bla gjennom bilder og videoer. Prototype 2 er en lampe som fungerer som en vanlig lampe, men som lyser svakere og svakere jo lenger det er

siden man hadde kontakt med et familiemedlem. Hver gang man er i kontakt med et familiemedlem vil en app på telefonen gjenkjenne telefonnummeret og automatisk skru lysstyrken

opp igjen.

Tilnærming

Siden denne løsningen er best evaluert med brukere over tid (noe jeg ikke rekker i denne obligen) har jeg valgt å involvere eksperter fremfor brukere. Jeg bruker derfor en evaluering

uten brukere hvor jeg ønsker å evaluere begge løsningene sammen med sykepleiere som domeneeksperter. Jeg tror opplevelsene og vanene tilknyttet bruk av teknologi og kontakt

eldre mennesker har med sin familie varierer stort fra person til person og at sykepleiere sitter på en mer generell ekspertise rundt hvordan eldre holder kontakt med familie og hvorfor

ofte de kommuniserer sammen.

Metode

Jeg har valgt en ekspertevaluering som min metode for evaluering da jeg tror sykepleiere som får noen retningslinjer for hva de skal bruke som utgangspunkt for evalueringen av de to

prototypene kan gi meg god feedback. Det vil også hjelpe meg med å påse at jeg får dekket de viktigste utfordringene og prinsippene tilknyttet interaksjonen mellom de eldre og

teknologien. Jeg ser for meg at en gruppe på 4-5 eksperter ville vært det optimale, men så lenge jeg får med meg minimum to stykker er jeg fornøyd da jeg ikke vet hvor lett det vil bli

å rekruttere.

Teknikk

Jeg benytter meg av en fokusgruppe hvor jeg bruker heuristisk analyse med Jakob Nielsens heuristikker og fokuserer spesielt på punktene om «error prevention» og «recognition

rather than recall» siden disse er mest aktuelle for min brukergruppe.


Eksempler på relevante 2018-eksamensspørsmål (1)


Eksempler på relevante 2018-eksamensspørsmål (2)


Enda flere tidligere eksamenseksempler (3):

1g

Nevn noen metoder som kan brukes til å gjennomføre evaluering uten brukere.

(Eksamen 2017)

2h Evalueringsmetoder

Beskriv hvilke evalueringsmetoder som kan egne seg til å gjennomføre evaluering av lavoppløselige prototyper på papir.

(Eksamen 2017)

4e Evalueringstilnærminger

Diskuter hvilke tilnærminger vi kan bruke for å gjøre evaluering og hvilke styrker og svakheter som kjennetegner de ulike tilnærmingene.

(Eksamen 2017)

2a Evaluering uten brukere

Forklar hvordan man kan gjøre evaluering uten brukere.

(Eksamen 2016)

4a Intervju som metode

Diskuter hvilke metodiske utfordringer som kan oppstå når man bruker intervju til å samle inn data eller gjennomføre en evaluering.

(Eksamen 2016)

4b Evaluering

Velg en av de tre tilnærmingene til evaluering og diskuter tilnærmingen med tanke på hvem, hva, hvor og hvordan den bør utføres?

(Eksamen 2015)

4b Analytisk evaluering

Hvilke fordeler oppnår man ved analytisk evaluering sammenliknet med andre tilnærminger?

(Eksamen 2014)


Enda flere tidligere eksamenseksempler (4):

1b

Hva er de tre hovedtilnærmingene til evaluering?

(Prøveeksamen 2014)

2b Evaluering

Hvilke fordeler har man ved å gjennomføre en evaluering i kontrollerte omgivelser kontra naturlige omgivelser?


2b Low-fidelity prototyper

Hvorfor kan det være utfordrende å gjennomføre evaluering i naturlige omgivelser med low-fidelity prototyper?

(Eksamen 2013)

2g Evaluering

I noen situasjoner er det ikke hensiktsmessig å involvere brukere ved evaluering. Diskuter hva en slik situasjon kan være og gi eksempler på metoder eller teknikker man kan bruke.

(Eksamen 2013)

3a Evalueringscase

Martine har jobbet med en prototype til en billettmaskin for T-baneselskapet IFIOnRails. For å evaluere denne plasserer hun prototypen på en t-banestasjon, og observerer personer som bruker

den via et videokamera plassert på maskinen. For å kunne si noe om brukbarheten til maskinen, registrerer hun hvor mange ganger hun ser at noen blir irritert når de bruker systemet. Irritasjon

definerer hun som at brukeren rynker på pannen, ser sint ut, eller andre typiske fysiske uttrykk.

a) Hva slags metode og tilnærming er brukt i evalueringen?

b) Hvilke krav stiller evalueringsformen til prototypen?

c) Er det noen etiske aspekter man her må tenke på?

d) Hva kan vi si om validiteten og reliabiliteten til evalueringen?

e) Er det noen andre måter vi kunne undersøkt brukbarheten?



Hvilken tilnærming/metode kan brukes i min oblig?

• Det kommer an på hva du har prototypet i oblig 3! I obligen skal dere vise at dere klarer å legge frem en god og fornuftig forklaring på valg

• Prøv å se etter sammenhengen mellom hva du prototypet i oblig 3 og hva du ønsker tilbakemelding på nå i oblig 4

• Det kan høres ut på obligteksten som at dere MÅ gjøre brukbarhetstesting, men dere kan velge andre tilnærminger og metoder også

• Spør deg selv: hvilke prototypingsteknikker og dimensjoner har jeg prototypet i oblig 3 og hvordan påvirker de mulighetene mine til å gjennomføre evaluering?

• Her er noen konkrete eksempler:

• Prototyper av skisser, lysark, oppgavesekvens, interaktive wireframes (f.eks. Figma): evaluering uten brukere → kognitiv gjennomgang

• Prototyper som er konseptuelle eller mangler gode interaksjonsmuligheter: kontrollerte omgivelser → intervju (demonstrasjon/think-aloud)

• Prototyper med fokus på kontekst, omgivelser, samhandling med systemer etc.: i naturlige omgivelser → feltstudier, observasjon med eksperter

• Prototyper hvor konkrete grensesnitt- eller interaksjonsmekanismer ønskes evaluert: evaluering uten brukere → heuristisk evaluering


DECIDE


Å velge tilnærming, metode og teknikk

• Det er ikke slik at dersom jeg designer X så er Y eneste korrekte måte å evaluere på…

• …og det er både faglige og praktiske betraktninger som må inkluderes når vi skal velge hvordan evalueringen skal gjennomføres

• Så det er viktig å ikke lete etter fasitsvar eller «eneste riktige svar» når dere skal vurdere hvordan dere vil evaluere i oblig 4

• Men dere bør bruke egen prosess og egne prototyper til å hjelpe med å finne mest nærliggende tilnærminger, metoder og teknikker

• Eksempler på ting å tenke gjennom som påvirker valg av tilnærming, metode og teknikk:

• Hva er formålet med evalueringen? Hva skal vi frem til egentlig?

• Hvilket artefakt eller resultat har jeg som jeg ønsker å evaluere?

• Hvilke type deltagere mener vi vil kunne hjelpe oss med evalueringen?

• Hvor og hvordan ser vi for oss at evalueringen skal foregå?

• Hva er det vi skal fokusere på når vi evaluerer?


DECIDE-rammeverket

• Tatt bort fra 4. og 5. utgaven av boka – kapittelutdrag fra tidligere utgave er pensum (3. utgaven)

• Det må tas høyde for flere faktorer før man kan påbegynne en evaluering

• DECIDE er et sekspunkters rammeverk for å planlegge evaluering

→ Gir en overordnet veiledning på hva vi bør være opptatt av når vi planlegger en evaluering

• Tar for seg konseptuelle, praktiske og etiske forhold knyttet til evaluering

• Sentral i obligatorisk oppgave 4

Definisjoner:- DECIDE


Når og hvordan skal man bruke DECIDE?

• Etter hvert som dere blir mer erfarne med evaluering vil dere ikke trenge DECIDE til å hjelpe dere…

• …men nå i starten er det viktig å være klar over alt man bør ha tenkt på mens man planlegger evalueringen

• DECIDE er IKKE en tilnærming eller metode, det er kun et rammeverk som sier hva vi bør være opptatt av under planlegging…

• …og rammeverket gir oss ingen svar – det stiller kun relevante spørsmål som du selv må tenke gjennom og adressere

• Tilnærmingene, metodene og teknikkene dere velger mellom påvirkes ikke av at dere går gjennom alle punktene i DECIDE

• Oppsummering: DECIDE hjelper oss med å stille viktige spørsmål rundt sentrale betraktninger når man planlegger en evaluering


DECIDE-rammeverket

• Determine the goals- Bestemme mål

• Explore the questions

- Utforske spørsmålene

• Choose the evaluation methods

- Velge tilnærming og metode for evaluering

• Identify the practical issues

- Identifisere praktiske forhold

• Decide how to deal with the ethical issues

- Beslutte hvordan etiske forhold skal håndteres

• Evaluate, analyze, interpret and present the data

- Evaluere, analysere, tolke og presentere data


D

EC

I

D

E


Bestemme mål

• Hva er de overordnede målene for evaluering?

• Hvem vil ha resultatene og hvorfor?

• Målene påvirker metoder og evaluering

• Mål varierer fra produkt til produkt, men kan for eksempel være:

• Identifisere den beste metaforen for et gitt design

• Kontrollere at brukerens behov og kravene til systemet er imøtekommet

• Sjekke at grensesnittet er konsekvent

• Undersøke hvordan teknologi påvirker og endrer arbeidspraksis

• Forbedre brukbarheten til eksisterende produkter

DECIDE


Utforske spørsmålene

• Spørsmål bidrar til å lede evalueringen

• Eksempel fra 3. utgaven av boka (s. 457): Målet er å finnet ut hvorfor reisende foretrekker papirbilletter fremfor elektroniske

billetter når de skal ut å fly. Dette spørsmålet kan deles opp:

• Hva er brukernes holdning til elektroniske billetter?

• Er brukerne bekymret eller opptatt av sikkerhet?

• Hvordan oppfattes brukergrensesnittet?

• Spørsmål kan også videre deles opp for å ytterligere spesifisere:

• Er det vanskelig å navigere i systemet?

• Er terminologien som brukes i systemet forvirrende?

DECIDE


Velge tilnærming og metode for evaluering

• Valg av tilnærming og valg av metode påvirker hvordan data innsamles, analyseres og presenteres

• Men valget avhenger samtidig av:• Hvilken type data som er nødvendig for å besvare spørsmålene

• Hvilke teorier eller rammeverk som er passende for konteksten

• Et feltstudie vil for eksempel typisk:• Involvere observasjoner og intervjuer

• Involvere brukere i naturlige omgivelser

• Ikke involvere kontrollerte tester

• Produsere hovedsakelig kvalitativ data

• Husk at flere tilnærminger og metoder kan kombineres

DECIDE


Identifisere praktiske forhold

• Velge deltakere

Antall, bakgrunn, utvalg (kjønn, alder, kultur, holdning, utdanning), signifikans

• Finne de som skal evaluere

HCI-eksperter eller fag- og domeneeksperter, medhjelpere

• Velge utstyr

Type opptaksutstyr, antall, plassering, ansvarlig

• Forholde seg til budsjett og kostnadsrammer

Betaling til deltakere, tilgang på utstyr/lokaler

• Forholde seg til tidsrammer

Tidsbegrenset tilgang på utstyr/deltakere, frister, timeboxing

DECIDE


Beslutte hvordan etiske forhold skal håndteres

• Utvikle en samtykkeerklæring, dvs. et skjema eller presentasjon som legges frem for deltaker i forkant av evaluering

• Deltakere har rett til:

• Informasjon om formålet og målsetninger for studien

• Informasjon om hva som skal gjøres med funnene og hvordan dataen skal behandles

• Vern av personlige opplysninger som blir gitt

• Frihet til å trekke seg når som helst

• Høflig behandling

DECIDE


Evaluere, analysere, tolke og presentere data

• Tilnærming og metode påvirker hvordan data evalueres, tolkes og presenteres

• Følgende forhold må vurderes:

• Pålitelighet (reliability)

Kan studiet gjentas/reproduseres?

• Gyldighet (validity):

Måles det man forventet å måle?

• Bias

Medfører prosessen noen form for bias? (Halo-effekt)

• Omfang (scope)

Kan funnene generaliseres?

• Økologisk gyldighet

Påvirker miljøet og omgivelsene funnene? (Hawthorne-effekt)

DECIDE

Bias:

Systematisk avvik fra

sannheten. Kan skyldes ulike

forhold, f.eks. feil i utvalg, feil i

måling eller feil i analyse. Kan

gjelde prosesser, metodikker, perspektiver og tolkninger.

Definisjoner:- Bias


Prototypen vår…

• Vet vi om konseptet vi introduserer med prototypen vår er ønskelig?

• Vet vi om de opplevelsene vi skaper med prototypen vår er de ønskelige?

• Vet vi om prototypen vår egentlig hjelper brukeren med sine behov?

• Vet vi om antagelsene vi har gjort om brukeren også gjelder for testerne?


Prototypen vår…

• På grunn av praktiske hensyn prototypet vi utvalgte dimensjoner og egenskaper

• …og nå må vi kanskje evaluere utvalgte aspekter ved bruken av systemet

• Eksempler på hva som kan evalueres:

• Faktisk bruk (oppgaveløsning, forståelse, tydelighet, etc.)

• Brukssituasjonen (kontekst, omgivelser, relasjonelle forhold etc.)

• Systemisk og organisatorisk bruk (kompatibilitet, portabilitet etc.)

• Konsekvenser av bruk (miljøhensyn, trygghet, kosthold, sikkerhet etc.)


Tenk nøye gjennom valg av tilnærming

• Finn ut av hvilken tilnærming som passer best for dine prototyper og ditt design

• Det kan fort bli utfordrende å få til feltstudier, men det er fullt mulig for dem som ønsker det

• Mest nærliggende å velge enten brukbarhetstesting eller analytisk evaluering

• Husk at alle prototyper kan evalueres på en eller annen måte!

• Men tenk nøye gjennom:

• Hvem bør jeg bruke som evaluatorer? Hvorfor dem?

• Kan jeg få tak i disse personene eller må jeg finne et alternativ?

• Hvor mange evaluatorer bør jeg ha med?

• Hvordan kan de best gi deg tilbakemelding på om prototypen imøtekommer deres behov?


Hvor mange deltakere?

• Antallet er et praktisk forhold – jo flere jo bedre, men vi må alltid tilpasse oss begrensninger

• Avhenger av:

• Plan for evalueringen

• Tilgang på deltakere

• Kostnader tilknyttet evalueringen

• Typisk 5-10 deltakere, men det holder om dere kun rekrutterer et par stykk til obligen

• Noen eksperter argumenterer for at man bør fortsette så lenge tester gir ny innsikt…

• …mens andre mener at 5 brukere kan oppdage mot 85 % av alle feil


Hva skal testes?

• Dere har laget to prototyper, og ideelt (og metodisk) sett bør begge testes

• …men om dere i oppgaven argumenterer (godt) for at det holder med én, så er det greit

• Har man laget en videoprototype/visuell prototype må det kanskje gjøre noen små endringer

• Dere må sørge for at prototypen er tilrettelagt for å kunne evalueres

• Men sørg for at oppgavene eller egenskapene ved prototypen er:

• Representative

• Gjennomførbare

• Forståelige


Del 1: Plan for evaluering

• Følg punktene vi har gjennomgått – det er en sjekkliste

• Svar på alt selv om det kan virke innlysende eller unødvendig

• Husk at DECIDE er et rammeverk, ikke en konkret tilnærming eller metode

• Du må derfor være presis i beskrivelsen av hvordan du har tenkt å gjennomføre evalueringen

• I tillegg til de konkrete punktene må du også tenke på:

• Hvilke oppgaver vil du be deltagerne om å utføre?

• Hvilke metrikker (for eksempel tid, hastighet, antall) du vil bruke under evalueringen?

• Hvordan du har tenkt å måle brukernes prestasjoner når de utfører oppgaver?

• Skal prototypene evalueres opp mot hverandre eller evalueres isolert?

• Hvilke egenskaper innehar deltagere du inkluderer i evalueringen?


Del 2: Praktisk gjennomføring

• Selv om du kanskje evaluerer med få deltakere er det viktig å gjøre det så realistisk som mulig

• Tenk gjennom hvordan evalueringen skal foregå (hvor, når, hvor lenge etc.) og tenk på organisering

• Informer deltager om eksperimentet på en ordentlig måte – ikke bare i forbifarta

• Husk at evalueringsplanen din gjerne kan være større, selv om du ikke rekker å gjennomføre alt

• Husk å dokumentere datainnsamlingen:

• For eksempel lydopptak, videoopptak, avkrysningsskjemaer, tilbakemeldingskort, egne notater etc.

• Denne deloppgaven skal ikke besvares som en selvstendig oppgave…

• …men du skal levere dokumentasjon i del 3 – ikke alt du har, men noe som gir leser et inntrykk av evalueringen


Del 3: Rapport

• En rapport behøver ikke å være lang

• Dette handler ikke om å beskrive eller rapportere evalueringen, men om å reflektere rundt prosessen (utfordringer, alternative strategier etc.)

• Vis evne til å reflektere rundt evaluering ved å si noe om:

• Forventninger – hva hadde du regnet med og hva gikk/gikk ikke som forventet?

• Opplevelser – hvordan opplevde du prosessen, og var det noen spesielt merkbare hendelser?

• Gjennomføring – hva gikk ikke som planlagt? Hvorfor ikke?

• Lærdom – hva har du lært av evalueringen?

• Du behøver ikke levere all innsamlet data, men du skal velge deg ut noen nøkkeldata fra din evaluering (bilder, sitater, eksempler etc.)

• Forslag til lengde på del 3: 500 til 800 ord

Documents

IN1050 - Introduksjon til design, bruk, interaksjon Gjennomføring … · 27.10.20 IN1050 –Introduksjon til design, bruk og interaksjon Forelesning 11: Gjennomføring av evaluering