Evaluering  

INF  1500;  introduksjon  9l  design,  bruk  og  interaksjon  24  oktober  2011  

 

Oversikt,  kapi@el  12  og  13  

•  Hvorfor  evaluering?  

•  Vise  hvordan  observasjon,  intervjuer  og  spørreskjema  også  kan  brukes  i  evalueringsfasen  

•  Gå  igjennom  sentrale  begreper  om  evaluering  

•  Introdusere  ulike  metoder  for  evaluering  

Eksempler  

•  Ternigkast  4  

•  Karakteren  A  

•  Rapport  fra  undersøkelse  

•  X  er  bedre  enn  Y  i  forhold  9l  g  

Evaluere  

•  Evaluere  eller  teste?    Hva  er  forskjellen?    Likheter?  

•  Hvorfor  evaluere?  •  Hvordan  evaluere?  •  Hva  skal  evalueres?  •  Hvem  skal  gjøre  evalueringen?  •  Hva  beny@es  data  fra  evalueringen  9l?  •  Evaluere  i  forhold  9l  hva?    Kriterier?    Mål?  

Evaluere  •  Etymologi;  évalua9on,  from  évaluer    "to  find  the  value  of,"  from  é-­‐  "out"  (see  ex-­‐)  +  valuer  (see  value).  

•  Teste,  eksperimentere,  eksaminere,  sjekke,  prøve  ut,  verifisere,  validere…  

•  ”the  proof  of  the  pudding  is  in  the  ea9ng”  

   

Hvorfor,  hva,  hvor  og  når  skal  vi  evaluere?  

•  Itera9v  utvikling;  det  betyr  at  evaluering  og  design  er  kon9nuerlige  prosesser  som  undersøker  – Hvorfor:  for  å  undersøke  om  brukerne  kan  beny@e  løsningen  

– Hva:  konseptmodell,  9dlige  prototyper,  endelige  prototyper  

– Hvor:  i  ”naturlige  omgivelser”  eller  i  laboratorium  omgivelser  

– Når:  9dlig  i  prosessen,  sent  i  prosessen,  og  alt  imellom;)  

Bruce  Tognazzini  –  om  ”hvorfor  evaluere”  

•  Itera9v  design,  med  repe9sjon  av  design  og  tes9ng,  er  den  eneste  måten  å  forsikre  seg  om  gode  resultater.  Dersom  du  ikke  har  bruker  tes9ng  som  en  integrert  del  av  design  prosessen  så  kaster  du  bort  ressurser  

•  Altså:  ressursbruk  i  forhold  9l  måloppnåelse..  

Hvem  skal  gjennomføre  evalueringen?  

•  De  som  har  laget  prototypen  eller  systemet?  

•  Andre?  

•  Fordeler  og  ulemper?  

Øvelse  

•  Tenk  deg  at  du  sender  bort  dine  prototype  (oblig  2)  9l  et  firma  (eller  en  annen  gruppe)  som  skal  gjøre  evalueringen  av  prototypen  

– Hva  trenger  de@e  firmaet  av  informasjon  fra  deg?  – Tror  du  resultatene  vil  skille  seg  fra  de  resultatene  du  selv  ville  få@?  

Nivåer  –  av  HVA  •  Bruker  •  Tjeneste  •  Grensesni@  •  Ne@leser  •  Applikasjon  •  HW  •  Sohware  •  Ne@verk  •  Omgivelse  

•  Hva  er  det  vi  skal  evaluere?    Person?    Handling?    Grensesni@?    Oppgaveløsning?    Hardware?    Medium?  Sohware?    Bruken?    Måloppnåelsen?    Robusthet?    Este9kk?  

Evaluering  -­‐  begreper  •  Analy9sk  evaluering  •  Kontrollerte  eksperimenter  •  Felt  studie  •  Forma9v  evaluering  •  Heuris9sk  evaluering  •  Predik9v  evaluering  •  Summa9ve  evaluering  •  Brukbarhets  laboratorier  •  Bruker  studier  •  Brukbarhets  studier  •  Brukbarhets  tes9ng  •  Bruker  tes9ng  

Tilnærminger  9l  evaluering  

•  Brukbarhets  tes9ng  •  Felt  studier  •  Analy9sk  evaluering  

•  Kombinerte  9lnærminger  •  Opportunis9sk  evaluering  

Øvelse  

•  To  og  to  

•  Oppgave:    S9ll  klokken  3  sekunder  frem  (armbåndsur,  mobiltelefon,  PC,  annet)  

•  Planlegg  evalueringen  

•  Gjennomføre  evalueringen.  

Karakteris9ka  ved  9lnærmingene  

•  Brukbarhets  tes9ng  – Brukere  gjør  oppgaver  i  kontrollerte  omgivelser,  målinger  og  feil  blir  rapportert  

•  Felt  studier  – Brukere  gjør  oppgaver  i  ”naturlige”  omgivelser,  beskrivelser  blir  rapportert  

•  Analy9sk  – Brukere  er  ikke  involvert,  kan  gjøres  ”hvorsomhelst”,  problemer  blir  rapportert  

Evaluerings  9lnærming  og  metoder  •  Brukbarhets  tes9ng  –  Observasjon  –  Spørre  brukere  –  Tes9ng  

•  Felt  studier  –  Observasjon  –  Spørre  brukere  –  Spørre  eksperter  

•  Analy9sk  –  Spørre  eksperter  – Modellere  

Øvelse  

•  Tenk  ut  –  hva  er  fordeler  og  ulemper    ved  

– Brukbarhetstes9ng  

– Felt  studier  

– Analy9sk  evaluering  

Evaluering  i  ulike  kulturer  

•  Lese  fra  høyre  9l  venstre  –  eller  venstre  9l  høyre?  

•  Bar  hud/fotografier/kvinne/mann  

•  Metaforer  –  opp  ned;)  

Oppsummering  

•  Evaluering  og  design  er  sentralt  i  bruker    -­‐    sentrert  utvikling  

•  Noen  av  de  samme  teknikkene  blir  beny@et  for  krav  etablering  

•  Tre  9lnærminger:  – Brukbarhets  tes9ng  – Felt  studier  – Analy9sk  evaluering  

Oppsummering  -­‐  fortse@else  •  Metoder  for  evaluering  –  Observasjon  –  Spørre  brukere  –  Spørre  eksperter  –  Bruker  tes9ng  –  Inspeksjon  – Modellere  brukeres  oppgaveløsning  

•  Triangulering  betyr  å  beny@e  ulike  teknikker  for  å  oppnå  flere  perspek9ver,  eller  å  analysere  data  ved  ulike  teknikker  

•  Å  jobbe  med  begrensninger  er  sentralt  for  de  som  gjør  evalueringer  

DECIDE  (BUVIBE)  •  Determine  goals    

–  Bestemme  mål  •  Explore  the  ques9ons  

–  Urorske  spørsmålene  •  Choose  the  evalua9on  approach  and  methods  

–  Velge  evaluerings  9lnærming  og  metoder  •  Iden9fy  the  prac9cal  issues  

–  Iden9fiser  de  prak9ske  forholdene  •  Decide  how  to  deal  with  ethical  issues  

–  Beslu@e  hvordan  e9ske  spørsmål  skal  håndteres  •  Evaluate,  analyze,  interpret  and  present  the  data  

–  Evaluere,  analysere,  tolke  og  presentere  dataene  

Bestemme  målene  

•  Hva  er  målene  for  evalueringen?  •  Hvem  vil  ha  resultatene  –  og  hvorfor?  •  Målene  vil  influere  evalueringsmåten?  •  Eksempler  på  mål:  –  Iden9fiser  den  beste  metaforen  for  en  gi@  design?  – Sjekk  at  grensesni@et  er  konsekvent  (consistent)  – Undersøke  på  hvilke  måter  teknologien  endrer  arbeidspraksis?  

– Forbedre  brukbarheten  9l  en  eksisterende  løsning  

Urorske  spørsmålene  

•  For  all  evaluering  trengs  mål  og  spørsmål  •  Eksempel:  Et  mål  er  å  finne  ut  hvorfor  mange  brukere  foretrekker  å  kjøpe  papirbasert  bille@  fremfor  elektronisk  bille@  –  de@e  spørsmålet  kan  deles  opp/operasjonaliseres  9l:  – Hva  er  brukerens  holdninger  9l  elektroniske  bille@er?  

– Er  brukerne  bekymret  eller  oppta@  av  sikkerhet?  – Hvordan  oppleves  brukergrensesni@et.  

–  Og  disse  tre  spørsmålene  kan  operasjonaliseres  y@erligere.  

Velg  evaluerings  9lnærming  og  metoder  

•  Evaluerings  9lnærming  påvirker  hvilke  metoder  som  beny@es,  og  hvordan  data  blir  samlet,  analysert  og  presentert  

•  For  eksempel  vil  feltstudier  typisk:  –  Involvere  observasjoner  og  intervjuer  – Være  ute  i  ”felten”,  altså  ikke  laboratorium  omgivelser  

– Data  som  samles  er  ohest  kvalita9ve  

Iden9fiser  prak9ske  forhold  

•  Hvordan  velge  brukere?  •  Håndtere  budsje@  og  kostnader?  •  Håndtere  9dsfrister  og  9dsrammer?  •  Finne  de  som  skal  evaluere?  •  Velge  utstyr  som  skal  beny@es  for  å  gjennomføre  evalueringen  og  samle  inn  data  

Bestemme  hvordan  e9ske  spørsmål  skal  håndteres  

•  Utvikle  et  ”informert  samtykke”  dokument/presentasjon  

•  Deltagere  har  re@  9l:  – Å  vite  hva  som  er  målet  med  studien  – Å  vite  hva  som  gjøres  med  funnene  og  dataene  fra  studien  

– Vern  av  personlig  informasjon  som  blir  gi@  – Å  trekke  seg  fra  studien  når  de  ønsker  – Å  bli  behandlet  høflig  

Evaluere,  tolke  og  presentere  data  

•  Tilnærmingen  som  beny@es  påvirker  hvordan  data  blir  evaluert,  tolket  og  presentert  

•  Følgende  vurderes:  – Pålitelighet  (reliability)  – Gyldighet  (validity)  – Bias  – Omfang  – Økologisk  gyldighet:    hvordan  påvirker  miljøet  funnene  (Hawthorn  effekt)  

 

DECIDE  oppsummering  •  Determine  goals    

–  Bestemme  mål  •  Explore  the  ques9ons  

–  Urorske  spørsmålene  •  Choose  the  evalua9on  approach  and  methods  

–  Velge  evaluerings  9lnærming  og  metoder  •  Iden9fy  the  prac9cal  issues  

–  Iden9fiser  de  prak9ske  forholdene  •  Decide  how  to  deal  with  ethical  issues  

–  Beslu@e  hvordan  e9ske  spørsmål  skal  håndteres  •  Evaluate,  analyze,  interpret  and  present  the  data  

–  Evaluere,  analysere,  tolke  og  presentere  dataene