MasterafhandlingAf Berit Jensen, oktober 2010

Re-design af projektportal ved brug af ”card-sorting” metoden.

Abstrakt

I forbindelse med re-design af navigationssystemet i et projekts informationsdatabase (projektportal) gennemføres en card-sorting øvelse. Der gennemføres tre card-sorting sessioner, hvor projektdeltagerne grupperer projektdatabasens emner. Resultatet analyseres og det nye design implementeres. Herefter gennemføres en heuristisk evaluering af den nye grænseflade. Da der tidligere er gennemført en heuristisk evaluering af den gamle grænseflade, sammenlignes resultaterne fra de to evalueringer. På grundlag af de to evalueringerne, undersøges det om det nye design har forbedret projektportalen med hensyn til tidsforbrug, brugervenlighed (usability) og genfindingsmuligheder. Opgaven placeres i en teoretisk sammenhæng, hvor begreberne Human Computer Interaction (HCI), Information Retrieval (IR) og Usability Evaluation Measurement (UEM) berøres.

Introduktion

Denne afhandling beskæftiger sig med organisationssystemet og navigationssystemet i et it-projekts informationsdatabase. En tidligere undersøgelse har afsløret, at der muligvis er behov for forbedring af navigationssystemet (projektportalen).

Følgende spørgsmål undersøges:

Hvordan kan ”card-sorting” metoden anvendes, som grundlag for re-design af projektportalen?

Spørgsmålet søges besvaret ved gennemførelse af en række card-sorting sessioner. Resultatet af disse sessioner, danner herefter baggrund for re-design af projektportalen. Portalen er tidligere undersøgt ved hjælp af heuristisk ekspertevaluering. Efter implementeringen af den forbedrede projektportal, evalueres denne igen ved hjælp af heuristisk ekspertevaluering og resultatet sammenlignes med den tidligere evaluering. De to evalueringer af portalen før og efter re-design sammenlignes med hensyn til tidsforbrug, usability og genfindingsmuligheder.

Jeg har i en tidligere opgave (Jensen, 2009) beskæftiget mig med organisationssystemet og navigationssystemet i en projektdatabase, som anvendes i et it-projekt. Projektet er en del af CSC Danmark A/S og arbejder med opgaver for SKAT. Projektet udvikler hvert år et nyt system til SKAT. Systemet indsamler data, opgør skatten og udskriver selvangivelser, årsopgørelser og giroindbetalingskort samt foretager kontooverførsler til skatteyderne i Danmark. Desuden danner systemet optællinger, afstemning og lister til sagsbehandling i skattecentrene.

Projektets database indeholder dokumentation på elektronisk form, f.eks. i form af Word- og Excel-ark.

Man kan søge i denne information på to forskellige måder; enten ved at navigere ned gennem den hierarkiske organisationsstruktur eller ved hjælp af ”SLUT-Portalen”, som er projektets egen web-side. Der er tale om en meget simpel web-side, som indeholder hyperlinks til en del af de mest brugte dokumenter i projektdatabasen. Web-siden indeholder også links til forskellige eksterne informationskilder som f.eks. CSC Danmarks intranet.

Brugerne af projektdatabasen er projektets medarbejdere. Kun i meget sjældne tilfælde vil personer udenfor projektet søge information i databasen. Projektet består af i alt 34 medarbejdere (23 mænd og 11 kvinder). Medarbejderne kan opdeles i 4 jobprofiler: 11 planlæggere (Business Analyst), 10 programmører, 7 testere samt 6 personer som arbejder med ledelse m.m. (projekt- og teamledere, samt kvalitets-, teknik- og testkoordinator).

Morville & Rosenfeld (2007) har følgende definitioner af begreberne organisationssystem og navigationssystem:Organisationssystem: Beskriver måden man organiserer informationer på. Det består af; - Organisationsskemaer, som definerer de fælles karakteristika for de indeholdte emner og er grundlag for den logiske gruppering af emnerne. Organisationsskemaer kan enten være eksakte, som f.eks. alfabetiske og kronologiske, eller tvetydige, som f.eks. emne, funktions eller brugeropdelt.- Organisationsstrukturen, som definerer forbindelsen mellem de indeholdte emner og grupper. Organisationsstrukturen udgør den primære metode til navigering i en informationsarkitektur. Der er forskellige typer organisationsstrukturer f.eks. hierarkiske, databaseorienterede og hypertekst samt den nye form; social klassifikation.Navigationssystem: Er det system man anvender til at navigere rundt i informationerne. Der er forskellige typer navigationssystemer f.eks. indlejrede, supplerende og avancerede. Navigationssystemet er ofte en web-side, som understøtter muligheden for at navigere i informationsarkitekturen.

Med baggrund i disse definitioner kan informationsarkitekturen i projektets informationsdatabase beskrives som et tvetydigt organisationsskema. Informationerne er opdelt i kategorier som ikke kan defineres eksakt. Der er tale om en hybrid opdeling i emner og funktioner. Eksempler på grupper er: arkitektur, udvikling, integration, drift, ledelse og kvalitet. Organisationsstrukturen er hierarkisk.

Der er to metoder til navigation i projektdatabasen;- Browsing i den primære organisationsstruktur - Navigation via en web-side (projektportal).

Projektportalen blev udarbejdet for nogle år siden, som erstatning for de mange genveje, som projektmedarbejderne efterhånden havde samlet på deres pc-skrivebord og med det formål at gøre informationssøgning nemmere for nye medarbejdere.

Der findes ikke noget søgesystem til projektdatabasen. Projektmedarbejderne benytter sig af Windows søgefaciliteter. Der søges som regel i dele af databasen (søgezoner).

Konklusionen på min tidligere opgave var, at det ikke ville være hensigtsmæssigt, at ændre den primære organisationsstruktur, men at det i stedet ville være en god idé at forbedre

Page 2 of 33

navigationssystemet, det vil sige projektportalen. Denne opgave beskæftiger sig altså med re-design af navigationssystemet, projektportalen. Samtidig beskæftiger opgaven sig med den organisationsstruktur som er indlejret i projektportalen. Til dette formål har jeg valgt at benytte card-sorting metoden, fordi den inddrager brugerne og fordi metoden er enkel, billig og hurtig at bruge.

Opgaven i en teoretisk sammenhæng.

Helt overordnet beskæftiger denne opgave sig med området Human Computer Interaction (HCI), som defineres i wikipedia på følgende måde; HCI er studiet af samspillet mellem mennesker (brugere) og computere. Det er ofte betragtet, som skæringspunktet mellem datalogi, adfærdsmæssige videnskaber, design og flere andre fagområder. Interaktion mellem brugere og computere foregår på brugergrænsefladen.

Denne interaktion er betinget af begreberne ”den mentale model” og ”brugermodellen”. Allen (1997) definerer disse begreber på følgende måde: Det er brugerens ”mentale model”, som er grundlaget for, de forventninger brugeren har til computerens reaktioner. Computerens ”forventninger” til brugeren stammer fra en ”bruger model”.

Brugere af computersystemer har mentale modeller også kaldet kognitive modeller, over disse systemer. Det vil sige, at de har nogle forudfattede forventninger til, hvordan systemet vil reagere på deres handlinger. Disse forventninger kan stamme fra vejledning eller fra tidligere erfaringer med et tilsvarende system. Systemudviklere har tilsvarende en mental model af den software de udvikler.

Bruger modeller kan anvendes til forskellige former for personalisering af systemer f.eks. kan brugeren oprette en profil med sine præferencer og derved personaliserer systemet. En anden metode til personalisering er, at systemet opsamler informationer om brugerens adfærd og ud fra disse tilpasser systemets svar. En type brugermodel er task-modellen. En task-model er en beskrivelse af tasks samt en strategi for udførelsen af disse. Kriterierne for at en brugermodel effektivt kan forudsige og understøtte brugerens handlinger kan f.eks. være følgende:

Relevans: Kan forudsige brugerens mål. Nøjagtighed: Kan forudsige det korrekte udfald af mindst et task eller en situation. Generalitet: Er robust i forhold til ændringer i tasks, situation og bruger. Tilpasningsevne: Er ikke følsom i forhold til ændringer i brugerens adfærd. Modellen skal være nem at udvikle og vedligeholde. Nytteværdi: Modellen bør forbedre brugerens adfærd

Information Retrieval undersøgelser.Denne opgave beskæftiger sig desuden med området Information Retrieval (IR). Tague-Sutcliffe (1992) gennemgår de emner, som skal tages i betragtning, når man gennemfører en IR- undersøgelse og i den forbindelse defineres en række grundbegreber:Validitet: Undersøger undersøgelsen, det det man ønsker, at den skal undersøge? Repræsenterer de undersøgte variable det koncept som ønskes undersøgt?Pålidelighed (reliability): I hvilket omfang, kan undersøgelsens resultater gentages?

Page 3 of 33

En bias: er en del af forsøget som udgør en risiko for undersøgelsens pålidelighed eller validitet. Faktorer som bidrager til manglende pålidelighed er:

For lille undersøgelsesområde. Uens undersøgelsesområde. Emner er ikke randomiserede Fejlagtige metoder til statistisk analyse.

Faktorer som bidrager til manglende validitet er: Effekten af rækkefølge i forsøget. Deltagerne opnår læring i løbet af forsøget. Forsøgsmodellen er baseret på ukorrekt grundantagelse (aksiom). Ukorrekte operationelle definitioner. Unøjagtighed fra observatører. Udefrakommende påvirkning af deltagerne.

En undersøgelses effektivitet (efficiency) beskriver i hvilken grad undersøgelsen er effektiv, dvs. valid og pålidelig. Resultaterne kan gøres mere valide ved at anvende et større antal variable og mere forskelligartede variable. Resultatet kan gøres mere pålideligt ved at øge størrelsen og repræsentativiteten af både den undersøgte database, brugerne og forespørgslerne (queries).Tauge-Suttcliff anbefaler, at undersøgelseslederen har en baggrund både indenfor IR og indenfor det undersøgte emneområde. Han skelner mellem en laboratorieundersøgelse og en operationel test. En laboratorieundersøgelse, er en undersøgelse, hvor bruger, database, personen som foretager søgningen og rammerne for søgningen, er under undersøgelseslederens kontrol. En operationel test er en undersøgelse, hvor et eksisterende systems brugere, database, personen som foretager søgningen og rammerne for søgningen evalueres eller sammenlignes. Fordelen ved en operationel undersøgelse er, at den som regel fortæller noget om systemet som helhed, men ikke kan generaliseres til andre systemer. Laboratorieundersøgelser er ofte meget dyrere at gennemføre end operationelle tests, fordi der skal opbygges en database og udarbejdes algoritmer. Overordnet set er operationelle tests tættere på det virkelige liv, men de bidrager med mindre specifik information.Hvordan gør man de variable operationelle? Man bør starte med klart at definerer de afhængige og uafhængige variable. Et væsentligt spørgsmål ved et eksperimentelt studie er at beslutte, hvordan man rent faktisk kan observerer og måle disse begreber, hvordan de kan operationaliseres. Det kan f.eks. være;

Brugeren: Individuelle forskelle både vedr. deres personlighed og deres motiver til at foretage søgning.

Forespørgsler og søgespørgsmål: En forespørgsel er et verbaliseret udtryk for brugerens behov og søgespørgsmål er en søgestreng i systemets sprog. En søgeproces er en række af søgespørgsmål, som hører til samme forespørgsel. Forespørgslen kan stamme fra det virkelige liv eller være konstrueret

Søgeprocessen: Kan enten være en proces, hvor der foregår en interaktion mellem brugeren og en person som udfører søgningen eller en interaktion mellem bruger og system. Søgeadgangen til systemet spiller også ind: er det kommandoer, hypertekst, menuer osv.?

Retrieval performance, måles traditionelt i recall og precision. Recall er mængden af relevante dokumenter, som bliver fundet og precision er mængden af fundne dokumenter som er relevante.

Page 4 of 33

At fremskaffe gode forespørgsler (queries) er et stort problem i IR test. Det kan være vanskeligt, at involvere brugerne. De er ikke altid villige til at deltage og følger ikke altid undersøgelseslederens instruktioner. Det kan derfor være fristende at anvende kunstigt fremstillede spørgsmål og testere, som ikke er de faktiske brugere. Problemet med kunstigt fremstillede spørgsmål er, at de ikke repræsenterer et ægte informationsbehov, hos personen som udfører testen. Det er derfor problematisk, for testpersonen at vurdere relevansen. De fleste er enige om, at forsøg med virkelige brugere er at foretrække, hvis det bare er muligt, at have tilstrækkeligt kontrol med forsøget. På grund af store forskelle i brugernes personlighed og informationsbehov, er det nødvendigt at anvende et stort antal søgespørgsmål, for at opnå en rimelig pålidelighed. Det er også vigtigt at holde sig for øje, at resultater for en type brugere ikke kan generaliseres til andre typer brugere. Endelig skal det besluttes, hvordan data kan analyseres. Den deskriptive metode anvendes til opsummering af data enten kvalitative eller kvantitative. Statistiske metoder egner sig bedst ved kvalitative data.

Usability begrebetHelt overordnet beskæftiger denne afhandling sig med begrebet usability (brugervenlighed). Derfor synes jeg det er på sin plads at definere begrebet. Jakob Nielsen (1993) definerer usability, som en mindre del af området ”system acceptability”. ”System acceptability” er grundlæggende spørgsmålet om systemet er godt nok til, at tilfredsstille alle interessenters krav og behov. Usability begrebet vedrører alle områder af systemet, hvor det interagerer med brugerne.Definition af usability:

Learnability: Systemet skal være nemt at lære at bruge. Efficiency: Systemet skal være effektivt at bruge. Memorability: Systemet skal være let at huske, så brugeren kan vende tilbage, efter en periode,

uden at skulle begynde forfra. Fejl: Systemet skal have en lav fejlrate. Brugeren skal ikke opleve fejl ved brugen og skulle det

alligevel ske, skal de nemt kunne komme videre efter fejlen. Tilfredshed: Systemet skal være behageligt at bruge.

En anden synsvinkel på Usability.Dillon (2001) har en lidt anden indfaldsvinkel til brugervenlighedsbegrebet. Evaluering af informationsteknologi tager traditionelt udgangspunkt i usability evaluering og der er blevet sat lighedstegn mellem usability og kvalitet. Dillon mener dog ikke, at usability alene er tilstrækkeligt til at sikre kvalitet i brugeroplevelsen af ny teknologi. Historisk set har opfattelsen af usability flyttet sig fra at interessere sig for brugergrænsefladens funktioner til at interessere sig for interaktionen udtrykt i menneskelige handlinger. Den definition, som de fleste tilslutter sig er ISO 9241, som udtrykker Usability som den effectiveness, efficiency og satisfaction, som en given bruger kan opnå et givent mål med, i et bestemt miljø. Definitionen opstiller nogle målbare kriterier, som er betinget af brugeren, opgaven og brugssituationen.Evaluering af usability bliver udført ved at lade repræsentanter for brugerne interagere med brugergrænsefladen ved brug af tasks, mens evaluatorerne registrerer data som tid pr. task, fejl og brugerens holdning. Dillion mener denne tilgang er meget anvendelig til kvantificering; Effectiveness (opnåelse af mål) kan være et problem at måle på denne måde, da det især inden for kreative områder vil være vanskeligt at opstille mål. Effektivitet (efficiency) måles i forhold til tid, anstrengelse og

Page 5 of 33

udgifter forbundet med informationssøgningen. Dillon stiller spørgsmålstegn ved om effektivitet virkelig er det brugeren ønsker. Hvem beslutter hvad der er effektivt? Er omveje altid ineffektive? Den tredje komponent tilfredshed (satisfaction) er sandsynligvis påvirket af faktorer, som personlig erfaring med andre teknologier, foretrukne arbejdsstil, introduktion til produktet og selve brugergrænsefladens æstetik.Dillon mener altså at usability er vigtig, men utilstrækkelig. For det første, fordi målene lægger for megen vægt på hurtige svar og præcision. Desuden fordi formålet med interaktionen med teknologien ofte handler om mere end et værktøj til arbejde og fritid. Innovativ software er ikke nødvendigvis task baseret i traditionel forstand, men snare baseret på bagvedliggende kreativ tænkning og stimulans. Dillon definerer brugeroplevelsen på tre niveauer:

Proces, (hvad brugeren gør) altså, den handlinger og de svar som forekommer ved interaktion med softwaren.

Resultat, (hvad brugeren opnår) altså, den målbare variable som udtrykker, hvad brugeren får ud af interaktionen.

Påvirkning, (hvordan brugeren føler) altså de holdningsændringer, følelsesmæssige og humørmæssige elementer af oplevelsen af brugergrænsefladen.

Klassisk usability dækker en del af disse områder men andre mangler. Dillon foreslår, at der tilføjes nye mål for brugeroplevelsen:

Æstetik Opfattet brugervenlighed Læring over tid Kognitiv indsats Opfattelsen af informationsformen. Intentionen med brugen Brugerens egen effektivitet

Dillon har undersøgt, hvilken betydning brugergrænsefladens æstetik har i såvel kortvarige som langvarige forsøg og har fundet, at designet har betydning ved begge typer. De veldesignede grænseflader gør, at brugeren hurtigere mestre teknologien og brugeren oplever væsentlig færre fejl. Dillon har desuden undersøgt, hvordan brugere reagerer på funktioner, som er meget udbredt brugt på nettet og funktioner, som er sjældent brugt på nettet. Det viser sig at brugerne vurderer sider ”bedst”, hvis de indeholder mange af de hyppigt forekommende funktioner. Han konkluderer, at forventningerne til brugergrænsefladen formes hurtigt.Dillon påpeger, at evaluering af brugergrænseflader, bør medtage alle aspekter, for at kunne kalde sig valide og pålidelige og at brugeroplevelsen er dynamisk. Den ændrer sig over tid og påvirkes af mange faktorer, hvor de vigtigste er; brugerens oplevelse af æstetik, erfaring med lignende design og øjeblikkelig feedback. På grund af ændringen af opfattelse over tid, kan en evaluering ikke udelukkende baseres på brugerens første reaktion.

Opgavens metoder.

Fokus gruppe interviewJeg vil, i forbindelse med mine undersøgelser, benytte mig af metoder, som hører til kategorien ”fokus

Page 6 of 33

gruppe interviews”. Metoden defineres af Case (2007), som en primært kvalitativ teknik, fordi de fleste af de data som indsamles, ikke egner sig til statistisk bearbejdning. I stedet ligger vægten på, at afdække bagved liggende grunde til meninger og motiver for handlinger. Fokusgruppe interviews foretages med en gruppe af respondenter. Gruppens størrelse kan variere, men det mest almindelige er 8-12 deltagere. Grupper mindre end 8 genererer ikke nok forskellighed og kritisk masse. Grupper større end 12 kan medføre, at ikke alle kommer til orde og samtidig bliver observationen vanskelig. Interviewet foretages af en enkelt facilitator evt. med hjælpere. Deltagerne sidder typisk omkring et bord et uforstyrret sted. Ofte anvendes særligt fremstillet materiale til at fremprovokere svar fra deltagerne. Metoden er fleksibel med hensyn til:

Emne Antal deltagere Spørgeteknik Dataindsamling

Og metoden kan bidrage med; hurtige resultater og lave omkostninger. Metoden fungerer bedst suppleret med andre metoder. Metodens begrænsning er, at den reflekterer deltagernes holdninger på et specifikt tidspunkt, i en specifik sammenhæng. Det er vanskeligt at gentage øvelsen og få samme resultat.

Survey metodenSurvey metoden defineres af Case (2007), som en metode, hvor et udvalg af respondenter, besvarer spørgsmål. Metoden omfatter såvel spørgeskemaundersøgelser, som telefoninterviews og gruppe interviews. Metodens styrke er, at den muliggør indsamling af besvarelser fra større grupper af respondenter. Spørgeskemabesvarelser vil ofte være af kvantitativ karakter, resultatet er muligt at bearbejde statistisk medens fokusgruppe interviews typisk repræsenterer en kvalitativ indgangsvinkel. Indvendingerne mod denne type undersøgelser, er at den i de seneste årtier, er blevet brugt for meget. Grunden til at især spørgeskema udsendt pr. brev eller e-mail er blevet misbrugt er, at metoden kræver forholdsvis lille indsats. Metodens styrke er, at den er forholdsvis billig og har potentiale til at nå isolerede personkredse samt at opmuntre til oprigtige svar. Nyeste variant af metoden, er surveys udsendt pr. e-mail og web spørgeskemaer. Svagheden ved denne type undersøgelse er en fare for overfladiskhed. Desuden er det i denne type undersøgelse vanskeligt at kortlægge, hvilken indflydelse kontekst (tid, sted og situation) har på besvarelsen. Interviews er en fleksibel teknik. Et interview kan foregå over kort eller lang tid. Det kan foregå ansigt til ansigt eller via telefon eller computer. Spørgsmålene kan stilles en gang eller gentages efter et stykke tid til den samme respondent. Interviewer kan indtage en formel rolle som neutral undersøger eller en uformel som deltager i samme aktiviteter som respondenterne. Metodens svagheder er at spørgsmålene er begrænsede, kan virke kunstige og muligvis ikke relaterer sig til respondentens virkelighed. Endelig er det et spørgsmål om man kan generalisere ud fra de personer som har valgt at svare på undersøgelsen i forhold til de personer, som valgte ikke at svare.

Card-sorting metoden.Til re-design af projektportalen, har jeg valgt at tage udgangspunkt i card sorting metoden.I forbindelse med, informationsdesign, vil der være en række emneord, som skal analyseres og

Page 7 of 33

organiseres. Til dette formål kan man anvende en såkaldt ”card-sorting” øvelse. Card-sorting metoden er en metode, som giver mulighed for at inddrage brugerne i design processen. Metoden benytter sig af fokusgruppe interviews samt surveys.Jeg har i den gennemførte undersøgelse taget udgangspunkt i metoden, som den er beskrevet afJames Robertson (2001). Metoden har følgende fordele:

Enkel og velkendt. Lave omkostninger. Hurtig at anvende (flere brugere kan involveres) Metoden udtrækker en naturlig gruppering af emner, uden at man direkte spørger brugerne. Involverer brugerne i designprocessen. Markedsfører den kommende ændring af systemet.

Først udarbejdes en liste over de emneord, som det er relevant at få sorteret og grupperet. I denne forbindelse er der nogle forholdsregler som bør iagttages:

Listen skal have en passende håndterbar længde ikke for mange og ikke for få emner. Eksisterende struktur må ikke fremgå af udvælgelsen af emner. Ord som afspejler det nuværende format bør undgås (f.eks. manual eller guide) Det er vigtigt, at ramme det rigtige detaljeringsniveau. Som tommelfingerregel skal hvert emne

udgøre en selvstændig enhed og dække en logisk gruppe af indhold. Undgå ”gruppe betegnelser”. Hele formålet er, at finde logiske grupper. Betegnelserne skal give mening for deltagerne.

Generelt skal emneordene være neutrale og ikke lede brugerne i retning af en struktur. Hvis der afvikles flere card-sorting sessioner, bør emneordene revideres efter hver session. I forbindelse med card-sorting sessionen er det oplagt, at undersøge brugernes nuværende brug af informationssystemet. Robertson anbefaler, at card-sorting sessionen indledes med, at deltagerne udfylder et spørgeskema, hvor de angiver hvor hyppigt de anvender emnerne som indgår i øvelsen. I den forbindelse er det vigtigt, at lægge vægt på, at brugen af emnerne er uanset den form man anvender emnerne (mundtlig information, papir eller elektronisk). Brugen af emnerne bedømmes på en skala fra 1 til 5 (1 = meget ofte og 5 = aldrig). Desuden besvarer deltagerne nogle få generelle spørgsmål om navn, jobfunktion, metoder til informationssøgning osv.

Emneordene skrives på index-kort og der tilføjes et lille nummer i hjørnet af kortet.Deltagerne bør være de faktiske brugere af systemet. Hvis der er flere forskellige brugergrupper bør der holdes sessioner for de forskellige grupper. Dette har det formål at sikre, at de forskellige gruppers behov bliver tilgodeset i det færdige system. Det gør det også muligt at sammenligne forskelle og ligheder mellem de forskellige gruppers behov. En card-sorting session bør mindst have 4 deltagere. Færre deltagere vil betyde at der vil være for lidt uenighed og for lidt diskussion og risiko for manglende resultat af øvelsen. Mere end 8 deltagere i øvelsen er for svært at styre.

Selve card-sorting øvelsen indledes med at deltagerne introduceres til processen. Der lægges vægt på, at deltagerne nu skal sorterer emnerne uden at tænke på hvordan emnerne er organiseret i det eksisterende system.

Page 8 of 33

Derefter udfylder deltagerne spørgeskemaet. I denne forbindelse vil der sandsynligvis dukke spørgsmål op om undersøgelsen og emneordene. Fordelen ved at indlede øvelsen med spørgeskemaet, er blandt andet, at deltagerne får kendskab til emneordene og får mulighed for at stille uddybende spørgsmål.Kortene med emneord blandes grundigt og lægges i en bunke midt på bordet. Deltagerne opfordres til at sorterer kortene i emne grupper. Når bunken er gennemgået opfordres deltagerne til at give grupperne overskrifter. Under øvelsen er det mødelederens opgave, at understøtte processen ved at besvare spørgsmål og evt. bringe gruppen tilbage til emnesorteringsøvelsen, hvis diskussionen ”kører af sporet”. Desuden er det nyttigt at tage notater, hvis der kommer emner op, som kan være gavnlige i det videre forløb med design af systemet. Når alle kort er placeret i grupper og der er tilføjet overskrifter, afsluttes øvelsen.

Resultaterne kan præsenteres i tabelform, hvor overskrifterne listes med emnerne nedenunder, men Robertson (2001) foreslår, at der udarbejdes en grafisk præsentation, som illustreres, hvordan strukturen vil se ud når den implementeres. Da hver card-sorting øvelse vil have forskelligt resultat, skal ligheder og forskelle naturligvis analyseres. Resultatet af analysen kan bidrage til det videre arbejde med udviklingen af systemet ved at identificere nogle vigtige tendenser;

Ønsker brugerne, at emnerne er grupperet ud fra emne, type, proces eller forretningsområde?

Hvilke emner er de vigtigste? Disse skal på hovedmenuen. Hvor mange menupunkter skal der være og hvor dybt skal emne hierarkiet være? Hvor ens eller forskellige er brugernes behov?

Resultaterne fra spørgeskemaet kan med fordel tastes ind i et regneark og analyseres der. Dette gør det nemmere, at udregne gennemsnit og evt. få dannet forskellige grafiske fremstillinger af resultatet. (kvantitative data)Den generelle feedback fra deltagerne kan blot listes i en simpel rapport. (Kvalitative data)

Udover Robertson, er der enkelte andre som har beskæftiget sig med denne metode.

Spencer og Warfel (2004) beskriver card sorting, som en brugerorienteret designmetode, som kan øge et systems ”findability” ved at øge kendskabet til brugernes mentale model. Metoden, som Spencer og Warfel beskriver, er den såkaldte ”åbne card sorting”, hvor indholdet grupperes uden nogen forudbestemt gruppering. Dette i modsætning til lukket card sorting, hvor deltagerne, skal placerer emnerne i forudbestemte grupper. Lukket card sorting kan f.eks. anvendes til placering at nye emner i en eksisterende gruppering.Spencer og Warfel (2004) angiver de samme fordele ved metoden som Robertson (2001). Hun lister også nogle ulemper;

Metoden tager ikke højde for brugernes søgeopgaver. Der er derfor risiko for, at resultatet ikke understøtter disse.

Resultaterne kan variere meget mellem deltagerne. Analysen af resultaterne kan være tidskrævende. Resultatet kan afspejle overfladiske karakteristika som f.eks. dokumenttyper.

Page 9 of 33

Spencer og Warfel (2004) påpeger, at metoden bør suppleres med andre metoder ved udarbejdelse af informationsarkitektur. F.eks.;

Undersøgelse af, hvad brugerne skal have ud af at bruge siden. Udarbejdelse af en indholdsoversigt, for en eksisterende side med henblik på at analyserer,

hvilket indhold brugeren reelt har brug for.Dette sidste punkt har Robertson taget højde for ved at anvende spørgeskemaet, hvor deltagerne svarer på hvor meget de anvender de forskellige emner.

Spencer og Warfel beskriver, at emnerne udvælges blandt; Eksisterende online indhold. Beskrivelser af forretningsområder og - processer Planlagte applikationer og processer. Muligt fremtidigt indhold (af hensyn til fremtidssikring af løsningen.)

Spencer og Warfel opfordrer til, at man holder sig til samme detaljeringsniveau og at emnerne har tilstrækkelig lighed til at det er muligt at danne grupper. Spencer og Warfel anbefaler, at card sorting både kan udføres individuelt og i grupper. Hvis der arbejdes individuelt anbefales 7 sessioner. Hvis der arbejdes med grupper anbefales 5 grupper med 3 deltagere. Det er vigtigt, at deltagerne er repræsentative for brugergrupperne. Spencer og Warfel har den erfaring, at der skal 5 grupper til for at afslører et mønster i grupperingen.Spencer og Warfel angiver, at antallet af kort bør være mellem 30 og 100. Mindre end 30 kort giver for få muligheder for grupper og mere end 100 kan være overvældende og trættende for deltagerne. Spencer og Warfel anbefaler, at resultaterne behandles i et regneark. Spencer og Warfel anbefaler, at udkastet til den nye informationsarkitektur evalueres med hendes egen metode til evaluering af kort baseret klassifikation.

Jakob Nielsen (1994) beskriver card sorting på følgende måde: Card sorting er den primære metode til at undersøge brugerens mentale model.

Skriv emnerne evt. med en kort beskrivelse på indekskort. Bland kortene og giv bunken til en bruger. Bed brugeren om at sorterer kortene i bunker. Bunkerne kan være så små eller store som

brugeren ønsker.Som en ekstra aktivitet kan man bede brugerne om at arrangere bunkerne i større grupper og give disse navne. Det sidste kan give ideer til labels. Til de fleste usability studier anbefaler Jakob Nielsen at man tester med 5 brugere, men dette er ikke nok til card sorting. Nielsen forklarer, at bruger test er en evalueringsmetode. Når man evaluerer en eksisterende web side vil bare nogle få brugere afslører om der er design elementer som ikke duer. Card sorting er en generativ metode. Man har ikke en web side endnu men ønsker et overblik over brugerne mentale model for et bestemt område. Der kan være store variationer i brugernes mentale model og hvilke ord brugerne anvender om samme emne. Derfor må der indsamles oplysninger fra et rimeligt antal brugere. Nielsen anbefaler, at man anvender 15 brugere til card sorting.

Evaluering af interaktive systemer.

Blandford m.fl. (2004) har undersøgt et udvalg af forskellige usability evaluerings metoder. De har

Page 10 of 33

afprøvet metoderne i forhold til en specifik web-side, men har følgende generelle betragtninger om metoderne:Heuristisk evaluering er sandsynligvis den mest anvendte usability evaluerings metode, fordi den anses for, at give et rimeligt udbytte ved lave omkostninger. Metoden er en tjeklistebaseret tilgang til undersøgelse af usability af et interaktivt system. I sin oprindelige form udføres metoden ved at en evaluator (eller en gruppe evaluatorer) gennemgår hver side (eller skærmbillede) af et system og samtidig besvarer spørgsmål om systemet (heuristikker). Jakob Nielsen anbefaler at anvende 3-5 evaluatorer, mens andre mener, at et mindre antal er bedre, hvis der samtidig etableres en struktureret metode til at rapporterer de fundne problemer og som samtidig kan opmuntre til refleksion over undersøgelsen. Især mener Blandford m.fl. (2004), at færre evaluatorer betyder færre ”falske positiver” dvs. potentielle problemer der ikke opfattes, som faktiske problemer. De anbefaler også, at evalueringen bliver mere effektiv, hvis evaluatorerne gennemgår systemet ved brug af en række ”user tasks”. Blandford m.fl. konkluderer på grundlag af deres undersøgelser, at metoden kan resulterer i store forskelle mellem, hvad de forskellige evaluatorer finder. De mener ikke, at det er det overfladiske design af websider, som gør digitale bibliotek vanskelige at bruge, men snarer problemer for brugerne med at formulerer effektive spørgsmål, bedømme resultaterne, håndterer flere vinduer osv. Fænomener, som heuristisk evaluering ikke adresserer. Blandford m.fl. konstaterer også, at der ved heuristisk evaluering er en tendens til, at fokuserer på lokale problemer f. eks. på en webside og men derfor mangler det store overblik. Metoden hjælper til at identificerer overflade problemer, som ordvalg og forkert gruppering af emner, men den hjælper ikke med at identificerer dybere begrebsmæssige problemer. Endelig konkluderer de, at heuristisk evaluering ikke kan anvendes effektivt uden ekspertise især i forståelsen af digitale biblioteker og forståelse af brugernes typiske ”task” og sprogbrug.Den anden metode som Blandform m.fl. (2004) har undersøgt er cognitive walkthrough. Metoden udføres af et hold af evaluatorer, som tager udgangspunkt i;

- Hvem er brugerne?- Hvilke ”tasks” skal analyseres?- Hvad er den korrekte handlingssekvens for hver ”task”?- Hvordan er interfacet defineret?

Evaluatorerne arbejder individuelt med de definerede ”task” samtidig med at de overvejer følgende områder:

- Vil brugeren forstå at opnå det ønske resultat?- Vil brugeren opdage, at den ønskede handling er til rådighed?- Hvis den rigtige handling udføres, vil brugeren så opleve en fremdrift mod målet?

Blandford m.fl. konkluderer, at cognitive walkthrough hjælper til at identificere problemområder. Sammenlignet med heuristisk evaluering tilbyder den en mere fast struktur for hvordan evalueringen gribes an, når først brugerprofil og tasks er defineret. Anvendelsesområdet er mere begrænset end heuristisk evaluering og de fundne problemområder er en smule nemmere at genskabe. Den faste struktur i cognitive walkthrough begrænser dog anvendelsesmulighederne. Cognitive walkthrough beskæftiger sig ligesom heuristisk evaluering med de mere overfladiske dele af usability. Ingen af metoderne identificerer dybere problemer som f.eks. hvordan brugeren interagerer med systemet.

Den tredje metode som Blandford m.fl. Har undersøgt kaldes claims analysis. Denne metode hjælper til, at afdække den psykologiske baggrund for designbeslutninger. Det vil sige, at det er en delvis struktureret tilgang til designovervejelser set fra et brugersynspunkt. De krav, som er resultatet af

Page 11 of 33

metoden er udtryk for positive og negative effekter for brugeren indenfor en bestemt kontekst (et scenario). Claim analysis er mindre struktureret end cognitive walkthrough. Sammenlignet med heuristisk evaluering er metoden mindre struktureret i forhold til heuristikkerne men mere struktureret i forhold til hvordan kontekst specificeres. Metoden anvendes ideelt set i designforløbet. Metoden starter med at genererer brugerscenarier. Disse er magen til task i cognitive walkthrough, dog vil scenarierne i claim analysis være et højere abstraktionsniveau og indeholde mere information om kontekst og bruger. For hvert scenario arbejder evaluator sig systematisk gennem designet og på baggrund af relevant teori eller empiriske resultater udarbejdes krav til, hvilken effekt funktionaliteten vil have for brugeren. Resultatet omfatter både positive og negative krav med baggrund i fordele og ulemper ved det foreslåede design. Blandford bemærker, at denne metode er vanskeligere, at lære end heuristisk evaluering og cognitive walkthrough. Styrken ved claim analysis er, at den arbejder med scenarios og på den måde slår bro mellem de menneskelige faktorer og softwareudvikling.Endelig beskriver Blandford m.fl. en metode kaldet CASSM (concept based analysis of surface and structural misfits). Metoden vurderer design i forhold til de koncepter brugeren arbejder med og de koncepter som er indbygget i systemet. Brugerens koncepter analyseres ved brug af interviews, observation eller tænke-højt-øvelser. Systemets koncepter analyseres ved hjælp af systemdokumentation og undersøgelse af det implementerede design. Sammenlignet med de 3 andre metoder mangler CASSEM detaljering. Metoden er også vanskeligere, at lære end heuristisk evaluering og cognitive walkthrough, men den giver en indsigt, som komplementerer de øvrige metoder.Blandford m.fl. konkluderer:

- Der er behov for en metode som slår bro mellem bruger og system.- De nævnte metoder adskiller sig med hensyn til dybden af analysen. Heuristisk evaluering og

cognitive walkthrough er nyttige i forhold til de mere overfladiske strukturer mens claims analysis og CASSM bidrager til en dybere forståelse af forholdet mellem bruger og system.

Blandford m.fl. mener ikke at nogen af metoderne giver den perfekte løsning, men at de hver for sig bidrager til, at se systemet fra et brugersynspunkt.

Hertzum og Jacobsen (2003) har også undersøgt 3 metoder til usability evaluering; cognitive walkthrough, heuristisk evaluering og thinking aloud study. Han undersøger om evaluatorer som evaluerer det samme system i høj grad finder forskellige problemer. Hertzum og Jacobsen konkluderer, at årsagen til denne evaluatoreffekt er, at evaluering er en kognitiv aktivitet, hvor evaluatorerne benytter deres dømmekraft. Han mener ikke, at det er overraskende, at heuristisk evaluering, som er en uformel metode, giver forskellige resultater. Cognitive walkthrough og thinking aloud giver næsten samme resultater, selvom disse metoder er mere styrede. Hertzum og Jacobsen mener tre aspekter ved metoderne er årsag til evaluatoreffekten:

- Utilstrækkelig mål analyse- Utilstrækkelig evalueringsprocedure- Utilstrækkelige problemkriterier

Hertzum og Jacobsen anbefaler, at man ved evaluering er mere specifik med mål analyse og udvælgelse af tasks. Han pointerer, at man bør analysere, hvilke aspekter af systemet, som skal undersøges. Desuden skal evalueringens dækningsområde afklares. Desuden anbefaler han, at der anvendes mere end en evaluator og at man overvejer evalueringskriterier og problemkriterier. Hertzum og Jacobsen konkluderer at på trods af evaluatoreffekten, er usability evaluerings metoder, stadig de bedste metoder, som er til rådighed.

Page 12 of 33

Usability vurdering.Jakob Nielsen (1993) beskriver, hvordan man før en test bør gøre sig klart, hvilket formål testen har, da dette har stor betydning for, hvilken type test, der skal udføres. Det er navnlig væsentligt at skelne mellem formativ og summarisk evaluering af brugergrænsefladen. Formativ evaluering foretages for at forbedre brugergrænsefladen, som del af en iterativ design proces. Hovedformålet er således, at undersøge, hvilke dele af grænsefladen, som er gode og dårlige og hvordan designet kan forbedres. En typisk metode til formativ evaluering er tænke-højt-test. I modsætning hertil er summarisk evaluering en generel vurdering af grænsefladens kvalitet f.eks. til brug for valg mellem to alternative løsninger. En typisk metode til summarisk evaluering er en målings test.Test plan: En testplan bør skrives ned før testen går i gang og bør indeholde følgende:

Testens formål. Hvor og hvornår udføres testen. Hvor længe varer hver session. Hvilke computere skal bruges til testen. Hvilken software skal være klar til testen. Hvilken tilstand skal systemet være i til testen. Hvordan skal svartiderne være. Hvem er undersøgelsesleder. Hvem skal agere brugere og hvordan fremskaffes disse. Hvor mange brugere er nødvendige. Hvilke ”tasks” skal brugerne udføre. Hvilke kriterier skal bruges til at afgøre om brugeren udført test opgaven korrekt. Hvilken form for hjælp har brugerne til rådighed. I hvilket omfang må undersøgelsesleder hjælpe brugerne under testforløbet. Hvilke data opsamles og hvordan skal de analyseres. Hvilke kriterier skal opstilles for at brugergrænsefladen kan godkendes.

Testen skal have et budget. Dette kan f.eks. indeholde: Testernes tid, evt. assistance til undersøgelseslederen, software udvikling, computertid, evt. laboratorium og videobånd.Der bør udføres en eller flere pilottests, med henblik på at afslører om der er alvorlige mangler i testplanen. Pilottesten kan udføres af personer son er let tilgængelige, selvom disse ikke er repræsentative for de faktiske brugere. En sådan pilottest kan afslører om ”task” er vanskeligere end forventet eller evt. for nemme. At skaffe testbrugere: Testbrugere skal være repræsentative for de faktiske brugere. Hvis der er flere undergrupper af brugere, bør testbrugerne dække disse forskellige grupper.Man kan skelne mellem uerfarne og ekspertbrugere. Disse to typer bruger skal muligvis teste med forskellige ”tasks” og det er vigtigt, at begge typer deltager i testen. Det kan være nødvendigt at træne brugerne i systemet inden testen.Ofte udføres testen for, at sammenligne brugervenligheden mellem to eller flere systemer. Der er to forskellige metoder til dette formål. Between subject testing: Er den enkleste og mest valide metode, da den involverer forskellige testbrugere til forskellige systemer. Således deltager hver testdeltager kun i en enkelt testsession. Problemet med denne type test er, at der er store individuelle variationer i brugernes evner til at bruge systemet. Derfor kan det være nødvendigt, at udføre, et stort antal test for at udligne denne forskel. Denne metode rummer også den bias at testbrugere, som melder sig frivilligt først agerer anderledes

Page 13 of 33

end brugere som melder sig frivilligt senere, man er derfor nødt til, at foretage en tilfældig fordeling af testbrugerne. Det er også en mulighed at sørge for, at hver test, har lige mange brugere fra forskellige brugergrupper. (forskellige: afdelinger, køn, alder, erfaring osv.)Within-subject testing: Betyder, at alle testbrugere tester alle de systemer som testes. Denne metode sikrer, at individuel variation mellem brugerne udlignes. Denne metode har den ulempe, at brugerne opøver en erfaring i løbet af testen. For at kontrollerer denne effekt, kan det varieres mellem testerne hvilket system de bruger først.At udvælge undersøgelsesleder: Undersøgelseslederen bør have kendskab til usability og til testmetoden. Desuden er det nødvendigt, at undersøgelseslederen har indgående kendskab til systemet og dets brugere. Det kan således med fordel være designerne af systemet, som er undersøgelsesleder. Ulempen ved det er, at disse vil have en tilbøjelighed til, at forklarer brugernes problemer i stedet for at anerkende disse. For at undgå dette kan systemudviklerne indgå som undersøgelsesledere sammen med usabilityspecialister.Etiske aspekter: Umiddelbart vil en usabilitytest ikke rumme samme risiko for brugeren som f.eks. en test i medicinalindustrien. Alligevel kan brugerne føle et pres under testen og de kan føle sig utilstrækkelige, hvis de oplever problemer i testforløbet. Det er undersøgelseslederens opgave, at sørge for, at testerne føler sig godt tilpas under testen. Der bør lægges vægt på, at det er systemet og ikke brugeren som testes. Testen bør udføres i en afslappet atmosfære, udførelsen skal være uforstyrret og resultatet bør holdes fortroligt og anonymt. Undersøgelseslederen bør blande sig så lidt som muligt under testen. Efter testen skal brugeren debriefes og have mulighed for at komme med kommentarer. Test tasks: Grundlæggende skal disse være så repræsentative som muligt for systemets brug. De skal også være dækkende for de vigtigste dele af brugergrænsefladen. Tasks kan designes ved hjælp af taskanalyse eller baseret på en oversigt over hensigten med systemet. Tasks skal ikke være større end de kan gennemføres indenfor testens tidsramme, men de skal ikke være så små at de bliver trivielle. Task skal specificere præcis, hvilket resultat brugeren forventes at frembringe. Tasks skal almindeligvis angives skriftligt. Dette sikrer, at brugerne har fået beskrevet task på samme måde og det giver brugeren mulighed for at vende tilbage til spørgsmålet i testforløbet. Efter udlevering af task bør brugeren have mulighed for, at stille spørgsmål til undersøgelseslederen. Task kan udformes, så brugeren får tillid til egne evner f.eks. ved, at lade første og sidste spørgsmål være nemme at gennemføre.Testens faser: Testen forberedes ved at undersøgelseslederen sikrer at lokaler, computer og øvrige testmaterialer er i orden. Derefter introducerer undersøgelseslederen testen ved, at forklare formål og forklare, at deltagelse er frivillig og anonym. Desuden opfordres brugeren til at stille spørgsmål og der gives de nødvendige specifikke instruktioner. Testen afvikles medens undersøgelseslederen interagerer så lidt som muligt. Der kan svares på opklarende spørgsmål og brugeren kan hjælpes i gang hvis de går i stå. Efter testen beder man brugeren om at udfylde et spørgeskema om tilfredshed med systemet og om evt. forslag til forbedring af systemet. Dette foregår før en evt. mundtlig diskussion af systemet. Det vil ofte vise sig at forskellige brugere kommer med helt modsatrettede forslag til ændring af systemet. Performance måling bliver næsten altid udført ved at en gruppe test brugere gennemfører et foruddefineret sæt tasks, mens der opsamles data om tid og fejl. En alvorlig faldgrube er, muligheden for, at måle noget som er ringe relateret til det område man i virkeligheden er interesseret i at måle. Målene er typisk abstrakte og må nedbrydes i delkomponenter. Disse må derefter kvantificeres. F.eks. kan effektivitet kvantificeres ved den gennemsnitlige tid det tager at gennemfører et task. Følgende er eksempler på kvantificerede usability målinger:

Page 14 of 33

Tid det tager brugeren at afslutte et specifikt task. Antal tasks af forskellig type, som kan udføres indenfor en given tidsramme. Forholdet mellem søgninger og fejl. Tiden det tager at komme over fejl. Antallet af brugerfejl. Antallet af ”immediately subsequent erroneous actions” Antallet af kommandoer eller aktioner anvendt af bruger. Antallet af kommandoer eller aktioner, som aldrig blev anvendt af brugeren. Antallet af system funktioner, som brugeren kan huske efter testen. Hvor ofte brugeren anvender manual eller on-line-hjælp. Hvor ofte manual eller on-line-hjælp løser problemet. Mængden af bruger tilbagemeldinger, som er positive i forhold til negative. Antallet af gange hvor brugeren udtrykker frustration (eller glæde) Mængden af brugere, som siger at de vil foretrække systemet fremfør et andet. Antallet af gange hvor brugere må arbejde sig udenom uløselige problemer. Mængden af brugere, som bruger effektive strategier i modsætning til brugere, som bruger

ineffektive strategier. Mængden af ”død tid” hvor brugeren ikke interagere med systemet. Der skelnes mellem tid

hvor brugeren venter på svar fra systemet og tid hvor systemet venter på brugeren. Antallet af gange, hvor brugeren kører af sporet og ikke fokuserer på opgaven.

Det er naturligvis kun en del af disse mål, som vil blive opsamlet i en specifik test.Nielsen beskriver de forskellige typer af test:Tænke-højt-test: er den vigtigste usability test metode. Grundlæggende går testen ud på, at brugeren anvender systemet og samtidig verbaliserer sine tanker. Dette giver mulighed for at forstå, hvordan brugeren ser på it-systemet. Det giver mulighed for at forstå, hvilke dele af dialogen, som giver brugeren problemer. Metoden er traditionelt blevet brugt, som psykologisk undersøgelsesmetode, men er blevet mere og mere brugt til undersøgelse, af menneske-computer interaktion. Den største ulempe ved denne metode er, at den ikke egner sig så godt til performance måling. Dens styrke er derimod, en overflod af kvalitative data genereret fra et forholdsvis lille antal brugere. Metoden kan give et forkert indtryk af usability problemer, hvis der lægges for megen vægt på brugernes teorier om årsagen til problemerne. Metodens styrke er at den dokumenterer, hvad og hvorfor brugerne gør som de gør mens de gør det. At tænke højt virker meget unaturligt for de fleste og det kan være svært for brugerne, at holde en talestrøm i gang mens de bruger systemet. Dette kan påvirke den tid der bliver brugt, så performancemålingerne ikke er repræsentative. Desuden kan brugernes problemløsningsadfærd påvirkes af situationen. Denne metode vil kræve, at undersøgelseslederen ofte minder brugeren om at udtrykke sine tanker.Konstruktiv interaktion: En variation over tænke-højt-test, hvor to brugere anvender systemet sammen. Fordelen ved denne metode er, at den virker langt mere naturlig end traditionel tænke-højt-test. Ulempen ved metoden er at forskellige brugere kan have forskellige strategier i brug af grænsefladen og måske endda ikke kan arbejde sammen. Metoden kræver i sagens natur dobbelt så mange brugere og egner sig derfor bedst til test hvor det er nemt at skaffe mange brugere. Retrospektiv-testing: Hvis en testsession optages på video, bliver det muligt, at få brugeren til at gennemse optagelsen og kommenterer forløbet. Metoden er især velegnet i situationer, hvor det er

Page 15 of 33

vanskeligt, at skaffe repræsentative brugere, fordi den giver større mulighed for at få flere oplysninger fra hver bruger. Ulempen er, at metoden tager mindst dobbelt så lang tid.Coaching metoden: Adskiller sig fra andre usabilitytesting metoder, ved at indeholde interaktion mellem undersøgelsesleder (coach) og bruger. I andre metoder blander undersøgelsesleder sig så lidt som muligt, mens denne metode betyder, at brugeren ledes i den rigtige retning ved brug af systemet. Coachen kan enten være undersøgelseslederen (eller dennes assistent) eller en uafhængig coach. Metoden er velegnet til at undersøge uerfarne brugeres behov for træning og dokumentation.Metoden kan også anvendes i situationer, hvor man ønsker at teste ekspertbrugere, men ikke har nogen til rådighed. Uerfarne brugere kan på denne måde komme op på niveau.Usability laboratorier: Mange brugertests finder sted i usabilitylaboratorier. Disse er typisk lydtætte rum med en-vejs-spejle og desuden ofte udstyret med videooptager. Laboratorierne kan også være udstyret med eye-tracker. En tredje mulighed er at lade computeren registrere interaktionen med brugeren. Dette giver dog ikke mulighed for, at registrere brugerens reaktion på systemet.

Den praktiske gennemførelse af projektet.

card-sorting øvelserne.Jeg valgte, at gennemføre card sorting øvelserne, som beskrevet af Robertson (2001).Jeg startede med at udarbejde en liste over emneord. Emneordene fandt jeg dels i form af emner i den eksisterende projektportal og dels i form af emner i den eksisterende hierarkiske organisationsstruktur. Desuden fandt jeg emner i form af genveje på eget og kollegers PC skrivebord.Listen blev på 53 emner. Hvilket stemmer overens med anbefalinger fra Spencer og Warfel (2004) om at antallet af emner bør ligge mellem 30 og100. Robertson (2001) anbefaler, at ord som afspejler, det nuværende format bør undgås (f.eks. manual eller guide). Dette har jeg ikke kunne leve op til, da den portal som jeg tager udgangspunkt i netop er en samling af links til forskellig online information, hvor navnene bl.a. indeholder betegnelser som; håndbog, manual og vejledning.Detaljeringsniveauet på de valgte emner er meget forskelligt. Idet nogle emner er links til større samlinger af information som f.eks. projekthåndbog, kravspecifikation og vejledning, mens andre kan være enkeltdokumenter, som f.eks. fraværsoversigt og kalenderplan. Det er tilstræbt, at betegnelserne skal give mening for deltagerne, ved at anvende de samme betegnelser som i den eksisterende organisationsstruktur.Da der ved flere af sessionerne dukkede nye emneord op, er disse skrevet på nye kort og har indgået i de efterfølgende sessioner.

Som anbefalet af Robertson (2001) har jeg valgt, i forbindelse med card-sorting sessionen, at undersøge brugernes nuværende brug af informationssystemet. Derfor indleder jeg hver card-sorting sessionen med, at deltagerne udfylder et spørgeskema (bilag 1), hvor de angiver hvor hyppigt de anvender emnerne som indgår i øvelsen. Resultatet er opsummeret i bilag 2.Deltagerne er rekrutteret blandt de eksisterende og potentielle brugere af systemet. Projektets deltagere har 2 muligheder for at søge informationer i informationsdatabasen; enten ved at browse i den hierarkiske organisationsstruktur eller ved at anvende navigationssystemet, projektets portal. De potentielle brugere er altså projektets medarbejdere. Robertson (2001) anbefaler, at der mindst er 4

Page 16 of 33

deltagere i en session. Han anbefaler også at der holdes flere sessioner med de forskellige grupper, hvis der er flere brugergrupper. Jeg har valgt, at holde 3 sessioner med 4 deltagere og har forsøgt at adskille de forskellige brugergrupper. Pga. ferie på det tidspunkt hvor sessionerne blev afholdt, var det dog ikke muligt helt at gennemføre dette, hvis jeg samtidig ønskede mindst 4 deltagere. Card-sorting sessionerne blev afholdt på følgende måde:

1. møde: 21/7 2010 kl. 10.00 til 11.30. Deltagere: 3 personer med jobprofil ”tester” og 1 person med jobprofil ”programmør/dataadministrator”.

2. møde: 26/7 2010 kl. 13.00 til 14.30. Deltagere: 4 personer med jobprofil “planlægger”.

3. møde: 27/7 2010 kl. 10.00 til 10.30. Deltagere: 4 personer med jobprofil “programmør”

Jeg har valgt, at præsenterer resultaterne fra de 3 sessioner i tabelform (bilag 3, 4 og 5), hvor overskrifterne listes med emnerne nedenunder. Robertson (2001) foreslår, at der udarbejdes en grafisk præsentation, som illustrerer, hvordan strukturen vil se ud når den implementeres. Denne præsentationsform har jeg valgt at anvende til det endelige designforslag, som er resultat af min analyse af resultaterne.

Overordnet resultat af card sorting De 3 card-sorting øvelser har forskelligt resultat. Jeg har identificeret følgende vigtige tendenser i den kvalitative del af undersøgelsesresultaterne;Brugerne ønsker, at emnerne grupperes ud fra type f.eks. ”mødereferater”, ”planer” og ”værktøj” samt ”håndbøger”/”vejledninger”/”opslagsværker” Desuden opdeles der i nogen grad efter proces f.eks. ”drift” og ”test”. Endelig var der enighed om, at grupperer emner som udarbejdes af interessenter udenfor projektet for sig selv f.eks. ”SKAT”/”kunden” og ”CSC”/”generelle links”.

Hvilke emner er de vigtigste? Til besvarelse af dette spørgsmål viste det sig at, spørgeskemaet, som deltagerne udfyldte i starten af sessionerne, var et virkeligt brugbart værktøj. Denne kvantitative del af resultaterne fra spørgeskemaet tastede jeg ind i et regneark og udregnede gennemsnit (bilag 2). Det viste sig dog at det var et irritationsmoment, at den ”bedste” værdi altså ”emnet bruges meget” var sat til 1 og den ”dårligste” værdi ”emnet bruges aldrig” var sat til 5. Dette er omvendt i forhold til måden regneark almindeligvis fungerer på. For nogle af deltagerne, var det tilsyneladende også vanskeligt at besvare spørgeskemaet, fordi ”pointgivningen” virkede omvendt for dem.

Systemudviklingsprocessen.Web usabilityJeg har i forbindelse med re-design af projektportalen forsøgt at leve op til kraven til usability.Jakob Nielsen (1997) beskriver hvordan hans syn på web usability har udviklet sig siden 1994. Hans konklusion er, at resultaterne stort set er uændrede. Dette skyldes, at det handler om menneskelig

Page 17 of 33

kompetence og brugernes behov. Faktorer som ikke ændrer sig lige så hurtigt, som de teknologiske muligheder. Resultaterne fra 1994 var følgende:

Brugerne læser ikke. De scanner teksten. Brugerne foretrækker sider med personligt indslag som f.eks. ” author's voice” Brugerne er utålmodige. De vil have svar på deres spørgsmål med det samme og ikke forsinkes

af smarte funktioner, mission statements eller selvpromovering. Brugere printer sider ud, fordi de ikke stoler på at siden vil være til rådighed, hvis de på et

senere tidspunkt ønsker at vende tilbage. Svartider er vigtige og bør tages i betragtning ved webdesign. Brugere kan lide søgefunktioner og søgefunktion er næste obligatorisk for større sider.

Jakob Nielsen tilføjer følgende resultater, som er fremkommet i de senere år: Animationer er næsten altid irriterende og bør undgås. Applets bør sommetider (hvis det drejer sig om funktions applets) åbne i et nyt vindue. ”Frames” bør undgås. Et frameset er meget lig en tabel. Et frameset giver mulighed for at dele

browservinduet op i flere vinduer (frames) ligesom celler i en tabel. Opdeling af en side i frames er meget forvirrende for brugerne, da frames bryder med den grundlæggende brugermodel af websiden. Det betyder, at man ikke kan bogmærke den aktuelle side og vende tilbage til den, webadresser virker ikke og print bliver vanskeligt. Forudsigeligheden af brugerens handlinger forsvinder. Det er uforudsigeligt, hvor man ender når man klikker på et link.

Vilde baggrundsmønstre forstyrrer brugerens læsning. Farvet tekst bør anvendes med omtanke og man bør ikke bruge blå farve til ulinket tekst (den blå farve reserveres, som standardfarve til ubesøgte links)

Følgende tidlige resultater har Jakob Nielsen (1997) dog måtte reviderer: Scrolling blev tidligere betragtet som en ”usability disaster”, men nyere undersøgelser viser, at i

modsætning til tidligere benytter de fleste brugere scrolling når de støder på en lang webside. Scrolling forringer dog stadig brugbarheden og nye undersøgelser viser, at brugerne giver mindre opmærksomhed til information, som befinder sig under vinduet.

Imagemaps medførte tidligere store usability problemer. Et image map bruges til at forbinde forskellige dele af et billede, uden at dele billedet op i separate billedfiler. Tidligere vidste brugerne ikke hvad de skulle stille op med sådan en side, men nyere undersøgelser viser at det ikke længere er et problem. Dette skyldes dels at brugerne er blevet mere rutinerede og dels at designerne er blevet dygtigere.

Tidligere stillede brugerne ikke så store krav til websider, men i dag forventer brugerne omfattende service fra websteder. Sites skal ikke bare være oppe og til rådighed på alle tidspunkter, de skal også have alle de informationer og tjenester brugere ønsker i en bestemt kategori.

Ved re-design af projektportalen er Jakob Nielsens (1997) synspunkter taget til efterretning i det omfang det var relevant:

Personligt indslag på siden: Dette er ikke implementeret ved re-designet. Problemet med sådan et indslag på siden er, at det kræver, at en person afsætter tid til at blogge eller skrive andre personlige indslag til siden.

Page 18 of 33

Siden er søgt forbedret med hensyn til information, som kan synes overflødig for brugerne. Til dette formål har jeg anvendt resultaterne fra spørgeskemaet vedr. hvor ofte emnerne blev anvendt.

Siden er teknisk ukompliceret og afvikles i et meget stabilt miljø, derfor er der hverken nu eller tidligere problemer med svartider og oppetid.

Siden har ingen søgefunktion, da det ville være uforholdsmæssigt tidskrævende at implementere og vedligeholde. Brugerne er henvist til Windows-søgefunktioner.

Siden indeholder hverken animationer, imagemaps eller applets. ”Frames” er afskaffet i forhold til den tidligere version af projektportalen. Baggrundsmønster er afskaffet i forhold til den tidligere version. Der er valgt hvid som

baggrundsfarve og blå tekst til ubesøgte links. Desuden er anvendt grå baggrund i venstre kolonne samt rød tekst til overskrift. Dette er i overensstemmelse med CSC’s design på andre interne sider og giver efter min opfattelse et ensartet præg.

Systemudviklingsmetode.Re-design af projektportalen er foregået ved brug af samme strukturerede systemudviklingsmetoder, som projektet sædvanligvis anvender til systemudvikling. Cadle & Yeates (2001) beskriver følgende karakteristika ved strukturerede systemudviklingsmetoder:

Bruger involvering. Brugerne deltager i reviews og lignende i hele projektforløbet. Der kan også foregå en formel accept af systemet.

Adskillelse af det logiske og det fysiske design. Så forretningsmæssige fordele ikke begrænses af tekniske muligheder.

Fokus på data frem for processer. Dette fordi data ofte er mere stabile end processer. Dokumentation i diagramform. Defineret struktur. Gør udviklingsforløbet nemmere at planlægge, da der ikke sker pludselige

spring mellem faser og aktiviteter.Et eksempel på struktureret metode er SSADM som er en metode udviklet af den Britiske regering i 80’erne. Metoden i sin oprindelige form var tung at arbejde med og er gennem tiden blevet tilpasset projekternes behov. Den grundlæggende struktur i metoden er følgende udviklings faser:

Analyse af projektets mulighed for gennemførelse. Business case. Analyse af krav. Specifikation af krav Specifikation af det logiske system. Fysisk design.

Re-design af projektportalen har fulgt dette forløb. Grundlaget for projektets gennemførelse blev lagt, da en medarbejdertilfredshedsundersøgelse fastslog, at der var et behov for, at forbedre mulighederne for informationssøgning på projektet f.eks. ved forbedring af projektportalen. Da jeg gerne ville påtage mig denne opgave, måtte jeg opstille en business case. Det vil sige, at jeg opstillede et overslag over, hvor meget tid projektdeltagerne skulle bruge på projektet, desuden udarbejdede jeg en tidsplan for gennemførelsen af projektet. Fordelen for projektet, udover at mulighederne for informationssøgning forhåbentlig bliver forbedret, ville være at denne forbedringsaktivitet kan rapporteres afsluttet overfor den øverste ledelse. Det var desuden en fordel i forhold til muligheden for at få tilladelse til at

Page 19 of 33

gennemføre projektet, at størstedelen af de timer, som jeg selv skulle præstere, ville kunne faktureres som kursus eller ville foregå i min fritid.Analysen af krav er foregået i form af card sorting øvelserne og specifikationen af krav er resultatet af min analyse af disse øvelser. Specifikationen af det logiske system, er dokumenteret i grafisk form i min skitse til systemløsning (bilag 6). Endelig har en programmør udarbejdet det fysiske design. Her stopper metodens udviklingsfaser, men jeg føjer yderligere 3 faser til:

Funktionstest. Implementering. Evaluering.

Dette er faser som også indgår i projektets sædvanlige udviklingsforløb. Funktionstesten foregik ved, at jeg selv afprøvede alle links og undersider på portalen. Dette førte til nogle programrettelser, hvorefter jeg foretog gentest. Implementeringen foregik ved at jeg præsenterede portalen på et projektmøde og derefter udsendte en mail med sidens URL til projektdeltagerne. Endelig gennemførte jeg en heuristisk ekspertevaluering, som beskrevet nedenfor. Skulle denne evaluering afsløre behov for ændringer til portalen, vil den strukturerede proces starte forfra.

DesignbeslutningerSpørgeskemaet afslørede, at en række emner bruges meget lidt. Disse emner har jeg valgt, at udelade i det endelige design. Det drejer sig om ca. 15 emner. Selvom f.eks. dokumentet ”Teststrategi” ikke bruges meget, har jeg valgt at placerer det på portalens forside. Dokumentet beskriver projektets politikker vedr. test og jeg anser det for at være et vigtigt dokument, som projektdeltagerne opmærksomhed bør henledes på.I det endelige design har jeg valgt et hierarki, som er bredt og fladt. Dette har jeg først og fremmest valgt for at få alle emner som bruges hyppigt på forsiden og for at alle typer og processer fremstår som lige vigtige på portalen. De fleste brugere bør altså kunne finde de emner, som de bruger mest på portalens forside. Denne beslutning mener jeg også kan forsvares, da det samlet ikke drejer sig om så mange emner.Af hensyn til overskuelighed er der oprettet 3 undersider. Emner på undersiderne, er emner som de fleste brugere angav ikke at bruge meget, men som enkelte brugere angav at bruge meget. Dette ser også ud til at have en vis sammenhæng med jobfunktion, da det drejer sig om testværktøjer og programmeringsmanualer og – vejledninger samt mødereferater. Endelig skal det tages i betragtning, at projektportalen indeholder links til projektets informationsdatabase og dermed får mange niveauer, når man arbejder videre i informationsdatabasen.Jeg har valgt at lade rammen i venstre side indeholde eksterne links. Dette fordi de eksterne links blev grupperet sammen af brugerne og fordi den gamle portal var opbygget på denne måde og jeg ønskede et element af genkendelighed. Som resultat af card-sorting øvelserne er der dukket 3 nye emner op:

1. ”Notater” som vedrører det nyeste år. Dette placeres på forsiden under arkitektur og data.

2. ”PDF-konverter”. Placeres på undersiden ”Testværktøj”3. ”Oversigt over TSO-værktøjer”. Kræver, at nogen udarbejder den ønskede oversigt og

er villig til at vedligeholde den. Det videre arbejde med udviklingen af den nye projektportal foregik ved, at jeg udarbejdede et design forslag i form af et word-dokument. Dette blev sendt til en planlægger og en programmør, som begge

Page 20 of 33

havde deltaget i card sorting øvelsen. Diskussionen af mit udkast førte til yderligere designbeslutninger:

- En knap på undersiderne "retur til forsiden" blev droppet, da dette ville blive for vanskeligt at implementere og vedligeholde. Man kan i stedet bruge returknappen i browseren.

- Jeg havde foreslået, at den venstre "ramme" med eksterne links skulle gå igen på undersiderne. Dette blev også droppet, da det var for arbejdskrævende.

- Vi besluttede at droppe links til alle tidligere års versioner af projektportalen. Som sagt tidligere udvikler projektet års systemer og der vil derfor blive udviklet en ny version af portalen hvert år. I stedet vil siden fremover kun indeholde link til det nyeste tidligere år.

- Programmeringsteknisk ophører vi med at anvende ”frames”.- Det viste sig at flere af emneordene dækkede over samme emne, som kunne erstattes af et

emneord.

Jeg kunne have valgt at fremlægge mit designforslag for de 12 card sorting deltager inden programmeringen gik i gang. På den måde ville jeg have fået feedback på, om jeg havde forstået resultatet af card sorting øvelserne rigtigt. Dette måtte jeg dog undlade på grund af tidsnød. Jeg må altså stille mig tilfreds, med tilbagemeldingen fra de to deltagere i den videre udvikling og se hvad resultatet af evalueringen bliver. Det vil efterfølgende være muligt, at foretage justeringer på portalen.Hele arbejdet med re-designet af portalen er blevet udført, med henblik på, at portalen er et værktøj, som ikke må være tidskrævende at udvikle og vedligeholde. Udviklingen og vedligeholdelsen af projektværktøjer er en udgift, som ikke kan faktureres direkte til kunden og den tid som anvendes til dette er derfor forholdsvis begrænset.

Portalen før re-design:

Page 21 of 33

Portalen efter re-design:

Page 22 of 33

Heuristisk ekspert evaluering.Evalueringen af den redesignede projektportal udføres som en heuristisk ekspertevaluering. Dette har jeg først og fremmest valgt, fordi det var metoden, som jeg anvendte til evaluering af projektportalen i den tidligere opgave (Jensen, 2009). Ved at vælge nøjagtig samme metode får jeg mulighed for at sammenligne resultaterne af evalueringen af den gamle og den nye version af portalen. Jeg har en hypotese om, at en heuristisk evaluering af den redesignede portal, kan dokumenterer, at usability er blevet forbedret.Testen udføres, som en within-subject-test. Det vil sige, at alle evaluatorene tester begge de systemer, som testes (Nielsen 1993). Der foretages performancemålinger i forbindelse med testen, idet

Page 23 of 33

evaluatorene registrerer tid anvendt pr. task samt angiver en usability rating pr. task. Heuristisk evaluering (Nielsen, 2009) er en metode til at finde funktionalitets problemer i en brugergrænseflade. Ved evalueringen gennemgår nogle få eksperter brugergrænsefladen og bedømmer funktionaliteten ud fra nogle fastsatte kriterier (heuristikker). Jakob Nielsen anbefaler, at man anvender 3-5 evaluatorer. Hans undersøgelser viser, at der ikke fremkommer meget yderligere information ved at anvende mere end 5 evaluatorer. Ved en heuristisk evaluering gennemgår hver evaluator brugergrænsefladen alene. Ved evalueringen gennemgås brugergrænsefladen flere gange og funktionaliteten vurderes i forhold til heuristikkerne. Resultaterne kan enten opsamles i form af en skriftlig rapport eller ved at evaluatorerne formulerer deres observationer verbalt til undersøgelseslederen. Ved den tidligere evaluering anvendte jeg 3 evaluatorer. Alle 3 var domæneeksperter og samtidig brugere af systemet. Desuden valgte jeg at opsamle observationerne i en skriftlig rapport. I forbindelse med den tidligere evaluering tilpassede jeg Jakob Nielsens heuristikker (Nielsen, 2005). Desuden valgte jeg at lade evaluatorerne bedømme funktionalitetsproblemer efter Jakob Nielsens skala fra 0-4.

Simulated work task situations.Den heuristiske gennemgang er foretaget på grundlag af seks ”simulated work task situations” (Borlund, 2003). Borlunds model understøtter evaluering af systemer på en så realistisk måde som muligt i et kontrolleret evalueringsmiljø. Et element i denne metode er brugen af realistiske scenarier også kaldet ”simulated work task situations”. En ”simulated work task situation” er en kort beskrevet tænkt arbejdssituation, som igangsætter et simuleret informationsbehov, ved at lade brugeren oversætte situationen til et individuelt informationsbehov. Opgaven er ens for alle testpersoner, hvilket giver mulighed for kontrol af eksperimentet. De seks ”tasks” er konstrueret ud fra opgaver, som vil kunne forekomme i det daglige arbejde.” Simulated work task situations” udgør et stabilt koncept, som gør det muligt, at kontrollere eksperimentet ved at levere sammenlignelige resultater for søgninger i samme database. I denne undersøgelse er der foretaget søgninger i samme database med to forskellige søgemetoder.

Søgeopgaverne er formuleret, så de i høj grad svarer til virkelige informationsbehov.

Spørgsmålene er tilstræbt at svare til dagligdags søgeopgaver.

I denne undersøgelse er indikative spørgsmål udeladt, da de ikke var relevante.

Rækkefølgen af søgeopgaver permuteres mellem testpersonerne. Formålet med dette er at neutralisere effekten af den rutine testpersonerne oparbejder i løbet af undersøgelsen, samt at neutralisere en evt. ændring af testpersonernes relevansbedømmelse af søgeresultatet, som undersøgelsen skrider frem.

Permutering: I denne undersøgelse er både rækkefølgen af ”task” og den anvendte metode til informationssøgning varieret, så ingen af testpersonerne har fået spørgsmålene i samme rækkefølge og så hvert spørgsmål er afprøvet med begge metoder til informationssøgning.

I nedenstående skema står nummeret for nummeret på spørgsmålet og bogstavet står for: O = den

Page 24 of 33

primære organisationsstruktur og P = portal.

BAL CK PDJ LW JK KS LLU

1 - O 4 – O 6 – O 1 - O 5 – O 2– P 5 – P

2 - O 5 – O 4 – O 2 - O 6 – O 3 – P 6 – P

3 - O 6 – O 5 – O 3 - O 1 – O 4 – P 1 – P

4 – P 1 – P 3 – P 4 – P 2 – P 5– O 2 – O

5 - P 2 – P 1 – P 5 - P 3 – P 6 – O 3 – O

6 - P 3 – P 2 - P 6 - P 4 – P 1 - O 4 – O

Der var yderligere 2 evaluatorer, som ikke fik tid til at gennemfører evalueringen. Dette betyder, at jeg ikke fik en ligelig fordeling på hvilken metode til informationssøgning, som evaluatorerne startede med.

Evaluatorerne.Ved den tidligere evaluering deltog 3 domæneeksperter, som også er brugere af systemet. De blev rekrutteret ved at efterspørge frivillige på projektet. Eksperterne var fordelt på jobfunktioner (planlægger/programmør) og på større eller mindre erfaring på projektet.Nielsen (1993) kategoriserer brugere i forhold til deres domæneviden og i forhold til deres it-erfaring, som illustreret i nedenstående skema:

Page 25 of 33

I denne evaluering er evaluatorerne ”Expert User of System” idet de alle har indgående computer erfaring og samtidig indgående viden om domænet. Derimod er evaluatorerne ikke usability eksperter og de har ingen erfaring i usability evaluering.3 af evaluatorer har foretaget den samme evaluering af den gamle udgave af portalen for ca. 1½ år siden. Dette kan betyde, at de har oparbejdet erfaring i løsning af de opstillede ”task” og at dette kan påvirke resultatet af evalueringen, sådan at de denne gang vil kunne løse søgeopgaverne hurtigere og med færre fejl.Med henblik på at have et grundlag for at vurderer om dette er tilfældet, har jeg denne gang rekrutteret yderligere 4 evaluatorer.

Nielsen (1993) nævner desuden følgende faktorer, som kan have indflydelse på brugerens adfærd: Alder Køn Hukommelse Evne til at resonerer. Foretrukken læringsstil.

Alle områder som Nielsen mener, bør tages i betragtning, når man skal gøre systemet tilgængeligt for så mange som muligt.

Page 26 of 33

Profil på evaluatorer, som også deltog i evalueringen sidste gang

Initialer:

Køn: Anciennitet på projektet:

Brug af den gamle portal:

Brug af den nye portal:

Jobprofil: Tidsforbrug

evaluering, sidste gang:

Tidsforbrug

evaluering:

BAL Kvinde 24 år Dagligt Dagligt Programmør

45 min. 45 min

CK Kvinde 5 år Aldrig Aldrig Planlægger 90 min. 110 minPDJ Mand 4 år Sjældent Jævnligt Planlægger 30 min. 45 min

Yderligere 4 evaluatorer med følgende profiler:

Initialer: Køn: Anciennitet på projektet:

Brug af den gamle portal:

Brug af den nye portal:

Jobprofil: Tidsforbrug evaluering:

JK Kvinde 20 år Et par gange

Dette var første gang

Planlægger 60 min.

KS Mand 13 år Jævnligt Få gange Tester 60 min.LLU Kvinde 24 år Meget

sjældentLidt Programmø

r32 min.

LW Mand 7 år Dagligt Dette var første gang

Tester 120 min.

Resultat af evalueringenNedenfor har jeg udarbejdet en skematisk fremstilling af resultaterne af evalueringen sidste gang og denne gang. Desuden er resultaterne af evalueringen sammenskrevet i bilag 7. Jeg har udregnet samlet søgetid og gennemsnitlig søgetid for hver af søgemetoderne og tilsvarende samlet usability vurdering og gennemsnitlig usability vurdering. Derudover har jeg optalt antallet af resultatløse søgninger og antallet af vurderede ”usability disaster”. Det vil sige problemer i søgningen, som evaluatorerne, har givet værdien 4 efter Nielsen (2005). Ved læsning af skemaerne skal man tage i betragtning, at der ved evalueringen sidste gang, var en evaluator, som ikke tildelte usability vurdering. Det betyder, at usability tallene fra sidste gang er for lave og ikke direkte kan sammenlignes med tallene fra den nye evaluering.

Sidste gang:

System: Samlet søgetid/gnsnit pr søgning i min.

Samlet usability/gnsnit pr. søgning

Antal resultatløsesøgninger

Antal ”usability disaster”

Navigering i org. struktur

22,3/2,5 9/1,5 3 2

Projekt-portal 36/4 12/2 3 2

Page 27 of 33

Denne gang for samme evaluatorer:System: Samlet

søgetid/gnsnit pr søgning i min.

Samlet usability/gnsnit pr. søgning

Antal resultatløsesøgninger

Antal ”usability disaster”

Navigering i org. struktur

33/3,7 20/2,2 4 3

Projekt-portal 40/4,4 17/1,9 3 2

Denne gang for alle evaluatorer:System: Samlet

søgetid/gnsnit pr søgning i min.

Samlet usability/gnsnit pr. søgning

Antal resultatløsesøgninger

Antal ”usability disaster”

Navigering i org. struktur

92,5/4,4 44/2,1 6 8

Projekt-portal 105/5 42/2 5 5

Analyse og diskussion.

Formålet med denne opgave var, at undersøge følgende spørgsmål: ”Hvordan kan ”card-sorting” metoden anvendes, som grundlag for re-design af projektportalen?” Ifølge Spencer og Warfel (2004) er formålet med card-sorting, at øge kendskabet til brugernes mentale model. Den kvalitative del af resultaterne af card-sorting øvelsen, mener jeg absolut, gav et indblik i brugernes mentale model. Selvom resultaterne af de tre sessioner var forskellige, havde de også mange lighedspunkter og jeg kunne forholdsvis nemt analysere mig frem til en fælles mental model. Navnlig den kvantitative del af card-sorting øvelsen, hvor deltagerne udfyldte spørgeskemaet over hvilke emner de bruger meget og hvilke de bruger lidt, var meget nyttigt. Det viste sig, at den gamle version af projektportalen indeholdt mange emner, som rent faktisk bliver anvendt meget lidt af brugerne. Denne information var meget værdifuld i forhold til at gøre portalen mere overskuelig. Undersøgelsens validitet; altså undersøger jeg det jeg tror jeg undersøger og repræsenterer de undersøgte variable det koncept som ønskes undersøgt? Der er næppe tvivl om, at card-sorting øvelsen undersøger hvordan projektdeltagerne grupperer emnerne i den specifikke situation. Da selve emnesorteringen er en kvalitativ undersøgelse, kan den være påvirket af konteksten, men da jeg kan analyserer mig frem til en generel emnegruppering ud fra de tre card-sorting sessioner indikerer det undersøgelsens validitet. Er undersøgelsen pålidelig? Der er tale om en operationel undersøgelse (Tague-Sutcliffe (1992)), hvor de variable er deltagerne og emneordene. Undersøgelsen omfatter 12 af 34 projektdeltagere og repræsentanter fra de forskellige job funktioner og er derfor rimeligt dækkende for brugerne. Emneordene er udvalgt i de eksisterende systems grænseflader og der kan være væsentlige emner, som jeg ved udvælgelsen har overset, men metoden sikrer, at nye emneord som dukker op i forløbet bliver

Page 28 of 33

håndteret. Som andre kvalitative undersøgelser, vil der dog være problemer, med at gentage undersøgelsen med samme resultat. Det har mindre betydning, at samme brugere på et andet tidspunkt, vil gruppere emnerne en smule anderledes. Det endelige designresultat er alligevel resultat af en analyse af resultatet samt nogle designvalg. Jeg vil tilføje at selve forløbet af card-sorting sessionerne foregik i en meget positiv stemning. Deltagerne synes tilsyneladende, at det var sjovt at deltage og de var tilsyneladende glade for at få indflydelse på systemændringen.

Den heuristiske evaluering, havde til formål at afprøve min hypotese om, at et re-design af portalen ville forbedre usability. Ifølge Case (2007) er en hypotese en udtalelse om sammenhængen mellem to eller flere variable. Typisk anvendes hypotesen i studier, hvor undersøgelsen kan frembringe en ændring i miljøet, som medfører en målbar effekt. I den gennemførte evaluering sammenligner jeg tiden anvendt til tasks og usability rating. Som det fremgår af skemaerne ovenfor, er den gennemsnitlige tid pr. task og den gennemsnitlige usability rating ikke ændret væsentlig siden sidste evaluering for 1½ år siden. Forskellene er så små, så det næppe er muligt at drage nogle konklusioner. Hvis jeg skal bemærke en enkelt tendens må det være, at resultaterne, især ved søgning i organisationsstrukturen, for de tre evaluatorer som også deltog sidst, giver lidt ringere resultater. Det er jo netop denne del af undersøgelsen, hvor de variable; brugeren, tasks og systemet ikke er ændret siden sidst.

Er undersøgelsen så pålidelig? Lad os se på undersøgelsens variable:

Brugerne/evaluatorerne: I evalueringen deltog 7 evaluatorer af 34 mulige brugere. Da evaluatorerne har meldt sig frivilligt, er det ikke givet, at de er repræsentative for brugerne. Her er der også et problem i forhold til metoden ”Heuristisk ekspert evaluering” idet evaluatorerne ikke er usability eksperter, men i stedet domæneeksperter. Jeg kunne omdefinere undersøgelsen til et tænke-højt forsøg, hvor brugerne afrapporterer deres oplevelse af systemet skriftligt. Jeg mener ikke, at det påvirker undersøgelsens pålidelighed, at brugerne ikke er usability eksperter.

Tasks: Undersøgelsens søgeopgaver er udarbejdet af mig, med henblik på, at de skal lede brugeren ned i forskellige dele af systemet og med henblik på, at de skal repræsenterer virkelige søgeopgaver, som vil kunne forekomme i systemet. Som Tague-Sutcliffe (1992) gør opmærksom på er det vanskeligt at producerer gode søgespørgsmål. Der er tale om en konstrueret situation og ikke noget reelt informationsbehov hos personen, som udfører testen. Det er derfor vanskeligt for evaluatorerne at vurderer relevansen af resultatet af søgningen. Dette fremgår faktisk også af nogle af bemærkningerne fra deltagerne f.eks. ” Har jeg fundet alt, der er relevant?”. Det at søgespørgsmålene er udarbejdet af mig betyder, at brugerne afhængig af jobfunktion og erfaring vil opleve, at nogle af opgaverne ikke har sammenhæng med deres eget daglige arbejde. Dette kan også have den konsekvens, at de ikke ved, hvad resultatet af søgningen skal være. Dette kunne jeg have undgået ved at tilføje til spørgsmålene, hvilken type dokument, jeg forventer, er resultatet af søgningen. På den anden side, kunne det være for megen hjælp til søgningen.

Er undersøgelsen så valid? Undersøger den det jeg tror jeg undersøger?:Min grundantagelse var, at brugergrænsefladen på projektportalen manglede brugervenlighed og at et re-design ville afhjælpe dette problem. Evalueringen viser ikke nogen væsentlig forbedring af

Page 29 of 33

brugervenligheden efter re-design. Dette kunne godt tyde på, at det ikke er brugervenligheden af projektportalen, som er det reelle problem.Blandford m.fl. (2004) påpeger at usability evaluering er en metode, som afslører ”overflade problemer” og ikke bidrager til et større overblik over problemstillinger i systemet.

Der er yderligere en variabel, som kan have påvirket resultatet. Her tænker jeg især på de søgninger i organisationsstrukturen, for de tre evaluatorer som også deltog sidst, hvor både tid og usability var forringet. Jeg kunne have forventet, at resultaterne for netop disse tre var blevet bedre, da jeg kunne forvente er læring i forbindelse med at de havde udført opgaverne tidligere. Der er faktisk sket en ændring i kontekst i forhold til sidste gang undersøgelsen, blev gennemført. Projektet er nemlig flyttet til nye kontorer. Dette betyder, at projektdeltagerne sidste gang sad på 2-mandskontorer, mens de denne gang sidder i storrum. Da det er en almindelig kendt problematik, i arbejdsmiljøsammenhæng, at storrumskontorer, har en negativ indvirkning på koncentrationsevnen, vil jeg ikke udelukke, at dette er årsagen til at resultater har ændret sig i negativ retning. Hvis denne antagelse er korrekt, betyder det, at resultaterne af evalueringen af den nye portal også er påvirket i negativ retning af dette forhold og at brugervenligheden faktisk kan være en smule forbedret i forhold til den gamle portal.

Konklusion

Mit spørgsmål om hvordan card-sorting kan anvendes i forbindelse med re-design af projektportalen kan jeg konkluderer følgende:

Metoden frembragte værdifulde oplysninger om brugernes mentale modeller. Metoden afslørede hvilke emner, som blev anvendt meget lidt og som derfor kunne udelades

fra portalen eller lægges på undersider. Metoden gav brugerne en følelse af at have indflydelse på designet. Metoden medvirkede til, at markedsføre re-designet.

Card-sorting viste sig altså at være et særdeles let anvendeligt og brugbart værktøj til, at skaffe de nødvendige oplysninger til re-design af portalen.Evalueringen viser, at der ikke er sket nogen væsentlig forbedring af brugervenlighed efter re-design. Dette kan betyde, at portalens manglende brugervenlighed ikke har været det reelle problem.

Dillon (2001) foreslår, at der tilføjes nye mål for brugeroplevelsen. Nogle af disse mål er æstetik og opfattet brugervenlighed. Nogle af kommentarerne fra evalueringen kan tyde på, at brugerne mener, at re-designet har forbedret æstetikken og opfattet brugervenlighed på portalen. F.eks. følgende kommentarer:

”Det er langt nemmere, at overskue situationen ved at søge via Slut-portalen, og så ser siden smuk ud, så man bliver lidt glad”.

”Navigation via SLUT-portal er mere brugervenlig end O-drevet, idet den indeholder en inddeling med overskrifter. Man behøver ikke i samme grad som med O-drevet at vide hvor ting ligger. Det er mere brugervenligt for nye medarbejdere. Det taler brugerens sprog med ord og begreber. Portalen er begrænset i at den kun har de emner med der ligger i hovedmenuen. Jeg synes oplysninger ligger i en naturlig og logisk rækkefølge.”

”SLUT-Portalen er brugsmæssigt betydeligt bedre end navigation via O-drevet. Det giver mulighed for at udbygge en fælles beskrivelse af hvor man finder de ønskede oplysninger. Den nye portal er meget bedre end den gamle, men der er stadig plads til forbedringer.”

Page 30 of 33

”SLUT-Portalen er for mig god, hvis jeg skal finde noget, jeg ikke har helt styr på hvor ligger”En bias ved disse udtalelser, er at evaluatorerne er bevidst om, at det er mig som, har re-designet portalen og deres udtalelser kan være påvirket af, at de ikke vil gøre mig ked af det.

Hvad er det så der skal til for at forbedre informationsformidlingen på projektet?Hvis dette spørgsmål skal besvares, kan man undersøge følgende delspørgsmål:

Oplever projektdeltagerne problemer med, at skaffe relevant information? Hvilken betydning har erfaringen på projektet for projektdeltagernes behov for understøttelse af

informationssøgningen? Hvad mener projektdeltagerne, kunne forbedre deres informationssøgning? Er der et behov for oplæring og undervisning i projektets informationsdatabase?

Udgangspunktet for denne opgave, var min personlige opfattelse, af der er et problem med hensyn til at finde rundt i projektets stigende informationsmængde. Da projektet i disse år oplever en tilgang af nye medarbejdere, er det mit indtryk, at informationssøgning i projektets informationsdatabase virker uoverskuelig for nye medarbejdere. Informationssøgning optager en stor del af en systemudviklers tid og det er vigtigt, at den kan foregå så hensigtsmæssigt som muligt. Samtidig er udvikling af de interne informationssystemer ikke et område, som prioriteres særligt højt af ledelsen, da denne type udviklingsopgaver ikke kan viderefaktureres til en kunde.

Hvis jeg ønsker, at arbejde videre med denne problemstilling, skal jeg afdække hvad der er det reelle problem og hvordan det mest hensigtsmæssigt kan løses. Jeg skal derefter udarbejde en business case, som overfor ledelsen kan retfærdiggøre, at jeg bruger tid og ressourcer på projektet. Det er mest sandsynligt, at dette vil være en mulighed, hvis problemer med informationssøgning bliver taget op i forbindelse med en medarbejdertilfredshedsundersøgelse.

Page 31 of 33

Kildefortegnelse

Allen, R. B. (1997), Mental Models and User Models. Handbook of Human Computer Interaction. Martin G. Helander, Thomas K. Landauer & Prasad V. Prabhu (Eds.), 49-63.

Blandford, A; Keith, S.; Connell, I & Edwards, H. (2004). Analytical usability evaluation for digital libraries: A case study. JCDL’04 June 7-11, 2004, Tucson, Arizona, USA, 27-36.

Borlund, P. (2003), The IIR evaluation model: a framework for evaluation of interactive information retrieval systems. Information Research, 8(3), paper no. 152.

Cadle, J. & Yeates, D. (2001). Project Management for Information Systems. Prentice Hall.

Case, D.O. (2007). Looking for information: A survey of research on Information Seeking, Needs and Behaviour. London: Elsevier

Dillon, A. (2001), Beyond usability: process, outcome and affect in human computers. The Canadian Journal of Library and Information Science, 26, no. 4, 57-69.

Hertzum, M. and Jacobsen, N. E. (2003). The Evaluator Effect: A Chilling Fact about Usability Evaluation Methods. International Journal of Human-Computer Interaction, 15(1), 183-204.

Jensen, B. (2009), Heuristisk ekspertevaluering af organisationssystemet i en projektdatabase. Eksamensafhandling på mastermodul. Danmarks Biblioteksskole.

Nielsen, J. (1993), Usability Engineering. San Diego: Morgan Kaufmann.

Nielsen, J. (1994), Card Sorting: How Many Users to Test. Available at: http://www.useit.com/alertbox/20040719.html

Nielsen, J. (1997), Changes in Web Usability since 1994. Available at: http://www.useit.com/alertbox/9712a.html

Nielsen, J. (2005), Ten Usability Heuristics. Jakob Nielsen’s Online Writings on Heuristic Evaluation. Available at: http://www.useit.com/papers/heuristic/heuristic_list.html

Nielsen, J. (2009), How to Conduct a Heuristic Evaluation. Jakob Nielsen’s Online Writings on Heuristic Evaluation. http://www.useit.com/papers/heuristic/heuristic_evaluation.html

Morville, P. & Rosenfeld, L. (2007). Information architecture for the World Wide Web. Sebastopol (CA): O’Reilly.

Robertson, J (2001). Information design using card sorting. Step Two designs. Available at:

Page 32 of 33

http://www.steptwo.com.au/papers/cardsorting/index.html

Spencer, D. and Warfel, T. (2004). Card sorting: a definitive guide. Available at: http://www.boxesandarrows.com/view/card_sorting_a_definitive_guide

Tague-Sutcliffe, J. (1992). The Pragmatics of Information Retrieval Experimentation, Revisited. Information Processing & Management, 28 (4). 467-490.

http://en.wikipedia.org/wiki/Human-computer_interaction

Page 33 of 33