Prezentacji nie będzie

tnij.org/moderowanie

Miary ilościowe w testach użyteczności

eryk orłowskidyrektor zarządzający @ Komitywa.com

eryk@komitywa.com

3

agenda» zastosowanie

» fakty i mity

» dobór miar do projektu

» miary wydajności (performance)

» miary problemów (issue-based)

» self-reported

» behawioralne i fizjologiczne

» kombinowane

» po co nam miary ilościowe?

4

Zastosowanie miar ilościowych

Pozwalają:

» oszacować skalę problemu

» śledzić postępy w projekcie

» porównać projekty/produkty

» odpowiadać na trudne pytania o ROI

5

Fakty i mity

» Mit: to się nie nadaje do szybkich/małych projektów

badawczych

– Prawda: zastosowanie kategorii ilościowych pozwala nadać

problemom właściwą hierarchię, w zależności od wagi

» Mit: dla problemów użytkowników mojego serwisu nie

znajdę adekwatnych miar do zastosowania

– Prawda: co chcesz mierzyć? Można mierzyć reakcje

emocjonalne, rozkład uwagi, poziom stresu...

» Mit: rejestracja danych zajmuje zbyt wiele czasu

– Prawda: dane są rejestrowane w ramach sesji badawczej

6

Dobór miar do projektu

Przykładowy dobór ze względu na cel badania

» Cel: wykonalność transakcji

– wykonanie zadania (task success)

– statystyki serwisu (współcznnik porzuceń)

– oszacowanie dotkliwości błędów

– efektywność procesu

» Cel: porównanie projektów

– miary problemów

– self-reported

7

Miary wydajności

» Służą określeniu efektywności

» Oparte na możliwości realizacji konkretych

celów i zadań użytkowników

» Pozwalają oszacować wagę określonego

problemu

» Wskazują na to CO jest problemem, a nie

DLACZEGO

8

Miary wydajności: wykonanie zadania (task success)

» Wymaga zdefiniowania zadań o jasnym

zakończeniu

» Metody uzyskiwania danych:

– Ustna odpowiedź (może powodować problem w

interpretacji)

– Kwestionariusz/odpowiedź na pytanie zamknięte

» Rodzaje:

– Sukces binarny (gdy dotarcie blisko celu nie oznacza

wykonania zadania)

– Skala

9

Analiza i prezentowanie danych

» Sukces binarny:

– Success rate dla zadania

– dla (grup) użytkowników (np. doświadczeni vs.

niedoświadczeni, przedziały wiekowe)

– Warto uwzględniać przedziały ufności („jeżeli w grupie badanej 16

na 20 osób wykonało zadanie poprawnie, z 95% prawdopodobieństwem można

stwierdzić, że 58-95% populacji wykona to samo zadanie”)

» Skala

– % respondentów, którzy wykonali określoną część zadania

Miary wydajności: wykonanie zadania (task success)

10

» Użyteczność aplikacji webowych jest często funkcją czasu

poświęconego na wykonanie określonych zadań (poza

specyficznie zorientowanymi na wykonanie zadań wg. innych

parametrów – np. gry, e-learning)

» Pomiar wartości ważny w przypadku wykonywania zadań

cyklicznie powtarzanych przez użytkowników

» Analiza i prezentowanie:

– Średni czas dla zadania

– Zakresy (analiza korelacji pomiędzy segmentami użytkowników, a

przyjętymi zakresami)

– Progi (np. maksymalny akceptowalny, przyjęty na podstawie analizy

konkurencji)

Miary wydajności: czas wykonania (time-on-task)

11

Miary wydajności: błędy

Analiza błędów jest istotna:

» w przypadku potencjalnie istotnego wpływu na wydajność (np.

utrata wprowadzonych danych), jeżeli utrudnia wykonanie

zadania

» jeżeli może prowadzić do istotnych strat

» jeżeli uniemożliwia wykonanie zadania

» Analiza i prezentowanie:

– Częstotliwość (które zadania skutkują największą liczbą błędów);

dzielona przez liczbę możliwości popełnienia błędów w zadaniu (jeżeli

1+)

– % respondentów, którzy popełnili błąd w danym zadaniu

12

Miary wydajności: efektywność(efficiency)

» Miara „nakładów” niezbędnych do wykonania zadania – kliknięcia, naciśnięcia

przycisków

» Wysiłek może mieć charakter poznawczy (odnalezienie i zinterpretowanie

kontrolki) bądź fizyczny (użycie manipulatorów, wprowadzanie tekstu)

» Pomiar i analiza:

– Określenie akcji, które mają być mierzone

– Zdefiniowanie początku i końca akcji

– Akcje powinny być analizowane wyłącznie dla zadań wykonanych z sukcesem

– Wyniki: średnia dla zadania, „strata” dla zadania (kalkulowana na podstawie liczby stron

odwiedzonych/wszystkich/niezbędnych)

» Efektywność wg CIF: stosunek „task completion rate” do średniego czasu

wykonania zadania

13

» Precyzuje, jak wiele czasu i nakładów

wymaga osiągnięcie poziomu

zaawansowanego użytkownika

» Pomiar i analiza:

– Wielokrotna rejestracja wartości wybranych

miar

– Analiza wydajności dla zadań albo

zagregowana, w funkcji czasu

Miary wydajności: nauczalność(learnability)

14

Miary problemów(issues-based)

Identyfikowanie problemów to najczęściej wykonywane zadanie w

pracy badacza użyteczności. Problemy zwykle są wykrywane i

prezentowane w ujęciu jakościowym.

Problem:

»potencjalna przyczyna błędu

»czynnik uniemożliwiający wykonanie zadania

»czynnik wywołujący konfuzję

»wykonanie nieprawidłowej akcji

»błędna interpretacja

»niedostrzeżenie danego elementu

»niezrozumienie nawigacji

15

Miary problemów: dotkliwość błędu

» Niektóre błędy są bardziej dotkliwe niż

inne ;)

» Błędy mogą być klasyfikowane według

wpływu na doświadczenie użytkownika,

albo wielowymiarowo (wpływ na ux,

przewidywana częstotliwość

występowania, wpływ na cele biznesowe)

16

Miary problemów: wskaźniki

» Częstotliwość unikalnych problemów,

w funkcji czasu/iteracji

» Częstotliwość problemów per

użytkownik

» % użytkowników, którzy napotkali

określony problem

17

Self-reported

» Jedyny rodzaj miar, dostarczających informacji o postrzeganiu

aplikacji przez użytkowników

» Rejestracja danych:

– skala Likerta

– skala semantyczna

» Zastosowanie:

– ocena łatwości użycia

– miara oczekiwanej trudności zadania i zestawienie z oceną po zadaniu

– SUS (System Usability Scale)

– karty reakcji

– online: WAMMI (Website Analysis and Measurement Inventory), opiniac.pl

18

Miary behawioralne i fizjologiczne

» Face-tracking

» Eye-tracking

» Pomiar napięcia powierzchniowego

» Rytm serca

19

Miary kombinowane

» W oparciu o cel (przykładowy cel: użytkownicy wykonujący co najmniej 80% swoich

zadań w mniej niż średnio 70 sekund)

» SUM (Single Usability Metric)

– Ukończone zadania

– Liczba błędów per zadanie

– Skala satysfakcji

» Six Sigma

– Definiowanie akceptowalnych i nieakceptowalnych poziomów dla każdej z

mierzonych wielkości

– Określanie prawdopodobieństwa, z którym defekt wystąpi w danej próbie

(tzw. process sigma)

20

Po co nam miary ilościowe

» 12% redukcji czasu wykonania zadania

to dwunastoprocentowy wzrost

efektywności, czy dwunastoprocentowy

wzrost poziomu stresu?

» ważniejszy jest krótszy czas wykonania

zadania, czy satysfakcja użytkownika?

21

Demokraci, republikanie...» Nielsen: 100-osobowa

próba nie ujawniłaby ani

jednego użytkownika,

który popełni błąd.

» Jeff Sauro:wykorzystanie

formuły Nielsena

wymagałoby

przetestowania 225

osób. Test jakościowy

nie odpowie na pytanie,

ile osób popełni błąd.

» Tog: większość

użytkowników nie

popełnia błędu w

nieprawidłowo

skonstruowanym

interfejsie, zwykle

wykonują swoje zadania

dłużej

Dziękuję za uwagęwww.tnij.org/ilosciowo

eryk orłowski @ Komitywa.com

eryk@komitywa.com || 605 103 742 || gg# 2765