Testy z udziałem użytkowników

Problem moderowania

eryk orłowskidyrektor zarządzający @ Komitywa.com

2

agenda» Role moderatora» Zaangażowanie vs. cel badania» Wywiad wstępny» Niech mówią» Protokół głośnego myślenia» Dopytywanie» Zagrzewaj do boju» Wsparcie dla użytkowników» Po sesji badawczej» Używam komputera za pomocą żony» Jak unikać uprzedzeń» Oglądaj nagrania z własnych sesji

3

Role moderatora badań

» Sympatyczny gospodarz» Lider» Neutralny obserwator– Nie pozwól, by sympatyczny gospodarz w Tobie

zagadał Twoich użytkowników– Użytkownicy oczekują od Ciebie wykonywania

roli przewodnika, ale pozostaw ich w roli ekspertów

4

Zaangażowanie w interackję vs. cel badania» Mniej interakcji, jeżeli:– Interesuje Cię czas wykonania zadań– testujesz zaawansowane makiety,

poszukując błędów» Więcej interakcji, jeżeli:– Testujesz wczesne koncepcje,

wymagające omówień–

5

Wywiad wstępny

» Wykorzystuj wywiad do oswojenia respondentów z sytuacją

» Pozwól opowiedzieć dwa zdania o sobie, sposobach użytkowania podobnych produktów

6

Niech mówią

» Nie konwersuj, słuchaj» „Przekazuj pałeczkę”, jeżeli to konieczne» Zanim zapytasz, policz do dziesięciu ;-)» Respondenci często oczekują

potwierdzenia albo odpowiedzi na problem – odpowiadaj po zakończeniu sesji, proś o kontynuowanie zadań

7

Protokół głośnego myślenia (think aloud protocol)» Proś o opisywanie oczekiwań w

stosunku do testowanych elementów/funkcji

» Proś o komentarze w czasie sesji– Na co Pan/i patrzy?– Co się wydarzyło?

» Unikaj pytania o przyczyny decyzji użytkownika w czasie wykonywania zadań (sugerują błąd)

8

Dopytywanie

Dopytuj, jeżeli chcesz :» upewnić się, że respondent rozumie koncepcję» dowiedzieć się, dlaczego użytkownicy wybrali

określoną opcję» zorientować się, czy efekt jest zgodny z

oczekiwaniami» dowiedzieć się, czy użytkownicy zauważyli dany

element (lepiej użyj eye-trackera ;-)Zasada:» Wyrażaj ciekawość, a nie pytaj wprost (vide:

unikaj pytania o przyczyny)

9

Zagrzewaj do boju ;)

10

Wsparcie dla użytkowników

» Udzielaj wsparcia/interweniuj, jeżeli:– Respondent utknął, a problem został już zdiagnozowany– Użytkownik zabrnąć zbyt głęboko w błędną ścieżkę– Użytkownik sądzi, że wykonał zadanie, którego nie wykonał (jeżeli

zależy Ci na wykryciu dalszych problemów)– użytkownik wykonuje zadanie według nieoczekiwanego scenariusza

(np. używa funkcji wyszukiwania zamiast przeglądania)

» Nie tłumacz intencji projektantów– Jeżeli użytkownik błędnie zinterpretował przeznaczenie danej

funkcji / znaczenie etykiety, możesz na koniec wyjaśnić zamierzenia i poprosić o opisanie pożądanej przez użytkownika formy

» Możesz przypominać treść zadania» Analizując materiał, pamiętaj o udzielonym wsparciu

11

Po sesji badawczej...

» Wyjaśnij to, czego nie mogłeś/aś podczas badania– Zorientujesz się, czy użytkownicy zrozumieli

właściwie koncepcję» Pozwól stronom trzecim zamienić kilka

zdań z respondentem (klient, projektant, it developer)– Twoi klienci bądź IT rzadko mają okazję

zobaczyć „żywego użytkownika”, mogą mieć pytania o przebieg konkretnych zadań

12

- Używam komputera za pomocą żony.

» Na pewno zdarzy Ci się trafić na nietypowych respondentów– Problemy nie muszą wiązać się z intelektem

respondentów (np. problemy z uczeniem się interfejsu, dysleksja)

– Tylko część użytkowników przyznaje się do problemów» Daj nietypowym respondentom więcej czasu na

zrozumienie zadań» Nie oczekuj zbyt wiele po komentarzach

głosowych» Nie każ wypełniać ankiet osobiście

13

Jak unikać uprzedzeń

» Trzymaj się skryptu (jeżeli to możliwe)

» Zadawaj pytania otwarte» Postaraj się zadawać te same pytania

wszystkim respondentom» Odpowiadaj pytaniem na pytanie – Czy to jest to, co powinienem kliknąć? – A co Pan sądzi na ten temat?

14

Oglądaj nagrania z własnych sesji

» Prawie nikt nie lubi oglądać i słuchać siebie samego na ekranie– Analiza materiałów z własnych sesji

badawczych to najlepszy sposób na unikanie przyszłych błędów

15

Na podstawie...

» Moderating Usability Tests, Principles & Practices for Interacting– Joe Dumas, Beth Loring,

Copyright © Elsevier Inc.

» Liczne doświadczenia własne

Dziękuję za uwagęhttp://tnij.org/moderowanie

eryk orłowski @ Komitywa.comeryk@komitywa.com || 605 103 742 || gg# 2765