Юзабилити-тестирование: типология, часть 1

72 вебинар UX RussiaАндрей Сикорский

29 апреля 2010 года

История вопроса

1. Мы уже говорили о немодерируемых удаленных исследованиях

2. Повышается интерес к пользовательской оценке3. Периодически возникают вопросы «какие

тестирования бывают» или «какой тип нам выбрать»

Дисклеймер

• Типизаций много (в зависимости от основания)• Есть много методов, которые часть специалистов

формально относят к тестированиям, но эти методы таковым по факту не являются– Например, эвристическая оценка или Critical Incident

Technique Analysis (CIT)• В конечном счете вопрос не в типах, а в том, чтобы

все-таки провести оценку

4

Что такое юзабилити-тестирование?

• Экспериментальный метод, построенный на интервьюировании пользователей по заранее составленному сценарию и направленный на выяснение того, как пользователи используют продукт.

Метрики тестирования

• На основе ISO 9241-11– Эффективность– Продуктивность– Удовлетворенность

• На основе деятельностного подхода– Эффективность деятельности (результаты)– Экономичность деятельности (затраты и ресурсы)– Надежность и безопасность деятельности

(устойчивость, риски, негативные последствия)– Удовлетворенность деятельностью (отношение

пользователя)

5

Виды тестирования

6

Два подхода к тестированию

7

Методы тестирования

1. Эвристическая оценка (Heuristic Evaluation)2. Удаленное (модерируемое) тестирование (Remote

Testing)3. Совместное обучение (Co-discovery Learning)4. Коучинг (Coaching Method)5. Измерение производительности (Performance

Measurement)6. Вопрос-ответ (Question-asking Protocol)7. Ретроспективное тестирование (Retrospective Testing)8. С комментатором (Shadowing Method)9. Обучение (Teaching Method)10. «Поток сознания» (Thinking Aloud Protocol)

8

Remote Testing (moderated)

• Цель:– Получить обратную связь при

отсутствии прямого доступа к пользователям

• Способ– Тестирующий и пользователь

работают раздельно (в разных местах и/или в разное время)

• Необходимые технологии:– Журналирование действий

пользователя– Видеокамеры и голосовая связь

или запись– Средства удаленного

воспроизведения экрана пользователя

9

Performance Measurement• Цель

– Получить метрические характеристики качества приложения (для сравнения между версиями, продуктами)

• Алгоритм– Определить цели

тестирования в терминах критериев Usability

– Выбрать наиболее важные показатели

– Определить как эти показатели будут оцениваться количественно

Метрики для performance measurement

• Время, затраченное на выполнение задачи

• Количество задач разного типа, которые можно выполнить в ограниченное время

• Отношение успешных и ошибочных действий

• Время, потраченное на восстановление после ошибки

• Количество пользовательских ошибок

• и т. д.

Thinking Aloud Protocol• Цель

– Получить представление о том, что пользователь думает и переживает в процессе работы

• Способы– Critical response —

пользователь должен озвучивать выполнение только заранее определенных задач

– Periodic report — в случае, если задача трудна сама по себе, пользователь рассказывает о её выполнении после окончания. 12

Question-asking Protocol

• Цель– Собрать конкретную

информацию по интересующим вопросам

• Способ– Помимо того, что

пользователи озвучивают свою работу, им задаются заранее подготовленные вопросы о продукте• Например, «Как Вы могли

бы послать email из этой программы?»

13

Shadowing Method

• Цель– Не пропустить

специфичные для предметной области проблемы

– Не заставлять пользователя говорить

• Способ– Один пользователь

выполняет задания– Второй (эксперт в

предметной области) комментирует usability-тестеру его работу.

14

Retrospective Testing• Цель

– Получить максимум обратной связи, изучить поведение – при этом не оказывать влияния на производительность

• Способ– Пользователи обсуждают с

usability-тестером видеозапись тестирования

– Отвечают на вопросы, возникшие у тестера во время тестирования

– Пользователь объясняет, что он делал, чего пытался добиться по видеозаписи

15

Co-discovery Learning

• Цель– Проверить, насколько

просто научиться использовать продукт

• Способ– Задания выполняют

сразу два пользователя, помогающие друг другу

– Пользователи должны быть знакомы и иметь предварительный опыт совместной работы

16

Teaching Method

• Цель– Проверить, насколько

понятны примененные модели и насколько легко можно обучиться продукту

• Способ– Один пользователь

осваивает продукт– А потом объясняет

новичку, как им пользоваться

17

Coaching Methods• Цель

– выявить трудности обучения продукту и проблемы документации

– Выявить, какая информация необходима пользователям

• Способ– Один тестер выступает в

роли тренера, обучающего пользователя

– Второй тестер наблюдает за общением пользователя и первого тестера

18

Вопросы определителя

• Есть пользователи для проведения тестирования?• Доступны ли пользователи непосредственно?• Оцениваем производительность, а не впечатления

людей?• Могут ли пользователи говорить (комментировать

свою работу)?• Может ли другой пользователь комментировать

работу пользователя, выполняющего тестовые задания?

• Является ли юзабилити-специалист экспертом в предметной области?

19

Определитель (1/3)

Есть пользователи для проведения тестирования ?

ДАНЕТ

Heuristic Evaluation

Доступны ли пользователи непосредственно ?

ДА НЕТ

Remote TestingОцениваем производительность ,

а не впечатления ?

ДАНЕТ

Performance Measurement

Могут ли пользователи говорить (комментировать свою работу )?

20

Определитель (2/3)

Могут ли пользователи говорить (комментировать свою работу )?

ДА

НЕТ Thinking Aloud Protocol

Question -asking Protocol

Может ли другой пользователь комментировать работу

пользователя , выполняющего тестовые задания ?

ДАНЕТ ShadowingMethod

Retrospective Testing Является ли тестер экспертом в

предметной области ?

21

Определитель (3/3)

Является ли тестер экспертом в предметной области ?

ДАНЕТ

Teaching Method

Co-discovery Learning Coaching

Method

22

Материалы для освоения

• Rubin, Jeffrey (1994) Handbook of Usability Testing. John Wiley and Sons, New York, NY

• Dumas, JS, and Redish, Janice, A. (1999) Practical Guide to Usability Testing, Intellect Books.

• http://www.usabilitynet.org/• http://otal.umd.edu/guse/testing.html• http://www.usabilityhome.com/FramedLi.htm

Спасибо за внимание