Проведение юзабилити-тестирования

U-тестирования как отдельный вид исследования

3

Что такое юзабилити-тестирование?

Ваше мнение?

4

Экспериментальный метод, построенный на интервьюировании пользователей по заранее составленному сценарию и направленный на выяснение того, как пользователи используют продукт.

Юзабилити-тестирование

• Процесс получения опыта использования сайта, программы или продукта конечными или потенциальными пользователями

• Оценка, основанная на выполнении задач

• Процесс, сопровождающий разработку

• Ключевой компонент методологии HCD

5

Юзабилити тестирование

• Проверка, подходит ли дизайн

• Диагностика проблем

• Сравнение альтернатив

• Верификация дизайна на соответствие целям

6

Какие цели могут быть у тестирования?

• Навигация

• Содержание

• Представление

• Взаимодействие

7

Что тестировать?

Формирующие (formative) тесты

• Проводятся в процессе разработки

• Используется для определения достигаются ли определенные цели дизайна

Результирующие (summative) тесты

• Проводятся в конце разработки

• Используются для валидации того, что продукт достигает поставленных целей

Виды тестирования

8

Качественный (маленькие выборки)•Обеспечивает много

возможностей для наблюдения•Основывается на знаниях и

суждениях•Специалист наблюдает,

интерпретирует, принимает решения

Количественный (большие выборки)•Фокусируется на количественных

оценках•Результаты могут быть обобщены

на большую популяцию•Необходимы большие выборки

Два подхода к тестированию

9

• Тестирование с 5 пользователями выявляется 85% проблем

• Решите проблемы

• Снова протестируйте и найдите другие 85% проблем (от оставшихся)

• Решите проблемы

• В третий раз с 5 пользователями найдите 85% проблем (от оставшихся)

10

Дизайн—Тест—Дизайн—Тест…

• Remote Testing• Co-discovery Learning• Coaching Method• Performance Measurement• Question-asking Protocol• Retrospective Testing• Shadowing Method• Teaching Method• Thinking Aloud Protocol

11

Методы тестирования

12

Определитель (1/3)

Есть пользователи для проведения тестирования ?

ДАНЕТ

Heuristic Evaluation

Доступны ли пользователи непосредственно ?

ДА НЕТ

Remote TestingОцениваем производительность ,

а не впечатления ?

ДАНЕТ

Performance Measurement

Могут ли пользователи говорить (комментировать свою работу )?

13

Определитель (2/3)

Могут ли пользователи говорить (комментировать свою работу )?

ДА

НЕТ Thinking Aloud Protocol

Question -asking Protocol

Может ли другой пользователь комментировать работу

пользователя , выполняющего тестовые задания ?

ДАНЕТ ShadowingMethod

Retrospective Testing Является ли тестер экспертом в

предметной области ?

14

Определитель (3/3)

Является ли тестер экспертом в предметной области ?

ДАНЕТ

Teaching Method

Co -discovery Learning Coaching

Method

Планирование U-тестирования

• Ситуация, основанная на какой-то истории

• Участники выполняют задание

• Используется терминология пользователей

• Однозначность

• Обеспечивают необходимые детали выполнения задания

• Не содержат шагов выполнения задания

16

Сценарии тестирования

• Установление личного контакта

• Тренировочное задание (опционально)

• Задание тестирования

• Завершение тестирования

17

Структура сценария

• Задания– Короткие и точные– Полезны, когда не

требуется понимание контекста

• Сценарии– Обеспечивают

мотивацию и контекст– Воспроизводят сценку

или историю– Повышают понимание– Делают ситуацию

реалистичнее– Включают в себя

задания

18

Задания и сценарии тестирования

18

• Добрый день, меня зовут …, я сотрудник …. В нашей лаборатории мы проводим тестирование новых программных продуктов с участием пользователей. Наши заказчики хотят, чтобы их продукты максимально точно соответствовали потребностям целевой аудитории.

• Это комната, где Вы будете находиться во время тестирования. Это Ваш компьютер. Пожалуйста, сядьте за стол, я бы хотел убедиться, что Вам комфортно.

• Вы можете видеть несколько камер в этой комнате. Они нужны для того, чтобы я мог видеть выражение Вашего лица.

19

Знакомство• Я буду сидеть в другой

комнате. Это нужно для того, чтобы тестирование было объективным. Если я буду сидеть рядом с Вами – могу стеснять Вас и отвлекать.

• Для того, чтобы Вы были уверены в том, что записи тестирования с Вашим участием будут использованы только для внутренних целей, предлагаю Вам подписать соглашение о неразглашении.

• Мы гарантируем, что записи, Ваше имя и данные не будут опубликованы в Интернете и печатных изданиях.

• Вы обязуетесь в течение 3 месяцев не раскрывать детали работы тестируемого продукта.

20

Соглашение

• Работа с тестируемым продуктом довольно необычна.

• Для того, чтобы Вам было легче, мы подготовили тренировочное задание.

• Оно поможет Вам сориентироваться в принципах работы продукта. Выполнение задания займет не больше 2—3 минут.

21

Тренировочное задание

• Инструкция.

• Вопрос об ожиданиях пользователя.

• Вопрос о том, что хочет сделать пользователь.

• Выбор из желаний пользователя того, что соответствует заданию.

• Вопрос о совпадении ожиданий пользователя с тем, что происходило во время выполнения задания.

22

Задание тестирования

• Спасибо, что поучаствовали в нашем исследовании!

• Сейчас я попрошу вас заполнить анкету.

• В ней содержится ряд утверждений о работе с данным продуктом. Справа от каждого утверждения находится пятибалльная шкала оценок от «Абсолютно не согласен» (это единица) до «Абсолютно согласен» (это пять). Пожалуйста, поставьте галочку в клетке, которая соответствует вашему мнению.

• Нас интересует ваша первая реакция, поэтому я попрошу вас не думать над каждым вопросом слишком много. Если вы не знаете, как ответить на вопрос или ваше мнение нейтрально, поставьте галочку в средней клетке (под номером 3).

• Пожалуйста, отвечайте честно. Напоминаю Вам, что я не являюсь разработчиком продукта, и вы не обидите меня своими оценками.

23

Завершение тестирования

• На основе ISO 9241-11– Эффективность– Продуктивность– Удовлетворенность

Метрики тестирования

24

1. Думаю, я буду пользоваться данным продуктом, когда он станет доступен

2. Я считаю данный продукт неоправданно сложным

3. Я считаю, что работать с данным продуктом было легко

4. Думаю, мне понадобится помощь технического специалиста для работы с продуктом

5. Я считаю, что продукт обладает многими полезными функциями

6. Я обнаружил много противоречивых мест в продукте

7. Полагаю, большинство людей легко освоят этот продукт

8. Я считаю этот продукт слишком сложным и обременительным

9. Используя данный продукт, я чувствовал себя уверенным в том, что мои действия будут успешными

10. Я должен был изучить много нового, чтобы начать работать с данным продуктом

25

Пример Системной юзабилити-шкалы (SUS)

Абсолютно не согласен Абсолютно согласен

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

1 2 3 4 5

Рекрутинг респондентов и составление скрининговой анкеты

• Респондент (участник тестирования)– Реальный или потенциальный

пользователь– Не является проектировщиком

или разработчиком продукта

• Фасилитатор (модератор)– Организует весь процесс от

планирования, проведения до отчетности

• Наблюдатель– Записывает события по мере

их возникновения– Не общается с респондентом– Участвует в анализе и

подготовке отчета

27

Участники тестирования

• Дизайн содержит конечное количество дефектов

• Каждый пользователь будет сталкиваться с одними и теми же проблемами

• Каждый пользователь будет обнаруживать всё меньше новых дефектов

• Но на каждого пользователя мы тратим одни и те же ресурсы

28

Убывание предельной полезности выборки

• Текущие и новые пользователи

• Знание предметной области

• Компьютерные навыки

• Другие факторы:– Язык– Образование– Пол– География– Культурные особенности

29

Выбор участников

Проведение U-тестирования

31

Схема лаборатории

камера 2

камера 1

испытуемый

фасилитаторынаблюдатели

зерк

ало

Гизе

ла

• Этап «Юзабилити тестирование»

32

Юзабилити лаборатории в Европе

CUREVienna, Austria

University Leuven, Belgium

LUTIN, Paris,

France

ICT&S Center,University of Salzburg

• Этап «Юзабилити тестирование»

33

Юзабилити Лаборатория в Индии

Cordys R&D,India

1С: юзабилити-лаборатория

Mobio Lab в Билайне

USABILITYLAB в Москве

USABILITYLAB в деталях

http://picasaweb.google.com/usabilitylab.ru/bIbzvF

38

Как это было раньше?

1. Штатив для камеры2. Сумка для аппаратуры3. Видеомагнитофон4. ДУ для

видеомагнитофона…7. Видеокамера8. Наушники…10. ДУ для камеры…15. Соединительные

шнуры…17. Микрофон…22. Инструкции

Тестирование платежных терминалов

Пример мобильности

Тестирование мобильных

Обработка результатов U-тестирования: обработка метрик, обработка

• Введение• Описание проекта• План эксперимента:

– Проверяемые гипотезы– Наем участников

тестирования– Процедура тестирования– Сценарий тестирования– Опросник SUS

• Результаты тестирования:– Описание испытуемых– Проверка гипотез– Результаты опросника

SUS• Рекомендации и

обсуждение 43

Структура отчета