Юзабилити-тестирование (2008)

Юзабилити-тестирование

Ярослав Перевалов

2Что такое юзабилити-тестирование?

Юзабилити-экспертиза

Юзабилити-тестированием является любой эксперимент, направленный на измерение качества интерфейса или же поиск конкретных проблем в нем.

Ю-тестирование позволяет:• Понять, насколько плохо или хорошо работает интерфейс, что может либо побудить

улучшить его, либо, если он уже достаточно хорош, остановиться в процессе улучшения.

• Сравнить качество старого и нового интерфейсов и тем самым дать обоснование изменениям или внедрению.

• Найти и опознать проблематичные фрагменты интерфейса, а при достаточном объеме выборки также и оценить их частотность.

Юзабилити-тестирование само по себе не создаёт хорошего продукта, это лишь один из вспомогательных методов проектирования UI.

Корректно поставленный эксперимент и правильно проинтерпретированные данные помогают улучшить интерфейс.

3Роль и место юзабилити-тестирования в процессе проектирования


Как правило, ю-тестирование применяется на этапе анализа и, повторно, на этапе тестирования. На этапе синтеза может применяться экспресс-ю-тестирование

Оптимизация

Внедрение

ТестированиеСинтезАнализ

Анализ бизнес-требований



«старого» ресурса

Маркетологический анализ

Детальное проектирование

пользовательского интерфейса и функционала

Системная аналитика

Разработка: поиск технических

компромиссов

Тестирование: авторский контроль

за реализацией

Концептуальное проектирование

пользовательского взаимодействия

(Interaction Design) и информационной архитектуры (IA)


«нового» ресурса

Сбор и анализ пользовательских

замечаний

Унификация, стандартизация,

повторное использование интерфейсных

решений

4Сравнение методов ю-экспертизы и ю-тестирования


Метод Плюсы Минусы


Дёшево, быстро.Описание конкретных проблем и чёткие инструкции по их устранению.Качественная оценка юзабилити-характеристик.

Субъективная оценка (следует проводить экспертизу с несколькими экспертами)Нужен эксперт (если нет экспертов, следует пользоваться методами структурной оценки)


Объективная оценка. Определение количественных критериев юзабилити-характеристик.

Дорого, долго.Нужна готовая система или тестовый прототип.Нужен доступ к пользователям.Только фиксирование наличия проблем, без чётких рекомендаций по их разрешению.Нужна профессиональная команда по ю-тестированию.

5Юзабилити-метрики (1)


•Скорость работы пользователя: – длительность выполнения операции; – время, затраченное на обнаружение ошибок; – время, затраченное на исправление ошибок; – количество команд, исполняемых при выполнении операции (подразумевается,

что чем больше команд, тем дольше их отдавать);– длительность поиска сведений в документации; – количество команд, более эффективных, чем использованные пользователем; – снижение производительности при длительной работе.

•Ошибки: – процент операций, вызвавших ошибку; – среднее число ошибок на операцию у опытных пользователей (именно у опытных,

т.к. у неопытных могут действовать и факторы из группы скорости обучения);– количество ошибок, не обнаруженных и не исправленных пользователями.

6Юзабилити-метрики (2)


•Обучаемость навыкам работы с системой: – количество и частота обращений к справочной системе; – длительность периода между началом использования системы и точкой, в которой

скорость работы/количество ошибок пользователей перестает расти; разница в количестве ошибок/скорости работы у пользователей с опытом использования системы и без такого опыта.

•Субъективная удовлетворенность пользователя:– анкетирование– наблюдение за эмоциональными реакциями

•Сохранение навыков работы с системой: – разница в скорости работы/количестве ошибок у пользователя после часа работы с

системой и у того же пользователя в начале использования системы после длительного перерыва (тест по времени может занять больше месяца).

•Успешность: – процент заданий, которые пользователь либо выполняет полностью неправильно, либо

не может выполнить вовсе.

7Юзабилити-тестирование как процесс


1. Определение цели тестирования и выбор метода тестирования 2. Описание пользовательских ролей и подбор группы респондентов в соответствии

с ролевыми профилями. Поддержка банка респондентов. Организация системы вознаграждений для внешних респондентов.

3. Определение пользовательских целей и задач. Разработка соответствующих тестовых сценариев.

4. Разработка тестового прототипа (или подготовка аналога/версии продукта с адекватными тестовыми данными), в т.ч. и тестовой пользовательской документации и/или справочной системы, если использование справки входит в сценарий

5. Подготовка анкет, списка вопросов, соглашения о конфиденциальности.6. Организация рабочего места для теста. Настройка метода фиксации материала.7. Тестирование теста на пригодность к тестированию (пилотное тестирование)8. Собственно тестирование9. Анализ и обработка данных, подготовка отчёта и видеопрезентации.10. Спецификация новых проектных решений и запуск процесса по их реализации.

8Определение цели ю-тестирования


Целью тестирования может быть:•определение объективных критериев качества продукта (количественное тестирование на этапе анализа)•обоснованный выбор наилучшего интерфейсного решения (экспресс-тестирование на этапе быстрого прототипирования)•проверка качества реализации UI (сравнительное тестирование на этапе α-тестирования)•выявление проблемных мест в реализации UI, либо подтверждение факта отсутствия серьёзных проблем (качественное тестирование на этапе α-тестирования)

9Выбор метода тестирования (1)


1. Пассивное наблюдение за выполнением тестовых заданий. Респондент выполняет тестовые задания, его действия анализируются (во время теста или после, по протоколам), что позволяет как найти проблематичные фрагменты, так и замерить эргономические характеристики интерфейса.

2. Протоколирование мыслей вслух (think aloud). Соответствует проверке посредством пассивного наблюдения, но респондента при этом просят также устно комментировать свои действия. Затем комментарии анализируются. Метод довольно нестабильный, но порой дающий интересные результаты (очень зависит от разговорчивости респондента). Крупный минус потока сознания – измерения эргономических характеристик интерфейса весьма сомнительны.

3. Активное вмешательство. В этом методе юзабилити-специалист не ждет милостей от природы в лице респондента, а старается взять их сам. После каждого действия респондента экспериментатор выспрашивает его, почему респондент действует именно так; на каждом экране экспериментатор спрашивает, как именно респондент понимает назначение и функции этого экрана. Этот метод ближе к фокусированному интервью, чем к собственно тестированию – например, метод можно использовать даже без тестовых заданий, лишь бы был интерфейс для обсуждения. Понятно, что при активном вмешательстве никакие измерения попросту невозможны, но зато объем получаемых качественных данных наиболее велик.

10Выбор метода тестирования (2)


Кроме того, для экспресс-оценки можно пользоваться такими методами (не относящимися собственно к юзабилити-тестированию), как:•Структурированное интервьюСовместное обсуждение прототипов (в том числе и бумажных) по заранее известному плану;•Оценкка пользователей посредством электронных коммуникаций (например, скриншоты прототипа вместе с описанием сценария взаимодействия выставляются на профессиональный форум, посетителей просят высказать своё мнение и замечания).

11Респонденты


Контекст использования (context of use) создаваемого продукта (в т.ч. и ролевые профили пользователей) должен быть описан ещё на этапе проектного анализа.Общий пользовательский профиль содержит следующие характеристики:•Опыт работы с системой (с аналогом/пред. версией)•Уровень компьютерной грамотности•Возраст•Пол•Эмоциональная открытостьРолевой профиль специфицирует дополнительные профессиональные навыки респондентов.

К задаче поддержки процесса ю-тестирования относится:•Создание, поддержка и обновление базы респондентов, •Организация системы вознаграждений, •Планирование расписания тестов.Количество респондентов в одной серии тестов (40-90 минут на человека, одна роль) варьируется в зависимости от сложности системы и заданной точности оценок и может составлять 5-15 человек.

12Определение целей и задач роли, разработка тестовых сценариев


Пользовательские цели и задачи, их реализующие, исследуются, формализуются и проектируются на этапе анализа.Юзабилити-тестирование, как правило, должно использовать уже известные типовые сценарии по выполнению той или иной пользовательской задачи для оценки юзабилити-характеристик продукта.Тестовый сценарий – это тестируемый аспект системы. Адекватно подобранные тестовые сценарии являются важнейшей предпосылкой качества тестирования.Тестовый сценарий состоит из:•пользовательской задачи•значимых эргономических метрик •тестовых заданий респондентам (заданий может быть несколько) •признаков успешности выполнения задачи.

13Пользовательская задача


Первым шагом определения сценариев является определение значимых пользовательских задач. Пользовательская задача – это задача, которую ставит перед пользователями их деятельность, и которая имеет самостоятельную ценность для пользователей. Пользовательская задача выполняется с помощью нескольких операций (пользовательская операция не имеет самостоятельной ценности). Например, выбор адресата из адресной книги.•Операция может состоять из нескольких действий (вызвать книгу, найти запись, подтвердить выбор).•При выборе задач для тестирования следует руководствоваться двумя соображениями:•Все задачи должны быть реальными, т.е. выявленными из актуальной деятельности пользователей: желание сделать задания посложнее, чтобы найти разом много проблем, несостоятельно – задания должны быть обычными, поскольку нет смысла искать проблемы, с которыми никто не сталкивается. •Поскольку протестировать весь интерфейс на всех пользовательских задачах возможно только в идеале, приходится выбирать только важные задачи. Важными задачами являются, во-первых, частотные задачи, т.е. которые выполняются всеми пользователями и/или выполняются часто, во-вторых, все остальные задачи, которые, вероятно, выполняются в системе плохо и, наконец, задачи, неправильное выполнение которых приводит к крупным проблемам.

14Литература / Материалы


1. Роль и место юзабилити-тестирования в процессе юзабилити-проектирования / Ярослав Перевалов http://usability.ru/Articles/utest-perevalov.htm

2. Влад Головач, «Юзабилити-тестирование по дешёвке» http://usethics.ru/blog/lib/testing_by_the_cheap/

3.

Спасибо за внимание!

Ярослав ПереваловНачальник отдела аналитики и дизайна

[email protected]

www.rapidsoft.ru

www.usability.ru

15


Technology

Юзабилити-тестирование (2008)