Embed Size (px)
Citation preview
НЕОПРАВДАННЫЕ ОЖИДАНИЯ ОТ
ИССЛЕДОВАНИЙНаталия Спрогис, Mail.Ru
ПРО МЕНЯ
Руководитель направления UX-
исследований в Mail.Ru. Занимаюсь
исследованиями с 2007 года
За 10 лет работы и выстраивания
процессов исследований наткнулась на
всевозможные «грабли».
Иногда недостаточно знать, как грамотно провести исследование. Успех мероприятия зависит не только от соблюдения методологии.
НАШИ ГЕРОИ
Исследователь Заказчик
ОЖИДАНИЯ
Исследователь
Я профессионал! Я знаю
методологии, умею выбирать
респондентов и писать
классные отчёты! Я нужен и
полезен!
РЕАЛЬНОСТЬ
Я провел крутое исследование и
написал отличный отчет! Но
ему не поверили, кажется они
его даже не дочитали.
Исследователь
ОЖИДАНИЯ
Исследования это долго и дорого. Я
не очень знаю, чего ожидать, но я
же обратился к профессионалам.
Сейчас они мне расскажут, что
делать с моим продуктом.Заказчик
РЕАЛЬНОСТЬ
Какая мне от этого польза? Я
этому не верю! Только зря
потратили время и деньги!
Заказчик
ДАВАЙТЕ РАЗБИРАТЬСЯ
Что произошло между
исследователем и заказчиком?
ДАВАЙТЕ РАЗБИРАТЬСЯ
Как сделать их совместную
работу продуктивной?
1. Коммуникация
2. Доверие
3. Представление результата
3 ГРУППЫ ПРОБЛЕМ
КОММУНИКАЦИЯ
•Неправильно понимают друг друга
•Не могут договориться
•Не учитывают разные точки зрения и особенностиработы
Исследователь и заказчик
ФЕЙЛ №1
ГДЕ МОЙ БИФШТЕКС?
Оказывается, что исследователь делал совсем не то, чего хотел заказчик. В самом печальном случае это выясняется, когда заказчик читает отчёт.
ПРОБЛЕМА
ПРИМЕР
Проблема. Исследование восприятия
Новостей Mail.Ru в 2011 году. Не проверили
гипотезу о влиянии тематических новостей на
восприятие всего блока новостей на главной
Mail.Ru.
Результат. Проведение дополнительного
исследования, хотя вопрос мог быть решен в
рамках основного теста.
ПРИМЕР
Заказчик согласовал сценарий
исследования, а за 5 минут до
начала теста выяснилось, что он его
не читал и хочет совсем другого.
«Только без паники» — подумал
исследователь. Вместе они успели
переделать сценарий.
ПОЧЕМУ ТАК ПРОИСХОДИТ?
• Не поняли друг друга изначально
• Исследователь задавал мало вопросов
• Заказчик
• Не наблюдал за тестами
• Не участвовал в подготовке тестовых
материалов или согласовал их, не читая
КАК ИЗБЕЖАТЬ?
• Задавать много вопросов на старте
• Аккуратно согласовывать сценарий
исследования
• Отражать в нём, зачем вы задаете тот или
иной вопрос
• Объяснять важность подготовки
• Просить прокомментировать сценарий
• Вовлекать заказчика в наблюдение за тестом
ФЕЙЛ №2
ПО МЕТОДИЧКЕ
Исследователь предлагает стандартные варианты взаимодействия, которые не вписываются в сроки или бюджеты заказчика. В результате они не договариваются.
ПРОБЛЕМА
ПРИМЕР
У заказчика релиз через 2 недели, он
плохо знает свою аудиторию, ничего не
тестировал. Исследователь предлагает
начать с полноценного исследования
аудитории, выявления потребностей и
сегментации. Это займет 2 месяца.
ПОЧЕМУ ТАК ПРОИСХОДИТ?
• Дизайн-процессы заказчика могут быть
неидеальны, у него могут гореть сроки или не
быть бюджета
• Исследователь:
• Действует по стандартному UCD процессу
• Не учитывает условий заказчика
• Боится ответственности
ПРИМЕР
Чтобы встроится в процесс agile
разработки Planet of Heroes, мы
выделяли по одному дню на
полный цикл юзабилити-
тестирования в каждом спринте.
Это потребовало тщательной
проработки гипотез и формата
фиксации результатов.
КАК ИЗБЕЖАТЬ?
• Планировать исследования, учитывая
ценности и особенности заказчика
• Думать, какую пользу можно принести в
текущих условиях и ограничениях
• Не уходить в обратную крайность (см.
следующий фейл)
ФЕЙЛ №3
ГВОЗДИ МИКРОСКОПОМ
Заказчик приходит с запросом на конкретный метод или ЦА исследования, который не решит его задачу.
ПРОБЛЕМА
ПРИМЕР
Не имея доступа к ЦА заказчик делает
гипотезу о «похожем сегменте» и
хочет тестировать на них.
Заказчик просил выяснить, замечают ли пользователи разные элементы главной страницы, но не смогу придумать, что делать с этими знаниями.
ПРИМЕР
ПОЧЕМУ ТАК ПРОИСХОДИТ?
• Заказчик не знает обо всех доступных методах и
практиках проведения исследований и выбирает
привычный и простой способ
• Исследователю не удается объяснить, чем плох
такой подход
КАК ИЗБЕЖАТЬ?
• Объяснять и договариваться, искать
причины «упёртости» заказчика
• Не попадать в ловушку «нужно больше
золота знаний о пользователях», если они не
дадут выводов
• Успешным взаимодействием растить
доверие мнению исследователя
• Если это не получается, пытаться принести
пользу в заявленных ограничениях
ДОВЕРИЕ
Не верит в результаты исследований
Или не доверяет квалификации исследователя и хочет все контролировать
Заказчик
ФЕЙЛ №4
НЕ ВЕРЮ!
Заказчик не верит выводам из исследования. Отчёт попадает на полку.
ПРОБЛЕМА
ПОЧЕМУ ТАК ПРОИСХОДИТ?
• Заказчик не наблюдал за тестами, а читает только
итоговый отчет.
• Неожиданные выводы в исследовании хочется
списать на некорректный подбор аудитории или
неверные выводы исследователя.
• Конфликт интересов: исследование показало
выводы неудобные для заказчика (например, не
сработало решение, которое он защищал).
ПРИМЕР
На тесте выяснилось, что пользователи не
умели копировать ссылки. Они делали
скриншоты, копировали название или весь
текст статьи. После первого теста заказчику
еще казалось, что это особенность
конкретного респондента, но после
четвертого такого примера, сомнений не
осталось.
ПРИМЕР
На заре работы с одним из заказчиков, мы
столкнулись с тем, что они не верили ни
словам респондентов, ни выводам
исследователей, только объективным
данным: айтрекингу, нейрофизиологии и
статистике.
Только постепенное вовлечение в
наблюдение за исследованиями и плотная
совместная работа сняли этот пласт
недоверия.
КАК ИЗБЕЖАТЬ?
• Вовлекать заказчика в наблюдение за тестом.
• Сделать процесс исследования прозрачным для
заказчика. Объяснять, кого и почему вы
рекрутируете, почему задаете те или иные
вопросы.
• Подкреплять отчет видеозаписями и
объективными данными (статистика, айтрекинг).
• Вырабатывать кредит доверия успешной
совместной работой.
ФЕЙЛ №5
САМ СЕБЕ РЕЖИССЕР
Заказчик хочет самостоятельно общаться с респондентами. Однако неумение формулировать вопросы может привести к ложным выводам.
ПРОБЛЕМА
ПРИМЕР
Иногда очень сложно объяснить заказчику, что лучше если с
пользователем будет общаться исследователь (пример из рабочей
переписки):
ПОЧЕМУ ТАК ПРОИСХОДИТ?
• Непонимание проблемы: «Просто пообщаться! Какая разница
кто?»
• Недоверие заказчика к исследователю
• Возникновение новых вопросов у заказчика по ходу разговора
• Желание «доступа к телу», чтобы проникнуться эмпатией
КАК ИЗБЕЖАТЬ?
• Вовлекать в наблюдение
• Пропускать вопросы заказчика через
модератора
• Не можешь победить, возглавь:
• Ведите интервью вместе
• Обучайте заказчика постепенно
РЕЗУЛЬТАТ
Считает результаты исследований бесполезными
Не знает как ими пользоваться
Не может с этим работать в дальнейшем
Заказчик
ФЕЙЛ №6
НЕ УЧИТЕ ДЕДУШКУ КАШЛЯТЬ
В отчетах о юзабилити-тестировании часто плохие рекомендации
Увидев не работающие рекомендации, заказчик обесценивает всё исследование
ПРОБЛЕМА
ПОЧЕМУ ТАК ПРОИСХОДИТ?
• Часто не знает историю и особенности
реализации продукта
• Предлагает «капитанские» решения
• Иногда может только предложить только
общее направление решения
• Не всегда эксперт в предметной областиИсследователь
В РЕЗУЛЬТАТЕ РЕКОМЕНДАЦИИ:
• Настолько общие, что выглядят как «отмазка»
• Их невозможно реализовать технически, организационно или
юридически
• Невыгодны для бизнеса
• Были опробованы, но не работают
• Часть из них просто написаны непонятным языком
ПРИМЕР
Пользователи на тесте жаловались,
что при оплате сразу предлагают
самое дорогое. Это создавало
ощущение, что в игру надо
вкладывать много денег и
отталкивало. Исследователь
предложил показывать сначала
маленькие суммы.
Но заказчик пробовал этот вариант
и знает, что с ним гораздо меньше
выручки.
ЧТО ДЕЛАТЬ?
• Не всегда рекомендации нужны
• Задавать подробные вопросы заказчику на
старте проекта
• Мозговой штурм с заказчиком о вариантах
решения проблем, только после этого
фиксация их в отчете
• Согласовывать ожидания о решении
сложных проблем
ФЕЙЛ №7
ГОРШОЧЕК НЕ ВАРИ
Выбранный формат представления результатов исследования не подходит для заказчика.
ПРОБЛЕМА
Перенести ценные знания, особенно из пользовательских интервью и этнографий, в голову заказчика бывает очень сложно. Часто это выражается в очень длинных и объемных отчетах.
ПРИМЕР
Теперь у нас есть документ «Мозг
пользователя» на 100 страниц.
Реальный комментарий заказчика
ПОЧЕМУ ТАК ПРОИСХОДИТ?
• Исследователь воспринимает отчет, как основной результат своей
работы.
• Часто получается, что отчет:
• Слишком длинный, его сложно прочитать, не только осознать
• Не может быть инструментом для дальнейшей работы
• Недостаточно хорошо доносит основные выводы до заказчика,
погребая его в деталях
Дизайн-команда прочитала описание персонажей и сказала:
«Это конечно хорошо, но мы не можем с этим работать. Это текст, мы его прочитали и забыли. Нам нужен инструмент!»
ПРИМЕР
Исследователь и дизайнеры совместно переработали персонажей в формат Customer Journey Map. Эта схема была распечатана и использовалась при принятии и обсуждении решений.
ПРИМЕР
Не всегда нужно делать классический отчет. Например, можно провести мозговой штурм с командой. На фотографии результат совместной работы с командой по результатам интервью.
ПРИМЕР
Подача важна не только в текстовом отчете. Был случай, когда исследователь скучно презентовал результаты и заказчик решил, что сделали что-то не то. Те же самые результаты представленные через несколько дней более интересным рассказчиком вызвали полное одобрение заказчика.
ПРИМЕР
ЧТО ДЕЛАТЬ?
• Выяснять, как заказчик будет использовать
данные исследования
• Быть готовым к тому, что отчет не
прочитают, искать другие способы
донесения результатов
• Помнить про важность обсуждения
результатов исследования с заказчиком:
встречи, презентации
• Тренироваться как спикер
ЧТО ДЕЛАТЬ?
• Подбирать формат под заказчика
• Иногда можно обойтись без отчета
• Не только текст или слайды, но и видео,
таблицы, задачи в баг-трекере,
совместные обсуждения и мозговые
штурмы
• Иногда нужно сделать несколько версий
отчета: для руководства, для менеджеров,
для разработчиков
ВЫВОДЫ
ПРАВИЛЬНЫЕ ЦЕЛИ
Совместно с заказчиком выбирайте подходящие для него форматы самого исследования и представления результатов
ГИБКОСТЬ
Вовлекайте заказчика в планирование исследования, сделайте этот процесс прозрачным. Сделайте всё возможное, чтобы заказчик мог участвовать в наблюдении за пользователями.
ВОВЛЕЧЕНИЕ
Доверие к исследованиям выстраивается через эмпатию к реальным пользователям, которых заказчик увидел на тесте, и позитивный опыт совместной работы с исследователем.
ВЫСТРАИВАНИЕ ДОВЕРИЯ
