UXCrowd · В первой колонке таблицы описаны типы вопросов, во второй показаны примеры этих вопросов и ответов

UXCrowd 2016

2 Полное руководство по пользовательскому тестированию

ОглавлениеВВЕДЕНИЕОпределитесвоюцельСпроситесебя:чтояхочуузнать?Определите,чтоикоговыизучаетеВыбораудиториидляисследованияАудиториядляопределенияосновныхпроблемАудиториядляглубинногоисследованияКакмногоучастниковпривлечькисследованию?ДругиеидеиСоздайтесвойплантестированияВопросыизадачиСоздатьцепочкузадачИспользованиеобщихиконкретныхзадачвтестахОбщиезадачиКонкретныезадачиПланируйтезадачисиспользованиемлогическогопотокаДелайтеинструкциикзадачамкраткимиПримерплохойформулировкизадачиСоветыдлясборафактическихответовСоветыдлясборасубъективныхданныхИзбегайтенаводящихвопросовЛучшиепрактикидляразличныхтиповвопросовЗапуститепробноетестированиеОстерегайтесьошибокОшибкавыборааудиторииРЕШЕНИЕОшибкасоставлениявопросовОшибкивотзывахучастниковОшибки«общественногомнения»ОшибкамолчаливогосогласияПроанализируйтесвоирезультатыЧтоискатьИспользованиерезультатовисследованийПоделитесьсвоимивыводамиВыводСозданиеновогоопыта

3444555667788899

1010101112131314141415151616171717181818


ВведениеОбратнаясвязьотпользователейявляетсяключомкуспехулюбогобизнеса,независимооттого,запускаетевыприложение,перепроектируетевеб-сайт,илисистемноработаетенадулучшениемкачествавашегопродукта.

Какжеполучитьэтуобратнуюсвязь?

Дистанционноетестирование пользовательского опыта выможетепроводитьнапользователях,живущихвразныхгородахистранах.Эторазнообразитмнения,собранныеовашемпродукте,ивывыявитебольшепроблем,чемприклассическомтестированиивлабораториисмодератором.

Пользователипроходяттестированиевсвоейестественнойсреде:дома,наработе,наотдыхе-ичувствуютсебяраскрепощенно.Такиеисследованиядаютнамногобольшеполезнойинформации,потомучтореспондентнебоитсясказатьлишнегоилиошибиться.

Регулярное тестированиепользовательского опыта поможетвам:

ПРОВЕРИТЬИДЕЮПРОДУКТАДОЕГОЗАПУСКАВРАБОТУ

ПРИНИМАТЬКАЧЕСТВЕННЫЕРЕШЕНИЯПОРАЗВИТИЮПРОДУКТА

ТОЧНООПРЕДЕЛЯТЬПРИОРИТЕТЫДЛЯКОМАНДЫРАЗРАБОТКИ

ПОНЯТЬ,КАКВАШИКОНКУРЕНТНЫЕПРЕИМУЩЕСТВАПОНИМАЕТВАШААУДИТОРИЯ

ИЗМЕНИТЬПОДХОДВАШЕЙКОМПАНИИКПОЛЬЗОВАТЕЛЬСКОМУОПЫТУ

Дистанционноетестирование пользовательского опыта поможетбыстропонятькакулучшитьсайтилипрототип

Вэтомруководствемырасскажемкакпланироватьипроводитьдистанционное тестирование,атакжеанализироватьрезультатытакого исследования.Новичкиузнают,какправильносоздатьтестисделатьверныевыводыизрезультатов.Опытныеисследователисмогутизучитьлучшиепрактикидляприменениясвоихнавыковвдистанционномтестировании.


Определите свою цельПервыйшагнапутиполученияполезнойобратнойсвязи-постановкачеткойзадачи.Есливынезнаететочно,какуюинформациювамнужнополучить после проведения исследования,тотестированиеврядличто-товыявит.

Спросите себя: что я хочу узнать?

Ненужнопытатьсявыявитьвсепроблемыудобстваиспользованияилиповеденияпользователейводномисчерпывающемисследовании.Гораздопрощеипродуктивнеезапуститьряднебольшихисследованийсконкретнойцельювкаждом.Такимобразом,выполучитецеленаправленнуюобратнуюсвязь.Формулируйтезадачитестированияясноикратко,чтобыпоответампользователейвыявитьпроблемы,требующиевнимания.

Пример избыточно сложной задачи:Могутлипользователилегконайтинашипродуктыипринятьобдуманноерешениеопокупке?

Эта задача на самом деле содержит три разных подзадачи:1. могутлипользователинайтипродукт;2. могутлипользователиполучитьинформациюонем;3. могутлипользователисделатьпокупку.

Пример удачной задачи:Могутлипользователинайтинужнуюиминформациюопродукте?

Определивцель,подумайтеорезультатах,которыемогутбытьвамполезны.Васличноможеточеньинтересовать,какпользователивзаимодействуютсинтерфейсомвцелом,ноэтонебудетполезно,еслиосновнаяцельвашейкоманды–усовершенствоватьпроцессмонетизации.

Фокусвниманиянаприоритетныхзадачахпоможетструктурироватьвашиисследованиятак,чтобыполучатьинформациютолькооважнойфункциональности.Четкаяпостановкацелейтакжеподскажетвам,когопривлекатьдляучастияввашемисследовании,какиезадачионибудутвыполнять,икакиевопросывыдолжныимзадать.


Определите, что и кого вы изучаетеПослетого,каквыопределитесьсцельюисследования,вамнеобходимосформулироватьтребованияктестам.

1. Подумайте о том, какой тип продукта вы изучаете и какие устройства будут использоваться длявзаимодействия с ним.

Выищетеотзывынапрототип?Навыпущенноеилиневыпущенноемобильноеприложение?Сайт?Еслиувасестьнесколькопродуктовдлятестированияивыхотитепротестироватькаждыйизних,толучшеделатьэтовразноевремя — так выполучитеболееточныеотзывыопродукте.

Дополнительноепреимущество—поитогампервыхисследованийвыможетескорректироватьзаданиякпоследующимтестамиполучитьлучшийрезультат,чемеслибыпроверяливсюгруппупродуктоводнойметодикой.

ДлятестированиявамтакженеобходимобудетпредоставитьреспондентамURL ссылку на сайт илифайлисследуемогоприложения.

2. Определите целевую аудиторию своего продукта

Аудитория для определения основных проблем

Припроведениидистанционного тестирования пользовательского опытанаплощадкеUXCrowdвамненужносамостоятельноискатьучастниковисследования(респондентов).Все,чтоотвастребуется,этозайтивличныйкабинет,создатьновыйтестивыбратьвнастройкахтестажелаемыесоциально-демографическиехарактеристикиаудитории.

Вы можете провести тестирование пользовательского опыта для своего продукта на любом этапе разработки — от создания прототипа до финального решения

ТИП ПРОДУКТА

Прототип(винструментах,какAxure) Доступнаяссылка

Запущенноеприложение НазваниеприложениявAppStore/PlayStore

Статическоеизображение Ссылка на файл в файловом хранилище в интернете

НевыпущенноеприложениедляIOS .ipaфайл

Веб-сайт Доступнаяссылка

НевыпущенноеAndroid-приложение .apkфайл

ТОЧКА СТАРТА ТЕСТИРОВАНИЯ


Вбольшинствеслучаевдляотбораучастниковисследованиявамбудетдостаточноосновных демографических показателей(например,возраст,полиуровеньдохода).Еслиуваснетстрогихограниченийпоцелевойаудиториииливыпростохотитеопределитьбазовыепроблемыудобстваиспользованиявашегопродукта,тодемографическиепоказателиможновообщенезадавать.Основнаязадача—получитьсвежийвзгляднасвойпродуктивыяснить,действительнолилюдипоняли,какегоиспользовать.

Аудитория для глубинного исследования

Тестирование пользовательского опыта,проведенноенавашейцелевойаудитории,позволитвыявитьнетолькобазовыепроблемыудобствавашегопродуктаилистепеньпониманияпродуктапользователем,ноиудобствоиспользованияспецифическихфункцийвашегопродукта.

Длятакихтестовнужнаболее узкая целевая аудитория,например,ваммогутпотребоватьсялюди,которыеработаютвопределеннойотрасли,илихотяткупитьмедицинскуюстраховку,илизавестикакое-тодомашнееживотное,ит.д.

Набратьнужныхлюдейдлявашегоисследованияпомогутпредварительныеопросыилискрининг.Этоуточняющиевопросы,которыепозволятучаствоватьввашемисследованиитолькотемлюдям,которыевыберутправильныйответ.ЭтафункциядоступнаприиспользованиикорпоративногоаккаунтаUXCrowd.

ПРИМЕР ПРЕДВАРИТЕЛЬНОГО ОПРОСА:

Какчастовыпользуетесьинтернет-банком?

Несколькоразвнеделю

Несколькоразвмесяц

Практическинепользуюсь

Вотдельныхслучаяхвамможетпотребоватьсяпровеститестированиенаужесуществующихклиентахвашегопродуктаилисервиса,например,чтобыпроверитьрасширенныефункциивашегопродукта,которыечеловек,неявляющийсявашимклиентом,непоймет.

СОВЕТ ДЛЯ ИССЛЕДОВАТЕЛЯ:

Чемменьшеограниченийдляцелевойаудиториивыпоставите,тембыстреевыполучитерезультаты,потомучтобольшелюдейсмогутучаствоватьввашемисследовании.

Как много участников привлечь к исследованию?

ИсследованияЯкобаНильсенадоказывают,чтопяти пользователей достаточно для выявления 85%проблемудобстваиспользованияпродукта.Неподдавайтесьискушениюудвоитьилиутроитьколичествопользователей,чтобыраскрыть100%вашихпроблемсудобствомиспользования.Эффективнейипрощезапуститьисследованиеспятьюучастниками,внестиизменения,послечегозапуститьещеодноисследованиенадругихпятипользователях,итакдалее.

UXCrowdрекомендуетиспользоватьпять-восемьучастниковводнойтестовойгруппе.Еслиувасестьтриразличныхпродукта,тодляисследованиябудетдостаточноот 15 до 24участников.

Но,разумеется,этонеотноситсякслучаям,когдавыхотитепонятьзакономерностиповеденияпользователейинайтиновыеидеидляразвитияпродукта:вслучаях,когдавамнужныстатистическизначимыерезультаты,большойразмервыборкипростонеобходим.

Другие идеи

Есливасинтересуютметодыдляболееглубокогоизученияпродукта,тоисследованияэтимиметодамитожевозможнопроводитьдистанционно:

Лонгитюдные исследования: наблюдениезапользователемвтечениедлительноговремени(несколькодней),чтобыпонять,каконпользуетсяисследуемымпродуктомвреальнойжизни.

Сравнительное исследование: тестированиевашегопродуктаипродуктаконкурентов,последующийанализполученныхданных,выявлениесильныхсторонконкурентаирекомендациипоулучшениюпродукта.

Исследование без технических устройств: наблюдениезаповедениемчеловекавразныхусловиях,например,наблюдениезапоискомпродуктоввсупермаркете,илизараспаковкойразличнойпродукции.

Модерируемые исследования: проведениеисследованиявлабораториисоспециалистом,с использованием платформы UXCrowd.

Регулярные исследования: отслеживаниеизмененийвпользовательском опыте вашего респондента ежемесячно или ежеквартально.

Чтобыузнатьбольшеотом,какикогдаиспользоватькаждыйизэтихметодов,обратитеськнашимэкспертам.


Создайте свой план тестированияПлан вашего тестирования – этосериязадач,которыереспондентыбудутвыполнятьвовремяисследования.

Ключомкхорошопроведённомутестированиюявляетсяправильноразработанныйплан.Успешносоставленныйплантестированиядаствамкачественныеотзывыовашемпродукте.

Плансостоитиззаданий,которыепредстоитвыполнитьпользователям.Послевыполнениязаданийвытакжеможетепопроситьпользователейответитьнадополнительныевопросы.

Вопросы и задания

Задание-этодействиеилидеятельность,которуювыхотите,чтобывыполнилпользователь.

Пример задания: начнитепроцессоформлениязаказа,дойдитедопоследнегоэтапаоформления,нонепокупайтетовар.

Задавайте пользователям дополнительные вопросы после заданий, еслихотитеполучить«горячую»обратнуюсвязьопользовательскомопыте.

Пример вопроса: чтобылодляваструднымилинепонятнымвовремявыполненияданногозадания?

Задавайте вопросы, чтобы получить количественные данные:

Вопросыполезны,когдавыпроводитебольшоеколичественноеисследованиеихотитебыстрораскрытьосновныепроблемы.Вэтомслучаеответыреспондентоввыполучитеввидетаблиц,которыесможетебыстропросмотретьипроанализировать,ивамнепридётсятратитьднинапросмотркаждоговидеопо-отдельности.Такимобразомвысможетесразусосредоточитьсянаглавныхвыявленныхпроблемах.

Послесозданиятестамырекомендуемпотратитьнесколькоминут,вспомнитьизначальнуюцельтестированияипонять,какойформатрезультатовбудетнаиболееудобенвамдляработыипоследующегоанализа. Подумайте и ответьте на следующие вопросы: Выхотитеполучитьколичественныеданные,чтобысоздаватьграфикиилиполноценныйотчётсрекомендациямипоисправлениюпроблем?Вамважныписьменныеотзывыпользователейдлясамостоятельногоанализаилипростовидеопройденныхтестирований?

Пример вопроса с вариантами ответа:Вамбольшенравятсякошкиилисобаки?Пожалуйста,аргументируйтевашответ.

Мнебольшенравятсякошки

Мнебольшенравятсясобаки

Нетпредпочтений

Посмотреть видео с записью тестировщиков

Мнебольшенравятсякошки(12)

Мнебольшенравятсясобаки(8)

Нетпредпочтений(10)

РЕЗУЛЬТАТЫ: ВАМ БОЛЬШЕ НРАВЯТСЯ КОШКИ ИЛИ СОБАКИ? ПОЖАЛУЙСТА, АРГУМЕНТИРУЙТЕ ВАШ ОТВЕТ.


Впервойколонкетаблицыописанытипывопросов,вовторойпоказаныпримерыэтихвопросовиответовнаних,втретьейописаныситуации,когдаиспользуютсяэтивопросы.

Создать цепочку задач

Ключксборукачественнойобратнойсвязи–последовательноевыполнениеконкретныхзаданийвсемиучастникамитеста.Задания-эторяддействий,которыевыпроситепользователейвыполнитьсвашимприложением,сайтомилипрототипом,параллельнокомментируявслухсвоимыслиидействия.

Присозданиизаданийдлятестирования,сосредоточьтесьнаоднойопределённойцелидляпроверки.Есливвашемпродуктемногоразличныхмоментовтребующихтестирования,лучшенеобъединятьих,апротестироватьпо-отдельности,чтобыпользовательнезапуталсяибылсосредоточеннаконкретнойзадаче.Вбольшинствеслучаев,дистанционноетестирование пользовательского опытадлитсяоколо15-20минут —этооптимальноевремя,закотороепользовательнеуспеваетустать,имейтеэтоввиду.

Использование общих и конкретных задач в тестах

Общие задачи

Общие задачипомогутвамузнатьмнениевашихпользователей.Этоттипзадачполезенприисследовании«ценностей»,влияющихнапользовательскийопыт:онидаютвамвозможностьоценитьудобствоипростотуиспользования,содержание,эстетику,атакжеузнатьэмоциипользователей,связанныесвашиминтерфейсом.

Общиезадачитакжехорошидлянаблюдениязапользователемвестественнойсреде.

Вот пример задания для такого типа задач: Найдитеотель,вкоторомвыхотитеостановитьсявтечениеотпускавСочивследующеммесяце.Поделитесьсвоиммыслямивслух.

СОВЕТ ИССЛЕДОВАТЕЛЮ:

Когдавынезнаете,начёмконкретносфокусироватьзадачитеста,попробуйтезапуститьтестированиесиспользованиемобщихзадачимаксимальноширокойаудиторией.Заданиевэтомслучаеможетзвучатьтак:«Поработайте с этим приложением так, как вы обычно это делаете, около 10-15 минут, комментируя свои мысли вслух». Благодарятакомутестированиювысможетеобнаружитьнаиболеепроблемныеиуязвимыеместавсвоеминтерфейсеисфокусироватьсянаихизучениивследующемболеецеленаправленномтесте.

Конкретные задачи

Конкретные задачипомогаютточноопределить,гдепользователизапуталисьилибылиразочарованы,пытаясьсделатьчто-токонкретное.Такиезадачиполезны,когдавыточнознаете,какуюзонуилифункционалвашегопродуктавыхотитепротестировать,ивамнадоубедиться,чтоучастникивзаимодействуютснимиправильно.

Вот пример задания для конкретной задачи: Используйтестрокупоиска,чтобынайтиотеливСочи,указав,чтовамтребуетсядвухместныйномердлянекурящихс10по15июля.Затемотсортируйтерезультатыпорейтингу.

ТИП ПРИМЕР ВЫГОДА

Вербальныйответ

Выборизпредложенныхвариантовответа

Оценочнаяшкала

Письменныйответ

Опишите,чтовамбольшевсегонепонравилосьвтестируемом

приложении(сайте)

Доверяетеливыэтойкомпании?

•Да • Нет

Каковавероятностьтого,чтовывернетесьнаэтотсайтснова?

От“никогданевернусь”до“оченьвероятно”

Есличто-то,чегонехватаетнаэтойстранице?

Отличноподходитдлясбораоднозначныхответов.

Хорошоподходитдлясборапорядковыхпеременных

(Порядковыепеременныепозволяютранжировать(упорядочить)объекты,

указавкакиеизнихвбольшейилименьшейстепениобладаюткачеством,выраженным

даннойпеременной.Однакоонинепозволяютсказать

“насколькобольше”или“насколькоменьше”.)

Хорошодляанализа,пост-исследованияисбораоценокдля

пользовательскихсценариев.

Даёткачественнуюобратнуюсвязь.


Планируйте задачи последовательно: от более общих к более конкретным Структуравашегоисследованияимеетважноезначение.Мырекомендуемначатьсобщихзадач(исследованиеглавнойстраницы,использованиепоиска,добавлениетоваравкорзину)идалеепостепенноихконкретизировать.Чембольшевашапоследовательностьзадачбудетпохожанареальныйсценарийиспользования,темболеереалистичнымбудетисследованиеитемлучшебудутваширезультаты.

Пример плохой последовательности задач:Создатьучетнуюзапись>найтинужныйэлемент>оценитьправильностьработы>воспользоватьсяпоискомпосайту>оценитьвозможностинавигации.

Пример хорошей последовательности задач:Оценитьвозможностинавигации>воспользоватьсяпоискомпосайту>найтипункт>создатьучетнуюзапись>оценитьправильностьработы.

Еслиречьидётосвободномиспользованиипродукта,дайтеучастникамвозможностьдействоватьнасайтепо-своему.Ноесливыхотитепроверитьконкретнуюкнопкуилиформунасайте,тонаправьтетудапользователейприпомощиконкретныхзаданий.

Есливасинтересуютобатипаисследований,дайтепользователямвозможностьсначаласамостоятельнонайтито,чтоихинтересует,апотомдайтеимзаданиесчёткимиинструкциями.Еслинеобходимо,добавьтекописаниюзаданияинструкциюпонавигации,чтобыучастниктестированиябезпроблемсмогнайтиместо,откудаонможетперейтиквыполнениюпоставленногозадания.

Дляуспешноговыполнениятеставаженправильныйпорядокрасположениязаданийпосложности.Вначалетестированияпоставьтесамыепростыезадания,чтобыпользовательлегковниквназначениевашегопродуктаипочувствовалсебяуверенно.Далеерасположитезаданиянемногоболеесложные,потомпоставьтезаданиявысокойсложности.Такпользовательпостепеннобудетподготовленквыполнениюсложныхзаданий.

Не пишите слишком длинных заданийИзвестно,чтолюдиредкочитаюттекстполностью,чащевсегооничитаютчерезстрочкуиливообщенедочитываютдоконца.Поэтомустарайтесьнеделатьзаданияслишкомдлинными-короткийтекстнавернякабудетпрочитан.

Пример плохой формулировки задания:“Добавьтетоварвкорзину.Теперьвыберитедругойэлементидобавьтееговкорзину.Затемизменитеколичествопервогоэлементаот1до2.Теперьпройдитечерезвесьпроцессоформлениязаказа,используяследующуюинформацию...”

Пример хорошей, краткой формулировки задания:Заданиеизпредыдущегопримерамырекомендуемразделитьнанесколько(внашемслучае4)короткихзаданий:

1. Добавьтетоварвкорзину.

2. Выберитедругойтоваридобавьтееговкорзину.

3. Изменитевкорзинеколичествопервоготоварас1на2штуки.

4.Теперьпройдитепроцессоформлениязаказа


Составляйте понятные вопросы

Послетого,каквынаметилипоследовательностьзаданийдляпользователей,пришловремяприступитькнаписаниювопросовдлявашеготестирования.

Важноструктурироватьвопросыточноикорректно,чтобыпользовательихправильнопонялисмогхорошоответитьиливыполнитьдействие,скрытоеввопросе.

Советы для сбора фактических ответов

Старайтесьизбегатьпрофессиональногожаргона,например,слов«поднавигация»и«нативный»ит.д.Вероятнеевсегообычныйпользователь,неимеющийспециальногообразования,непоймётвашеговопроса.Выможетеиспользоватьтакиеслова,вслучаееслиуверены,чтовашетестированиенацеленонатакуюаудиторию,котораяваспоймет.

Исключениясоставляютисследования,цельюкоторыхявляетсяпроверкановыхтерминовдляиспользованиявпродукте.Втакихслучаяхвамнеобходимомнениепользователей,неимеющихотношениякобластипримененияпроверяемыхслов.

Есливопросноситхарактерчастотыиспользованиячего-либо,например,какчастопользовательпосещаетопределенныйсайт,убедитесь,чтовычеткоопределилисроки.Всегдаставьтевременнуюшкалувначалепредложения.

ПЛОХО:КакчастовыпосещаетеOzon.ru?

ЛУЧШЕ:КакчастовыпосещалиOzon.ruвтечениепоследнихшестимесяцев?

ОТЛИЧНО: Втечениепоследнихшестимесяцев,какчастовыпосещалиOzon.ru?

Послетого,каквынаписалиэтотвопрос,рассмотритевозможныеответы,задайтеэтотвопроссвоимколлегамилидрузьямипосмотрите,чтоонивамответят.Еслионидалинеопределённыйответ,типа:«по-разномубывает»,товашвопроснужноконкретизировать.Лучшевсегоспрашиватьоличномопытепользователя.

Люди,какизвестно,частозатрудняютсяответить,чтоонибудутделатьзавтраиликакиеунихпланынавыходные,поэтомулучшеспрашиватьотом,чтоониужесделали,анеотом,чтобудутделать.Этоневсегдавозможно,нонужностаратьсяизовсехсил,чтобыизбегатьгипотетическихинеуверенныхответов.

Пример того, как узнать о том, что кто-то будет делать: Каквыдумаете,вближайшиешестьмесяцевкакчастовыбудетепосещатьэтотсайт?

Пример того, как узнать о том, что кто-то уже сделал: Запоследниетримесяца,какчастовыпосещалиэтотсайт?

Пример вопроса, ответ на который основан на слухах:КакчастоваширодителизаходятвFacebook?

Лучший пример: Незадаватьэтотвопросиспроситьродителейнапрямую!


Советы для сбора субъективных данных

Дляточногосборамненийпользователейвдистанционномисследовании,убедитесь,чтовсеучастникивыполнялиодниитежезадания.

Задачитестированиятакжедолжныбытьстандартизированы.Длятого,чтобыпроконтролировать,чтовашиучастникирешаютодинаковыезадачидляодинаковойцели,напомнитеимотом,какиестраницыонидолжныискать,когдавыполняютзадание.Например,“Теперь,когдавынаходитесьвменю“Моиконтакты”,какимитремясловамивыможетеописатьэтотраздел?”

Вынеоцениваетеинтеллектвашихреспондентовприанализерезультатов,поэтомуубедитесь,чтовопросынезаставятихчувствоватьсебянеудобно.Повесьтевинунапродукт,аненаучастникатеста.

Плохой пример:“Ябылоченьрастерянизапутан”(согласен/несогласен)

Хороший пример:“Сайтзаставилменячувствоватьсебяпотеряннымизапутанным.”(согласен/несогласен)Рейтинговаяшкаладолжнабытьреалистичной,объективнойииметьравнозначноеколичествоградацийпошкалевобестороны.

Плохой пример:“Послепрохожденияпроцессапроверки,вкакойстепенивыдоверяетеилинедоверяетеэтойкомпании?”“ЯнемногонедоверяюЯдоверяюейсвоюжизнь”(ответ«Ядоверюейсвоюжизнь»поэмоциональнойокраскегораздоболеесильный,чем«Янемногодоверяю»)

Хороший пример:“Послепрохожденияпроцессапроверки,вкакойстепенивыдоверяетеилинедоверяетеэтойкомпании?”“ЯсовсемнедоверяюэтойкомпанииЯоченьдоверяюэтойкомпании”(вданномслучаеобаответаравнозначныпоэмоциональнойсиле)

Субъективныеоценкиявляютсяотносительными.“Тепло”водномконтекстеможетсильноотличатьсяотслова“Тепло”вдругомконтексте.

Например:

ТЕПЛО

ТЕПЛО

ТЕПЛО

ОЧЕНЬ ТЕПЛО

ХОЛОДНО

+20

+20

+20

+30 +10

+10

0

0

0

-10

ХОЛОДНО

ХОЛОДНО

ОЧЕНЬ ХОЛОДНОНОРМАЛЬНО

НОРМАЛЬНО

ТЕПЛО=противоположностьХолодно

ТЕПЛО=Лучшийвариант

ТЕПЛО=Лучше,чемнормально,нонесамыйлучшийвариант.


Избегайтезадаватьнеопределенныеиликонцептуальныевопросы.Например,представьте,чтовыхотитеизмеритьудовлетворенностьродителейотдетскогообучающегоонлайн-портала.“Удовлетворенность”являетсярасплывчатымисложнымпонятием.

Достаточнолиинформациинапортале?Удобнолиорганизованоонлайн-взаимодействиемеждупреподавателямиистудентами?Нравитсяливамдизайн?Устраиваетваскачествоисложностьзаданий,размещенныхтам?

Вместотого,чтобыспрашиватьобобщейудовлетворенности,спроситеобовсехкритерияхнезависимодруготдруга.Прианализерезультатов,выможетесоздатькомпозитныйрейтинг“удовлетворенности”,основываясьнарезультатахболеемелкихзаданий.

Избегайте наводящих вопросов

Наводящимивопросамивывлияетенаответыучастников,таккаконисодержатподсказкивсвоихформулировках.Чащевсеговыбудетеподсознательновлиятьнарезультатыответоввтомнаправлении,котороеличнопредпочитаете.

Наводящиевопросыприведуткнеточнымрезультатам,ивынеузнаетечто-тодействительнополезное.Этоможетпривестиваскошибочнымрешениям.

ПЛОХО:“Наскольконоваяверсиялучше,чемпредыдущаяглавнаястраница?”

ХОРОШО:“Сравнитеновуюверсиюглавнойстраницыиоригинал.Какуювыпредпочитаете?”

СОВЕТ ИССЛЕДОВАТЕЛЮ:Есливыспрашиваетеобуспешностивыполнениязадания,незабудьтеопределить,чтотакоеуспех.ЕсливпредыдущемзаданиипользователюнадобылонайтипланшетнаOzonидобавитьеговкорзину,ивызадаётевопрос:“Вамудалось?”обязательноуточните-выспрашиваетеопоискепланшетаилиодобавленииеговкорзину?


Лучшие практики для различных типов вопросов

РейтингРейтинговая шкала позволяетизмерятьспектрреакцииучастников.Этоотличныйспособтестироватьобщиезадачиисравниватьполученныерезультатысаналогичнымтестированиемпродуктавашегоконкурента.

Используйте относительные экстремумы:отрицательныйответимеетсамоенизкоечисловоезначение,аположительныйответсамоевысокое.Другимисловами,«трудно»=1,а«легко»=5,аненаоборот.

Не пользуйтесь разным набором терминов во время теста! Используйтеодниитежетерминыиформулировки,когдавыповторяетевопрос.

Задавайте вопрос "почему?" после вопросов с множественным выбором ответов или вопросов, где пользователям надо оценить что-либо по шкале. Таким образом вы побуждаете людей мыслить критически и сможете проанализировать, как участники обсуждают свои ответы.

Письменный ответ

Письменные ответы позволяютвамполучитькраткиезамечанияотпользователейвписьменномвиде,ихчастоиспользуютдлясборавпечатленийимнений

Задавайте вопросы, на которые можно ответить парой слов или предложений. Необходимостьпечататьдлинныеответынегативновлияетнаучастников,особенноеслитестированиепроходитнамобильныхустройствах.

Хороший пример:Какимитремясловамивыможетеописатьэтоприложение?

Не используйте слишком много вопросов, требующих письменных ответов. Возможностьполучитьписьменныеответыучастниковоихмысляхидействияхимеетбольшоезначениедлядистанционноготестирования пользовательского опыта.Письменныевопросыхорошидляполучениясрезавпечатленийпользователей,но,еслиэтимзлоупотреблять,качествоответовначнетухудшатьсяужепосленесколькихвопросов.

Создайте облако слов (тегов)изответоввашихпользователей,чтобыбыстроувидеть,какиесловаонииспользуютдляописаниясвоегоопытачащевсего.

Варианты ответаВыбор вариантов ответа долженбытьисчерпывающим,аэтоозначает,чтовсевозможныеответыдолжныбытьвключеныввашвыбор.Втожевремя,выхотитеполучитьразумноечислоответов.Мырекомендуемпредлагатьотдвухдошестивариантовответанавопрос.Есливыподозреваете,чтонаданныйвопросестьслишкоммноговариантовответа,сделайтевсевозможное,чтобыугадать,какиевариантыбудутупомянутычащеостальных,адляостальныхоставьтевариантответа“Другое”.

Задавайте только один вопрос за один раз.Необъединяйтемноговопросовводин.Плохой пример:“Вынашлипланшет,которыйискали,ибыллионтам,гдевыожидалиегонайти?” Вместоэтогоразбейтетакойвопроснадваотдельныхвопроса.Хороший пример:“Вынашлипланшет,которыйискали?”“Нашлиливыпланшеттам,гдеожидалиегонайти?”


ВUXCrowd,выможетелегкозапуститьодинтест,проанализироватьего,азатемдобавитьбольшеучастниковдляэтогожеисследования.Есливамнужновнестиизменения,выможетескопироватьисследованиеоднимнажатиемкнопки,азатемредактироватьзадачииливопросыпомеренеобходимости.

Составлениеипросмотрсвоихзаметоквконцекаждогоисследования–этохорошаяпрактика,котораяпозволитопределитьвсеслабыесторонытестаиулучшитьзаданияиливопросыдляследующеготестирования.Вдолгосрочнойперспективеэтосэкономитвамвремя,особенноесливыпроводитетестированиепрототипов,азатемувеличиваетеколичестволюдейдляэтогожетестапослевнесенияизменениявсвойвеб-сайтилиприложение.

Ещеоднапричинапотратитьвремянасоставлениеправильныхвопросов–возможностьсобиратьданныедлясравнительногоисследования,анализируя,какменялисьответыпользователейотверсиикверсиисайта.Призапускесравнительноготеставынедолжныменятьвопросывтечениедолгоговремени,иначерезультатыбудутискаженыиточныесравнениябудутневозможны.

Пробное тестирование

Передтемкакначатьисследованиенавсехучастниках,мырекомендуемзапуститьпробноетестирование(иногданазываемоепилотным)соднимилидвумяпользователями.Этопоможетвамопределить,существуютликакие-либонедостаткиилизапутанныеинструкциивнутривашеготеста.Основнаяцель-убедитьсявтом,чтолюди,которыечитаютвашизадачиивопросы,поймутихдолжнымобразом.

Вот хороший план для пилотного теста:

Запуститеисследованиедляодногоилидвухучастников.

Послушайтекакониработаютсвашимизадачамиивопросам,ипроанализируйте,скакимипроблемамионистолкнулисьприпопыткевыполнитьэтоттест.

Послетого,каквывнесликоррективыивыуверенывтесте,мырекомендуемпровестифинальныйпилотныйтестещёнаодномчеловеке,чтобыубедиться,чтовыубралилюбыенепонятныеилинаводящиевопросы.

1

2

3


Остерегайтесь ошибокЕстьнесколькораспространенныхошибок,искажающихданныетестирования пользовательского опыта.Хорошаяновостьзаключаетсявтом,что,есливызнаетеоних,выможетеихизбежать.Нижемыприводимнаиболеераспространенныетипыошибок.

Ошибка выбора аудиторииОшибкавыборааудиториивозникает,когдавывыбираетенеправильныхучастниковдлявашегоисследования.Еслиэтопроизойдет,вырискуетеполучитьответыпользователейнеизвашейцелевойаудитории,чтонапрямуюотразитсянарезультатахтестирования.

Например,вашцелевойрыноквключаетвсебя«ОтделпродажSaaS»,поэтомувыищетелюдей,которыеработаютвпродажахпрограммногообеспечения,нофактическимиучастникамистановятсятестапродавцымагазиновэлектроники.

РЕШЕНИЕ:

Задайтечеткиеиточныевопросы,чтобыквалифицироватьпотенциальныхучастниковисследования.Есливынеуверены,точноливашивопросызахватываютнужныхпользователей,сделайтепробныйзапускснебольшимколичествомучастниковилиобратитеськэкспертамсервисаUXCrowd.

В качестве первого шага в вашем исследовании, попросите их описать вслух, чем они зарабатывают или насколько хорошо онизнакомысвашимпродуктом,илииспользуйтелюбойдругойкритерий,которыйпоможетвамопределить,являютсялионинасамомделевашимцелевымрынком.

Ошибка в формулировке вопросаПриэтомтипеошибокучастникинепонимаютформулировокзаданийиливопросов.Участникичастопринимаютинструкциибуквальноиищутнасайтеточныетерминыизвашихзаданий.

РЕШЕНИЕ 1:Проведитевашеисследованиеснесколькимилюдьмииследитезаихреакциейнавашивопросы.Выбыстропоймете,приводятливашивопросыкожидаемымдействиямпользователейилинет.

РЕШЕНИЕ 2: Изучитеособенностивашейцелевойаудиторииизадавайтевопросынаязыке,понятномвашейцелевойаудитории.Используйтепростойязык.Сленг,жаргон,диалектизмыиречевыеоборотымогутлегкозапутатьучастниковвовремяисследования.


Ошибка тестировщика

Вэтомслучаеучастникидаютвамнеточнуюилиложнуюинформацию.

Естьнесколькопричин,покоторымэтоможетпроизойти:

• Онинедоверяютвамсвоюличнуюинформацию.

• Имнеудобноделитсядеталямисвоейличнойжизни.

• Ониусталииприбегаюткфиктивнымответам,чтобыпройтитестбыстрее.

• Онинепонимают,нужноливамихмнениеили“правильный”ответ.

РЕШЕНИЕ 1:

Убедитеучастников,чтоихответынебудутдоступнытретьимлицам.

РЕШЕНИЕ 2:

Всамомначалесвоегоисследованиянезабудьтеобъяснить,что,еслиимнужнозаполнитькакую-либоличнуюинформацию,ихответыбудутконфиденциальны.

РЕШЕНИЕ 3:

Пустьваштестбудеткоротким(около15минут),так,чтобывашиучастникинеуспелиустать.

Ошибки в отзывах участниковЭтиошибкивозникают,когдаучастникневсостоянииправильновспомнитьотехсобытиях,окоторыхвыспрашиваете.Этопроисходит,когдавашвопросзаставляетихвспомнитьчто-тоиздалекогопрошлогоилитребуетслишкоммногодеталей.

РЕШЕНИЕ1:

Есливыспрашиваетеотзывучастникаодействиинавашемсайтеиливприложении,задавайтевопроссразупослезаданиясэтимдействием.

РЕШЕНИЕ2:

Есливыспрашиваетеучастникаокаком-тособытииизегожизни—проверьтенасвоихколлега,насколькореалистичныеданныемогутдатьвамлюди.Есливывидитечтолюдизатрудняютсясответом—пересмотритевопрос.

Ошибки «общественного мнения»

Участникичувствуютдавление,когдаотвечаютнавопросы,поэтомуонистараютсядаватьответы,наиболеепозитивновоспринимаемые«обществом»,дажееслиэтонесоответствуетдействительности.

Например,есливыспросителюдейобихтехническихпознаниях,онимогутпривратьосвоихспособностях,потомучтобудутдумать,чтоэто“лучше”,чемвовсенебытьтехническиподкованным.

РЕШЕНИЕ 1:Когдавыищетеучастниковтестирования,незабудьтеобъяснитьим,чтовынадеетесьузнать,будетливашпродуктполезнымдлятакихжелюдей,какони.

РЕШЕНИЕ 2:Убедитевашихучастников,чтоихответыостанутсяанонимными.

Ошибка молчаливого согласияУчастникскажетвамто,чтовыхотитеуслышать,изстрахаоскорбитьвас.Например,вашеприложениеможетемуненравиться,нооннехочетзаставлятьвасплоходуматьосвоейработе,поэтомускажет,чтоприложениехорошее.Этаошибкабольшераспространенавтестахсприсутствиеммодератора,чемпри дистанционном тестировании.

РЕШЕНИЕ 1:Есливыслишкомблизкикпродукту(например,есливыдизайнер), выможетиспользоватьбеспристрастногомодератора,чтобыонотредактировалвопросы.Опытныеисследователимогутпомочьобеспечитьбеспристрастностьиснижениебарьеровдляполученияболееправдивыхответов.

РЕШЕНИЕ 2:Убедитеучастников,чтовыценитеихоткровенностьичестность,ичтониодинизихотзывовнебудетприниматьсявами наличныйсчет.


Проанализируйте свои результатыПослетогокаквызапустилиисследованиеиполучилирезультаты,пришловремяприступитькиханализу.Передтем,каксделатьчто-нибудь,вновьвспомнитеоцеливашегоисследования,потомучтоееоченьлегкоупуститьизвиду.

Цельпоможетвамсосредоточитьсяинеотвлекатьсянапосторонниевыводы.(Темнеменее,выможетесохранитьнекоторыезаписиобинтересныхнаблюдениях,которыенесвязанысзадачей,номогутоказатьсяполезнымивдальнейшем).

ЧТО ИСКАТЬ

Использование результатов исследований всеми участниками команды продукта поможет вашей компании сфокусироваться на пользовательском опыте.

Когдамырассматриваемзаписипользовательскихтестов,мычастоделаемзаметкипоходудействия.Этизаметкиможнопривязатьксоответствующиммоментамвидео,такчтовыможетелегковернутьсякинтересныммоментампозже.

Когдавыпросматриваетеданныеизписьменныхвопросов,обращайтевниманиенаответы,отклоняющиесянормы.Еслидевятьучастниковполагали,чтозадачабыладовольнолегкой,аодинутверждает,чтоонабылачрезвычайнотрудной,внимательнопосмотритевидеоэтогоучастникаипоймите,чтовопытеэтогоучастникабылопо-другому?

Обращайтевниманиенато,чтовызвалонедовольствопользователей,атакженатеэлементы,которыепользователипосчиталиособеннополезнымиилиинтересными.Подобныевещизатемможновынестидляобсуждениявкомандепроекта,иэточастопомогаетвыявитьвозможностидляулучшениябудущегорелиза.Важноопределитьто,чтолюдямнравится,инепытаться“исправить”то,чтоитакхорошоработает,припопыткеулучшитьвосприятиевашегопродуктапользователями.

Исследуйте корреляцииПри рассмотрении рейтинговой шкалы с несколькими вариантами ответов, обратите внимание на корреляции между продолжительностью времени, потраченного на выполнение задания, и отрицательными ответами участников. Это является отправной точкой для определения наиболее проблемных областей в вашем дизайне, которые могут негативно отразиться на пользовательском опыте.

Важно помнить, однако, что корреляция открывает не всю картину. Не спешите с выводами, основанными на одних только корреляциях: не забудьте посмотреть соответствующие моменты видео, чтобы услышать, что участники думают.

1

2

3


ТАБЛИЦЫСобирать,анализироватьиделитьсясвоимивыводамиможнопрямовличномкабинетеUXCrowd.Темнеменее,есливыобнаружите,чтовыхотитевыполнитьболеедетальныйанализ,выможетевыгрузитьданныевтаблицуExcel.Этобудетособеннополезнодлясоставлениявыводовнаосновемногочисленныхисследованийсбольшимколичествомучастников,исравненияответовотразличныхдемографическихгрупп.

Поделитесь своими выводами

Исследованиепредназначенодлясовместногоиспользования!Послетогокаквысформулироваливашивыводы,пришловремяпредставитьихдляобсуждениявсемзаинтересованнымисторонами.Вбольшинствеслучаевэтоозначаетпроведениесовещаниясзаинтересованнымидепартаментамииобменвыводамивпрезентации.

Вотнесколькоидейдляуспешнойзащитырезультатоввашегоисследования:

Создайтесериювидеоклипов.

Используйтедиаграммы,чтобыпредставитькакие-либоинтересныеданныеизвашихвопросов.

Подтвердитепретензиипользователейцитатамиизисследований.

Используйтеоблакослов,чтобыотобразитьнаиболеечастовстречающиесяслова,используемыенапротяжениивсегоисследования.

Будьтеосторожныиневозлагайтевинунакого-тоизвашихтоварищейпокоманде.Еслиувасестьмногонегативныхвыводов,тщательноподбирайтеслова.“Пользователейразочаровалаэтафункция”звучитгораздолучше,чем“Этафункцияужасна”.

Поощряйтечленовкоманды,задавать вопросыорезультатах,нонапоминайтеим,чтоимненужнооправдываться.Ониздесь,чтобыузнатьовосприятиипродуктапользователями,анезащищатьсвоипроектныерешения.

Совместноеиспользованиерезультатовисследованийсколлегамиихразныхотделовможетбытьотличнымспособомпродвигатьориентированнуюнапользователякультуруввашейкомпании.

Совместноеиспользованиерезультатовисследованийсколлегамиизразныхотделовможетбытьотличнымспособомпродвигатьориентированнуюнапользователякультуруввашейкомпании.


ВыводМырекомендуемвамсделатьдистанционноетестированиепользовательского опыта стандартнойчастьюпроцессаразработки.Отзывыпользователейимеютрешающеезначениедляпроектированияиразработкиуспешногопродукта,аудаленноеисследованиепозволяетбыстроилегкополучитьих.

Счеткойцелью,правильнымизадачами,итщательноспланированнымиисформулированнымивопросами,высможетесобратьполезные,действенныеидеи.

Независимооттого,планируетеливыпроводитьвашиисследованиясамостоятельноилизаручившисьпомощьюисследовательскойгруппыэкспертовUXCrowd,вывлюбомслучаенапутикулучшениюпользовательскоговосприятиявашегопродукта.


СОЗДАНИЕ НОВЫХ ВПЕЧАТЛЕНИЙ!

UXCrowd — это самый быстрая и самая продвинутая платформа

на российском рынке тестирования пользовательского опыта. Мы даём

маркетологам, продукт-менеджерам, а также командам UX доступ к

тестированию

веб-сайтов, мобильных приложений, прототипов на вашей целевой

аудитории! С помощью UXCrowd вы сможете не только увидеть и услышать

мнения пользователей о вашем продукте, но и сделать свой бизнес гораздо

более ориентированным на позитивный пользовательский опыт!

121087, г. Москва, ул. Барклая, д. 6, стр. 5

+7 (499) 707-2939

[email protected]

http://uxcrowd.ru

https://twitter.com/ux_crowd

Documents

UXCrowd · В первой колонке таблицы описаны типы вопросов, во второй показаны примеры этих вопросов и ответов