46
Что делать с аудиозаписями формализованных интервью? Аудит аудиозаписей опросов, вебинар группы 7/89, 23 июня 2016 г. Тимур Османов, Фонд «Общественное мнение», Методический Цех

2016.06 вебинар аудит

Embed Size (px)

Citation preview

Page 1: 2016.06 вебинар аудит

Что делать с аудиозаписями формализованных интервью?

Аудит аудиозаписей опросов, вебинар группы 7/89, 23 июня 2016 г.

Тимур Османов, Фонд «Общественное мнение»,

Методический Цех

Page 2: 2016.06 вебинар аудит

Правила

Page 3: 2016.06 вебинар аудит

Благодарности

• Дмитрий Рогозин, Анна Ипатова, Надежда Галиева, РАНХиГС, Методический Цех.

• Семён Костин, Марина Роман, ФОМ.

• Наталия Лосенкова, Контекст.

• Павел Иванов, Марина Алексеева, Максима.

Page 4: 2016.06 вебинар аудит

Ключевая мысль

Прослушивание аудиозаписей – полноценный исследовательский инструмент, а не только средство контроля интервьюеров

Page 5: 2016.06 вебинар аудит

Зачем прослушивать аудиозаписи? • Контроль качества полевого этапа исследования – соблюдения

интервьюером методики проведения опроса: – отбор респондента; – ведение интервью; – зачитывание вопросов; – проверка ввода ответов и исправление ошибок в массиве данных (в т.ч. коррекция

ответов на открытые вопросы).

• Анализ качества инструментария, содержательная аналитика. Восприятие вопросов и способы ответа на них: – «Как люди отвечают на вопросы?» (качество формулировок вопросов); – «Как комментируют выбор той или иной альтернативы» (поиск инсайтов, кейсов); – «Что вообще происходит во время опроса?»

Page 6: 2016.06 вебинар аудит

Кому нужно прослушивание аудиозаписей? А ребята-то и не знают…

Интервьюер (звонковый центр) - обратная связь - обучение лучшим практикам работы

Заказчик - качество данных - методический отчёт

Аналитик-методолог - поиск инсайтов, кейсов - понимание работы вопросов

Page 7: 2016.06 вебинар аудит

Как отбираются аудиозаписи для прослушивания?

Задача: отобрать наиболее интересные для основных целей прослушивания аудиозаписи. Например:

1. наиболее успешных интервьюеров (лучшие практики); 2. интервью с наибольшим количеством «брака» (контроль); 3. самых осведомлённых респондентов (кейсы, проблемы); …

Page 8: 2016.06 вебинар аудит

Как отбираются аудиозаписи для контроля?

При случайном отборе доля «брака» в непрослушанных записях не изменится. Задача контроля: локализовать максимальное число интервью с нарушениями и прослушивать только их. Это позволит существенно сэкономить ресурсы на контроль и «почистить» массив. Проблема: Как это сделать? отбор записей с учётом параданных, отбор с учётом логинов интервьюеров (новички, плохо себя зарекомендовавшие ранее, давно не контролированные)

Page 9: 2016.06 вебинар аудит

Как проводится прослушивание?

Аудиторы получают: • Аудиозаписи интервью;

• Анкету опроса;

• Массив ответов или доступ к ответам в ПО, используемом для сбора данных (Survey Studio, Simple Forms, ForApp и др.);

• Бланк аудитора с указанием фиксируемых параметров;

Page 10: 2016.06 вебинар аудит

Как проводится прослушивание?

Что делают аудиторы: • Прослушивают аудиозапись интервью;

• Сверяют ответы респондентов с отмеченными в массиве;

• Заполняют бланк аудитора – фиксируют заданные в нём параметры интервью;

• Вносят исправления в массив ответов. Особенно актуально для открытых вопросов;

• Если по аудиозаписи невозможно установить ответ респондента (например, вопрос не задавался), перезванивают респонденту и уточняют ответы на вопросы.

Page 11: 2016.06 вебинар аудит

Что же фиксируют аудиторы?

Коды должны быть

• понятны

• объективны

• воспроизводимы

Page 12: 2016.06 вебинар аудит

Кодирование соблюдения методики

• Выборка: фальсификация отбора

• Пропуск вопроса

• Склонение к определённому ответу

• Несоблюдение инструкции к вопросу

• Неверное фиксирование ответа

• Качество связи

Page 13: 2016.06 вебинар аудит

Кодирование поведения интервьюера • скорость речи • вежливость • нейтральность

o доминирование, подталкивание к определённому ответу

o реакция интервьюера на реплики респондента – комментарии, высказывание своего мнения

• участие третьих лиц в интервью • нефокусированность

Page 14: 2016.06 вебинар аудит

Кодирование поведения респондента • нефокусированность • реакция на вопросы анкеты • комментарии к вопросам анкеты • обоснование ответов

Page 15: 2016.06 вебинар аудит

УСПЕШНЫЕ КЕЙСЫ

Page 16: 2016.06 вебинар аудит

ПРИМЕР 1: НАЦИОНАЛЬНЫЙ ОПРОС О ФИНАНСОВЫХ УСЛУГАХ

Успешные кейсы

Page 17: 2016.06 вебинар аудит

Общий объём выборки – 2431 интервью.

Прослушано 432 интервью (18%).

Анкета содержала несколько табличных вопросов. Инструкция предписывала интервьюерам зачитывать все позиции.

Интервью на прослушивание в основном отбирались с учётом параданных (не случайный отбор). При прослушивании отмечались случаи, когда интервьюер не зачитывал все варианты ответа.

Page 18: 2016.06 вебинар аудит

1. сталкивались 2. не сталкивались 3. затрудняюсь ответить,

отказ от ответа, не

имеет ко мне

отношения

4.1. потеря основной работы 1 2 3

4.2. потеря дополнительной работы,

приработка

1 2 3

4.3. уменьшение или неполная выплата

зарплаты, премии, в том числе из-за

перевода на неполный рабочий день

1 2 3

4.4. сокращение доходов от сдачи в

аренду жилья или другого имущества

1 2 3

4.5. сокращение сбережений из-за того,

что их пришлось тратить на жизнь

1 2 3

4.6. потеря денег на банковском вкладе,

счёте из-за отзыва лицензии, проблем у

банка

1 2 3

4.7. снижение процентов, доходов по

вкладам, инвестициям

1 2 3

4.8. другие финансовые потери 1 2 3

4. Скажите, пожалуйста, в течение последнего года Вы или члены Вашей

семьи сталкивались или не сталкивались с какими-либо денежными,

финансовыми потерями? Я буду перечислять ситуации, а Вы говорите,

случалось ли такое с Вами или кем-то из членов Вашей семьи. (Последовательно зачитывайте варианты 4.1-4.8. Один ответ по строке.)

Page 19: 2016.06 вебинар аудит

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во “брака” в прослушанном

Доля "брака"

Прогноз:

Найдено брака Доля

прослушанного

<= 70,39 130 61 12 20% 22% 5%

70,40 - 80,89 349 61 4 7% 41% 20%

80,90 - 87,20 344 62 2 3% 51% 34%

87,21 - 94,68 366 61 2 3% 61% 49%

94,69 - 104,13 365 60 4 7% 81% 64%

104,14 - 121,49 434 60 2 3% 94% 82%

121,50+ 443 60 1 2% 100% 100%

Символов в вопросе с пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

992 103,2 35,3 95,4

Вопрос 4

Page 20: 2016.06 вебинар аудит

1. сможет произойти 2. не может

произойти

3. затрудняюсь ответить,

отказ от ответа, не

имеет ко мне

отношения

5.1. потеря основной работы 1 2 3

5.2. потеря дополнительной работы,

приработка

1 2 3

5.3. уменьшение или неполная выплата

зарплаты, премии, в том числе из-за

перевода на неполный рабочий день

1 2 3

5.4. сокращение доходов от сдачи в

аренду жилья или другого имущества

1 2 3

5.5. сокращение сбережений из-за того,

что их пришлось тратить на жизнь

1 2 3

5.6. потеря денег на банковском вкладе,

счёте из-за отзыва лицензии, проблем у

банка

1 2 3

5.7. снижение процентов, доходов по

вкладам, инвестициям

1 2 3

5.8. другие финансовые потери 1 2 3

5. Как Вы считаете, а что из того, о чём мы сейчас говорили,

с большой вероятностью может произойти с Вами или с кем-то

из членов Вашей семьи в ближайший год?

(Последовательно зачитывайте варианты 5.1-5.8. Один ответ по

строке.)

Page 21: 2016.06 вебинар аудит

Символов в вопросе с пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

633 82,0 33,7 75,6

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во “брака” в прослушанном

Доля "брака"

Прогноз:

Найдено брака Доля

прослушанного

<= 46,58 140 59 47 80% 67% 6%

46,59 - 57,63 266 62 6 10% 83% 17%

57,64 - 67,88 427 61 1 2% 87% 34%

67,89 - 76,08 400 61 2 3% 95% 51%

76,09 - 89,36 499 62 1 2% 100% 71%

89,37 - 106,59 332 60 0 0% 100% 85%

106,60+ 367 61 0 0% 100% 100%

Вопрос 5

Page 22: 2016.06 вебинар аудит

8. Скажите, пожалуйста, за последний год Вы или кто-либо

из членов Вашей семьи делали ли что-нибудь из того,

что я Вам перечислю, чтобы увеличить свои доходы?

(Последовательно зачитывайте варианты 8.1-8.6. Один ответ по

строке.)

1. делали 2. не делали 3. затрудняюсь

ответить, отказ от

ответа

8.1. сменили работу на более денежную,

вышли на работу после перерыва

1 2 3

8.2. нашли приработок, дополнительную

работу, брали больше работы

на основном месте

1 2 3

8.3. вкладывали деньги под более высокие

проценты в банк или в другие финансовые

инструменты, покупали или продавали

валюту

1 2 3

8.4. начали сдавать квартиру или другое

имущество в аренду

1 2 3

8.5. выращивали больше продуктов

в подсобном хозяйстве

1 2 3

8.6. другое 1 2 3

Page 23: 2016.06 вебинар аудит

Символов в вопросе с пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

530 61,7 22,8 56,6

Вопрос 8

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во “брака” в прослушанном

Доля "брака"

Прогноз:

Найдено брака Доля

прослушанного

<= 39,89 125 60 13 22% 17% 5%

39,90 - 46,21 309 61 5 8% 33% 18%

46,22 - 50,20 304 62 6 10% 51% 30%

50,21 - 56,13 446 61 2 3% 61% 49%

56,14 - 61,98 391 62 2 3% 69% 65%

61,99 - 73,73 424 61 2 3% 77% 82%

73,74+ 432 60 5 8% 100% 100%

Page 24: 2016.06 вебинар аудит

9. А в ближайший год что из того, о чём мы сейчас говорили, Вы или

члены Вашей семьи планируете делать, чтобы увеличить свои

доходы? (Последовательно зачитывайте варианты 9.1-9.6. Один ответ

по строке.)

1. делали 2. не делали 3. затрудняюсь

ответить, отказ от

ответа

9.1. сменить работу на более денежную,

выйти на работу после перерыва

1 2 3

9.2. найти приработок, дополнительную

работу, брать больше работы

на основном месте

1 2 3

9.3. вкладывать деньги под более высокие

проценты в банк или другие финансовые

инструменты, покупать или продавать

валюту

1 2 3

9.4. сдавать квартиру или другое имущество

в аренду

1 2 3

9.5. выращивать больше продуктов в

подсобном хозяйстве

1 2 3

9.6. другое 1 2 3

Page 25: 2016.06 вебинар аудит

Символов в вопросе с пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

498 56,1 22,1 52,6

Вопрос 9

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во “брака” в прослушанном

Доля "брака"

Прогноз:

Найдено брака Доля

прослушанного

<= 22,01 102 59 59 100% 39% 4%

22,02 - 38,28 211 60 21 35% 67% 13%

38,29 - 45,05 390 62 6 10% 82% 29%

45,06 - 51,37 419 60 2 3% 87% 46%

51,38 - 56,89 385 62 3 5% 94% 62%

56,90 - 67,81 442 61 2 3% 100% 80%

67,82+ 482 61 0 0% 100% 100%

Page 26: 2016.06 вебинар аудит

20. Скажите, пожалуйста, какими банковскими услугами Вы лично

пользуетесь в настоящее время? (Последовательно зачитывайте

варианты 20.1-20.11. Один ответ по строке.)

1. пользуюсь 2. не пользуюсь 3. затрудняюсь ответить,

отказ от ответа

20.1. пластиковая карта для получения зарплаты, пенсии,

стипендии

1 2 3

20.2. оплата коммунальных услуг через банк 1 2 3

20.3. потребительский кредит 1 2 3

20.4. кредитная карта – карта, по которой можно взять в долг у

банка

1 2 3

20.5. вклад на определённый срок, депозит 1 2 3

20.6. текущий счёт, вклад до востребования, для начисления

пенсии

1 2 3

20.7. дебетовая пластиковая карта, по которой можно

расходовать только имеющиеся на ней средства

1 2 3

20.8. денежные переводы 1 2 3

20.9. автокредит 1 2 3

20.10. ипотечный кредит 1 2 3

20.11. другие банковские услуги 1 2 3

Page 27: 2016.06 вебинар аудит

Символов в вопросе с пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

530 82,0 27,4 76,4

Вопрос 20

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во “брака” в прослушанном

Доля "брака"

Прогноз:

Найдено брака Доля

прослушанного

<= 53,57 161 60 24 40% 36% 7%

53,58 - 61,04 276 62 6 10% 51% 18%

61,05 - 68,55 393 62 3 5% 62% 34%

68,56 - 75,35 332 60 3 5% 71% 48%

75,36 - 87,45 503 60 3 5% 86% 68%

87,46 - 104,01 402 62 3 5% 97% 85%

104,02+ 364 61 1 2% 100% 100%

Page 28: 2016.06 вебинар аудит

21. Какими банковскими услугами Вы лично планируете продолжать

пользоваться в ближайшем году? (Последовательно зачитывайте

варианты 21.1-21.11. Один ответ по строке. В вопросе №21

показываются только те позиции, которые были отмечены в столбце 1

в вопросе №20)

1. планирую

продолжать

2. не планирую

продолжать

3. затрудняюсь ответить,

отказ от ответа

20.1. пластиковая карта для получения зарплаты, пенсии,

стипендии

1 2 3

20.2. оплата коммунальных услуг через банк 1 2 3

20.3. потребительский кредит 1 2 3

20.4. кредитная карта – карта, по которой можно взять в долг у

банка

1 2 3

20.5. вклад на определённый срок, депозит 1 2 3

20.6. текущий счёт, вклад до востребования, для начисления

пенсии

1 2 3

20.7. дебетовая пластиковая карта, по которой можно

расходовать только имеющиеся на ней средства

1 2 3

20.8. денежные переводы 1 2 3

20.9. автокредит 1 2 3

20.10. ипотечный кредит 1 2 3

20.11. другие банковские услуги 1 2 3

Page 29: 2016.06 вебинар аудит

Вопрос 21

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во “брака” в прослушанном

Доля "брака"

Прогноз:

Найдено брака Доля

прослушанного

<= 11,51 110 59 2 3% 4% 5%

11,52 - 17,52 377 57 11 19% 75% 21%

17,53 - 22,68 368 59 2 3% 88% 38%

22,69 - 28,30 380 59 1 2% 94% 54%

28,31 - 34,29 349 57 1 2% 100% 70%

34,30 - 43,57 369 59 0 0% 100% 86%

43,58+ 318 58 0 0% 100% 100%

Символов в вопросе с пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

530 29,3 14,6 26,7

Page 30: 2016.06 вебинар аудит

В большинстве случаев диагностировать несоблюдение инструкций по зачитыванию всех вариантов ответа можно по времени ответа на вопрос.

Прослушав 4-7% интервью с минимальным временем ответа на вопрос можно выявить существенную часть интервью, в которых варианты ответа зачитывались не полностью.

Page 31: 2016.06 вебинар аудит

ПРИМЕР 2: РЕГИОНАЛЬНЫЙ ЭЛЕКТОРАЛЬНЫЙ ОПРОС

Успешные кейсы

Page 32: 2016.06 вебинар аудит

Общий объём выборки – 7210 интервью.

Прослушано 1125 интервью (16%).

Анкета содержала несколько вопросов с длинными списками партий / кандидатов.

Интервью на прослушивание в основном отбирались с учётом параданных (не случайный отбор). При прослушивании отмечались случаи, когда интервьюер не зачитывал все варианты ответа.

Page 33: 2016.06 вебинар аудит

18. За какую партию Вы, скорее всего, проголосуете на выборах

в Государственную думу? (Зачитайте позиции 1–14. Один ответ)

1. за партию №1

2. за партию №2

3. за партию №3

4. за партию №4

5. за партию №5

6. за партию №6

7. за партию №7

8. за партию №8

9. за партию №9

10. за партию №10

11. за партию №11

12. за партию №12

13. за партию №13

14. за партию №14

15. испорчу бюллетень

16. не пойду на выборы

17. затрудняюсь ответить

Page 34: 2016.06 вебинар аудит

Вопрос 18 Символов в вопросе с

пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

506 36,6 18,3 33,3

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во "брака" в прослушанном

Доля "брака"

Прогноз:

Найдено брака Доля

прослушанного

<= 10,94 196 112 104 93% 16% 3%

10,95 - 17,99 354 112 103 92% 45% 8%

18,00 - 24,37 470 113 57 50% 66% 14%

24,38 - 26,59 470 112 12 11% 71% 21%

26,60 - 28,58 585 113 5 4% 73% 29%

28,59 - 31,13 838 111 4 4% 76% 40%

31,14 - 33,99 937 113 6 5% 80% 53%

34,00 - 37,60 878 112 4 4% 83% 66%

37,61 - 45,05 1168 112 7 6% 89% 82%

45,06+ 1314 111 10 9% 100% 100%

Page 35: 2016.06 вебинар аудит

Вопрос на знание кандидатов содержал от 17 до 21 фамилий с должностями (от 1350 до 1700 символов).

Инструкция предписывала интервьюерам зачитывать список фамилий и должностей полностью без сокращений.

19. Я назову нескольких людей, а Вы скажите про каждого, известен он Вам или Вы ничего о нём не слышали. Известен или неизвестен Вам… (Один ответ в каждой строке. Последовательно зачитывайте каждое имя вместе с должностью.)

Page 36: 2016.06 вебинар аудит

Вопрос 19. Символов в вопросе с

пробелами

Время ответа на вопрос, секунд

Среднее значение

Стандартное отклонение

Медиана

1500 178,1 47,4 170,9

Время ответа на вопрос, секунд

Интервью в массиве

Прослушано интервью

Кол-во “брака” в прослушанном

Доля "брака"

Прогноз:

Найдено “брака”

Доля прослушанного

<= 119,42 327 112 25 22% 27% 5%

119,43 - 130,43 394 112 9 8% 39% 10%

130,44 - 139,26 475 113 3 3% 44% 17%

139,27 - 147,24 568 112 1 1% 46% 24%

147,25 - 156,37 691 113 6 5% 60% 34%

156,38 - 166,28 818 111 1 1% 63% 45%

166,29 - 178,17 946 113 0 0% 63% 59%

178,18 - 192,94 874 113 3 3% 71% 71%

192,95 - 216,64 976 112 4 4% 85% 84%

216,65+ 1141 111 4 4% 100% 100%

*Под “браком” понимается неполное зачитывание должностей кандидатов.

Page 37: 2016.06 вебинар аудит

Что побуждает интервьюеров не зачитывать все варианты ответов?

Page 38: 2016.06 вебинар аудит

При прослушивании фиксировалась реакция респондентов на длинный список кандидатов:

Реакция респондента на вопрос Частота Проценты

положительная 132 11,7

нейтральная 732 65,1

нейтральная, но с комментарием 109 9,7

негативная 152 13,5

Page 39: 2016.06 вебинар аудит

Реакция респондента на вопрос 19 Частота Не все варианты

полностью зачитаны

Доля "брака"

положительно 132 4 3%

нейтрально 732 21 3%

нейтрально с комментарием 109 9 8%

негативно 152 22 14%

Несоблюдение инструкций связано с поведением респондента:

Page 40: 2016.06 вебинар аудит

Была и крайне негативная реакция респондентов на зачитывание всех вариантов:

На вопросе о знании кандидатов было прервано 424 интервью (каждый 18-ый респондент прерывал интервью).

0,0%

1,0%

2,0%

3,0%

4,0%

5,0%

6,0%

До

ля

пр

ер

ван

ны

х и

нте

рвь

ю н

а во

пр

осе

Порядковый номер вопроса

Page 41: 2016.06 вебинар аудит

Какие люди прерывали интервью?

Не интересующиеся политикой.

Чаще затрудняются оценить работу президента, правительства, губернатора, положение дел в области.

Чаще не знают о выборах в Госдуму и не собираются в них участвовать.

Page 42: 2016.06 вебинар аудит

Из-за прерванных интервью распределения ответов на содержательные вопросы

сместились на 1-2 п.п.

Page 43: 2016.06 вебинар аудит

Оборотная сторона соблюдения инструкций – недовольство респондентов, прерывание

интервью

Должен ли опрос быть комфортен для респондента?

Page 44: 2016.06 вебинар аудит

Что считать ошибкой?

Интервьюер Методолог Заказчик

Аналитик

Бригадир Аудитор

Стандартизация

Удержание респондента

Отказ

Переформулирование вопроса

Фальсификация отбора

Пропуск вопроса

Профессиональное сообщество

KPI интервьюера

Респондент

Информант

Зачитывание всех вариантов ответа Склонение к ответу

Высказывание своего мнения

Прерывание интервью

Короткое интервью

Длинное интервью

Page 45: 2016.06 вебинар аудит

Ключевая мысль

Прослушивание аудиозаписей – полноценный исследовательский инструмент, а не только средство контроля интервьюеров

Тимур Османов, [email protected]

Page 46: 2016.06 вебинар аудит

©Рогозин, Д., Картавцев, В., Вьюговская, Е., Галиева, Н. Методический аудит полевых работ. М.: Изд-во Дело, 2016.