Основные техники пилотажного интервью · 2012. 2. 29. · План обсуждения вопросника с экспертами ... (не просто

Тема 12 http://soc.hse.ru/socinf/mmci

Основные техники пилотажного интервью

Тема 12

© Даудрих Н.И.

http://soc.hse.ru/socinf/mmci

Методология и методы социологического исследования

LOGOСодержание

1. Основные принципы и виды пилотажного исследования.

2. Методики проведения пилотажного исследования

3. Оценка результатов пилотажа, корректировка по итогам пилотажа.

2

LOGO

1. ОСНОВНЫЕ ПРИНЦИПЫ И ВИДЫ ПИЛОТАЖНОГО ИССЛЕДОВАНИЯ

3

LOGOЦель пилотажного исследования

• Проверка процедур сбора информации и вопросника

• Оценка вопросов и процедур сбора информации, идентификации того, что затрудняет интервьюеру работу или респонденту ответы

Т.е. функция пилотажного исследования методическая, а не содержательная

4

LOGO

«Любой этап исследования требует пилотирования, предварительной проверки для выявления и исправления возможных ошибок, которые

Зачем нужен пилотаж?

5

нельзя предусмотреть на подготовительном этапе»

Babbie E.

LOGOВиды пилотажного исследования

Комплексное (pilot test/study/work)

Дифференцированное (pretest)

Проверка всех (содержательных и организационных)

элементов исследования -обычное исследование в

небольшом масштабе

Тестирование отдельных методик, фрагментов исследовательского

проекта (вопросника, выборки и пр.)

6

LOGO

«Практически все: от деталей метода и дизайна выборки до типа бумаги, на которой пишет интервьюер; нужно проверить все, что может пойти неправильно. Если что-то

Что можно пилотировать?

7

неправильно. Если что-то вызывает сомнения, а особенно то, что не вызывает сомнений, нужно пилотировать!»

Oppenheim A.N.

LOGOКомплексное пилотажное исследование: состав

• Тестирование методов сбора информации

• Методики построения и реализации выборки

• Апробирование вопросника – формулировки вопросов, адекватность вариантов ответа, порядок следования альтернатив в вопросе, время заполнения каждого блока в вопроснике, удобство и понятность переходов, достаточность места для записи ответов на открытые вопросы

• Проверка возможности влияния пола, возраста и стиля интервьюера

• Пилотаж инструкций, писем, обращений• Пилотаж инструкций, писем, обращений

• Проверка схемы обработки данных

• Тестирование структуры шаблона отчета по исследованию и достаточность собранных данных для ответа на задачи исследования

8

LOGOЭтапы пилотажного исследования

1) Теоретический

Предварительное обсуждение с коллегами:• адекватность вопросника

поставленным исследовательским задачам,

• соблюдение общей логики драматургии анкеты,

• отсутствию грубых методических

9

• отсутствию грубых методических ошибок при формулировке вопросов и вариантов ответа,

• адекватность графического оформления анкеты,

• достаточность вспомогательных, буферных, контактных вопросов,

• достаточность контрольных вопросов

Эксперты

LOGOЭтапы пилотажного исследования

2) Эмпирический

Проведение небольшого пробного исследования, которое может помочь выявить недостатки вопросника, проявляющиеся только на практике:• соответствие языку респондентов

определенной целевой группы, определенной целевой группы, • продолжительность, • полнота предлагаемого списка

вариантов ответа, • логические перескоки,

вызывающие недоумение опрашиваемых,

• произносимость текста, • ясность инструкций, • сложность переходов и т.п.

10

Обычные респонденты

LOGO

1. Получили ли программные вопросы достаточное раскрытие в вопроснике?

2. Соблюдается ли принцип драматургии анкеты?

3. Не имеют ли вопросы слишком общего характера и не оказывают ли они влияния друг на друга?

4. Как используются методы контроля для

План обсуждения вопросника с экспертами (теоретический этап пилотажа)

11

4. Как используются методы контроля для определения уровня информированности опрашиваемых, достоверности и надежности данных?

5. Правомочно ли использование контактных, буферных, подготовительных, вводных вопросов?

6. Доступно ли респонденту использование иностранных слов, специальных терминов?

7. Правильно ли техническое оформление анкеты?

Аверьянов Л.Я.

LOGOВопросы для проведения теоретического этапа пилотажа

1. Выдержаны ли требования к уровню сложности языка?

2. Все ли вопросы и варианты ответов понятны респондентам?

3. Соблюдены ли требования к абстрактности / конкретности вопросов?

4. Понятны ли респондентам предлагаемые единицы измерения?

5. Предусмотрены ли варианты уклонения от ответа?

6. Нет ли пересечения в логических основаниях ответов?

7. Достигнута ли сбалансированность шкал?

8. Присутствует ли деление на удобные респонденту тематические блоки?

9. Добавлены ли необходимые вопросы-фильтры?

10. Не вызывает ли анкета утомляемость, достаточно ли она разнообразна?

11. Учтена ли опасность получения социально желательных или стереотипных ответов?

12. Не слишком ли много вариантов ответа?

13. Нет ли опасений вызвать недоверие опрашиваемых? Не слишком ли сензитивны вопросы?

14. Соблюдены ли требования к графическому оформлению анкеты?

12

Ядов В.А. Стратегия социологического исследования: описание, объяснение, понимание социальной реальности. М.: Добросвет, 1998

LOGOСпособы тестирования вопросника

• Фокус-группа

• Интенсивное когнитивное интервью

• Полевой опрос (пилотаж)

13

LOGO

2. МЕТОДИКИ ПРОВЕДЕНИЯ ПИЛОТАЖНОГО ИССЛЕДОВАНИЯ

14

LOGOПилотаж на этапе подготовки вопросника

Уточнение формулировок вопросов

Уточнение спискавариантов ответа

• Предварительные неструктурированных интервью с представителями целевой группы – обсуждениелучшего способа задавания вопроса

• Открытые вопросы• Методика неоконченных

предложений

15

LOGOКакие вопросы нуждаются в пилотаже на этапе подготовки вопросника?

Пилотаж на этапе подготовки вопросника необходим если:

• тема исследования мало изучена

• ситуация резко изменилась (старые подходы не эффективны)

• отсутствуют точные данные о целевой группе / социальном процессе

• не ясно как нужно «общаться» с целевой группой / обсуждать тему

16

LOGOПилотаж готового вопросника

Начало пилотажа – личное интервью

(если запланирован другой метод сбора данных, то его используют в рамках второго этапа, например, анкетирование, он-лайн опрос )

Студенческий пилотаж:

• Интервью с хорошими знакомыми родственниками, друзьями

• Интервью со знакомыми знакомых – по рекомендации, но нет личного позитивного отношения

• Интервью незнакомых (телефонный, уличный опрос)

• Интервью незнакомых (квартирный опрос)

17

LOGO

«Инструментарий должен быть протестирован в том формате, который предполагается в реальном исследовании: если вопросник

Выбор формата пилотажа

18

предназначен для самозаполнения, то он так и должен тестироваться»

Babbie E.

LOGOМетодики пилотажа отдельных вопросов

Методика Описание

Пересказ вопроса

Респондентов просят перефразировать вопрос «своими словами», полученные ответы кодируются

Размышления вслух

Респондентов просят подумать вслух как они отвечали на каждый вопрос, пояснения кодируют, классифицируют по типу возникающих сложностей и переформулируют вопрос

1 – полностью правильно (упущены неважные детали)2 – в целом правильно (пропущено не более одной важной части)3 – частично неверно (респондент понял общий смысл вопроса)4 – полностью неправильно вопрос

Двойное интервью

После получения ответа интервьюер задает 2-3 уточняющих вопроса на проверку понимания респондентом основных концептов

19

4 – полностью неправильно или нет ответа)

Пример «состав семьи» - уточняется включал ли респондент себя в общее число

или нет, к какому периоду времени относится эта информация и т.п.

LOGOМетодики пилотажа вопросника

Методика Описание

Отчет интервьюера о ходе интервью

Комментарии интервьюера после опроса, анализ поведенческих реакций респондента (сложность вопросов, паузы, затруднения с пониманием), собственных впечатлений интервьюера от анкеты, хода беседы (затянутые вопросы, сложно проговорить вслух)

«Интервью об интервью»

Вопросы в конце интервью для выявления впечатления респондента о только что прошедшей интервью» впечатления респондента о только что прошедшей беседе

20

LOGOСпециальные форматы организации работы интервьюеров при пилотаже вопросника

• Интервью в паре – разделение содержательной и методической задач пилотажного интервью: один интервьюер ведет беседу, а второй наблюдает за разговором, поведением его участников и фиксирует возникающие трудности, неясности .

• Брифинги интервьюеров. Интервьюеры под руководством исследователя обсуждают сложности, исследователя обсуждают сложности, которые возникали в ходе интервью и возможные способы их устранения (как поправить анкету, чтобы интервью шло легче, эффективнее)

21

LOGOО чем спросить интервьюера после пилотаж?

1. Вызывают ли какие-либо вопросы ощущение дискомфорта у респондентов?

2. Приходится ли повторять какой-то вопрос несколько раз?

3. Возникает ли неправильное понимание вопросов?

4. Какие вопросы воспринимаются как сложные, неудобные для зачитывания?

5. Какие блоки вопросов кажутся затянутыми?

6. Есть ли блоки вопросов, в которых 6. Есть ли блоки вопросов, в которых складывается ощущение, что респондент был готов сказать больше?

7. Какие вопросы не нравятся, почему?

22

LOGOКак выбрать респондентов для пилотажа?

• Объем выборки для тестирования вопросника - 50-100пилотажных интервью:

• чем разнороднее группа, тем больше объем, для максимально гомогенной группы достаточно 20-30 интервью;

• если есть «статистические задачи» (выявление вариантов ответа), то выборка должна быть больше.

• Для пилотажного интервью приглашаются респонденты, максимально соответствующие целевой группе исследования.

• Полезно проведение пилотажа на полярных группах (например, по уровню образования) уровню образования)

23

LOGO

3. ОЦЕНКА РЕЗУЛЬТАТОВ ПИЛОТАЖА

24

LOGOКритерии оценки

1. Равномерность наполняемости альтернатив. Если почти все респонденты выбрали один и тот же вариант ответа, а остальные варианты не подошли практически никому из респондентов, то шкала требует уточнения

2. Доля пропущенных ответов, ухода от ответа в виде выбора варианта «затрудняюсь ответить», «не знаю», «нет мнения», «отказ от ответа» и т.п. Доля

4. Много дополнительных комментариев (неадекватность вопросов). Необходима корректировка: дополнительные варианты ответов, изменение формулировки вопросы, анализ компоновка тематических блоков

5. Многозначные ответы на открытый вопрос - респонденты понимают по-разному один и тот же вопрос

6. Соотнесение объективной ответа» и т.п. Доля «несодержательных» ответов не должна превышать 5-10%

3. Распределение доли «несодержательных» ответов по вопросам всей анкете. Если вопросы в конце анкеты имеют существенно больше пропусков, то анкета затянута

6. Соотнесение объективной продолжительности интервью и субъективной его длительности. Если внутреннее время беседы для респондента большее, чем объективное, то анкета требует доработки, сокращения, снятия монотонности

25

LOGOСхема пилотажа вопросника

Этап Описание этапа Целевая аудитория Основная задача

1) Теоретический пилотаж, обсуждение с экспертами

Личное неформализованное интервью

Медики, социологи Оценка соответствия вопросника задачам исследования, построение шкалы для измерения «теневых платежей»

2) Эмпирическая апробация содержания

Личное формализованное интервью

Диагностикапонятности вопросов, сложностей

Пример: изучение практики теневых платежей в медицине

содержания вопросника

интервью

Представители целевых групп: врачи, медсестры (анкета 1), пациенты (анкета 2)

сложностей заполнения, сензитивности формулировок

3) Эмпирическая апробация формата проведения

Анкетирование -респондент заполняет анкету самостоятельно, интервьюер присутствует рядом, при необходимости дает пояснения, фиксирует сложности

Наблюдение за процессом заполнения анкеты, фиксация трудностей

26

LOGOИнструментарий пилотажа

Маркеры трудностей

• Долгое размышление над отдельными вопросами

• Дополнительные вопросы к интервьюеру о способах заполнения вопроса, смысле задаваемых вопросов, отдельных терминов

• Отказ отвечать на вопросы как в случае незнания ответа, так и в связи с опасениями санкций

• Наличие дополнительных комментариев к ответу, которые не укладываются в предложенные варианты ответа

27

LOGOИнструментарий пилотажа

Методики

• «Пересказ вопроса»: расскажите, пожалуйста, как вы поняли, о чем вопрос

• «Зондаж ответа»: поясните, пожалуйста, почему и как вы выбрали именно данный вариант ответа

• «Интервью об интервью» в конце беседы/заполнения анкеты

• Фиксация продолжительности беседы, уточнение субъективного времени интервью

28

LOGOИмператив отношений с респондентом

Открытое общение, сотрудничество - во время беседы/заполнения анкеты поощряются дополнительные комментарии (не просто ответ, а пояснение почему именно такой)

Дополнительный критерий отбора респондентов для пилотажа –готовность к конструктивному сотрудничеству с исследователем, интерес к теме, желание улучшить ситуацию в изучаемой сфере

29

LOGOВопросы в рамках «интервью об интервью»

1. Насколько в целом было сложно или легко отвечать на вопросы анкеты, было ли интересно?

2. Какие вопросы показались наиболее трудными (записать номера вопросов, уточнить суть и причины затруднений, возможные изменения, которые могли бы облегчить ответы)?

3. На какие вопросы могут отвечать неискренне, по оценке респондента неискренне, по оценке респондента (записать номера, уточнить как можно скорректировать вопрос для повышения искренности)?

4. При анкетировании уточнялось насколько удобно работать с анкетой с точки зрения шрифта (размер, читабельность), расположения вопроса и ответов, понятность инструкций, шкал и пр.

30

LOGOТаблица для фиксации результатов пилотажа

Вопросы анкеты/Респонденты

1 2 3 4 5 6 7 8 …

1 0 1

2 0 2 Коды:0-нет проблем, все понятно, легко ответил, 1-были некоторые сложности, не требуется исправление, 2-были сложности, их

3 1 0

4 0 1

5 1 0

6 0 …2-были сложности, их необходимо исправить (с указанием сути трудностей и возможного исправления)

6 0 …

7 0

… …

31

Резюме по вопросам: 1 2 3 4 5 6 7 8 …

Доля кодов «0» (чем ниже, тем больше необходимость корректировки вопроса)

0,7 0,4

Доля кодов «2», описание частыхпроблем и возможных путей решения

0 0,2

LOGOТаблица результатов пилотажа

Вопросы

№

Доля ответов "0"

(нет проблем)

Доля ответов "2" (сложности,

которые необходимо

исправить)

Рекомендации для

корректировки

1 100 0 Оставить без

изменений

2 100 0

3 43 57 Уточнить

формулировку вопроса

4 86 14

5 71 14


5 71 14

6 43 57

7 57 43

8 71 29

9 71 29

10 14 71

11 57 43

12 57 43

13 29 57

14 100 0

32

LOGOЗаполненная таблица: фрагмент

№ Доля "0"

Доля "2"

1 2 3 4 5 6 7…

Вопр.4

74% 21% 0 0 0

2-не понятно, что

значит в порядке очереди,

если другое-то дописать

0

2-не очень точный вопрос,

непонятно, как в порядке очереди

- это просто к специалисту или

по направлению?

2-не поняла

вопрос, что значит в порядке очереди

2-надо сократить вопрос, непонятно как

распределить 100% между всеми? Или как….

2-расшифров

ать 2-надо

написать, что 2-объяснить про

33

Вопр.10

14% 71%

всеми? Или как…. Расшифровать депозитный

счёт, оплата мед работникам =

неформальные платежи, по процентам - очень сложно распределить, это путает

сложно

ать депозит, не

очень понятно как по

процентам

написать, что это не

нормальное, а негативное

явление

02-объяснить про

депозит 0

LOGOКоррекция анкеты на основе таблицы

ДО пилотажа ПОСЛЕ пилотажа

6. На Ваш взгляд, есть ли

необходимость введения

саморегулирования в

здравоохранении?

На Ваш взгляд, есть ли

необходимость введения

саморегулирования в

здравоохранении?

(формирования некоммерческих

профессиональных организаций,


Уточнение формулировки вопроса

профессиональных организаций,

гарантирующих качество медицинских

услуг через лицензирование,

стандартизацию требований к

медпомощи и пр.)

34



11. Какое из следующих суждений

лучше всего отражает Ваше

отношение к неформальным

платежам в медицине?

Какое из следующих суждений лучше

всего отражает Ваше отношение к

неформальным платежам в

медицине? (можно выбрать ТРИ


Уточнение инструкции к вопросу

35

платежам в медицине? медицине? (можно выбрать ТРИ

варианта ответа)



«Вымогательство незаконного вознаграждения за услуги, официально оказываемые бесплатно»

«Согласие на получение незаконного вознаграждения за услуги, официально оказываемые бесплатно»


Уточнение вариантов ответа

36

«Взимание платы за особые привилегии или медицинские услуги»

«Взимание платы за особые привилегии или медицинские услуги (например, отдельная палата, лучшее лекарство)»



«Пришел в порядке очереди» «Не выбирал врача заранее, пришел к ведущему прием»

«Тарифы ОМС не позволяют оказывать «Низкие тарифы ОМС (оплата больнице


Уточнение вариантов ответа

37

«Тарифы ОМС не позволяют оказывать качественные медицинские услуги»

«Низкие тарифы ОМС (оплата больнице за услугу, оказанную пациенту)не позволяют оказывать качественные медицинские услуги»

LOGO

38

Documents

Основные техники пилотажного интервью · 2012. 2. 29. · План обсуждения вопросника с экспертами ... (не просто