вебинар османов

Репрезентативность выборки в телефонных опросах

Тимур Османов,

Фонд «Общественное мнение»,

Методический Цех

Серия вебинаров группы 7/89

13, 14, 15 мая 2015 года

Правила

13-15.05.2015 Тимур Османов 2

Команда

• Дмитрий Рогозин, РАНХиГС

• Дмитрий Сапонов, Методический Цех

• Анна Ипатова, РАНХиГС

• Надежда Галиева, Социальная Валидация

• Алексей Чуриков, ФОМ

Заслуги общие, но ответственность на мне :)


План

• Общая теория ошибок

• Ошибка покрытия

• Формирование выборки телефонных номеров

• Двухосновные выборки номеров мобильных и стационарных телефонов

• Ошибка неответов

• Процедуры взвешивания данных

• Оценка качества телефонных опросов


Как оценивать репрезентативность выборки?



КОНСТРУКТ

ИЗМЕРЕНИЕ

ОТВЕТ

НАБОР ДАННЫХ

ЦЕЛЕВАЯ ГРУППА

ОСНОВА ВЫБОРКИ

СПРОЕКТИРОВАННАЯ ВЫБОРКА

РЕАЛИЗОВАННАЯ ВЫБОРКА

ВЫВОДЫ, ЗАКЛЮЧЕНИЯ,

РЕКОМЕНДАЦИИ

[Lavrakas, P.J, 2013, P. 835]

Ошибки измерения Ошибки репрезентации

Ошибки спецификации

Ошибки измерения

Ошибки регистрации

Ошибки вывода

Ошибки покрытия

Ошибки выборки

Ошибки неответов

Ошибки редактирования

Общая теория ошибок (total error framework)

Лекции Д.М. Рогозина в Шанинке от 23.11.2013.


Характеристики репрезентативности выборки

Выборка

ОТВЕТЫ

Основа выборки

Целевая группа

НЕОТВЕТЫ

Sarndal, C.-E., Lundstrom, S. Estimation in surveys with nonresponse. New York: John Wiley & Sons, 2005. P. 9.



Ошибка покрытия

Выборка

ОТВЕТЫ



НЕОТВЕТЫ



Ошибка неответов

Выборка

ОТВЕТЫ



НЕОТВЕТЫ


• Опрос целевой группы по списку, в котором у каждого есть номер телефона (студенты определённого вуза, клиенты, эксперты, сотрудники предприятий, панельные исследованияи т.д.)

• Опрос людей, проживающих на определённой территории (возможно, со скрининговыми условиями) – “населенческие” опросы. В общем случае нет списка номеров телефонов всех представителей целевой группы.


Примеры различных типов опросов с т.з. формирования выборки

ОШИБКА ПОКРЫТИЯ


Способы измерения

• Росстат:

– Число квартирных телефонных аппаратов. Этот

параметр невозможно пересчитать на телефонизацию населения без информации о телефонизации домохозяйств различных размеров.

– Число подключенных к сетям абонентских станций (абонентских устройств). Уровень мобильной

телефонизации – 146%.

• Данные опросов по месту жительства.



0

20

40

60

80

100

Ию

ль

19

92

Ию

ль

19

93

Ию

ль

19

94

Ию

ль

19

95

Ию

ль

19

96

Ию

ль

19

97

Ию

ль

19

98

Ию

ль

19

99

Ию

ль

20

00

Ию

ль

20

01

Ию

ль

20

02

Ию

ль

20

03

Ию

ль

20

04

Ию

ль

20

05

Ию

ль

20

06

Ию

ль

20

07

Ию

ль

20

08

Ию

ль

20

09

Ию

ль

20

10

Ию

ль

20

11

Ию

ль

20

12

Ию

ль

20

13

Ию

ль

20

14

Ию

ль

20

15

Проникновение мобильной и стационарной телефонии

Доля пользователей мобильной связью, %. Данные ФОМ

Доля пользователей стационарной связью, %. Данные Росстата.

Доля пользователей стационарной связью, %. Данные ФОМ.

Данные Росстата рассчитаны, исходя из гипотезы о равномерной телефонизации домохозяйств различного размера.


Данные МегаФОМа, февраль 2011, выборка 54400 респондентов. 74 региона РФ. В каждом регионе 800 либо 500 респондентов. PPS отбор населённых пунктов. Отбор домохозяйства маршрутным методом. Отбор респондента по квоте на пол, возраст, образование.Однократное посещение домохозяйства. Постстратификация по субъектам РФ. Различная вероятность отбора респондентов в домохозяйстве весами не компенсировалась.

Вопрос: Скажите, пожалуйста, есть ли у Вас лично мобильный телефон? И есть ли стационарный телефон у Вас дома?

Генеральная совокупность

Опрос по месту жительства


Возраст

Есть

тел

еф

он

Нет т

ел

еф

он

а

18 - 24 лет 96 48 94 3

25 - 34 лет 97 51 95 3

35 - 44 лет 96 59 93 4

45 - 54 лет 92 62 86 7

55 - 64 лет 92 66 79 7

65 лет и старше 84 68 51 15

Все опрошенные 93 59 84 6

Наличие мобильных и стационарных телефонов у различных соц-дем групп.


Есть

тел

еф

он

Нет

те

ле

фо

на

Образование личное

ниже среднего 79 45 55 21

среднее общее 90 50 80 9

начальное профессиональное 93 50 87 6

среднее специальное 95 61 87 4

высшее 98 73 93 2

Наивысший уровень образования в семье

неполное среднее и ниже 74 43 46 25

среднее общее 84 41 70 15

начальное профессиональное 91 40 82 8

среднее специальное 92 54 83 7

незаконченное высшее 94 58 86 5

высшее 97 70 90 3

аспирантура, ученая степень, звание 97 83 92 3



Какое высказывание точнее всего

описывает материальное положение

Вашей семьи? (Карточка, один ответ.)

Есть

тел

еф

он

Есть

ста

ци

он

ар

ны

й

Есть

мо

би

ль

ны

й

Нет т

ел

еф

он

а

денег не хватает даже на питание 87 45 76 12

на питание денег хватает, но одежду, обувь

купить не можем 90 54 77 9

на одежду, обувь денег хватает, но крупную

бытовую технику купить не можем 95 61 86 5

на бытовую технику денег хватает, но

автомобиль купить не можем 97 72 94 1

на автомобиль денег хватает, но квартиру

или дом купить не можем 98 72 97 1

на квартиру или дом денег хватает 98 65 95 1



Тип населенного пункта, где живет

респондент

Есть

тел

еф

он

Есть

ста

ци

он

ар

ны

й

Есть

мо

би

ль

ны

й

Нет т

ел

еф

он

а

город с населением 1 млн и более 97 81 88 2

город с населением от 500 тыс. до 1 млн 96 69 85 4

город с населением от 250 до 500 тыс. 96 64 85 4



город с населением менее 50 тыс. 93 55 84 6

поселок городского типа 92 49 83 7

село 87 38 79 12



РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ МОБИЛЬНОГО ТЕЛЕФОНА

Возраст от 18 до 60 лет (90,5%)

Род занятий

Неработающие пенсионеры; не работающие, но ищущие

работу; з/о (81,0%)

Рабочие; не работающие и не планирующие искать работу

(90,3%)

Все работающие и учащиеся, кроме рабочих (95,4%)

Возраст Самое высокое образование

в семье

Среднее общее и

ниже

НПО, СПО,

неоконч. высшее

Высшее Среднее

общее и ниже

Выше среднего общего

Ниже высшего

Высшее

От 18 до 38 лет 74,5%

1,2%

87,6%

3,7%

94,0%

2,1%

88,3% 2,1% 95,0% 12,8% 95,5% 8,0%

96,9% 20,2%

От 39 до 44 лет

89,9% 8,1% 91,7% 3,8% От 45 до 50 лет

63,8%

1,6%

79,1%

1% 84,6%

3,5% От 51 до 60 лет

74,3%

3,8% 81,5% 5,7% 87,7% 1,9%

Старше 60 лет (55,8%) Личное образование

Возраст

Неполное среднее или ниже

Среднее общее, начальное проф.

Среднее специальное, неоконченное высшее

Высшее, аспирантура, затрудняюсь ответить

70 лет и моложе (но старше 60) 51,8% 1,7% 58,7% 3,0% 71,2% 3,7% 79,9% 1,6%

Старше 70 лет 37,7% 4,1% 41,3% 1,9% 52,8% 2,6% 63,9% 1,6%


РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ СТАЦИОНАРНОГО ТЕЛЕФОНА 1

Жители городов с населением 1 млн. и более Материальное

благополучие

Возраст

Денег не хватает на питание

Денег хватает на питание

Денег хватает на одежду

Денег хватает на бытовую технику

Денег хватает на автомобиль

От 18 до 27 лет

58,9% 1,3% 71,3% 2,3%

69,9% 1,6%

86,1% 4,5% 90,4% 1,4% От 28 до 60 лет 84,2% 4,9%

Старше 60 лет 86,4% 1,4% 91,7% 1,5%

Жители городов с населением от 100 тыс. до 1 млн. Возраст

Самое высокое

образование в семье

От 18 до 32 лет От 33 до 38 лет От 39 до 54 лет От 55 до 60 лет Старше 60 лет

Среднее общее и ниже, начальное проф. 35,3% 0,9%

63,2% 3,3%

51,0% 1,0%

74,7% 2,3%

65,5% 1,4%

Среднее специальное, неоконченное высшее 47,2% 3,5% 64,5% 3,6% 77,9% 2,2%

Высшее 63,7% 5,1% 79,8% 3,9% 87,1% 2,8%


РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ СТАЦИОНАРНОГО ТЕЛЕФОНА 2

Жители городов с населением менее 100 тыс., пгт

Род занятий Не работаю,

з/о Рабочий, студент, курсант

Служащий, неработающий

пенсионер

Специалист, руководитель

Доход, руб Самое высокое образование

в семье

Любое Среднее общее

и ниже, начальное проф.

Среднее спец., неоконченное

высшее Высшее Любое Любое

Менее 12000, з/о, отказ

37,8% 3,0% 33,3% 1,7% 47,8% 4,0% 58,4%

2,3%

59,6% 8,4% 62,9% 2,3%

Более 12000 73,3% 1,4% 74,7% 1,4%

Жители сел Самое высокое образование

в семье

Доход, руб

Неполное среднее

Среднее общее, начальное проф.

Среднее специальное

Неоконченное высшее

Высшее

0-6000, з/о

30,7% 1,2%

19,6% 3,3% 31,0% 5,3%

41,2% 1,2%

39,0% 2,6%

Отказ от ответа

33,8% 2,8% 54,2% 5,0% 6000 и более 44,2% 5,2%


РАСПРЕДЕЛЕНИЕ РОССИЙСКОГО НАСЕЛЕНИЯ ПО НАЛИЧИЮ КАКОГО-ЛИБО ТЕЛЕФОНА

Все работающие и учащиеся; не работающие и не планирующие искать работу (96,0%)

Личное

образование

Неполное среднее и

ниже Среднее общее

Начальное проф., среднее специальное, неоконченное высшее

Высшее

Личный доход (8000 –

среднее)

Возраст, пол

Любой 39 лет и старше От 18 до 38 лет Мужчины Женщины Любой

Ниже 8000 рублей

85,8%

1,9% 91,1% 6,2% 96,2% 8,0%

92,1%

6,5%

96,4%

10,2%

96,6% 2,4%

Отказ, затрудняюсь ответить

98,7% 5,5% От 8000 до 12000 рублей 97,3% 7,4%

Выше 12000 рублей 98,4% 10% 99,5% 6,2%

Неработающие пенсионеры; не работающие, но ищущие работу; з/о (87,0%) Личное образование

Тип населенного пункта

Неполное среднее и ниже

Среднее общее Начальное проф.,

среднее специальное, неоконченное высшее

Высшее

Город 1 млн. и больше

87,0% 2,2% 93,5% 1,1% 96,3% 2,3% 95,8% 1,4%

Город 100 тыс. – 1 млн. 89,7% 2,4% 93,6% 4,5% 99,0% 1,6%

Город <100 тыс., пгт 76,4% 1,8% 85,8% 2,3% 91,3% 3,8% 92,8% 1,6%

Село 67,3% 3,0% 75,9% 3,3% 86,2% 4,3%

Устойчивость измерения


Скажите, пожалуйста, есть ли у Вас лично мобильный телефон?И есть ли стационарный телефон у Вас дома?

Опрос Мониторинг 8 Пента 8 Омнибус 9 Омнибус 10 МегаФОМ

Компания ФОМ ФОМ ВЦИОМ ВЦИОМ ФОМ Выборка 1500 1500 1600 1600 60500

Дата проведения 2014,

февраль 2014,

февраль 2014, март

2014, март

2014, апрель

есть и стационарный, и мобильный 44 40 43 40 42

есть только стационарный 4 5 4 4 4

есть только мобильный 48 48 47 51 50 нет ни стационарного, ни мобильного 4 7 6 4 4

затрудняюсь ответить 0 1 0 1 1

Динамика телефонизации

• МегаФОМ, 54388 респондентов,

2-24 февраля 2011 года


31 мая – 18 июня 2012 года


5-25 апреля 2014 года

• Пента, 1500 респондентов,

29-30 апреля 2015 года



20%

30%

40%

50%

60%

70%

18-24 25-34 35-44 45-54 55-64 65+

Динамика доли пользователей стационарными телефонами в зависимости от возраста

2015

2014

2012

2011


40%

50%

60%

70%

80%

90%

100%

18-24 25-34 35-44 45-54 55-64 65+

Динамика доли пользователей мобильными телефонами в зависимости от возраста

2015

2014

2012

2011


82%

84%

86%

88%

90%

92%

94%

96%

98%

100%

18-24 25-34 35-44 45-54 55-64 65+

Динамика доли пользователей мобильными либо стационарными телефонами в зависимости от

возраста

2015

2014

2012

2011


20%

30%

40%

50%

60%

70%

80%

не хватает на питание

не хватает на одежду, обувь

не хватает на крупную бытовую

технику

не хватает на автомобиль

не хватает на квартиру или дом

хватает на квартиру или дом

Динамика доли пользователей стационарными телефонами в зависимости от уровня дохода

2015

2014

2012

2011


70%

75%

80%

85%

90%

95%

100%



не хватает на крупную

бытовую технику


не хватает на квартиру или

дом

хватает на квартиру или

дом

Динамика доли пользователей мобильными телефонами в зависимости от уровня дохода

2015

2014

2012

2011


87%

89%

91%

93%

95%

97%

99%



не хватает на крупную

бытовую технику


не хватает на квартиру или

дом

хватает на квартиру или

дом

Динамика доли пользователей мобильными либо стационарными телефонами в зависимости от уровня

дохода

2015

2014

2012

2011


20%

30%

40%

50%

60%

70%

80%

90%

город более 1 млн

город 500 тыс. - 1 млн

город 250 - 500 тыс.



город менее 50 тыс.

пгт село

Динамика доли пользователей стационарными телефонами в зависимости от типа населённого

пункта

2015

2014

2012

2011


76%

78%

80%

82%

84%

86%

88%

90%

92%

94%

96%







пгт село

Динамика доли пользователей мобильными телефонами в зависимости от типа населённого

пункта

2015

2014

2012

2011


86%

88%

90%

92%

94%

96%

98%

100%







пгт село


типа населённого пункта

2015

2014

2012

2011


20%

30%

40%

50%

60%

70%

80%

ниже среднего ср. общее нач. проф. ср. спец. высшее

Динамика доли пользователей стационарными телефонами в зависимости от уровня

образования

2015

2014

2012

2011


50%

55%

60%

65%

70%

75%

80%

85%

90%

95%

100%


Динамика доли пользователей мобильными телефонами в зависимости от уровня

образования

2015

2014

2012

2011


75%

80%

85%

90%

95%

100%



уровня образования

2015

2014

2012

2011

• Уровень проникновения стационарной телефонии сильно упал во всех рассмотренных группах.

• Люди будут продолжать отказываться от стационарных телефонов в пользу мобильных телефонов и других средств связи.

• Мобильная телефонизация продолжает расти.

• Доля респондентов без какого-либо телефона падает.

• Главный критерий наличия стационарного телефона – тип населённого пункта.

• Главный критерий наличия мобильного телефона – возраст респондента.

• Главный критерий наличия какого-либо телефона – род занятий в 2011 году и уровень образования в 2014 году



0

20

40

60

80

100

Ию

ль

19

92

Ию

ль

19

93

Ию

ль

19

94

Ию

ль

19

95

Ию

ль

19

96

Ию

ль

19

97

Ию

ль

19

98

Ию

ль

19

99

Ию

ль

20

00

Ию

ль

20

01

Ию

ль

20

02

Ию

ль

20

03

Ию

ль

20

04

Ию

ль

20

05

Ию

ль

20

06

Ию

ль

20

07

Ию

ль

20

08

Ию

ль

20

09

Ию

ль

20

10

Ию

ль

20

11

Ию

ль

20

12

Ию

ль

20

13

Ию

ль

20

14

Ию

ль

20

15

Проникновение мобильной и стационарной телефонии

Доля пользователей мобильной связью, %. Данные ФОМ

Доля пользователей стационарной связью, %. Данные Росстата.

Доля пользователей стационарной связью, %. Данные ФОМ.

Данные Росстата рассчитаны, исходя из гипотезы о равномерной телефонизации домохозяйств различного размера.

Mansor Fahimi, Webinar “Improvements for Dual-Frame RDD Sampling and Weighting Applications”, June 20, 2012.


Динамика проникновения стационарной телефонии в США

ФОРМИРОВАНИЕ ВЫБОРКИ ТЕЛЕФОННЫХ НОМЕРОВ


Случайный отбор телефонного номера – обязательное условие для возможности применения методов математической статистики.

С отбором номеров проблем, как правило, не возникает (отбор при помощи датчика случайных чисел, систематический отбор). Основная проблема в определении основы выборки (списка номеров, из которого проводится отбор).


Телефонный номер в России


+7-X1X2X3-Y1Y2Y3Y4Y5Y6Y7

X1X2X3 - Код зоны нумерации, называемый ABC для географически определяемой зоны нумерации или DEF — для географически не определяемой зоны нумерации.

В большинстве случаев ABC – стационарные телефоны, DEF – мобильные телефоны.

Использование телефонных баз

• Федеральный закон РФ "О персональных данных", N 152-ФЗ от 27.07.2006.

• Однако, телефонные базы по городам и районам доступны. Причём, как стационарных, так и мобильных номеров.

• Неизвестно, насколько они актуальные и полные.

• Вероятно, в них будет мало несуществующих номеров. Что ведёт к удешевлению опроса.

• Таргетирование по имеющейся в базе информации.


Использование телефонных баз

Альтернативные телефонные базы из открытых источников. Парсинг avito.ru, irr.ru, avto.ru и других сайтов, на которых пользователи добровольно выкладывают номера своих телефонов. Например, на сайте avito.ru 2529 объявлений в городе Великий Устюг Вологодской области (11.05.2015). Население города составляет 31983 человек, а Великоустюгского района 56311 человек (Росстат на 01.01.2014).

Конечно, такие базы не репрезентативны

относительно населения.


RDD по задействованным диапазонам

RDD - Random digit dialing

Информация о ВСЕХ задействованных ABC и DEF диапазонах доступна на сайте Россвязи. Она обновляется ежемесячно. http://www.rossvyaz.ru/activity/num_resurs/registerNum/

На основе этой информации можно составить полный список всех телефонных номеров России

Доля дозвонов около 20%. Значительно ниже, чем при использовании телефонных баз. Следовательно, существенно повышается стоимость опроса.


http://www.rossvyaz.ru/activity/num_resurs/registerNum/

http://www.rossvyaz.ru/activity/num_resurs/registerNum/



Доступна информация об операторе, регионе. Пример для Калининградской области:

АВС/ DEF От До Емкость Оператор Регион

401 2290000 2290049 50 ЮТел Калининград |Калининградская область

401 2320000 2329999 10000 ВестБалт Телеком Калининградская область

401 2355200 2355299 100 КОМПАНИЯ "ЕТАЙП Калининград |Калининградская область

401 2356800 2356999 200 ЛУКОЙЛ-ИНФОРМ Калининград |Калининградская область

401 5150000 5151999 2000 ВестБалт Телеком Гурьевский |Калининградская область

401 5152000 5152199 200 ТРАНКСИТИ Гурьевск |Гурьевский |Калининградская область

401 5228200 5228599 400 Ростелеком Светлый |Калининградская область

401 5345000 5345199 200 ТРАНКСИТИ Светлогорск |Калининградская область

401 5350111 5350111 1 Нэт Бай Нэт Холдинг Янтарный |Светлогорск |Калининградская область

401 5600000 5600199 200 ТРАНКСИТИ Багратионовск |Багратионовский |Калининградская область

401 5600400 5600599 200 ТРАНКСИТИ Мамоново |Багратионовский |Калининградская область

401 5630000 5639999 10000 Ростелеком Багратионовский |Калининградская область

401 5720000 5720199 200 ТРАНКСИТИ Правдинск |Правдинский |Калининградская область

401 5721000 5722023 1024 Ростелеком Правдинский |Калининградская область

401 7740000 7742999 3000 СВЯЗЬИНФОРМ. Гурьевск |Гурьевский |Калининградская область

401 7743000 7745239 2240 Связьинформ Светлогорск |Калининградская область

401 7745240 7745999 760 Связьинформ Гурьевский |Калининградская область

906 2100000 2199999 100000 Вымпел-Коммуникации Калининградская область

921 2600000 2699999 100000 МегаФон Калининградская область

952 1100000 1199999 100000 Телесет Лтд. Калининградская область



Таргетирование по оператору и региону. «Регион» для ABC (стационарных телефонов): как правило, административный район. «Регион» для DEF (мобильных телефонов): как правило, субъект РФ. Исключения: Москва и Московская область, Санкт-Петербург и Ленинградская область, Севастополь и Республика Крым. Точность таргетирования субъекта РФ в среднем по ABC – 97%,

по DEF – 95% (кроме обозначенных исключений). Самые «сложные» регионы: ХМАО, ЯНАО, Хакасия, Ингушетия, КЧР, Адыгея, Алтай, Краснодарский край.



Наиболее оптимальный способ построения выборки для репрезентации населения России в целом или отдельного субъекта РФ. Вероятностная выборка. Используется в ФОМ с 2010 года. Систематический отбор номера из задействованных диапазонов.

↓ r ↓ r+F ↓ r+2F ↓ r+F(a-1)

F 2F 3F aF

Из монографии А.В. Чурикова «Основы формирования выборки. Лекции для студентов»

RDD на основе телефонных баз (list-assisted RDD)

Использование не всех задействованных на исследуемой территории диапазонов.

Цель:

таргетирование

увеличение доли существующих телефонов (удешевление опроса).


RDD на основе телефонных баз (list-assisted RDD)

Основные способы формирования: 1. Выбор диапазонов Россвязи, в которых

содержатся телефонные номера из базы. 2. Замена нескольких последних цифр номера

случайными цифрами. 3. Метод “+n”. К номеру из базы прибавляется

определённое число, чаще всего 1. Для локализации выборки могут использоваться базы из открытых источников (avito.ru и др.) либо результаты предыдущих исследований.


RDD на основе телефонных баз

Кейс. Осень 2013 года. Задача: опросить жителей трёх районов Москвы (Капотня, Братеево, Марьино). Требуется локализовать выборку.

Решение: 1. Опрос по стационарным телефонам.

2. Список всех жилых домов, расположенных на исследуемой территории.

3. Из «старого» телефонного справочника выгружаются все номера телефонов жителей этих домов.

4. Из Базы Потенциальных Респондентов (БПР) ФОМ выгружаются все номера телефонов жителей этих домов.

5. Анализ ABC кодов полученных списков.

6. Генерация телефонных номеров в ABC диапазонах, охватывающих исследуемую территорию.



Кейс

Решение: 1. Опрос по стационарным телефонам. Ok

2. Список всех жилых домов, расположенных на исследуемой территории. Ok - gorod.mos.ru

3. Из «старого» телефонного справочника выгружаются все номера телефонов жителей этих домов. Учитываются замены телефонных номеров МГТС.

Найденная информация о заменах устаревшая. В МГТС сообщили, что информация в обобщенном виде у них отсутствует, могут проверить лишь отдельные номера.

В базе телефонных номеров есть телефоны жителей 443 жилых домов из 532 (83,3%), расположенных на территории трех районов:

Братеево – 88 из 95 92,6%

Марьино – 286 из 359 79,7%

Капотня – 69 из 78 88,5%



Кейс

Решение: 4. Из Базы Потенциальных Респондентов (БПР) ФОМ выгружаются все номера телефонов жителей

этих домов. Ok 5. Анализ ABC кодов полученных списков.


Марьино

АТС База,

номеров БПР,

номеров

495345 9574 93

495346 9668 123

495347 9299 17

495348 8445 88

495349 7990 71

495356 8127 36

495357 8431 27

499356 0 103

499357 0 88

Всего в этих АТС 61534 646

Всего в районе: 61641 731

Точность: 100% 88%

Братеево

АТС База,


номеров

495340 8195 42

495341 9464 55

495342 8919 79




Капотня

АТС База,


номеров

495355 7696 66




Диапазон 495356ХХХХ не существует по информации Россвязи от 1.11.2013. При звонке на номера автоинформатор сообщает о смене кода на 499. Диапазон 495357ХХХХ по информации Россвязи от 1.11.2013 принадлежит не МГТС, а Телекоммуникационная компания ТЕЛ. При звонке на номера выдается сигнал занято или ошибка. Диапазон 4953559ХХХ по информации Россвязи от 1.11.2013 принадлежит "Газпром связь".


Кейс

Решение: 6. Генерация телефонных номеров в ABC диапазонах, охватывающих исследуемую территорию.

Результаты:


Район Всего жилых

домов Попали в выборку

Выборка, респ.

Братеево 95 63 (66%) 151

Капотня 78 51 (65%) 159

Марьино 359 119 (33%) 209

Метод Митовски-Ваксберга (Mitofsky, Waksberg)


Becker: наиболее часто используемый метод построения выборки в США. Основан на выделении «100-кластеров» (100-banks) номера с отличными двумя

последними цифрами при совпадении всех остальных цифр

Becker, L. B., Corbu, N. And Qing, Q. "Using Voter Lists As Sampling Frames: Two Studies On Vote Choice And Turnout", In Corbu, N., Negrea, E. And Tudorie, G., Ed.,'Globalization And Changing Patterns In The Public Sphere', International Conference On Globalization And Changing Patterns In The Public Sphere, Bucharest, Romania, Nov 12-13, 2010, Pp. 101-124. Tucker C., Lepkowski J., Piekarski L. “List-Assisted Sampling: The Effect Of Telephone System Changes On Design”, Proceedings of the Annual Meeting of the American Statistical Association, August 5-9, 2001



Waksberg, J. "Sampling Methods For Random Digit Dialing," Journal Of The American Statistical Association (73:361), 1978, Pp. 40-46. Mitofsky, W. "Sampling Of Telephone Household", Unpublished Cbs Memorandum, 1970.

Реализация: 1. По всем возможным префиксам для исследуемой территории строится перечень

всех возможных 100-кластеров. 2. Случайным образом с равной вероятностью отбирается определенное количество

кластеров. 3. Из каждого отобранного кластера случайным образом отбирается один

телефонный номер и включается в начальную выборку. 4. Проводится обзвон этой выборки. Его можно совместить с опросом. 5. Если телефонный номер определенного кластера принадлежит домохозяйству, то

кластер остается в выборке, иначе кластер выбрасывается из выборки. 6. В оставшихся в выборке кластерах проводится случайная генерация телефонных

номеров, включаемых в основную выборку. 7. Эти номера обзваниваются до тех пор, пока в каждом кластере не будет найдено

определенное заранее заданное количество телефонных номеров (k), принадлежащих домохозяйствам.

8. Таким образом, в каждом отобранном кластере будет k+1 телефонов домохозяйств.



Особенности: 1. Отсутствует привязка к телефонным базам. 2. Вероятностная выборка. 3. Выборка является самовзвешивающейся. Вероятность отбора

одинакова для каждого телефонного номера домохозяйства. 4. Уменьшается доля несуществующих номеров в выборке. 5. Выборка является кластерной, следовательно, менее точной.

При расчётах статистической погрешности необходимо учитывать дизайн-эффект (deff).

6. Возможность таргетировать узкие группы при условии их географической локализации.

7. Сложность практической реализации.

Кластерные выборки на основе населённых пунктов / районов

1. Строится выборка населённых пунктов (районов) по аналогии с опросом по месту жительства.

2. В отобранных населённых пунктах (или районах) строится выборка телефонных номеров.

Метод целесообразно использовать при отсутствии информации о задействованных диапазонах на исследуемой территории.

Нецелесообразно использовать при репрезентации населения субъектов РФ или населения РФ в целом.

Метод реализует кластерную выборку, что увеличивает погрешность.



Случайная ошибка. Вычисление среднего

n

sftyt dd

2

0 1)(var

n

j

jyn

y1

1n

sfy

2

0 )1()(var

Приведены формулы для простой случайной выборки. 𝑦 - среднее значение величины y в выборке, n - размер выборки, N - размер совокупности, 𝑦𝑗 - значение параметра y для случая j,∆ -

доверительный интервал, 𝑡𝑑 - константа, зависящая от уровня доверия (1,96 для 95%), 𝑣𝑎𝑟0 𝑦 - дисперсия оценки 𝑦 , 𝑠2 - дисперсия элементов выборки по параметру y, f - выборочная доля.

N

nf


n

mp

Случайная ошибка. Вычисление доли

1

)1(1

n

ppftd

Приведены формулы для простой случайной выборки. p – доля изучаемого признака в выборке, n - размер выборки, 𝑚 – доля единиц в выборке, обладающих изучаемым признаком, 𝑣𝑎𝑟0 𝑝 - дисперсия доли p, ∆ - доверительный интервал, 𝑡𝑑 - константа, зависящая от уровня доверия (1,96 для 95%), f - выборочная доля.

N

nf

1

)1()1()(var0

n

ppfp

61

0

2

4

6

8

10

12

0 500 1000 1500 2000 2500

Зависимость доверительного интервала от объема выборки n (p=0,5), п.п.

Случайная ошибка

13-15.05.2015 Тимур Османов

62

1,0

1,5

2,0

2,5

3,0

3,5

0% 20% 40% 60% 80% 100%

Зависимость доверительного интервала от доли признака p (n=1000), п.п.

Случайная ошибка


Взвешивание данных (ремонт выборки)

• Компенсация неравной вероятности отбора

• Пост-стратификация (в т.ч. компенсация ошибок покрытия и неответов)

63

n

i

i

n

i

iiw wwyy11

𝑦𝑤- среднее значение величины y в выборке, 𝑛 - размер выборки, 𝑤𝑖 - вес i-го респондента, 𝑓𝑖 - вероятность отбора i-го респондента, 𝑤𝑘 - вес респондентов в группе k, 𝑛𝑘 - число респондентов в группе k, 𝑑𝑘 - желаемая доля группы k в совокупности после взвешивания.

i

if

w1

k

k

k dn

nw


Взвешивание данных. Влияние весов на дисперсию

64

2

1

1

2

)var()var(

n

i

i

n

i

i

w

w

wn

yy

𝑣𝑎𝑟(𝑦𝑤) – дисперсия взвешенного среднего величины y в выборке, 𝑣𝑎𝑟(𝑦) – дисперсия

невзвешенного среднего величины y в выборке, 𝑛 - размер выборки, 𝑤𝑖 - вес i-го респондента.

Веса считаются нормированными, если их сумма равна размеру выборки.

nwn

i

i 1


Взвешивание данных

В результате применения взвешивания:

- Увеличивается погрешность выборки (доверительный интервал).

- Уменьшаются некоторые диспропорции.

- Могут появиться новые неконтролируемые смещения!

Решение об использовании взвешивания должно быть тщательно обдуманным. Порой лучше пользоваться смещенными результатами, не компенсируя это смещение взвешиванием.

65 13-15.05.2015 Тимур Османов

Построение выборок мобильных телефонов

RDD выборка по задействованным DEF диапазонам.

Соотношение респондент – номер телефона?

Вероятность отбора:

Вес:


𝒑𝒊 =𝐍моб

𝐍респ

𝒘𝒊 =𝟏

𝒑𝒊


СКАЖИТЕ, ПОЖАЛУЙСТА, ВЫ ВСЕГДА ОДИН (ОДНА) ПОЛЬЗУЕТЕСЬ ЭТИМ

МОБИЛЬНЫМ ТЕЛЕФОНОМ, ИЛИ ИМ ПОЛЬЗУЕТСЯ НЕСКОЛЬКО ЧЕЛОВЕК?

ЕСЛИ НЕСКОЛЬКО, ТО СКОЛЬКО ИМЕННО?

1 2 3 4 5 Всего

СЕЙЧАС ВЫ ПОСТОЯННО (НЕ

РЕЖЕ РАЗА В НЕДЕЛЮ)

ПОЛЬЗУЕТЕСЬ ОДНИМ

НОМЕРОМ МОБИЛЬНОГО

ТЕЛЕФОНА, СИМ-КАРТОЙ ИЛИ

НЕСКОЛЬКИМИ? ЕСЛИ

НЕСКОЛЬКИМИ, ТО

СКОЛЬКИМИ ИМЕННО?

Одним 58% 4% 1% 1% 0% 65%

Двумя 23% 2% 1% 0% 0% 26%

Тремя 5% 1% 0% 0% 0% 6%

Четырьмя и

более 2% 0% 0% 0% 0% 2%

Затрудняюсь

ответить 1% 0% 0% 0% 0% 1%

Всего: 89% 7% 2% 2% 1% 100%

Особенности пользования мобильными телефонами в России. Данные без взвешивания. Репрезентируются телефонные номера.

Телефонные опросы ФОМ ОМ по всероссийской двухосновной выборке номеров мобильных и стационарных телефонов, проведённых в период с 2013 по 2015 годы. Размер выборки 37000 респондентов. Опрос человека, взявшего трубку. 3-х кратные повторные звонки.



СКАЖИТЕ, ПОЖАЛУЙСТА, ВЫ ВСЕГДА ОДИН (ОДНА) ПОЛЬЗУЕТЕСЬ ЭТИМ

МОБИЛЬНЫМ ТЕЛЕФОНОМ, ИЛИ ИМ ПОЛЬЗУЕТСЯ НЕСКОЛЬКО ЧЕЛОВЕК?

ЕСЛИ НЕСКОЛЬКО, ТО СКОЛЬКО ИМЕННО?

1 2 3 4 5 Всего

СЕЙЧАС ВЫ ПОСТОЯННО (НЕ

РЕЖЕ РАЗА В НЕДЕЛЮ)

ПОЛЬЗУЕТЕСЬ ОДНИМ

НОМЕРОМ МОБИЛЬНОГО

ТЕЛЕФОНА, СИМ-КАРТОЙ ИЛИ

НЕСКОЛЬКИМИ? ЕСЛИ

НЕСКОЛЬКИМИ, ТО

СКОЛЬКИМИ ИМЕННО?

Одним 63% 8% 4% 4% 0% 79%

Двумя 12% 2% 1% 1% 0% 16%

Тремя 2% 0% 0% 0% 0% 3%

Четырьмя и

более 0% 0% 0% 0% 0% 1%

Затрудняюсь

ответить 1% 0% 0% 0% 0% 1%

Всего: 78% 11% 5% 5% 1% 100%

Особенности пользования мобильными телефонами в России. Данные со взвешиванием. Репрезентируются респонденты.

Телефонные опросы ФОМ ОМ по всероссийской двухосновной выборке номеров мобильных и стационарных телефонов, проведённых в период с 2013 по 2015 годы. Размер выборки 37000 респондентов. Опрос человека, взявшего трубку. 3-х кратные повторные звонки.


p =Nмоб

Nресп


0,7

0,72

0,74

0,76

0,78

0,8

0,82

Сейчас вы лично постоянно (не реже раза в неделю) для разговора пользуетесь одним номером мобильного телефона, сим-картой или

несколькими? Если несколькими, то сколькими именно? -Одним

Телефонные опросы ФОМ ОМ по всероссийской двухосновной выборке номеров мобильных и стационарных телефонов. Размер выборки от 1000 до 1500 респондентов.

Построение выборок стационарных телефонов

Под стационарным телефоном понимается исключительно стационарный домашний телефон.

RDD выборка по задействованным ABC диапазонам.

Соотношение домохозяйство – номер телефона?

Вероятность отбора:

Вес:


𝒑𝒊 =𝟏

𝐍респ

𝒘𝒊 =𝟏

𝒑𝒊

Проблема прямых мобильных номеров.

Скажите, пожалуйста, мы сейчас с Вами говорим по домашнему стационарному или по мобильному телефону?

При звонке на ABC диапазон по 13% номерам респонденты выбирают вариант «по мобильному»

Возможная причина – наличие отбора респондента по стационарному телефону.



Отбор респондента в домохозяйстве:

• Карточки Киша

• День рождения

• Компьютерный отбор

• Квотный отбор




Если число взрослых в домохозяйстве равно:

Код

карточки 1 2 3 4 5

6

и более

Выбирайте взрослого с порядковым номером:

1 2 2 3 4 4 Г

Если число взрослых в домохозяйстве равно:

Код

карточки

Пропорции

между

карточками

1 2 3 4 5 6

и более

Выбирайте взрослого с порядковым номером:

1 1 1 1 1 1 А 1/6

1 1 1 1 2 2 Б1 1/12

1 1 1 2 2 2 Б2 1/12

1 1 2 2 3 3 В 1/6

1 2 2 3 4 4 Г 1/6

1 2 3 3 3* 5 Д1 1/12

1 2 3 4 5* 5 Д2 1/12

1 2 3 4 5 6 Е 1/6

Отбор респондента в домохозяйстве. Карточки Киша


Если информант «один (одна) человек 18-ти лет и старше» в домохозяйстве, то он и опрашивается. Если в домохозяйстве информанта проживают и находятся «Два человека 18-ти лет и старше», то возможны два равновероятных варианта отбора, которые будут выведены интервьюеру на экран:

Компьютер отобрал Вас для опроса. Компьютер отобрал для опроса не Вас а другого человека, проживающего и находящегося сейчас дома с Вами.

Если в домохозяйстве информанта проживают и находятся «Три человека 18-ти лет и старше», то возможны три равновероятных варианта отбора, которые будут выведены интервьюеру на экран:

Компьютер отобрал Вас для опроса. Компьютер отобрал для опроса не Вас а старшего из двух других людей, проживающих с Вами и находящихся сейчас дома. Компьютер отобрал для опроса не Вас а младшего из двух других людей, проживающих с Вами и находящихся сейчас дома.

Если в домохозяйстве информанта проживают и находятся «Четыре человека 18-ти лет и старше», то возможны четыре равновероятных варианта отбора, которые будут выведены интервьюеру на экран:

Компьютер отобрал Вас для опроса. Компьютер отобрал для опроса не Вас а младшего из трех других людей, проживающих с Вами и находящихся сейчас дома. Компьютер отобрал для опроса не Вас а старшего из трех других людей, проживающих с Вами и находящихся сейчас дома. Компьютер отобрал для опроса не Вас а среднего по возрасту из трех других людей, проживающих с Вами и находящихся сейчас дома.

Если в домохозяйстве информанта проживают «Пять и более людей 18-ти лет и старше», то опрашивается информант, отбор не происходит. Доля таких семей достаточно мала.

Отбор респондента в домохозяйстве. Компьютерный отбор

Kien T. Le, J. Michael Brick, Abdoulaye Diop, and Darwish Alemadi Within-Household Sampling Conditioning on Household Size Int J Public Opin Res first published online May 24, 2012 doi:10.1093/ijpor/eds008


Отбор респондента в домохозяйстве. Компьютерный отбор

Из всех опрошенных по стационарным телефонам респондентов лишь

8-10% отличались от человека, который взял трубку…


Отбор респондента в домохозяйстве. Компьютерный отбор. Целесообразность отбора

информант

(n=9461)

другой человек

(n=974)

Пол респондента мужской 24% 49% женский 76% 51%

Возраст респондента <= 24,00 3% 9% 25,00 - 28,00 9% 17% 29,00 - 33,00 9% 17% 34,00 - 38,00 4% 7% 39,00 - 44,00 24% 20% 45,00 - 50,00 30% 15% 51,00 - 55,00 3% 3% 56,00 - 61,00 5% 4% 62,00 - 70,00 6% 6% 71,00+ 6% 3%

Телефонные опросы ФОМ ОМ по всероссийской двухосновной выборке номеров мобильных и стационарных телефонов, проведённых с 2013 по 2015 годы.




информант

(n=9461)


(n=974) 8000 руб. и менее

12% 12% 8001 - 12 000 руб. 26% 21% 12 001 - 20 000 руб. 23% 22% 20 001 - 30 000 руб. 11% 12% свыше 30 000 руб. 10% 9% в предыдущем месяце у

меня дохода не было 6% 7%

отказ от ответа 11% 14% не знаю, затрудняюсь

ответить 1% 3%

Личный доход




Приходилось ли Вам лично пользоваться интернетом? Если да, то когда Вы последний раз пользовались интернетом?

информант

(n=9461)


(n=974) никогда не приходилось

пользоваться 35% 27%

в последние сутки 49% 55% в последнюю неделю 8% 10% в последний месяц 3% 4% более месяца назад 4% 3% затрудняюсь ответить 2% 2%




Какое у Вас образование?

информант

(n=9461)


(n=974) неполное среднее или ниже

4% 5%

среднее общее (школа)

11% 16%

начальное профессиональное

(ПТУ, колледж, лицей и т.п.) 2% 3%

среднее специальное (ссуз,

техникум, медицинское училище

и т.п.) 38% 36%

незаконченное высшее

(обучение в вузе без получения

диплома) 4% 5%

высшее (диплом специалиста,

бакалавра, магистра и т.п.) 41% 34%

Отбор респондента в домохозяйстве. Квотный отбор






Особенности 1. Выборка перестаёт быть вероятностной.

Потенциал к неконтролируемым смещениям по неквотируемым переменным.

2. Усложнение полевой части исследования. Стимул к фальсификации.

3. Усилия интервьюеров идут на поиск труднодоступных квотных групп. Доля таких групп в выборке повышается.

4. Корректность задания квотных условий. 5. Данные можно не взвешивать по

квотируемым параметрам.

ДВУХОСНОВНАЯ ВЫБОРКА МОБИЛЬНЫХ И СТАЦИОНАРНЫХ ТЕЛЕФОНОВ




Двухосновные выборки



“there is no consensus on the best design for dual frame surveys” BOYLE, John M; LEWIS, Faith; TEFFT, Brian. Segmented or Overlapping Dual Frame Samples in Telephone Surveys. Survey Practice, [S.l.], v. 3, n. 6, jul. 2013. ISSN 2168-0094. Available at: <http://www.surveypractice.org/index.php/SurveyPractice/article/view/149>. Date accessed: 08 May. 2015.

“there is no consensus regarding how RDD cell phone samples should be weighted, especially when combining them with RDD landline samples. As such, there also is no consensus on exactly what survey items need be asked of respondents to support this process.” 2010 AAPOR Cell Phone Survey Task Force Report

http://www.surveypractice.org/index.php/SurveyPractice/article/view/149



Двухосновные выборки – непересекающийся дизайн (segmented method)

Опрос по стационарным Опрос по мобильным

Характеристики исследуемой группы:

𝑁 – размер группы

𝑁моб - количество людей, у которых есть только мобильный телефон

𝑁стац - количество людей, у которых есть

только стационарный телефон

𝑁оба - количество людей, у которых есть оба телефона


Двухосновные выборки – непересекающийся дизайн

В непересекающемся дизайне подразумевается, что 𝑁моб репрезентируются выборкой по мобильным телефонам, а 𝑁стац и 𝑁оба по стационарным телефонам.

Доля мобильных в выборке: 𝑁моб

𝑁

Для России сейчас в диапазоне от 52% (по данным

МегаФОМа 2014 года 60500 респондентов) до 61% (по данным Пенты

2015 года 1500 респондентов).



Особенности: 1. Необходимость введения дополнительных

скрининговых вопросов, для исключения из выборки по мобильным телефонам группы респондентов, обладающих стационарными телефонами. Следовательно, удорожание опроса.

2. Понятная процедура взвешивания, поскольку выборки не пересекаются. Каждая из выборок взвешивается отдельно.

3. Действительно ли ответы людей, у которых оба телефона, не будут зависеть от типа телефона по

которому их опрашивали?



Разница в ответах по мобильным и стационарным телефонам


Разделение выборки на 4 группы: Есть только мобильный Есть оба, опрос по мобильному Есть оба, опрос по стационарному Есть только стационарный Анализируются данные всероссийских телефонных опросов ФОМа по RDD двухосновной выборке, проведённых в период 2013-2015 годов, взвешивание, компенсирующее разную вероятность отбора.



Есть только

мобильный

(n=17386)

Есть оба, опрос

по мобильному

(n=8490)


по

стационарному

(n=8599)


стационарный

(n=2583)

Пол респондента

мужской 48% 47% 27% 25% женский

52% 53% 73% 75%

Возраст респондента

<= 24,00 12% 8% 5% 3% 25,00 - 28,00 26% 21% 10% 5% 29,00 - 33,00 10% 11% 10% 10% 34,00 - 38,00 9% 7% 5% 2% 39,00 - 44,00 23% 22% 24% 7% 45,00 - 50,00 10% 16% 25% 37% 51,00 - 55,00 3% 5% 4% 3% 56,00 - 61,00 3% 5% 5% 6% 62,00 - 70,00 2% 4% 7% 10% 71,00+ 1% 2% 5% 18%





мобильный

(n=10121)



(n=5043)


по


(n=5043)



(n=1528)

8000 руб. и менее 14% 10% 12% 21%

8 001 - 12 000 руб. 13% 15% 23% 36%

12 001 - 20 000 руб. 21% 21% 23% 19%

20 001 - 30 000 руб. 14% 15% 12% 3%

свыше 30 000 руб. 15% 20% 10% 3%

в предыдущем месяце у меня дохода

не было 10% 7% 7% 7%

отказ от ответа 10% 11% 11% 10%

не знаю, затрудняюсь ответить 2% 1% 2% 2%



Считаете ли Вы себя верующим

человеком? И если да, то к какому

вероисповеданию (конфессии) Вы

себя относите?


мобильный

(n=2347)



(n=1176)


по


(n=1121)



(n=410)

не считаю себя верующим человеком 18% 18% 17% 16%

православие 65% 69% 71% 78%

другие христианские конфессии

(католики, протестанты, униаты,

баптисты и др.) 3% 3% 2% 1%

ислам 8% 3% 3% 2%

другие религии 2% 1% 1%

затрудняюсь ответить, не могу назвать

определённую конфессию 5% 6% 6% 3%



Какое у Вас семейное положение?

Вы женаты (замужем), не женаты (не

замужем) или разведены?


мобильный

(n=971)



(n=445)


по


(n=490)



(n=145)

женат (замужем)

57% 66% 59% 43%

не женат (не замужем)

26% 19% 15% 18%

разведен(-а)

9% 8% 8% 3%

вдовец(вдова)

7% 7% 18% 33%

затрудняюсь ответить

0% 0% 2%





мобильный

(n=17369)



(n=8491)


по


(n=8599)



(n=2584)

более 1 млн 16% 26% 22% 19%

от 500 тыс до 1 млн 12% 14% 11% 11%

от 250 до 500 тыс 12% 12% 10% 9%

от 100 до 250 тыс 11% 10% 10% 8%

от 50 до 100 тыс 8% 8% 9% 8%

менее 50 тыс 12% 11% 14% 12%

пгт 4% 3% 4% 3%

село 24% 14% 18% 29%

нет данных 2% 1% 1% 1%



Приходилось ли Вам лично

пользоваться интернетом? Если да,

то когда Вы последний раз

пользовались интернетом?


мобильный

(n=17366)



(n=8491)


по


(n=8598)



(n=2583)

никогда не приходилось пользоваться 21% 19% 30% 76%

в последние сутки 59% 65% 53% 13%

в последнюю неделю 9% 9% 8% 3%

в последний месяц 5% 3% 3% 2%

более месяца назад 4% 3% 4% 2%

затрудняюсь ответить 1% 1% 1% 5%



Какое у Вас образование?


мобильный

(n=17354)



(n=8481)


по


(n=8589)



(n=2575)

неполное среднее или ниже 4% 2% 3% 15%

среднее общее (школа) 17% 11% 11% 18%

начальное профессиональное (ПТУ,

колледж, лицей и т.п.) 3% 2% 2% 4%

среднее специальное (ссуз, техникум,

медицинское училище и т.п.) 36% 34% 37% 39%

незаконченное высшее (обучение в вузе

без получения диплома) 7% 6% 4% 2%

высшее (диплом специалиста,

бакалавра, магистра и т.п.) 32% 45% 41% 22%


BOYLE, John M; LEWIS, Faith; TEFFT, Brian. Segmented or Overlapping Dual Frame Samples in Telephone Surveys. Survey Practice, [S.l.], v. 3, n. 6, jul. 2013. ISSN 2168-0094. Available at: <http://www.surveypractice.org/index.php/SurveyPractice/article/view/149>. Date accessed: 08 May. 2015.

Разница в ответах по мобильным и стационарным телефонам в США






13-15.05.2015 Тимур Османов 100




Особенности:

3. Действительно ли ответы людей, у которых оба телефона, не будут зависеть от типа

телефона по которому их опрашивали? Такая зависимость наблюдается

Непересекающийся дизайн некорректно репрезентирует группу респондентов, обладающих двумя типами телефонов.

13-15.05.2015 Тимур Османов 101


13-15.05.2015 Тимур Османов 102


Двухосновные выборки – пересекающийся дизайн (overlap method)

Опрос по стационарным

Опрос по мобильным

13-15.05.2015 Тимур Османов 103

Двухосновные выборки – пересекающийся дизайн

Какая доля мобильных номеров в выборке?

Как взвешивать данные?

13-15.05.2015 Тимур Османов 104


“there is no consensus on the best design for dual frame surveys” BOYLE, John M; LEWIS, Faith; TEFFT, Brian. Segmented or Overlapping Dual Frame Samples in Telephone Surveys. Survey Practice, [S.l.], v. 3, n. 6, jul. 2013. ISSN 2168-0094. Available at: <http://www.surveypractice.org/index.php/SurveyPractice/article/view/149>. Date accessed: 08 May. 2015.

“there is no consensus regarding how RDD cell phone samples should be weighted, especially when combining them with RDD landline samples. As such, there also is no consensus on exactly what survey items need be asked of respondents to support this process.” 2010 AAPOR Cell Phone Survey Task Force Report


Один из подходов к взвешиванию.

1. Каждая из основ взвешивается независимо.

2. Компенсируется вероятность отбора телефонного номера из основы выборки. Adjust for Sample selection probability.

3. Компенсируются случаи, по которым не известно, удовлетворяют ли они условиям отбора. Adjust for Undetermined Eligibility.

4. Компенсируются неответы. Adjust for Nonresponse.

5. Компенсируется различное количество телефонов у респондентов. Adjust for Multiplicity Due to Multiple Phones.

6. Компенсируется различное количество людей, пользующихся одним телефоном. Adjust for Respondent Selection Probability.

7. Компенсируется завышенная вероятность отбора респондентов, попадающих в обе основы. Adjustment for Frame Overlap.

При такой процедуре взвешивания доля мобильных телефонов в выборке может быть любой.

13-15.05.2015 Тимур Османов 105


Один из подходов к взвешиванию.

7. Компенсируется завышенная вероятность отбора респондентов, попадающих в обе основы. Adjustment for Frame Overlap.

𝑌 𝜃 = 𝑌𝑎𝐴+ 𝜃𝑌𝑎𝑏

𝐴+ (1 − 𝜃)𝑌𝑎𝑏𝐵+ 𝑌𝑏

𝐵

Hartley, H.O. (1962) Multiple Frame Surveys. Proceeding of the Social Statistics Section, 203-206. American Statistical Association, Alexandria, VA.

𝜃 – композиционный фактор (compositing factor)

Чаще всего, 𝜃=0,5. Существуют формулы оптимизирующие 𝜃 под различные условия: минимизация ошибок неответов, минимизации дисперсии и др.

13-15.05.2015 Тимур Османов 106


В США разные исследовательские компании используют различные подходы к взвешиванию и включают в выборку различную долю мобильных номеров. Однако по ключевым параметрам результаты их исследований сходятся. (Courtney Kennedy, Stas Kolenikov, Weighting Approaches for Dual Frame RDD Surveys, AAPOR Webinar, October 2012.)

Доля мобильных телефонов в выборке определяется экспертно. В январе 2014 года большинство компаний в США использовали соотношение 50/50.

Однако, по утверждению David Dutwin, доля мобильных должна доходить до 80%. Причина занижения этой доли – инертность рынка («because we will just make people nervous»). Его прогноз: ежегодно доля мобильных будет расти на 10 п.п. до 80%. (David Dutwin, Cellular Telephone Methodology: Present and Future, AAPOR Webinar, January 2014.)

13-15.05.2015 Тимур Османов 107


13-15.05.2015 Тимур Османов 108

Двухосновные выборки – пересекающийся дизайн. Доля мобильных

Опрос Есть только мобильный

Есть оба телефона

Есть только стационарный

Пента 2015 61% 34% 5%

МегаФОМ 2014 52% 44% 4%

В настоящий момент доля мобильных телефонов во

всероссийских опросах ФОМа составляет 63%.

Эта доля не менялась с 2012 года.

13-15.05.2015 Тимур Османов 109


Сколько человек 18 лет и старше, включая Вас, проживает вместе с Вами в Вашей семье?

Есть ли у Вас личный мобильный телефон?

Скажите, пожалуйста, вы всегда один (одна) пользуетесь этим мобильным телефоном, или им пользуется несколько человек? Если несколько, то сколько именно?

Сейчас вы лично постоянно (не реже раза в неделю) для разговора пользуетесь одним номером мобильного телефона, сим-картой или несколькими? Если несколькими, то сколькими именно?

Есть ли у Вас стационарный домашний телефон?

Размер домохозяйства

Стац.

Моб.

Пользователи моб.

Количество моб.

13-15.05.2015 Тимур Османов 110


Вероятность отбора = Моб.×Количество моб.

Пользователи моб.+ Стац.×

1

Размер домохозяйства

Вес =1

Вероятность отбора

13-15.05.2015 Тимур Османов 111


Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью. Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность не превышает 2,5 п.п.

50,5

47,2

38,8

44,4

45,5

58,0

5,1

7,4

3,2

Опрос ftf

Телефонный опрос выравнивается

вероятность отбора

Телефонный опрос без взвешивания

только мобильный мобильный и стационарный только стационарный

13-15.05.2015 Тимур Османов 112


После компенсирования различной вероятности отбора проходит процедура постстратификации для приведения распределений по полу-возрасту и уровню образования к данным Росстата. Ниже в таблицах данные до постстратификации:

Источник муж 18-24 муж 25-54 муж 55 и

старше жен 18-24 жен 25-54

жен 55 и

старше

Росстат на 01.01.2013 6% 27% 12% 6% 29% 20%

Опросы 2013 года (n=17208) 6% 27% 8% 6% 32% 21%

Опросы 2014 года (n=19459) 6% 27% 9% 6% 31% 22%

Опросы 2015 года (n=2035) 5% 28% 10% 3% 31% 23%

Источник нет

высшего

высшее,

неоконченное

высшее

Росстат, Перепись 2010 72% 28%

Росстат, Экспертная поправка 67% 33%

Опросы 2013 года (n=17208) 58% 42%

Опросы 2014 года (n=19459) 57% 42%

Опросы 2015 года (n=2035) 58% 42%

13-15.05.2015 Тимур Османов 113


Соображение 0: Представленная формула для расчёта весов, компенсирующих различную вероятность отбора, справедлива при равной вероятности отбора мобильных и стационарных телефонов представителей целевой группы.

При доле мобильных в 63%, вероятность отбора по мобильным телефонам занижена.

Диапазон Общая ёмкость,

Росссвязь на 01.04.2015

Оценка количества существующих

номеров

Оценка количества номеров,

принадлежащих целевой группе

ABC 115 115 680 (18%) 67 918 251 (18%) 57 051 331 (17%)

DEF 536 082 980 (82%) 310 928 128 (82%) 276 726 034 (83%)

13-15.05.2015 Тимур Османов 114


Соображение 1: Минимизация корня из суммы квадратов отклонений распределения выборки по возрасту.

возраст мобильные стационарные статистика 18+

<= 23 11% 4% 11% 24 - 27 11% 5% 10% 28 - 32 14% 7% 10% 33 - 38 14% 9% 11% 39 - 44 11% 10% 9% 45 - 50 9% 10% 10% 51 - 55 9% 9% 10% 56 - 61 9% 13% 10% 62 - 70 8% 17% 9% 71+ 3% 17% 10%

Данные всероссийских телефонных опросов ФОМа по RDD двухосновной выборке, проведённых в период 2014-2015 годов

13-15.05.2015 Тимур Османов 115


Метод “Поиск Решений” в Excel.

Оптимальная доля мобильных – 64%.

1,0%

3,0%

5,0%

7,0%

9,0%

11,0%

13,0%

15,0%

0% 20% 40% 60% 80% 100%

Зависимость корня из суммы квадратов отклонений от доли мобильных в выборке

13-15.05.2015 Тимур Османов 116


Соображение 2: Инертность опросных компаний.

Сопоставление результатов • CATI опроса ФОМ ОМ, репрезентирующего

население России (данные с весами на половозрастную структуру);

• PAPI опроса по всероссийской выборке Пенты (квотируется по полу возрасту и образованию)

За период с 03.2013 по 04.2014. Использовались данные Пенты лишь в тех неделях, когда параллельно шел всероссийский телефонный опрос.

13-15.05.2015 Тимур Османов 117



0%

2%

4%

6%

8%

10%

12%

14%

16%

CATI

PAPI

CATI PAPI

в предыдущем месяце у меня дохода не было 8% 13%

отказ от ответа 10% 8%

не знаю, затрудняюсь ответить 2% 1%

13-15.05.2015 Тимур Османов 118



0%

5%

10%

15%

20%

25%

30%

35%

2001-9000 9001-12000 12001-20000 20001-30000 свыше 30000

CATI

PAPI

13-15.05.2015 Тимур Османов 119


Уровень образования

0%

5%

10%

15%

20%

25%

30%

35%

40%

неполное среднее или ниже

среднее общее начальное профессиональное

среднее специальное незаконченное высшее

высшее

CATI

PAPI

Росстат

13-15.05.2015 Тимур Османов 120


Пользование интернетом

0%

10%

20%

30%

40%

50%

60%

никогда не приходилось пользоваться

в последние сутки в последнюю неделю более недели назад затрудняюсь ответить

CATI

PAPI

13-15.05.2015 Тимур Османов 121


Тип населённого пункта

0%

5%

10%

15%

20%

25%

30%

более 1 млн от 500 тыс до 1 млн

от 250 до 500 тыс

от 100 до 250 тыс

от 50 до 100 тыс менее 50 тыс пгт село

CATI

PAPI

Росстат

13-15.05.2015 Тимур Османов 122


Увеличение доли мобильных приведёт к ещё большим расхождениям между поквартирными и телефонными опросами по параметрам уровень образования, пользование интернетом, уровень дохода.

ОШИБКА НЕОТВЕТОВ

13-15.05.2015 Тимур Османов 123

Логика работы интервьюеров

124

Ошибки неответов в телефонном опросе

Дозвонились (взяли трубку)

• Техническая достижимость

Согласие на опрос

• Результат контакта с отобранным респондентом

Завершенное интервью

•Доведение интервью до конца



Технический результат дозвона:

125

Результат дозвона*: Стац. Моб.

Дозвонились 18% 17%

Занято 10% 4%

Неверный номер 35% 34%

Нет ответа 31% 36%

Ошибка при звонке 6% 8%

Анализ телефонных опросов ФОМ, проведенных в период с августа 2013 года по февраль 2014 года. Всего 680000 телефонных номеров, задействованных в различных проектах. * Под результатом дозвона понимается результат последнего звонка на телефонный номер.


Звонок на телефонный

номер

34,0% Неверный

номер

17,0% Дозвонились

33,2% Нет ответа


2,0% Занято 8,5%

Неверный номер



0,8% Занято


номер


1,1% Ошибка

2,8% Ошибка

7,9% Занято


2,3% Занято


номер


0,9% Ошибка

7,9% Ошибка


0,7% Занято


номер


1,4% Ошибка

Результативность звонков.

13-15.05.2015 Тимур Османов 126


127

Устойчивость результата дозвона по одному и тому же номеру телефона в различных опросах

Мобильный телефон

Звонок 2

Случаев: Дозвонились Занято

Неверный

номер Нет ответа

Ошибка при

звонке

Звонок

1

Дозвонились 53% 3% 6% 37% 2% 6205

Занято 9% 18% 36% 31% 6% 1528

Неверный номер 2% 4% 59% 31% 4% 12277

Нет ответа 14% 4% 26% 51% 5% 12607

Ошибка при звонке 24% 3% 11% 31% 31% 1522

Устойчивость 52%

Стационарный телефон

Звонок 2

Случаев: Дозвонились Занято

Неверный

номер Нет ответа

Ошибка при

звонке

Звонок

1

Дозвонились 71% 2% 3% 23% 1% 1908

Занято 4% 65% 11% 17% 2% 1695

Неверный номер 2% 4% 79% 12% 3% 2850

Нет ответа 17% 6% 13% 60% 4% 3107

Ошибка при звонке 7% 15% 31% 27% 20% 424




Результат взаимодействия с респондентом:

128

Моб. Стац. полное интервью 27% 18% отказ 42% 48% моложе 18 лет 4% 4% прерванное интервью 7% 4% вне целевой группы 7% 12% другое 13% 16%

Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью



129

Мобильный телефон

Звонок 2

Случаев: полное интервью

отказ моложе 18

лет прерв.

интервью вне целевой

группы другое

Звонок

1

полное интервью 37% 34% 2% 4% 4% 18% 1489

отказ 13% 62% 2% 4% 7% 12% 2153

моложе 18 лет 9% 24% 48% 3% 6% 10% 185

прерванное интервью 18% 49% 3% 5% 8% 17% 237

вне целевой группы 15% 40% 3% 4% 26% 12% 388

другое 24% 44% 1% 5% 6% 19% 572


Стационарный телефон

Звонок 2

Случаев: полное интервью

отказ моложе 18

лет прерв.

интервью вне целевой

группы другое

Звонок

1

полное интервью 25% 44% 4% 4% 5% 19% 879

отказ 9% 65% 3% 2% 7% 13% 1887

моложе 18 лет 14% 34% 26% 3% 5% 17% 149

прерванное интервью 13% 60% 4% 9% 5% 9% 128

вне целевой группы 7% 26% 2% 1% 58% 6% 410

другое 19% 46% 3% 3% 6% 23% 593


Устойчивость результата взаимодействия с респондентом по одному и тому же номеру телефона в различных опросах


Приводит ли высокая доля отказов к увеличению ошибки неответов?

Отличаются ли отказывающиеся от опросов люди от тех, кто соглашается отвечать на

вопросы анкеты?

13-15.05.2015 Тимур Османов 130

Мини-интервью при отказе от основного опроса Опыт ФОМ Пол (интервьюер фиксировал, не задавая вопроса)

Возраст (Сколько полных лет Вам исполнилось?)

Образование (Какое у Вас образование?)

Тип населённого пункта (Вы проживаете в городе или селе?)

Род занятий (Скажите, пожалуйста, Вы работаете, учитесь или находитесь на пенсии?)

Сопоставляются ответы респондентов, согласившихся принять участие в опросе, на вопросы основной анкеты с ответами отказников (респондентов, отказавшихся принять участие в опросе) на вопросы специальной мини-анкеты. При сопоставлении не используются весовые коэффициенты. В связи с чем, некорректно утверждать, что распределения ответов согласившихся респондентов репрезентируют население России. анализ слитого массива всероссийских телефонных опросов ФОМ, проведённых во вероятностной (RDD) пересекающейся двухосновной выборке номеров мобильных и стационарных телефонов. Опросы проводились в период с февраля 2013 по февраль 2015 года. Случайная генерация телефонных номеров опирается на информацию о задействованных диапазонах телефонной связи в России, размещенную на официальном сайте Россвязи. Размер базы – более 350 тысяч.

13-15.05.2015 Тимур Османов 131

Пол респондента

0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100%

Согласие Отказ, есть информация

Отказ, нет информации Отказ, ответ не отмечен

Стационарные телефоны (ABC) Мобильные телефоны (DEF)

Согласие,% Отказ, есть

информация,%

мужской 32 28

женский 68 72



мужской 49 42

женский 51 58

Общий массив 175641 случаев

13-15.05.2015 Тимур Османов 132

0% 20% 40% 60% 80% 100%



0% 20% 40% 60% 80% 100%

Сколько полных лет Вам исполнилось?




18-25 8 6 26-40 24 20 41-55 26 23 56-65 22 20 66+ 21 31



18-25 18 12 26-40 39 31 41-55 26 27 56-65 12 18 66+ 5 13

Общий массив 173304 случая

13-15.05.2015 Тимур Османов 133

0% 20% 40% 60% 80% 100% 0% 20% 40% 60% 80% 100%


Отказ, нет информации Отказ, ответ не отмечен Какое у Вас образование?


Согласие,%

Отказ, есть информация,%

неполное среднее 4 8

среднее общее 10 14 среднее

специальное 39 30 незаконченное

высшее 4 2

высшее 43 45

Согласие,%

Отказ, есть информация,%

неполное среднее 3 8

среднее общее 14 22

среднее специальное 40 33

незаконченное высшее 6 4

высшее 37 34 Общий массив 16287 случаев

13-15.05.2015 Тимур Османов 134

0% 20% 40% 60% 80% 100%



0% 20% 40% 60% 80% 100%

Вы проживаете в городе или селе?




город 83 84

село 17 16



город 79 77

село 21 23

Общий массив 40140 случаев

13-15.05.2015 Тимур Османов 135

Скажите, пожалуйста, Вы работаете, учитесь или находитесь на пенсии?

Мобильные телефоны (DEF)



работаю 67 59

учусь 4 3 нахожусь на

пенсии 16 28

другое 12 10 Общий массив 31216 случаев

0% 20% 40% 60% 80% 100%



13-15.05.2015 Тимур Османов 136

Отказники неохотно рассказывают о себе. Около 60-70% отказников не отвечают на вопросы специальной мини-анкеты

Отказ от участия в опросе достаточно устойчив При повторных звонках спустя продолжительное время около 62-65% отказников снова отказываются

Но мы точно знаем номер телефона отказника по номеру телефона мы можем с вероятностью 96-99% определить проживания респондента

13-15.05.2015 Тимур Османов 137

Респ. Адыгея

Респ.Алтай

Респ.

Башко

ртос

тан

Респ.Бурятия

Респ.Дагестан

Респ. ИнгушетияКабардино-Балкарская респ.

Респ.Калмыкия

Карачаево-Черкесская респ.

Респ.Карелия

Респ. Коми

Марий Эл

Мордовия

Респ. Саха (Якутия)

Респ. Северная Oсетия

Респ.Татарстан

Респ. Тыва

Удмур

тска

я

рес

п.

Респ.Хакасия

Чеченская респ.

Чувашская респ.

Алтайскийкрай

Краснодарский

край

Приморский край

Ставропольский край

Хабаровский край

Амурская обл.

Архангельскаяобл.

Астраханская обл.

Белгородская обл.

Брянскаяобл.

Владимирскаяобл.

Волгоградскаяобл.

Вологодская обл.

Воронежскаяобл.

Ивановскаяобл.

Калиниградскаяобл.

Калужская

обл.

Кемеровскаяобл.

Кировскаяобл.

Костромскаяобл.

Курганскаяобл.

Курская обл.

Ленинградская обл.

Липец

кая

обл.

Магаданскаяобл.

Московскаяобл.

Мурманскаяобл.

Нижегородск

ая

обл.

Новгородскаяобл.

Новосибирскаяобл.

Омскаяобл.

Оренбургская обл.

Орловскаяобл.

Пензенскаяобл.

Псковс

кая

обл.

Ростовскаяобл.

Рязанскаяобл.

Самарскаяобл.

Саратовскаяобл.

Сахалинская обл.Свердловская

обл.Смоленская

обл.

Тамбо

вска

яоб

л.

Тверская обл.

Томская обл.

Тульскаяобл.

Тюменскаяобл.

Ульяновская

обл.Чел

ябин

ская

обл.

Яросл

авск

ая

обл.

Еврейскаяавт.обл.

Ненецкий АО

Ханты-Мансийский АО

Чукотский АО

Ямало-Ненецкий АО

Санкт-Петербург

Москва Пермскийкрай

Камчатскийкрай

Забайкальский

край

Красноярский край

Иркутская обл.

Респ. Крым

Севастополь

К о э ф ф и ц и е н т к о о п е р а ц и и

Доля от числа опрошенных, %

менее 45

от 45 до 49

от 49 до 52

от 52 до 54

54 и более

опрос не проводился

Коэффициент кооперации, %

недостаточно данных

Коэффициент кооперации считается, как отношение количества согласившихся на опрос к сумме количества согласившихся и отказавшихся от опроса.

13-15.05.2015 Тимур Османов 138

Прерванные интервью

13-15.05.2015 Тимур Османов 139

В подготовке данной темы принимала участие Юлия Савинкова

«An interview exceeding 10 minutes is dangerous, and one exceeding 12 minutes is very dubious indeed as to data quality» Lester, A. & Wilson, Ian (1995) "Surveying businesses by telephone - a case study of methodology"

Надо отметить, что нам доводилось проводить телефонные опросы по анкете с длительностью беседы 1,5-2 часа, но это, как ни странно, удавалось:

прерванных интервью было не намного больше, чем при времени интервью 30-50 минут. Интервьюеров большая длина анкеты не отпугивала, хотя оплата не всегда повышалась прямо пропорционально в зависимости от увеличения

продолжительности беседы.

Исупова О.Г. Телефонное интервью: заметки организатора опроса. Социология: 4М. 1996. № 7. С. 130-146.

Зависимость доли прерванных интервью от длины анкеты

0%

5%

10%

15%

20%

25%

30%

35%

0 200 400 600 800 1000 1200

Средняя длительность интервью, секунд

Доля прерванных интервью

Коэффициент корреляции 0,56. Каждой точке на графике соответствует отдельный опрос (отдельная анкета). Под прерванным понимается незавершенное интервью, в котором есть ответы хотя бы на 2 первых вопроса. Доля прерванных интервью рассчитывается как отношение количества прерванных интервью к сумме прерванных и завершенных интервью.

13-15.05.2015 Тимур Османов 140

Предполагаемая зависимость прерываний интервью в зависимости от порядкового номера

вопроса в анкете

Каждой точке на графике соответствует отдельный вопрос в одной анкете.

0 5 10 15 20 25 30 35 40

доля прерванных

13-15.05.2015 Тимур Османов 141

1 1% 1% 0% 0% 2% 1% 1% 0% 0% 0% 0% 0% 1% 0% 1% 0% 1% 0% 0%

2 0% 1% 0% 2% 1% 1% 0% 1% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

3 1% 0% 1% 1% 1% 0% 1% 0% 1% 0% 1% 1% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

4 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

5 2% 2% 0% 0% 0% 2% 2% 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0%

6 0% 1% 3% 0% 0% 1% 1% 1% 0% 0% 0% 1% 0% 0% 0% 0% 0% 1% 0% 1% 0% 0% 0% 0%

7 0% 0% 0% 0% 1% 0% 0% 1% 1% 1% 1% 0% 1% 0% 1% 0% 0% 1% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

8 1% 0% 0% 0% 0% 0% 0% 1% 1% 1% 1% 1% 1% 1% 2% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0%

9 1% 1% 0% 1% 0% 0% 0% 0% 0% 0% 1% 1% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

10 1% 1% 1% 1% 1% 1% 0% 0% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 1% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

11 2% 0% 2% 1% 0% 1% 0% 0% 0% 0% 0% 0% 0% 1% 3% 1% 1% 1% 1% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

12 1% 2% 0% 2% 0% 0% 1% 1% 1% 0% 1% 1% 2% 0% 0% 0% 0% 1% 0% 1% 0% 1% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0%

13 5% 6% 1% 1% 1% 1% 2% 1% 1% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 1% 1% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0%

14 1% 0% 0% 1% 0% 0% 0% 1% 0% 1% 1% 0% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 1% 2% 2% 1% 1% 1% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

15 0% 0% 0% 1% 1% 0% 0% 1% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

16 3% 1% 1% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 2% 1% 0% 1% 0% 0% 0% 0% 0% 0% 0% 1% 0% 1% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

17 2% 0% 1% 0% 0% 0% 1% 1% 2% 0% 1% 2% 1% 0% 0% 0% 0% 0% 0% 0% 1% 0% 1% 1% 0% 1% 0% 1% 1% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

18 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 1% 0% 1% 0% 0% 1% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 2% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

19 1% 1% 0% 0% 0% 1% 1% 1% 0% 0% 1% 0% 1% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

20 1% 1% 0% 1% 0% 0% 0% 2% 1% 1% 1% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

21 1% 1% 0% 0% 0% 1% 1% 0% 1% 0% 0% 0% 0% 0% 0% 1% 0% 1% 0% 1% 0% 0% 0% 0% 1% 1% 0% 0% 0% 0% 1% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0%

1 1% 2% 1% 0% 2% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 1% 0% 0% 0% 0% 1% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0% 0%

Распределение прерываний по отдельным вопросам в опросах ОМ

13-15.05.2015 Тимур Османов 142


0%

5%

10%

15%

20%

25%

30%

35%

0 200 400 600 800 1000 1200



Коэффициент корреляции 0,56. Каждой точке на графике соответствует отдельный опрос (отдельная анкета). Под прерванным понимается незавершенное интервью, в котором есть ответы хотя бы на 2 первых вопроса. Доля прерванных интервью рассчитывается как отношение количества прерванных интервью к сумме прерванных и завершенных интервью.

13-15.05.2015 Тимур Османов 143

Существуют более весомые причины прерывания интервью чем длительность анкеты

Анализ 22 волн телефонного опроса ФОМ ОМ

Существуют вопросы, на которых люди значительно чаще прерывают интервью.

Что это за вопросы?

Какие люди прерывают интервью?

1,2% 0,9% 0,7% 0,5% 0,7% 1,2% 0,5% 0,4% 0,2% 0,5% 0,4% 0,1% 0,3% 0,8% 0,5% 0,1% 0,5% 0,1% 1,0% 0,4% 1,4% 0,1% 0,3% 0,4% 0,2% 0,4% 0,1% 0,2% 0,1% 0,1% 0,1% 0,2% 0,1% 0,1% 0,3%

13-15.05.2015 Тимур Османов 144

По подавляющему большинству закрытых вопросов значимых

отличий между полными и прерванными интервью НЕ НАБЛЮДАЕТСЯ. Но есть и исключения. Более склонны прерывать интервью: • пожилые люди (65+ вне зависимости от пола) • с низким доходом • без мобильного телефона • без стационарного телефона • никогда не пользовались интернетом, НЕ суточная аудитория

интернета • не ездят за рулем автомобиля • не хотят учить иностранный язык • не знакомы с соседями

низкостатусные группы

в т.ч. пенсионеры


Ответы на открытые вопросы не анализировались.

13-15.05.2015 Тимур Османов 145

Менее эрудированы (хеллоуин, крещение Руси, Маргарет Тэтчер)

Затрудняются ответить на внешнеполитические вопросы (об Арктике, отношениях с США, Обаме, Сноудене)

Затрудняются ответить на вопросы об общественных идеологиях / не интересуются политической жизнью (национализм, коммунизм, либерализм)

Не слышали об общественных событиях (саммит большой 8, Сноуден, события в Турции, Евровидение, прямая линия Путина, смерть Уго Чавеса)

Затруднились ответить на вопросы об общественной жизни / не имеют твердой общественной позиции (рейдерство, уровень протеста, повышение цен на сигареты, социальная несправедливость, необходимость профессионального спорта, новые религиозные движения)


Им не интересны наши вопросы?

13-15.05.2015 Тимур Османов 146

Вопросы, на которых респонденты значительно чаще прерывают интервью

Выделено 84 вопроса, на которых более 1% респондентов прервали интервью. Средняя доля прерванных интервью на этих вопросах: 1,45%. Одна из возможных типологий «проблемных» вопросов:

• Открытые вопросы 41 из 84; 1,62% прерванных.

• Смена темы 28 из 84; 1,51% прерванных.

• Длинные формулировки 15 из 84; 1,46% прерванных.

• Вопросы №3, 4 и 5 16 из 84; 2,07% прерванных.

13-15.05.2015 Тимур Османов 147

Вопросы, на которых респонденты значительно чаще прерывают интервью

Сочетание проблемных типов в одном вопросе ведет к ещё большей доли прерываний.

Открытый вопрос со сменой темы: 1,74% прерываний.

Открытые вопросы №3, 4 или 5: 3,01% прерываний.

13-15.05.2015 Тимур Османов 148

Причины прерывания интервью

Фактор длительности – присутствует, но не является единственным, объясняющим корреляцию

Сложность вопросов / разнообразие тем, требующих осведомленности

Смена тем

Характеристики респондента

Наличие данных факторов в том числе увеличивает и длительность анкеты. Однако в данном случае неочевидно, что прерывание происходит за счет

увеличения времени. Прерывание происходит за счет самих вопросов и характеристик респондента

13-15.05.2015 Тимур Османов 149


0%

5%

10%

15%

20%

25%

30%

35%

0 200 400 600 800 1000 1200



Раз в 100 лет из океана приходит огромная волна.

Ида Йессен

13-15.05.2015 Тимур Османов 150

30% прерванных интервью. Опрос ОМ13.

Первые содержательные вопросы: 3. Скажите, пожалуйста, какие мысли, чувства, ассоциации у Вас возникают, когда Вы слышите слово «коммунизм»? (Интервьюер! Вопрос открытый. Точно запишите ответ респондента.) 4. А что такое коммунизм, как Вы понимаете это слово? (Интервьюер! Вопрос открытый. Точно запишите ответ респондента.) Давайте поговорим о коммунизме как о системе идей об устройстве общества. 5. Скажите, пожалуйста, какие положительные стороны Вы видите в коммунизме? (Интервьюер! Вопрос открытый. Точно запишите ответ респондента.) 6. А какие отрицательные стороны Вы видите в коммунизме? (Интервьюер! Вопрос открытый. Точно запишите ответ респондента.) 7. На Ваш взгляд, в целом в коммунизме больше положительных или отрицательных сторон? (Один ответ.) 1. больше положительных сторон 2. больше отрицательных сторон 3. затрудняюсь ответить

20% респондентов прервали интервью до 8-го вопроса.

Даты проведения опроса: 29 августа – 2 сентября 2013.

13-15.05.2015 Тимур Османов 151

ОМ13 влияние прерванных на распределение ответов

Среди прерванных 48% затруднились ответить на вопрос:

3. Скажите, пожалуйста, какие мысли, чувства, ассоциации у Вас возникают, когда Вы слышите слово «коммунизм»?

Среди завершенных интервью - 29%.

Если бы все прерванные интервью завершились, то доля затруднившихся ответить на этот вопрос составила бы 34%.

Велика ли разница?

Статистическая погрешность опроса составляет 3,8%.

13-15.05.2015 Тимур Османов 152

• Длительность анкеты несильно влияет на результативность интервью.

• Формулировки вопросов и логика анкеты влияют значительно сильнее.

• По большинству вопросов не выявлены значительные отличия ответов в полных и прерванных интервью.

• Доля прерванных интервью влияет на длительность проведения опроса, а следовательно, и на его стоимость. Корреляция стоимости опроса

и длительности анкеты составляет 0,90.

13-15.05.2015 Тимур Османов 153

Прерванные интервью

Ограничения: Нами не проводились, а следовательно, и не анализировались, опросы длиннее 15 минут. В основном анализ опирается на опросы ОМ со своей спецификой формулировок вопросов.

Недозвоны Сколько раз нужно перезванивать на

телефонный номер? Сопоставим 3 всероссийских опроса, проведённых в 2014 году:

13-15.05.2015 Тимур Османов 154

Параметры опросов Мобильность Крым ФОМ ОМ 4

Время проведения 23 мая-2 июня 15-16 марта 26-28 февраля

Размер выборки, респондентов 606 1050 1035

Максимальное количество звонков 6 2 3

Время отсрочки, если занято, минут 23 10 60 Время отсрочки, если не взяли трубку,

минут 240 60 120

COOP1 44,1 44,8 35,8

RR3 18,1 15,0 13,7

REF2 19,4 16,6 22,3

CON2 41,1 33,6 38,2

Недозвоны Среднее количество звонков в зависимости от результата звонка:

13-15.05.2015 Тимур Османов 155

Результат звонка Мобильность Крым ФОМ ОМ 4

Дозвонились 2,4 1,2 1,5

Занято 5,8 2,0 2,5

Неверный номер 1,6 1,2 1,2

Нет ответа 4,5 1,5 2,0

Ошибка при звонке 5,6 1,9 3,0

Общий итог 2,8 1,4 1,6

Под результатом звонка понимался результат последнего звонка респонденту, если только ранее не было случая, когда интервьюер отметил результат «Взяли трубку», - в этом случае результат звонка был «Дозвонились».

Большое количество звонков приходится на «неперспективные» результаты звонка.

Недозвоны Интервью можно взять после первого звонка, а можно и после нескольких звонков.

13-15.05.2015 Тимур Османов 156

1 звонок, n=334

Более 1 звонка, n=272

К какой группе людей вы себя скорее отнесете: к первой – они живут на одном месте, редко куда-либо уезжают из своего

села/города; ко второй – часто выезжают за пределы своего села/города, ночуют вне дома; или к третьей – уезжают

надолго, живут месяцами вне дома?

Скорее к первым 77% 62% Скорее ко вторым 18% 29% Скорее к третьим 5% 9% За последние 7 дней приходилось ли вам ночевать вне дома?

Да, приходилось 31% 39% Нет, не приходилось 69% 60%

Скажите, пожалуйста, за последние 12 месяцев сколько раз вы совершали дальние поездки (свыше 100 км и ночевкой вне

дома)?

Таких поездок не было 44% 33% Такие поездки были 51% 65%

1 звонок, n=334

Более 1 звонка, n=272

За последние 5 лет вы меняли или не меняли место жительства?

Да, менял(а) 19% 26%

Нет, не менял(а) 81% 74%

Есть ли у вас лично действующий загранпаспорт?

Да 54% 74%

Нет 46% 26%

Давайте поговорим о ваших вчерашних перемещениях. Выходили ли вы вчера из дома на улицу?

Выходил из дома на улицу 80% 89%

Не выходил из дома 20% 11%

Недозвоны

Респонденты, для опроса которых потребовалось совершить более одного звонка, чаще:

не являются пенсионерами (26% против 37%),

не работают, а занимаются домашним хозяйством (14% против 4%),

женщины 25-54 и молодёжь.

По уровню образования, типу населенного пункта значимых различий нет, также нет зависимости от типа телефона, по которому проводилось интервью (мобильный или домашний стационарный).

Наиболее значимый признак (Анализ методом деревьев решений CHAID) –

Род занятий - Не работаю, занимаюсь домашним хозяйством (70% выбравших

этот ответ были опрошены в результате нескольких звонков)

13-15.05.2015 Тимур Османов 157

Анализ параданных

Примеры применения анализа параданных: - Результаты опроса в различные дни недели,

различное время суток. - Результативность работы различных

интервьюеров, региональных партнеров, звонковых центров… Время дозвона, количество повторных звонков, различия в достижимости…

- Анализ доступной информации о неответах (этажность и материал стен строения, тип населенного пункта, пол и возраст респондента, регион проживания…)

158 13-15.05.2015 Тимур Османов

159

Результат звонка ЗЦ1 ЗЦ2 ЗЦ3 ЗЦ4

DEX

ЗЦ5

DEX

Всего не

DEX

Всего

DEX

Переведено на

операторов 18 25 20

Дозвонились 25 23 18 25 28 22 26

Занято 19 20 1 4 3 15 4

Неверный номер 36 30 71 8 0 43 5

Нет ответа 18 27 10 60 51 19 58

Ошибка 2 0 0 3 17 1 7

Всего звонков 6333 6621 4593 35272 14206 17547 49478

Результаты последнего звонка на телефонный номер в разрезе по ЗЦ. Процент по столбцу.

На следующих 5 слайдах представлены данные опроса ОМ Новосибирск, проведённого инициативной группой «Открытое мнение» в марте 2014 года. Выборка опроса репрезентирует телефонизированное население г. Новосибирск. Использовалась двухосновная выборка номеров мобильных и стационарных телефонов на основе случайной генерации номера по задействованным на территории Новосибирска диапазонам телефонных номеров. Соотношение номеров мобильных и стационарных телефонов в выборке 50/50. По мобильному телефону опрашивался респондент, который взял трубку. По стационарному домашнему телефону проводился случайный отбор из всех людей, проживающих в домохозяйстве и находящихся в момент звонка дома


160

Результат дозвона ЗЦ1 ЗЦ2 ЗЦ3 ЗЦ4

DEX

ЗЦ5

DEX

Всего

не

DEX

Всего

Всего

кроме

ЗЦ4

полное интервью 15,5 19,2 16,1 6,8 7,5 17,0 9,8 12,4

отказ 41,9 30,5 33,8 5,0 40,5 35,7 22,7 38,0

прерванное интервью 2,6 1,6 3,0 3,1 2,8 2,3 2,8 2,6

вне целевой группы 17,4 18,3 20,2 6,5 15,4 18,5 12,1 17,0

отказ отобранного по

стац. телефону 1,3 1,1 1,1 0,6 1,0 1,2 0,9 1,1

не отмечено согласие 17,6 26,2 20,0 75,6 31,9 21,4 49,3 26,5

отмечено только согласие 3,0 3,1 3,9 2,0 0,8 3,3 2,0 2,1

тестовое интервью 0,6 0,0 1,8 0,4 0,0 0,7 0,4 0,3

Результаты дозвона на телефонный номер в разрезе по ЗЦ. Процент по столбцу.


161

Показатели

достижимости ЗЦ1 ЗЦ2 ЗЦ3

ЗЦ4

DEX

ЗЦ5

DEX

Всего не

DEX

Всего

DEX

COOP1 19,7 24,4 21,7 7,5 9,0 21,9 8,0

RR3 10,1 10,5 21,0 2,2 4,0 11,8 2,7

REF2 39,7 31,7 71,8 25,7 39,5 40,5 30,3

CON2 51,5 43,0 96,7 28,9 45,1 53,9 34,2

RR* 4,0 4,5 3,7 1,4 2,1 4,1 1,6

RR* - данный коэффициент ответов не входит в стандарты AAPOR, рассчитывается для всех единиц наблюдения в выборке, в т.ч. несуществующих и не удовлетворяющих критериям отбора. Считается как отношение количества полных интервью к общему количеству телефонных номеров, на которые был совершен хотя бы один звонок.

Показатели достижимости у различных ЗЦ, %


162

Звонковый центр

Общее кол-во

минут всех

интервьюеров в

системе

Количество

полных

интервью

Минут работы

интервьюера на

1 полное

интервью

ЗЦ1 13644 254 53,7

ЗЦ2 12001 300 40,0

ЗЦ3 9673 171 56,6

ЗЦ4 (DEX) 14403 488 29,5

ЗЦ5 (DEX) 8038 302 26,6

Общий итог 57759 1515 38,1

Количественные показатели продуктивности работы звонковых центров


163

Партнер ЗЦ1 ЗЦ2 ЗЦ3 ЗЦ4

DEX

ЗЦ5

DEX Итого

Общая длительность всех

интервью для респондента 9,7 8,8 11,4 12,5 12,5 11,1

Длительность звонка

респонденту 10,2 9,0 12,2 12,1 12,1 11,2

Продолжительность интервью у различных ЗЦ, мин.


Анализ параданных

Анализ параданных должен быть встроен в программное обеспечение

CATI.

13-15.05.2015 Тимур Османов 164

Пример опроса Данные Центра методологии федеративных исследований РАНХиГС, ноябрь 2012, выборка 2000 респондентов. Всероссийский опрос по мобильным телефонам. RDD по DEF диапазонам. Опрос людей «допенсионного» возраста (мужчины 18-59 лет, женщины 18-54 года, не получающие пенсию). Распределение выборки по федеральным округам пропорционально численности изучаемой совокупности по данным Росстата. Опрос человека, взявшего трубку. 3-х кратные повторные звонки. Судя по уровню телефонизации исследуемой группы, смещения должны быть минимальными.

13-15.05.2015 Тимур Османов 165

Результаты В результате проведения исследования были опрошены респонденты из 82 субъектов РФ (всех субъектов РФ, кроме Ненецкого автономного округа).

В выборку при общем объеме 2000 респондентов попало 388 городов, 44 поселка городского типа и 358 сельских населенных пунктов (у 159 респондентов не удалось идентифицировать населенный пункт).

RR3 COOP1 REF3 CON2 Доля

«дозвонились»

0,13 0,24 0,4 0,55 20%

13-15.05.2015 Тимур Османов 166

Сложности…

Возраст Население,

Росстат 18 - 24 лет 18,7% 25 - 34 лет 27,2% 35 - 44 лет 22,9% 45 - 54 лет 26,0% м 55-59 лет 5,2%

Пользователи моб.тел., ФОМ

19,6% 28,0% 22,9% 25,7%

3,9%

Результат опроса

21,2% 33,9% 21,9% 20,5%

2,6%

13-15.05.2015 Тимур Османов 167

Федеральный округ 18-24 25-34 35-44 45-54 55 и старше выборка

Северо-Западный 4,1% 3,6% 0,7% -5,8% -2,7% 194

Центральный 3,1% 9,2% -4,3% -4,8% -3,2% 539

Приволжский -0,2% 7,9% -2,8% -3,5% -1,5% 416

Южный 3,1% 2,6% 1,8% -5,3% -2,1% 190

Северо-Кавказский 1,6% -0,3% 4,8% -2,4% -3,8% 128

Уральский -0,7% 6,3% 1,5% -3,1% -4,1% 172

Сибирский 5,1% 7,2% -1,5% -9,9% -0,8% 272

Дальневосточный 5,5% 9,9% 4,1% -15,4% -4,1% 91

Отклонение данных опроса от данных Росстата

Сложности…

13-15.05.2015 Тимур Османов 168

СКАЖИТЕ, ПОЖАЛУЙСТА,

КАКОЕ У ВАС ОБРАЗОВАНИЕ?

Результат

опроса

Результат опроса с

весами на возраст

Данные Переписи

населения 2010 года

(м 18-59, ж 18-54)

Неполное среднее 3,8 3,8 1,3

Среднее общее 18,7 18,9 24,9

Начальное профессиональное - - 6,3

Среднее специальное 38,2 39,1 32,7

Незаконченное высшее 8,2 7,3 6,0

Высшее 31 30,8 25,7

Затрудняюсь ответить 0,1 0,1 3,1

Наличие телефона vs участие в опросе

13-15.05.2015 Тимур Османов 169

170

Сопоставление с внешними данными

Данные Центра методологии федеративных исследований РАНХиГС, ноябрь 2012, выборка 2000 респондентов. Всероссийский опрос по мобильным телефонам. RDD по DEF диапазонам. Опрос людей «допенсионного» возраста (мужчины 18-59 лет, женщины 18-54 года, не получающие пенсию). Распределение выборки по федеральным округам пропорционально численности изучаемой совокупности по данным Росстата. Опрос человека, взявшего трубку. 3-х кратные повторные звонки.


Результаты

опроса 18-

54(59)

Пользователи

моб. тел.,

ФОМ

Данные

Росстата 0+

Расхождение

опроса и

Росстата

более 1 млн 19% 20% 20% -0,6%

от 500 тыс до 1 млн 15% 11% 11% 4,2%

от 250 до 500 тыс 11% 9% 9% 2,8%

от 100 до 250 тыс 8% 10% 10% -1,6%

от 50 до 100 тыс 7% 7% 8% -0,7%

менее 50 тыс 10% 12% 12% -1,4%

пгт 2% 5% 5% -3,5%

село 19% 25% 26% -7,1%

нет данных 8% 0 0% 7,9%


13-15.05.2015 Тимур Османов 171

Спасибо за внимание!

Тимур Османов, [email protected]

Science

вебинар османов