ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 1

RADAR Data Scientists

Январь 2014

Подготовлено для

Учебная презентация

Современные методы анализа данных: презентация курса

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 2

Марк Шафир

Генеральный директор Исследовательской компании РАДАР

Член ESOMAR – Европейского сообщества исследователей рынка

Преподаватель социологического факультета НИУ ВШЭ

< перейти > < перейти > < перейти >

О преподавателе

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 3

RADAR Data Scientists

1 Структура и содержание курса

Система оценивания

По окончанию курса

Структура и содержание курса

Исследовательская компания РАДАР

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 4

Преподаватель

Преимущества курса

Структура курса

Формат

Марк Шафир – выпускник соцфака НИУ ВШЭ 2006 года, преподаватель кафедры МСиАСИ с 2007 года

Генеральный директор Исследовательской компании RADAR

Опытный исследователь-практик (в исследованиях с 2002 года)

Курсы: Введение в маркетинговые исследования (4 курс), Современные методы анализа данных (ПМСАР 1 курс)

Наиболее практический курс

Все методы рассматриваются на реальных данных, собранных под конкретные содержательные задачи

Разбор кейсов известных компаний

Каждый студент «щупает» любой изучаемый метод «своими руками»

Курс формирует аналитиков-исследователей, готовых работать в сфере маркетинговых исследований

18 лекций в течение 5 месяцев

16 домашних заданий сроком на 1 неделю; каждому студенту даются свои базы с реальными данными

16 текущих проверочных работ

4 рубежные контрольные работы в компьютерном классе

Экзаменационная работа в форме комплексного отчета по данным реального маркетингового исследования

Курс «Введение в маркетинговые исследования»

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 5

Общая схема структуры курса:

БАЗОВАЯ СТАТИСТИКА

СНИЖЕНИЕ РАЗМЕРНОСТИ

СЕГМЕНТИРОВАНИЕ МОДЕЛИРОВАНИЕ

ЗАВИСИМОСТЕЙ

ПРОГНОЗИРОВАНИЕ

Расчет ошибки выборки, построение доверительных интервалов, анализ значимых различий, построение простых и сложных таблиц

Разведочный анализ данных; выявление закономерностей; отбор переменных для дальнейшего анализа

Разбивка неоднородной совокупности на отдельные сегменты, в каждом из которых возможно построение уникальных моделей

Установление зависимости между признаками, изучение принципов построения моделей изучаемых явлений

Предсказание будущего поведения изучаемого явления на основе имеющихся данных и законов распределения

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 6

Общая схема структуры курса:

СНИЖЕНИЕ РАЗМЕРНОСТИ

СЕГМЕНТИРОВАНИЕ МОДЕЛИРОВАНИЕ

ЗАВИСИМОСТЕЙ

ПРОГНОЗИРОВАНИЕ

БАЗОВАЯ СТАТИСТИКА

• Навыки обработки данных • Работа с синтаксисом SPSS • Custom Tables • Корреляционный анализ • Восстановление пропущенных значений • Основные типы графиков и карт

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 7

БАЗОВАЯ СТАТИСТИКА

Место темы в структуре курса

СЕГМЕНТИРОВАНИЕ МОДЕЛИРОВАНИЕ

ЗАВИСИМОСТЕЙ

ПРОГНОЗИРОВАНИЕ

• Простой анализ соответствий • Множественный анализ соответствий • Анализ однородности • Категориальный факторный анализ (CatPCA) • Деревья классификации

СНИЖЕНИЕ РАЗМЕРНОСТИ

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 8

СНИЖЕНИЕ РАЗМЕРНОСТИ

БАЗОВАЯ СТАТИСТИКА

Место темы в структуре курса

МОДЕЛИРОВАНИЕ ЗАВИСИМОСТЕЙ

ПРОГНОЗИРОВАНИЕ

• Новые подходы к кластерному анализу • TwoStep cluster • Генетический кластерный анализ • Оценка устойчивости решения • Воспроизводство сегментации • Дискриминантный анализ

СЕГМЕНТИРОВАНИЕ

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 9

СЕГМЕНТИРОВАНИЕ

СНИЖЕНИЕ РАЗМЕРНОСТИ

БАЗОВАЯ СТАТИСТИКА

Место темы в структуре курса

ПРОГНОЗИРОВАНИЕ

МОДЕЛИРОВАНИЕ ЗАВИСИМОСТЕЙ

• Нелинейные регрессии • Канонический анализ • Ценовые исследования, анализ эластичности спроса • Conjoint-анализ

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 10

МОДЕЛИРОВАНИЕ ЗАВИСИМОСТЕЙ

СЕГМЕНТИРОВАНИЕ

СНИЖЕНИЕ РАЗМЕРНОСТИ

БАЗОВАЯ СТАТИСТИКА

Место темы в структуре курса

• Удаление тренда • Декомпозиция сезонности • Экспоненциальное сглаживание • Модели скользящего среднего • Автокорреляции и авторегрессионные модели • Введение в нейронные сети

ПРОГНОЗИРОВАНИЕ

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 11

Тематический план курса

Блок № Основные темы лекции

Вво

дн

ая

част

ь

1 Вводная лекция. Структура и формат курса. Разбор сквозного кейса.

2 Описательная статистика. Работа с синтаксисом в SPSS. Custom Tables. Z-test, t-test. Стандартизованные остатки.

СН

ИЖ

ЕНИ

Е Р

АЗМ

ЕРН

ОС

ТИ

3 Анализ соответствий: основные понятия, принципы интерпретации карт восприятия

4 Продвинутые возможности АС. Дополнительные точки. Способы нормализации координат

5 Множественный анализ соответствий. Использование подтверждающего аппарата в АС. Анализ однородности.

6 Категориальный факторный анализ (CatPCA)

СЕГ

МЕН

ТИ

РО

-В

АН

ИЕ

7 CHAID-анализ

8 Другие методы построения деревьев классификации: ECHAID, C&RT, QUEST

9 Новые подходы к кластерному анализу. TwoStep Cluster.

10 Дискриминантный анализ. Оценка устойчивости кластерного решения. Воспроизводство сегментации.

МО

ДЕЛ

ИР

О-

ВА

НИ

Е

11 Нелинейные регрессионные модели

12 Conjoint анализ: основные понятия. Ортогональный план. SPSS Conjoint

13 Виды Conjoint-анализа. Симуляция рынка.

14 Адаптивный Conjoint-анализ. Сегментация с помощью Conjoint-анализа.

ПР

ОГН

ОЗИ

РО

-В

АН

ИЕ

15 Анализ временных рядов: основные понятия. Удаление тренда и декомпозиция сезонности

16 Изучение структуры временного ряда. Автокорреляция. Введение в авторегрессионные модели.

17 Авторегрессия и модель скользящего среднего. ARIMA-модели

18 Оценка качества прогноза в ARIMA-моделях. Самообучающиеся системы. Введение в нейронные сети

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 12

Методика преподавания

1. Лекции и семинары Курс преподается по многолетней отработанной автором в магистратуре НИУ ВШЭ схеме. В рамках курса нет четкого деления на классические «лекции» и «семинары», формат курса намного более современный. 100% аудиторного времени используется мультимедийный проектор. Обычный формат лекций заменен на презентации различных методик и анализ кейсов; формат семинаров заменен на демонстрацию работы в SPSS и других программах и дискуссии со студентами. Домашние задания задаются после каждой лекции с целью самостоятельной отработки каждого представленного на лекциях метода исследований (см. раздел «система оценивания»).

2. Материалы Все материалы лекций (презентации) высылаются преподавателем по электронной почте студентам. Вся необходимая литература также высылается в электронном виде (с делением на «основную» и «дополнительную»). По сути, студентам нет нужды искать какие-либо иные учебники или методические пособия.

3. Рубрика «Special Guest» На некоторых лекциях отводится время для выступления приглашенных экспертов в рамках рубрики «Special Guest». Обычно это конец второй пары (с 20.30 до 21.00). В качестве экспертов выступают аналитики, специалисты по математической статистике, руководители проектов исследовательских компаний, выпускники НИУ ВШЭ, и другие.

4. Возможности обратной связи Важным элементом курса являются широкие возможности обратной связи, предоставляемые автором курса студентам. Вопросы приветствуются во время и после лекций, а также по email или в социальных сетях (см. слайд «контакты»). Наиболее интересные домашние и контрольные работы разбираются «по горячим следам» на лекциях. Также разбираются типичные ошибки в домашних и контрольных работах.

5. Возможности профессионального общения Рубрика Special Guest дает возможность познакомиться с ключевыми людьми в отрасли, в т.ч. с потенциальными работодателями и/или клиентами. Студенты куса приглашаются на Семинар по маркетингу, проводимый компанией РАДАР.

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 13

RADAR Data Scientists

2 Система оценивания

Система оценивания

По окончанию курса

Структура и содержание курса

Исследовательская компания РАДАР

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 14

• Домашние работы (по 4 в каждом из 4 блоков) 16 * 10 баллов = 160 баллов максимум

• Проверочные работы в начале пар (по 4 в каждом из 4 блоков) 16 * 5 баллов = 80 баллов максимум

• Четыре рубежные контрольные работы в конце каждого из блоков 4 * 40 баллов = 160 баллов максимум

• Экзаменационная работа (может готовиться в течение всего курса) 10 заданий по 10 баллов каждое = 100 баллов максимум

ИТОГО: 500 баллов максимум: 451 – 500 = 10 301 – 350 = 7 151 – 200 = 4 401 – 450 = 9 251 – 300 = 6 101 – 150 = 3 351 – 400 = 8 201 – 250 = 5 51 – 100 = 2

Система оценивания в рамках курса

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 15

Формы текущего и итогового контроля в рамках курса

1. Домашние задания Домашние работы задаются после каждой лекции, кроме первой и последней. Срок выполнения работы – 1 неделя. Дедлайн сдачи работ – начало следующей лекции (18.00 следующей среды). Задание приходит в электронном виде на ящики групп. Выполненные работы также принимаются только в электронном виде на email преподавателя. Домашние задания предполагают исключительно практическое применение полученных на лекций навыков работы с методами маркетинговых исследований, в т.ч. В SPSS и других пакетах (Statistica, Answer Tree, Amos), и, как правило, готовятся в форме аналитических отчетов в формате PPT. Для выполнения домашних работ, каждый студент получает свою индивидуальную базу данных. Данные для домашних заданий представляют собой фрагменты баз реальных маркетинговых исследований, проведенных компанией РАДАР.

2. Текущие проверочные работы (в начале лекций) Текущие проверочные работы пишутся в начале каждой лекции и базируются на материале предыдущей лекции и соответствующей ей домашней работы. На написание работы дается 10-15 минут. Работы сдаются в бумажном виде. Как правило, задача состоит в том, чтобы, взглянув на output SPSS, быстро сформулировать основные выводы и дать рекомендации потенциальному заказчику, исходя из имеющихся данных. На проверочных работах разрешается пользоваться любыми материалами.

3. Рубежные контрольные работы (в компьютерном классе) По окончанию каждого из четырех содержательных блоков курса проводится рубежная контрольная работа в компьютерном классе. В рамках контрольной работы каждый студент получает свою базу данных реального маркетингового исследования. Задание состоит в том, чтобы, применив определенные статистические процедуры в SPSS, получить содержательные результаты, сформулировать выводы и рекомендации. Задание приходит на электронную почту; выполненное задание также высылается на электронную почту преподавателя. На выполнение работы дается ровно 1 час. Перед контрольной работой выполняется также текущая проверочная работа. На второй паре проводится лекция по следующей теме. На проверочных работах разрешается пользоваться любыми материалами. Можно приходить со своими ноутбуками.

4. Экзаменационная работа (может готовиться в течение всего курса) Экзаменационная работа может готовиться в течение всего курса, но высылается преподавателю в электронном виде не позднее, чем за 1 неделю до окончания курса. Экзаменационная работа представляет собой подготовку коммерческого предложения в рамках тендера на исследование.

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 16

Пример рейтингов по курсу

Рейтинги студентов по курсу "Современные методы анализа данных"

ДЗ №1 ПР №1 ДЗ №2 ПР №2 ДЗ №3 ПР №3 ДЗ №4 ПР №4

Максимум баллов --> 385 10 30 10 5 10 5 10 5 10 5 401 Албутова Алена Игоревна 219 7 9 7 4 5 4 6 4 6 4 252 Андреева Екатерина Евгеньевна 211 6 10 6 3 5 4 6 3 7 3 193 Ахмеева Дина Анатольевна 173 5 16 3 4 5 4 5 3 174 Белоусова Евгения Романовна 31 2 27 4 3 5 4 115 Будашова Ирина Игоревна 231 7 7 8 5 9 5 8 5 8 5 256 Веневитин Александр Игоревич 12 1 29 2 37 Вышневая Мария Викторовна 158 5 21 7 3 9 4 4 4 178 Димова Наталья Александровна 169 5 19 7 8 5 8 3 4 129 Елимова Анастасия Геннадьевна 168 5 20 6 3 7 5 3 4 1910 Ермолаева Анна Владимировна 170 5 18 7 8 5 7 4 4 4 711 Ефимова Ирина Александровна 269 8 5 5 4 8 5 8 4 8 5 1412 Казун Антон Павлович 340 9 2 9 5 9 5 10 5 10 5 3013 Киселев Никита Денисович 115 4 23 3 6 5 5 6 5 1814 Конобеева Елена Алексеевна 197 6 12 5 4 8 5 8 4 8 4 1415 Коробкова Анастасия Дмитриевна 272 8 4 8 4 8 4 8 4 8 5 1616 Мацнева Софья Андреевна 0 1 3017 Неуважаева Мария Андреевна 245 7 6 8 4 8 5 8 4 7 4 2418 Никитина Екатерина Андреевна 186 6 14 7 5 7 5 4 6 4 1419 Пантелеева Ирина Михайловна 208 6 11 8 5 7 5 7 4 8 5 1720 Пешкова Мария Владимировна 82 3 25 5 4 421 Пугачева Мария Александровна 109 4 24 3 3 3 2 2 1222 Разуваева Татьяна Владимировна 181 6 15 7 4 7 4 6 4 6 4 823 Разумкина Мария Владимировна 197 6 12 6 5 7 4 7 4 324 Рябчикова Анна Павловна 157 5 22 5 4 7 3 7 3 6 4 1325 Семенчук Анна Анатольевна 342 9 1 10 5 10 4 8 4 9 5 3326 Чернышова Александра Евгеньевна 221 7 8 8 4 5 7 4 7 4 2827 Яшкина Анна Александровна 172 5 17 7 3 4 13

ФИО РАНГ#

Всего

набрано

баллов за

курс

ИТОГОВАЯ

ОЦЕНКА ЗА

КУРСPCA vs. CatPCA

Раздел 1 - "Снижение размерности"

Интерпретация АС Доп. точки в АС MCA Рубежная

КР I

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 17

RADAR Data Scientists

3 По окончанию курса

Система оценивания

По окончанию курса

Структура и содержание курса

Исследовательская компания РАДАР

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 18

Возможности построения карьеры

Предлагаемый курс является в высокой степени практическим и направлен на скорейшую возможность работать по специальности. Знания, которые слушатели получают в рамках данного курса, становятся основой карьеры в области социологических и маркетинговых исследований и маркетинга, – как на стороне исполнителя, так и на стороне заказчика, – а также в области анализа данных, математической статистики Big Data, и т.д.

КУРС «СОВРЕМЕННЫЕ МЕТОДЫ АНАЛИЗА ДАННЫХ»

Знание методов анализа данных, желание работать с данными, слайдами и людьми

Работа в исследовательской компании руководителем проектов

Менеджерские качества, желание вникать глубже в маркетинг

Предпринимательский талант Собственный бизнес

Знание методов анализа данных, желание копаться в данных, склонность к программированию

Работа в исследовательской компании обработчиком

Работа в отделе маркетинга на стороне производителя товаров или услуг

Хорошее понимание маркетинга и организационной структуры

Работа в консалтинговом агентстве

Креативность, знание медиа-показателей, понимание рекламы

Работа в рекламном агентстве

Знание экономики и финансовых показателей

Работа финансовым аналитиком

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 19

Примеры компаний, в которые можно устроиться, владея материалом предлагаемого курса

Исследовательские компании

Рекламные агентства

Производители товаров и услуг Консалтинговые

агентства

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 20

RADAR Data Scientists

4 О исследовательской компании РАДАР

Система оценивания

По окончанию курса

Структура и содержание курса

Исследовательская компания РАДАР

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 21

О компании РАДАР

НЕЗАВИСИМАЯ ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ Член ESOMAR (европейского сообщества исследователей рынка и общественного мнения)

2007 ОСНОВАНА В

ГОДУ

ВЫПУСКНИКАМИ ФАКУЛЬТЕТА СОЦИОЛОГИИ НИУ ВШЭ (ГУ-ВШЭ)

с опытом работы в компаниях COMCON, Ipsos, Masmi

СПЕЦИАЛИЗАЦИЯ

ПРИНЦИПЫ

ГЛУБОКАЯ АНАЛИТИКА

ТЕХНОЛОГИЧНОСТЬ ВИЗУАЛИЗАЦИЯ

ДАННЫХ

Исследования здоровья

и капитала бренда

Conjoint- исследования

Исследования рекламы

Исследования лояльности

клиентов

Исследования имиджа компании

в Интернете

КОМАНДА РАДАРА СЕЙЧАС 25 штатных сотрудников – социологи,

аналитики, программисты, обработчики данных

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 22

Основатели РАДАРа

МАРК ШАФИР генеральный директор преподаватель современных методов анализа данных для магистров соцфака НИУ ВШЭ (ГУ-ВШЭ)

АЛЕКСАНДР ЗЕМСКОВ исполнительный директор ведущий специалист в использовании информационных технологий для обработки и анализа данных

Почему мы решили создать «еще одну» исследовательскую компанию на российском рынке? Мы хотели создать особенную компанию – где исследования проводили бы профессионалы, не понаслышке знающие, что такое CHAID и correspondence анализ. Компанию, где проекты «не поставлены на конвейер», где каждое исследование – погружение в проблему заказчика, где выбор лучшего решения подкреплен глубокой аналитикой. На данный момент у нас работают профессиональные социологи-исследователи, в количественный отдел принимаются в основном мои бывшие студенты. Мы разработали собственную комплексную методологию анализа бренда RADAR®Nexus, которая многократно опробована на различных рынках. Мы тщательно работаем над красивой и понятной визуализацией данных в отчетах. И нам нравится то, что мы делаем.

Почему мы можем позволить себе ставить цены ниже, чем у конкурентов? Во-первых, мы – владельцы компании – являемся одновременно руководителями проектов, поэтому мы не делаем дополнительной наценки «для акционеров» на все виды работ. Во-вторых, у нас есть хорошо развитая полевая структура – свои интервьюеры, своя CATI-студия, сейчас мы активно развиваем свою Интернет-панель. Нам не надо «перезаказывать» поле. В-третьих, мы постоянно оптимизируем процессы сбора поля и обработки данных – это экономит наши ресурсы, и мы можем позволить себе работать с лучшими аналитиками и ставить адекватные цены на исследования.

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 23

История развития РАДАРа

По данным ОИРОМ, рынок маркетинговых исследований в России ежегодно растет в среднем на 15,5%.

168%

501% 175%

291%

213%

y = 131749e0,9396x R² = 0,984

2007 2008 2009 2010 2011 2012

Основание компании

Клиентская конференция, запуск первой волны RADAR

Finance®Compass

Новый офис

Своя CATI-студия Своя

интернет-панель

Запуск нового синдикативного проекта RADAR Brand®Nexus. Виртуальный портал работы с данными для всех клиентов RADAR Data®Viewer.

Но РАДАР ежегодно растет в 2-3 раза по обороту!

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 24

Ключевые сотрудники РАДАРа – из Вышки!

НИУ ВШЭ

Количественный отдел

Руководство

Качественный отдел

IT-отдел

МГУ

РГСУ

МАТИ

МГТУ Баумана

Отдел обработки

Екатерина Шафир

Марк Шафир

Александр Земсков

Юлия Исаева

Дмитрий Михайлов

Марина Жидкова

Надежда Крутий

Ирина Будашова

Алина Перцева

Дарья Ермолаева

Алексей Яковлев

Сергей Кудрявцев

Наталья Блинова

Александра Рысь

ИССЛЕДОВАТЕЛЬСКАЯ КОМПАНИЯ

R A D A R

Современные методы анализа данных – презентация 25

Контакты

Марк Шафир

Tel: +7 | 495 | 9896247

Mob: +7 | 910 | 4094939

E-mail: Mark@radar-research.ru

Вконтакте: vk.com/shaphir

Facebook: facebook.com/mark.shaphir

Skype: mark_shaphir www.radar-research.ru

Исследовательская компания РАДАР Data Scientists