Обучение

Курс

Введение в IBM SPSS Modeler и data mining Вторая часть

Москва — 2015

1

СОДЕРЖАНИЕ

ГЛАВА 9. РАБОТА С ФАЙЛАМИ …………………………………………………….. 9.1 Введение ……………………………………………………………………………………. 9.2 Агрегирование данных при помощи узла Aggregate ……………….. 9.3 Реструктурирование категориальных переменных при помощи узла Set To Flag ………………..………………..………………..…………… 9.4 Объединение результатов применения узлов Aggregate и Set To Flag ………………..………………..………………..………………..………………………. 9.5 Реструктурирование данных с помощью узла Restructure ……… Упражнения ………………..………………..………………..………………..……………… ГЛАВА 10. ОТБОР ДАННЫХ ………………………………………………………….. 10.1 Введение ………………..………………..………………..………………..…………… 10.2 Использование узла Distinct для удаления дублирующихся записей ………………..………………..………………..………………..……………………… 10.3 Сортировка данных ………………..………………..………………..……………. 10.4 Операции над наблюдениями и узел Select …………………………… 10.5 Автоматическое создание узла Select ………………..…………………… 10.6 Использование узла Sample для отбора записей ………………….. 10.7 Балансировка данных ………………..………………..………………………….. 10.8 Узел Partition ………………..………………..………………..……………………… 10.9 Кэширование данных ………………..………………..………………..………… Упражнения ………………..………………..………………..………………..……………… ГЛАВА 11. СРЕДСТВА МОДЕЛИРОВАНИЯ MODELER ……………………. 11.1 Введение ………………..………………..………………..………………..…………… 11.2 Нейронные сети………………..………………..………………..………………….. 11.3 Индукция правил ………………..………………..………………..……………….. 11.4 Байесовские сети ………………..………………..………………..……………….. 11.5 Метод опорных векторов ………………..………………..…………………….. 11.6 Самообучающиеся модели отклика ………………..………………..……. 11.7 Линейная регрессия ………………..………………..………………..…………… 11.8 Логистическая регрессия ………………..………………..……………………… 11.9 Дискриминантный анализ ………………..………………..…………………… 11.10 Обобщенные линейные модели ………………..………………..………. 11.11 Регрессия Кокса ………………..………………..………………..……………….. 11.12 Кластеризация ………………..………………..………………..…………………..

4 4 5 13 19 22 27 29 29 30 33 37 41 44 53 56 62 65 67 67 68 70 72 73 75 75 76 78 79 80 81

2

11.13 Ассоциативные правила ..……………..………………..…………………….. 11.14 Обнаружение последовательностей ………………..………………….. 11.15 Анализ главных компонент ………………..………………..……………….. 11.16 Анализ временных рядов ………………..………………..………………….. 11.17 Автоматизация моделирования ………………..………………..……….. 11.18 Какой метод в каких случаях следует использовать? ………….. ГЛАВА 12. МЕТОДЫ ИНДУКЦИИ ПРАВИЛ ……………………………………. 12.1 Введение………………..………………..………………..……………………………… 12.2 Индукция правил в Modeler ………………..………………..………………… 12.3 Индукция правил с помощью C5.0 ………………..………………………… 12.4 Просмотр модели ………………..………………..………………..………………. 12.5 Генерация и исследование наборов правил ………………………….. 12.6 Определение точности модели ………………..………………..…………… 12.7 Индукция правил с использованием CHAID ……………………………. Упражнения ………………..………………..………………..………………..……………… ГЛАВА 13. АВТОМАТИЧЕСКОЕ ПОСТРОЕНИЕ МОДЕЛЕЙ ДЛЯ КАТЕГОРИАЛЬНЫХ И БИНАРНЫХ ПОКАЗАТЕЛЕЙ ……………………….. 13.1 Введение………………..………………..………………..………………..…………… 13.2 Создание флагового целевого поля ………………..………………………. 13.3 Применение Auto Classifier………………..………………..………………….. Упражнения ………………..………………..………………..………………..……………… ГЛАВА 14. АВТОМАТИЧЕСКОЕ ПОСТРОЕНИЕ МОДЕЛЕЙ ДЛЯ КОЛИЧЕСТВЕННЫХ ЦЕЛЕВЫХ ПОКАЗАТЕЛЕЙ ………………………………. 14.1 Введение………………..………………..………………..………………..…………… 14.2 Стрим автоматического построения моделей ………………………… 14.3 Применение узла Auto Numeric ………………..………………..………….. Упражнения ………………..………………..………………..………………..……………… ГЛАВА 15. АНАЛИЗ КАЧЕСТВА МОДЕЛЕЙ ……………………………………. 15.1 Введение ………………..………………..………………..………………..…………… 15.2 Оценка точности модели с помощью узла Analysis ……………….. 15.3 Взаимосвязь прогнозов с категориальными переменными …. 15.4 Взаимосвязь прогнозов с количественными переменными …. Упражнения ………………..………………..………………..………………..………………

83 84 85 85 86 88 90 90 90 93 102 109 113 128 133 135 135 136 140 152 153 153 153 156 165 167 167 168 175 181 188

3

ГЛАВА 16. СРАВНЕНИЕ И ОБЪЕДИНЕНИЕ МОДЕЛЕЙ ……………………. 16.1 Введение ………………..………………………..………………………..…………….. 16.2 Сравнение моделей с помощью узла Analysis ………………..……… 16.3 Диаграмма узла Evaluation для сравнения моделей ……………… 16.4 Объединение моделей ………………..………………………..………………… Упражнения ………………..………………………..………………………..……………….. ГЛАВА 17. ВНЕДРЕНИЕ МОДЕЛЕЙ ……………………………………………….. 17.1 Введение ………………..………………………..………………………..……………. 17.2 Внедрение модели ………………..………………………..………………………. 17.3 Экспорт результатов прогноза ………………..………………………………. 17.4 Оценка эффективности модели ………………..………………………..….. 17.5 Жизненный цикл модели ………………..………………………..…………….. 17.6 Обновление модели ………………..………………………..……………………. Упражнения ………………..………………………..………………………..……………….. ПРИЛОЖЕНИЕ А. НАСТРОЙКИ MODELER И СВОЙСТВ СТРИМА …….. А.1 Настройки Modeler ………………..………………………..………………………… А.2 Свойства стримов ………………..………………………..………………………….. ПРИЛОЖЕНИЕ Б. ВЫПОЛНЕНИЕ СИНТАКСИСА STATISTICS ИЗ MODELER ………………………………………………………………………………………. Б.1 Узел Statistics Output ………………..………………………..……………………… Б.2 Использование существующего файла синтаксиса ………………..… Б.3 Узлы Statistics Transform и Statistics Model ………………..……………. ПРИЛОЖЕНИЕ В. ЛИТЕРАТУРА ПО DATA MINING …………………………

190 190 190 194 198 208 209 209 209 215 216 219 219 221 222 222 230 234 234 237 244 245