36
Прикладное машинное обучение обучаем машины для службы людям ООО «Экспасофт»

Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Embed Size (px)

Citation preview

Page 1: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Прикладное машинное обучениеобучаем машины для службы людям

ООО «Экспасофт»

Page 2: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

2010 - …ООО "Экспасофт"ООО "Исследовательские системы"

ЭКСПАСОФТ

1999 - 2003Выпускники НГУ(к.ф.-м.н.)

2003 - 2011ИМ СО РАН, лаборатория анализа данных

История создания

2015 - …Лаборатория аналитики потоковых данных и машинного обучения НГУ

Page 3: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Оптимальные решения

Команда

Евгений Павловскийк.ф.-м.н. по математической логике, управление проектами, бизнес анализ, заведующий лабораторией машинного обучения

Владимир Дюбановинтеллектуальный анализ данных, 4 место на Data Mining Cup-2009, 20+ проектов по машинному обучению, 30+ публикаций

18 сотрудников, 4 к.ф.-м.н., аспиранты, магистранты НГУ

Команда

Page 4: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Клиенты

Page 5: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Анализ данныхклассификация, кластеризация, скоринг, прогнозирование, восстановление данных

Курсы по BigDataсбор данных, постановка задач, основные технологии решения, проверка результатов

Глубинное обучениераспознавание изображений, звуковых (речевых) сигналов, сейсмических сигналов

Направления

Page 6: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Анализ данныхклассификация, кластеризация, скоринг, прогнозирование, восстановление данных

Курсы по BigDataсбор данных, постановка задач, основные технологии решения, проверка результатов

Глубинное обучениераспознавание изображений, звуковых (речевых) сигналов, сейсмических сигналов

Направления

Page 7: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Методология CRISP-DM Уникальная научная база Лаборатория машинного обучения

Анализ данных и машинное обучение

Page 8: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

−Понимание целей−Понимание данных

−Подготовка данных

−Моделирование−Оценка−Внедрение

Методология CRISP-DM

Page 9: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Поиск ошибок списания

Анализ актов списания расходных материалов и медикаментовВыделение нетипичных актов списания

Нетипичный – существенно отличающийся от всего виденного ранее. Степень существенности отличия однозначно определяется вариативностью данных.

Акты списания

Модуль поиска100% 10%

Page 10: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

HR аналитика

результативность

вероятность ухода

результативность первых

месяцев работыпоказатели на

обучении

90%

Page 11: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Эффективность рекламы

Билборды

Интернет

? ???

Page 12: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Таргетирование

объем продаж

магазинов 4812

жанров книг 1864

0-2300

618 команд

164 организации

42 страны

4 место

ошибка < 1

Page 13: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Прогнозирование потока посетителей

Page 14: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Персонализациярост конверсии

сегментация аудитории

совместный анализ

обучение с подкреплением

персональные предложения

Page 15: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Прогнозирование операционных осложнений

Модель: признак/вес Результат (распознано верно, %)

«Креатин»/6, «Сахарный диабет»/6, «Моч»/3, «Инсульт слева»/2

Осложнение: 94.55%Норма: 19.68%

«Т/м»/5, «Анестезия»/4, «Контр оккл»/3, «Сахарный диабет»/2, «ФВ»/1,«Контр стеноз»/1, «Виллизиев круг»/1

Осложнение: 91.95%Норма: 33.96%

«Виллизиев круг»/9, «ФВ»/7,«Контр оккл»/6, «Анестезия»/2, «КСО»/2,«Пат извитость сосудов»/1

Осложнение: 82.84%Норма: 49.20%

050

100

050

100

050

100

Page 16: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Прогнозирование отказа оборудования

3 месяца

температура

давление

сила токанапряжени

е

Page 17: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Фракционный состав смеси

сепаратор% газа

% нефти

% воды

показания датчиков

показания датчиков

показания датчиков

калибровка

смесь

Page 18: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Управление ресурсами

«стоимость» запросов

потребление ресурсов каждым

вебсайтом

объем трафика

появление«сверхновых»

оптимальное размещение сайтов по вычислительным

узлам

выявить для узла прогнозировать для вебсайта

рассчитать для кластера

Page 19: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Скоринговые модели

соц.-дем. данные

кредитная историяоплата

телефона/интернетаонлайн анкетирование

вероятность дефолтавероятност

ь просрочки

объем штрафов

максимизация прибыли

снижение рисков

Page 20: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Спектральный анализ

Page 21: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Анализ данныхклассификация, кластеризация, скоринг, прогнозирование, восстановление данных

Курсы по BigDataсбор данных, постановка задач, основные технологии решения, проверка результатов

Глубинное обучениераспознавание изображений, звуковых (речевых) сигналов, сейсмических сигналов

Направления

Page 22: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Распознавание изображений Распознавание звуков Машинное чтение текстов

Глубинное обучение

https://expasoft.com/services/

Page 23: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Распознавание лиц

ВерификацияТочность на LWF = 98%

=

ИдентификацияТочность на LFW = 86%

Aaron Peirsol

Abdel Nasser

Aaron Eckhart

Page 24: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Распознавание пола и возраста

Page 25: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Распознавание документов

Page 26: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Детектирование людей и автомобилей

Page 27: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Блокировка порнографии

60 000

60 000

30 000

98%

2%

Page 28: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

5 сек.

20 сек.

MOBIO Database

77.0%

96.2%

deep learning

ТЕХНОЛОГИЯ

FRiSАУТЕНТИФИКАЦИЯ3

TEXT

Page 29: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Распознавание звуковых событийплач

лай

сирена

Page 30: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Восстановление модели черепа

Page 31: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Извлечение фактов из текстов

Page 32: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Автоматизация создания онтологий

извлечение фактов

воссоздание иерархии

Page 33: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

GPU

Мобильные нейронные сети

$2 000

387,6 Вт

270×100×35 мм

детектирование пешеходов

3,5 Вт

23×23 мм

72%детектирование лиц 91%

Обработка видео в режиме реального времени

78%95%

ARM

$50

Page 34: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

Анализ данныхклассификация, кластеризация, скоринг, прогнозирование, восстановление данных

Курсы по Big Dataсбор данных, постановка задач, основные технологии решения, проверка результатов

Глубинное обучениераспознавание изображений, звуковых (речевых) сигналов, сейсмических сигналов

Направления

Page 35: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

BA Кейсы Проектный цикл

Бизнес-задачи

Бизнес-модели

ML Алгоритмы Модели Критерии Техники

SE Python SciPy NumPy OWL

Tools

MapReduce Tableau TextMinin

gGreenPlu

m

Dat

a Sc

ient

ist

CIO

Бизнес-аналитик,

дата-аналитик

Разработчик

DBA

Курсы по анализу больших данных

Page 36: Обучаем машины для службы людям - прикладное машинное обучение и интеллектуальный анализ больших

ОБУЧЕНИЕ BIG DATA

ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

ПРОГНОЗНЫЕ МОДЕЛИ

РАЗУМНЫЕ ТЕХНОЛОГИИ