Embed Size (px)
Citation preview
Обо мне
• Основатель FlyElephant и GeeksLab
• Преподаватель в ОНПУ
Содержание• История искусственного интеллекта
• Машинное обучение: определение
• Инструменты для решения задач ML
• Классификация задач машинного обучения
• FlyElephant
История искусственного интеллекта• Появление предпосылок AI (1943 – 1955)
• Теста Тьюринга (1950)
• Рождение AI (1956) / Дартмутский семинар (Термин AI и формулировки основных задач) Его организовали Джон Маккарти (John McCarthy), Марвин Мински (Marvin Minsky), Клод Шеннон (Claude Shennon) и Натаниэль Рочестер (Nathaniel Rochester).
• Нейронные сети - (1958)
• Превращение AI в индустрию (1980 – …)
• Превращение AI в науку (1987 – …)
• Доступность больших баз данных (2001 – …)
Машинное обучение: определение
• Машинное обучение — обширный подраздел искусственного интеллекта, изучающий методы построения алгоритмов, способных обучаться.
ru.wikipedia.org
Машинное обучение: определение
• Машинное обучение — процесс, в результате которого машина (компьютер) способна показывать поведение, которое в нее не было явно заложено (запрограммировано).
A.L. Samuel
Суть машинного обученияОбучающаяся программа
Примеры данных с закономерностями
Модельзакономерности
Поиск закономерностей в новых данных
Сферы приложения• Компьютерное зрение (computer vision)
• Распознавание речи (speech recognition)
• Компьютерная лингвистика и обработка естественных языков (natural language processing)
• Медицинская диагностика
• Биоинформатика
• Техническая диагностика
• Финансовые приложения
• Информационный поиск
• …
Аппарат• Линейная алгебра
• Теория вероятностей и математическая статистика
• Методы оптимизации
• Численные методы
• Математический анализ
• Дискретная математика
• и др.
Инструменты для решения задач ML
Классификация задач машинного обучения• Дедуктивное обучение (экспертные системы)
• Индуктивное обучение (≈ статистическое обучение)
• Обучение с учителем
• Обучение без учителя
• Обучение с подкреплением (reinforcement learning)
• Активное обучение
• . . .
Дедуктивное или аналитическое обучение (экспертные системы)
• Имеются знания, сформулированные экспертом и как-то формализованные.
• Программа выводит из этих правил конкретные факты и новые правила.
Индуктивное обучение (≈ статистическое обучение)
• Обучение с учителем
• Обучение без учителя
Обучение с учителем• Обучаем машину на примерах (данные + требуемое решение)
• Алгоритм сохраняет «значение» о примерах во внутренней математической модели
• Предсказываем новые данные, используя обученную модель
Основная суть: обучая машину на исходных данных и зная ответ для этих данных, получить ответ для новых данных.
Обучение без учителя
• Загружаем в машину какой-то набор данных
• Машина может самостоятельно проанализировать загруженные данные и сгруппировать их или предложить вам набор инсайтов
Основная суть: не зная ответ совсем - получаем ответ.
Основные типы задач• Обучение с учителем
• Классификация
• Регрессия
• Обучение без учителя
• Кластеризация
• Определение выбросов
• Гибридные
• Коллаборативная фильтрация (рекомендации)
Классификация
Примеры задач классификации• Медицинская диагностика: по набору медицинских характеристик требуется поставить диагноз
• Геологоразведка: по данным зондирования почв определить наличие полезных ископаемых
• Оптическое распознавание текстов: по отсканированному изображению текста определить цепочку символов, его формирующих
• Кредитный скоринг: по анкете заемщика принять решение о выдаче/отказе кредита
• Синтез химических соединений: по параметрам химических элементов спрогнозировать свойства получаемого соединения
Регрессия
Линейная регрессияdata <- read.csv('~/git/R-Linear-Regression/rosn.txt', sep='\t')
fit <- lm(data$ROSN ~ data$BRN )
plot(data$ROSN~data$BRN, xlab="ROSN", ylab="BRN")
abline(fit)
summary(fit)http://www.algorithmist.ru/2011/04/linear-regression-with-examples-in-r.html
Примеры задач регрессии• Оценка стоимости недвижимости: по характеристике района, экологической обстановке, транспортной связности оценить стоимость жилья
• Прогноз свойств соединений: по параметрам химических элементов спрогнозировать температуру плавления, электропроводность, теплоемкость получаемого соединения
• Медицина: по постоперационным показателям оценить время заживления органа
• Кредитный скоринг: по анкете заемщика оценить величину кредитного лимита
• Инженерное дело: по техническим характеристикам автомобиля и режиму езды спрогнозировать расход топлива
Кластеризация
Примеры задач кластерного анализа• Экономическая география: по физико-географическим и экономическим показателям разбить страны мира на группы схожих по экономическому положению государств
• Финансовая сфера: по сводкам банковских операций выявить группы «подозрительных», нетипичных банков, сгуппировать остальные по степени близости проводимой стратегии
• Маркетинг: по результатам маркетинговых исследований среди множества потребителей выделить характерные группы по степени интереса к продвигаемому продукту
• Социология: по результатам социологических опросов выявить группы общественных проблем, вызывающих схожую реакцию у общества, а также характерные фокус-группы населения
Идентификация
Примеры задач идентификации• Медицинская диагностика: по набору медицинских характеристик требуется установить наличие/отсутствие конкретного заболевания
• Системы безопасности: по камерам наблюдения в подъезде идентифицировать жильца дома
• Банковское дело: определить подлинность подписи на чеке
• Обработка изображений: выделить участки с изображениями лиц на фотографии
• Искусствоведение: по характеристикам произведения (картины, музыки, текста) определить, является ли его автором тот или иной автор
Прогнозирование
Примеры задач прогнозирования• Биржевое дело: прогнозирование биржевых индексов и котировок
• Системы управления: прогноз показателей работы реактора по данным телеметрии
• Экономика: прогноз цен на недвижимость
• Демография: прогноз изменения численности различных социальных групп в конкретном ареале
• Гидрометеорология: прогноз геомагнитной активности
Извлечение знаний
Примеры задач извлечения знаний• Медицина: поиск взаимосвязей (синдромов) между различными показателями при фиксированной болезни
• Социология: определение факторов, влияющих на победу на выборах
• Генная инженерия: выявление связанных участков генома
• Научные исследования: получение новых знаний об исследуемом процессе
• Биржевое дело: определение закономерностей между различными биржевыми показателями
Онлайн курсы/лекции• https://yandexdataschool.ru/edu-process/courses/machine-learning
• https://www.coursera.org/learn/introduction-machine-learning
• https://www.coursera.org/learn/machine-learning
• https://www.youtube.com/watch?v=qLBkB4sMztk
• https://www.udacity.com/course/machine-learning-engineer-nanodegree--nd009
The Home of High Performance ComputingCompute / Manage data / Collaborate
http://www.flyelephant.net/
DEMO
Предстоящие вебинары и конференции
• Introduction to FlyElephant platform / January 22 at 16:00 (Kiev) / Webinar language - Russian.
• Introduction to FlyElephant platform / January 26 at 11:00 am ( San Francisco) / Webinar language - English.
• AI&BigData Lab / June 4 - Odessa
www.flyelephant.net100 $
127575063277
FlyElephant Beta Testing Program
http://flyelephant.net/beta/
Free access
Use new features first
To help make FlyElephant better
