AI SPRING

Вторая

весна ИИ

Создание новых

моделей МО

(многослойные

нейронные сети)

Рост

производительности

(Закон Мура,

специализированные

процессоры)

Быстрое накопление

массивов данных

(интернет,

информатизация)

1940—1960: создание первых нейронных сетей

1970—1990: «зима ИИ»

1980—2000: создание алгоритмов, лежащих в основе современной «весны ИИ»

2010+ — ряд зрелищных демонстраций возможностей ИИ

2016+ — инвестиционный и медиа-бум

Задачи машинного обучения

Автоматическое управление

БиоинформатикаБиржевой

технический анализГенерация

изображенийГенерация речи

Генерация текстовКатегоризация

документовКредитный скоринг

Медицинская диагностика

Обнаружение мошенничества

Обнаружение спама

Обучение ранжированию в

информационном поиске

Подбор потенциальных

клиентов

Предсказание ухода клиентов

Принятие решений

Прогнозирование временных рядов

Распознавание жестов

Распознавание образов

Распознавание речиРаспознавание

рукописного ввода

Распознавание физической активности

Техническая диагностика

Финансовый надзор Хемоинформатика ...

Сверточные нейронные сети

Свёрточные нейронные сети — особая архитектура нейронных сетей,

предложенная американским ученым французского происхождения Яном

Лекуном, вдохновленным работами нобелевских лауреатов в области

медицины Торстеном Нильсом Визелем и Дэвидом Хьюбелом. Эти

ученые исследовали зрительную кору головного мозга кошки и

обнаружили, что существуют так называемые простые клетки, которые

особо сильно реагируют на прямые линии под разными углами и

сложные клетки, которые реагируют на движение линий в одном

направлении.

Идея сверточных нейронных сетей заключается в чередовании

сверточных слоев (C-layers), субдискретизирующих слоев (S-layers) и

наличии полносвязных (F-layers) слоев на выходе.

Ян Лекун (англ. Yann LeCun) —

французский учёный в области

информатики, основные сферы

деятельности — машинное

обучение, компьютерное

зрение, мобильная

робототехника и

вычислительная нейробиология.

НейроМОРФИЧЕСКИЕ ПРОЦЕССОРЫ

TrueNorth — нейроморфический процессор II

поколения от IBM (2014, DARPA SyNAPSE). Чип

изготовлен по техпроцессу 28 нм на заводе Samsung.

Cодержит 5,4 млрд транзисторов, что обеспечивает 1

млн эмулируемых «нейронов», 256 миллионов

эмулируемых связей между нейронами — «синапсов».

Процессор реализует в своей работе принципы

импульсной нейронной сети.

CPU

FPGA

ASIC

Фрэнк Розенблатт —

известный учёный в области

психологии, нейро-

физиологии и ИИ. В 1958—

1960 годах в Корнелльском

университете создал

вычислительную систему

«Марк-1».

Распознавание текста: MNIST

Игры: Го

Ходы 100—165 4-й

партии матча.

Фань Хуэй (р. 1981) —

го-игрок китайского

происхождения,

гражданин Франции,

трёхкратный чемпион

Европы по го.

Логотип программы

«AlphaGo».

Ходы 1—99 4-й партии

матча с Фань Хуэем.

В течение многих лет игра в го была одним из крепких

орешков для ИИ. В силу больших размеров поискового

пространства и сложности позиционной оценки классические

переборные алгоритмы были неспособны обеспечить программам

уровень игры сопоставимый с сильными игроками-людьми.

Прорыв осуществила компания Google DeepMind (британская

компания, занимающаяся искусственным интеллектом; основана в

2010 году в Лондоне под названием DeepMind Technologies, а в

2014 году приобретена Google), создавшая программу AlphaGo.

2016 год был ознаменован победой AlphaGo над сильнейшими

игроками-людьми.

Диагноз по фото

FDNA, материнская компания Face2Gene, была создана шесть лет

назад после того, как израильские соучредители продали прежнюю

компанию по производству программ по распознаванию лиц

Face.com компании Facebook. Эта программа способна различать

конкретные лица после «обучения» на нескольких изображениях

конкретного человека. Программа Face2Gene, напротив, определяет

паттерн, общий для группы людей с одним синдромом. Установление

этого общего знаменателя позволяет программе создавать составное

характерно-усреднённое изображение, соотносящееся с

заболеванием.

Когда генеральный директор Декел Гелбман (Dekel Gelbman) был

принят на работу в 2010 году, он встретился с несколькими

практикующими врачами и быстро понял, что распознавание лиц

может помочь снизить число недиагностированных заболеваний.

По оценке Face2Gene из более 7000 известных генетических

синдромов до половины связаны с особым типом лица, который

можно узнать и использовать для установления диагноза. Синдром

Дауна, например, является одним из наиболее распространённых, и

поэтому его легче диагностировать.

Распознавание речи

В октябре 2016 года команда

разработчиков из

подразделения Microsoft,

занимающегося исследованиями

в области искусственного

интеллекта (Microsoft Artificial

Intelligence and Research),

сообщила о создании системы

распознавания речи, которая

делает то же или даже меньшее

количество ошибок, чем люди,

профессионально выполняющие

эту работу. Исследователи

сообщили о том, что пословная

вероятность ошибки снизилась

до 5,9% по сравнению с 6,3%,

результатом, о котором

сообщалось ещё в прошлом

месяце.

Подписывание изображений

Машинный ПЕРЕВОД: начало

«Our cat gave birth to three kittens — two whites and one black»

— «Наш кот родил трёх котят — двух белых и одного

афроамериканца» (Promt, 2007)

«Лев Толстой» — «Lion Thick» («толстый лев»), «Lie algebra» —

«алгебра Лжи», «eccentricity vector» — «вектор

оригинальности».

1960-е: MARK, GAT, SYSTRAN

ALPAC Report (1966)

1970-е: работы группы «Статистика

речи» (Р.Г. Пиотровский) в СССР —

PROMT.

1990-е: начало эпохи статистического

перевода

Машинный перевод: State of the art

Компания Google перевела свой сервис Google Translate на

глубинное обучение. По предварительным оценкам Google,

нейросеть обеспечивает гораздо лучшее качество перевода, чем

обычные статистические методы. Перед запуском нейронной

сети, её опробовали в сложнейшей языковой паре английский —

китайский, и нейросеть сразу на 60% снизила количество ошибок

перевода.

Deep Dream

ГЕНЕРАТИВНЫЕ МОДЕЛИ

Генеративные модели

Генеративные модели

Генеративные модели

Генеративные модели

Генеративные модели

Генеративные модели

Колоризация

Программист Райан Дал создал систему для автоматической

раскраски снимков на основе сверточных нейронных сетей.

В своей работе Дал использовал такую сверточную сеть с

четырьмя слоями. Для обучения Дал использовал обычные

обесцвеченные цветные фотографии.

По словам самого разработчика, система еще далека от

идеала: например, при раскраске предметов, которые могут

быть разных цветов (скажем, автомобиля) система усредняет

цвета. В результате машины на раскрашенных фотографиях

оказываются «невероятных ярких» цветов.

Аналогичный проект разрабатывается исследователями из

Калифорнийского университета в Беркли.

Yahoo's NSFW Neural Network

WAVENET

Английский

Китайский

Тарабарский

Музыка

Архитектуры нейронных сетей

DISRUPT? DISRUPT. DISRUPT!

Клейтон Кристенсен (Clayton Christensen) —

профессор делового администрирования в

Школе бизнеса Гарвардского университета,

предприниматель и бизнес-консультант.

В своей книге «Дилемма инноватора» (1997),

впервые предложил понятие «подрывной

инновации» (disruptive innovation).

«Подрывные инновации» — инновации, которые изменяют

соотношение ценностей на рынке. При этом старые продукты

становятся неконкурентоспособными потому, что параметры,

на основе которых раньше проходила конкуренция,

становятся неважными. Кристенсен изучал причины, из-за

которых крупнейшие компании теряют свои доминирующие

позиции, когда на рынке появляются новые технологии.

DISRUPT? DISRUPT. DISRUPT!

Кривая роста для «подрывной технологии»

— в основе динамики, демонстрируемой

такой технологией, лежит преодоление

фундаментальных пределов, свойственных

лидирующей в настоящее время технологии.

Достаточно часто динамику развития той или иной

технологии характеризуют как экспоненциальную. Однако

в действительности, в силу существования

фундаментальных ограничений, реальные кривые развития

являются S-образными.

Спасибо за внимание!

Литература