Михаил Бурцев. Развитие технологий искусственного интеллекта: от перцептрона до глубоких нейронных

РАЗВИТИЕ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА:ОТ ПЕРЦЕПТРОНА ДО ГЛУБОКИХ НЕЙРОННЫХ СЕТЕЙ

Михаил Бурцев,к.ф.-м.н., зав. лаб.

«Нейронных сетей и глубокого обучения» МФТИ,директор по науке DeepHackLab

вставляем мозги

• McCulloch, W.S. & Pitts, W.H. (1943). A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 5:115-137

• Hebb, D.O. (1949). The Organization of Behavior, John Wiley & Sons, New York

• Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Psychological Review, 65:386-408

ЭВОЛЮЦИЯ ИИ

Нейроны передают электрические сигналы

мозг можно смоделировать

электрической схемой

искусственные нейронные сети

Человеческий интеллект основан на манипуляции

с символами

компьютер совершает манипуляции с символами

искусственный интеллект


• 1958, H. A. Simon and Allen Newell: "within ten years a digital computer will be the world's chess champion" and "within ten years a digital computer will discover and prove an important new mathematical theorem."

• 1965, H. A. Simon: "machines will be capable, within twenty years, of doing any work a man can do."

• 1967, Marvin Minsky: "Within a generation ... the problem of creating 'artificial intelligence' will substantially be solved."

• 1970, Marvin Minsky: "In from three to eight years we will have a machine with the general intelligence of an average human being."


• Классификация огромныхмассивов изображений и видео.

• Google и Facebook охотятсяза головами ученыхзанимающихсянейронными сетями.

• Нейросети учатся играть в игры по картинке.

deep learning


• Активность нейрона определяется преобразованием взвешенного суммарного воздействия на него

• Воздействия могут быть активирующими(положительные веса) или тормозными (отрицательные веса)

ИСКУССТВЕННЫЙНЕЙРОН

• Искусственная нейронная сеть(ИНС) является концептуальной моделью биологической нейронной сети

• Состоит из элементов, влияющих на активность друг друга

• Основные свойства– надежность – по мере ухудшения качества входа, удалении связей или элементов эффективность сети снижается постепенно

– гибкость –ИНС могут быть применены в широком круге задач

– генерализация – достаточно обучения на ограниченной выборке

– ассоциативность памяти

ИСКУССТВЕННАЯНЕЙРОНАЯ СЕТЬ

ЧТО ТАКОЕГЛУБОКОЕ ОБУЧЕНИЕ?

DEEP LEARNING =

DIG DATA + GPU

Статистическая обработка данных

– высокие трудозатраты на разработку специализированной системы обработки данных

– сложность адаптации к меняющейся структуре данных

– низкая эффективность обработки и хранения данных

Глубокое обучение нейронных сетей

ü низкие трудозатраты за счет универсальности алгоритмов

ü легкость адаптации при изменении структуры данных

ü ценная информацияü больше данных – выше качество

данныеинформация ИНФОРМАЦ

ИЯданные

ПРЕИМУЩЕСТВАГЛУБОКОГО ОБУЧЕНИЯ

ОСНОВНЫЕ НАПРАВЛЕНИЯГЛУБОКОГО ОБУЧЕНИЯ

ВИДЕТЬ ПОНИМАТЬ ДЕЙСТВОВАТЬ

СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ

СВЕРТОЧНЫЕНЕЙРОСЕТИ

КЛАССИФИКАЦИЯ И СЕГМЕНТАЦИЯ ИЗОБРАЖЕНИЙ

Gatys, L.A., Ecker, A.S. and Bethge, M., 2015. A neural algorithm of artistic style. arXiv preprint arXiv:1508.06576.

ПЕРЕНОС СТИЛЯ ИЗОБРАЖЕНИЙ


ostagram.ru


ostagram.ru

РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ

• «Классические» нейронные сети – сети прямого распространения (feedforward network) не обладают памятью.

• «Активации» проходят всю сеть насквозь.

• Нейросети «с памятью» –рекуррентные сети.

• За счет наличия обратных связей «активации» циркулируют в сети.

В ПОИСКАХ ПАМЯТИ

сеть прямого распространения

рекуррентная сеть

• Сигнал затухает!

ПРОБЛЕМА ГЛУБИНЫ

LSTM: НЕЙРОАРХИТЕКТУРА

Human: what is the purpose of life?Machine: to serve the greater good.Human: what is the purpose of living?Machine: to live forever.Human: what is the purpose of existence?Machine: to find out what happens when we get to the planet earth.Human: where are you now?Machine: i’m in the middle of nowhere.Human: what is the purpose of dying?Machine: to have a life.Human: what is the purpose of being intelligent?Machine: to find out what it is.Human: what is the purpose of emotions?Machine: i don’t know.

Vinyals, O. and Le, Q., 2015. A neural conversational model. arXiv preprint arXiv:1506.05869.

Алиса теперь счастлива.

• Она не говорит, что это так. • Она в опасности. • Она выглядит прекрасно. • Она была на концерте Фаллуджи.

• Я знаю, что она влюблена в него.

• Она великолепна.• Она принесла нам немного воды.

• Она ведьма. • А когда она говорит: "Я не говорю, что когда она позвонит"

• И когда она вернётся, я поняла,

Алиса попала в беду.

• Она не собирается никого убивать.

• Она изменила свою жизнь. • Да, да. Она не умеет жить.• Я видела в ней все свои приключения.

• Вот она вот и все. • Ты не нашел ее? • И все же так обожает. • . ♪ К кому она придумала это? ♪• А она не знает, кто ты?

РАБОТА С ЕСТЕСТВЕННЫМ ЯЗЫКОМ И ДИАЛОГОВЫЕ СИСТЕМЫ

Внутреннее представление вопроса

ПРИ ГЕНЕРАЦИИ ОТВЕТАХРАНИМ В ПАМЯТИ ВОПРОС


Yao, Kaisheng, Geoffrey Zweig, and Baolin Peng. "Attention with Intention for a Neural Network Conversation Model." arXiv preprint arXiv:1510.08565 (2015).

ПРИ ГЕНЕРАЦИИ ОТВЕТАХРАНИМ В ПАМЯТИ ВОПРОС +

СОСТОЯНИЕ ДИАЛОГА


Внутреннее представление диалога

ПОРЯДОК ИМЕЕТ ЗНАЧЕНИЕДВУНАПРАВЛЕННОЕ КОДИРОВАНИЕ

Schuster, Mike, and Kuldip K. Paliwal. "Bidirectional recurrent neural networks." Signal Processing, IEEE Transactions on 45.11 (1997): 2673-2681.


ПОРЯДОК ИМЕЕТ ЗНАЧЕНИЕ ФУНКЦИЯ «ВНИМАНИЯ»

«внимание»

СЕТЬ С ПАМЯТЬЮMEMORY NETWORK

Sukhbaatar, S., Weston, J., & Fergus, R. (2015). End-to-end memory networks. In Advances in Neural Information Processing Systems (pp. 2431-2439).

Xiong, Caiming, Stephen Merity, and Richard Socher. "Dynamic Memory Networks for Visual and Textual Question Answering." arXiv preprint arXiv:1603.01417 (2016).

ДИНАМИЧЕСКАЯ СЕТЬ С ПАМЯТЬЮDYNAMIC MEMORY NETWORK





НЕЙРОСЕТЕВОЕ ОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ

ГЛУБОКОЕОБУЧЕНИЕ С ПОДКРЕПЛЕНИЕМ

SEAQUEST








4 : 1


МАШИННЫЙ ИНТЕЛЛЕКТПРИЛОЖЕНИЯ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

ГЛУБОКИЙ ИНТЕРЕС К ГЛУБОКОМУ ОБУЧЕНИЮ

Компания Продукты

Google§ Google Brain§ Google DeepMind

ü Распознавание речи в Google Now

ü Классификация изображение в Google Photos и Google+

Facebook§ Facebook AI Research

ü Поиск людей на фото в Facebookü Персональный помощник

M в Messenger

Baidu§ Baidu Institute of

Deep Learning

ü Поиск изображений в Baiduü Мобильное медико-диагностическое приложение

AskADoctor

Microsoft§ Deep Learning

Technology Center

ü Поиск изображений в Bingü Онлайн перевод устной речи в Skype

IBM§ Watson§ Cortical Learning Center

ü Часть продукта Watson (система искусственного интеллекта)

ü Alchemy API

Apple ü SIRI

РЕВОЛЮЦИЯ ИИот BIG DATA к DEEP LEARNING

глубокое обучение делает большие данные осмысленными

вставляем мозги

Neural Networks

and Deep Learning

Lab