Искусственные нейронные сети* для самых маленьких :)

или Заговор Математиков :(

*ИНС=ИИ

Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика, Philip D Wasserman Neural Computing. Theory and Practice. — М.: Мир, 1992. — 240 с. Пер. с англ. Ю.А.Зуева, В.А.Точенова,

Warren Sturgis McCulloch, 1943, "A Logical Calculus of the Ideas Immanent in Nervous Activity". With: Walter Pitts.

Фрэнк Розенблатт, Принципы нейродинамики. Перцептроны и теория механизмов мозга (М., 1965)

Марвин Ли Минский, Персептроны, в соавторстве с Сеймуром Папертом, MIT Press, 1969

Хайкин Саймон, Нейронные сети. Полный курс. Год выпуска: 2006. Издательство: Вильямс

p.s "Обязательное условие для изучения Искусственного Интеллекта это наличие Естественного." А.Толоконников

Спасибо за внимание!tolokonnikov.albert@gmail.com

Положение дел в области изучения Искусственного Интеллекта. Первое впечатление.

Фрагмент картины с предыдущий слайда.

Возможные стратегии поведения при изучении Искусственного Интеллекта

Ничего не понимаю, но делаю.

"Пользователь"

Делаю только то, что понимаю.

"Программист"

Ничего не делаю, но всё понимаю.

"Учёный"

Краткая история человечества

? ~3,5 млрд. лет

Одноклеточные Многоклеточные Человек

1943 - Уоррен Мак-Каллок и Уолтер Питтс формализуют понятие нейронной сети

1949 - Дональд Хебб предлагает первый алгоритм обучения.

1958 - Франк Розенблатт изобретает однослойный перцептрон.

В 1969 году Марвин Минский публикует формальное доказательство ограниченности перцептрона.

Х1

Х2

X1 * w1 + X2 * w2 + w0=NET

w1

w2

1

NET > 0 = 1

NET =< 0 = 0

Входной вектор

Порог возбуждения

Веса Сумматор

Функция активации

w0

Y

Результат

Обучение персептрона Розенблатта

1. Подать входной образ и вычислить Y.2.

a. Если выход правильный, то перейти на шаг 1;

b. Если выход неправильный и равен нулю, то добавить все входы к соответствующим им весам;

c. Если выход неправильный и равен единице, то вычесть каждый вход из соответствующего ему веса.

3. Перейти на шаг 1.

n 22n Число линейно разделимых функций

1 4 4

2 16 14

3 256 104

4 65536 1882

5 4,3х109 94572

6 1,8х1019 15 028 134

1974 — Пол Дж. Вербос и А. И. Галушкин одновременно изобретают алгоритм обратного распространения ошибки для обучения многослойных перцептронов. 1982 — Джон Хопфилд показал, что нейронная сеть

с обратными связями может представлять собой систему, минимизирующую энергию.

Тейво Калеви Кохонен представлены модели сети, обучающейся без учителя (Нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных.

1986 — Дэвидом И. Румельхартом, Дж. Е. Хинтоном и Рональдом Дж. Вильямсом и независимо и одновременно С. И. Барцевым и В. А. Охониным (Красноярская группа) переоткрыт и существенно развит метод обратного распространения ошибки. Начался взрыв интереса к обучаемым нейронным сетям.

Вычислительные проблемы:

Паралич сети Локальный "плохой" минимум

Время сходимости

Хорошие новости из 1956-го

Российский математик, академик А. Н. Колмогоров

"Можно получить любую непрерывную функцию n переменных с помощью операций сложения, умножения и суперпозиции из непрерывных функций одного переменного."

Вывод - Нейронные сети это универсальные аппроксимирующие устройства и могут с любой точностью имитировать любой непрерывный автомат.

Рекламная пауза.Пчела, с помощью "танца", сообщает другим пчёлам угол между направлением на солнце и направлением на источник нектара. При этом если между источником и ульем будет высокий холм, то пчёлы, получившие информацию, полетят вокруг холма, чтобы сэкономить энергию.Каким образом они при этом вычисляют месторасположение источника пока не понятно.

Экспериментально выяснено, что муравьи могут сообщать друг другу о расположении корма используя счёт до десяти. При этом если есть возможность сообщить логически вычисляемую цифру, например 3-ой от конца вместо 7-ой от начала, то они сообщат цифру которая требует меньших вычислительных способностей. Как и когда они сообщают эту информацию друг другу пока не понятно.

Сети Хопфильда.

Ассоциативная память Двунаправленная ассоциативная память

Пример

Нейронные сети Кохонена

Адаптивная резонансная теория

Самое интересное.

● Оптические, искусственные, нейронные сети.

● Квантовые, искусственные, нейронные сети.

● Генетический коннективизм.

p.s "Обязательное условие для изучения Искусственного Интеллекта это наличие Естественного." А.Толоконников

Спасибо за внимание!tolokonnikov.albert@gmail.com