О ПРЕДСТАВЛЕНИИ НЕПРЕРЫВНЫХ ВЕЛИЧИН В МНОГОНЕЙРОННЫХ

СИСТЕМАХ

В.Л. Дунин-Барковский Отдел нейроинформатики

Центра оптико-нейронных технологий,Научно-исследовательский институт системных исследований РАН, Москва

Доклад на семинаре«ПРОБЛЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА», Москва, Политехнический музей, 20 января 2011 г.

wldbar@gmail.com

1

2

Основной тезис моего сообщения:Человеческий мозг – это очень просто. Единственная причина, по которой мы не понимаем, как мозг работает,-этим никто всерьёз не занимается. Команда из 20 профессионалов в состоянии представить полную схему работы мозга за 2-3 года.После того, лет за пять, максимум, можно будет создатьполностью функциональную технологическую модель мозга, обладающую разумом не хуже человеческого.

К сожалению, команду из 20 профессионалов на сегодняшнийдень организовать нереально. Сейчас в мире на эту проблемутратятся довольно значительные ресурсы, но это – муравейникодиночек. Сколько лет этот муравейник будет копошиться,пока проблема не будет решена, предсказать трудно. Может быть, лет двадцать. Кстати, это может значить и НИКОГДА,поскольку за 20 лет могут произойти события, которыерешение «проблемы разума» может и не допустить, а они, всвою очередь, точно исключают решение этой проблемы.

3

Несмотря на как бы нереальность желания «собрать команду» для «атаки на разум», я всё-таки оптимист и одна из причин того, что я здесь выступаю, - надежда найти-таки способ заняться реальным решением этой задачи. Надежда на то, что кто-то из слушателей подскажет, что делать.

В содержательной части выступления я покажу, почему «проблема разума» представляется сравнительно простой.

Заодно, это будет рассказ об относительно свежих результатах в отрасли науки, которой я занимаюсь с 1961 года.

4

Нейронауки и нейроинформатика

Ежегодные съезды американского Society for Neuroscience собирают сейчас около 30 000

участников. А общее число ежегодных конференций и научных журналов по нейронаукам очень велико. Возможно, нейронауки составляют

до 10% современной фундаментальной науки.

В нашей стране, сейчас даже относительный объём нейронаук сильно меньше, чем в развитых странах. По абсолютному уровню мы сильно уступаем таким, например, странам, как Венгрия, Чехия, Финляндия.

Нейроинформатика – это термин, который в разных контекстах понимается немного по-разному. Я буду употреблять его в том смысле, в котором когда-то употреблялся термин «нейрокибернетика» (~~~).

5

Нейронауки

В мировой нейронауке доля русскоговорящих – около 2% и ни одного мирового лидера «из наших»

В нейроинформатике, в частности, в одном из важнейших её разделов – COMPUTATIONAL NEUROSCIENCE (Вычислительные Нейроисследования) доля русскоговорящих существенно выше (точных цифр не знаю). Во всяком случае, в десятку официальных лидеров COMPUTATIONAL NEUROSCIENCE входят не меньше двух «русских»

6

INCF (established in 2001)International Neuroinformatics Coordination Facility

Межправительственная Комиссия при ОЭСР (OECD) по координации в нейроинформатике

РАСНИ (основана в 1991 г.)Российская Ассоциация Нейроинформтаки

7

8

function snail1tspan=[0 24000];%tspan=0:0.02:3500;y0=[-40; 0.01; 0.01; 0.015; 0.9; 0.136; 0; 0.999; 0; 0; 0.386; 0; 0; 0.075; 0.089; 0.094; 0];% v(0)=-40 NaPm(0)=0.01 NaPh(0)=0.01 m(0)=.015 h(0)=.9 n(0)=0.136 Nm(0)=0 Nh(0)=0.999% Pm(0)=0 Tm(0)=0.00 Th(0)=0.386 SKz(0)=0.00 BKz(0)=0.00 Am(0)=0.075 Ah(0)=0.089% Hm(0)=0.094 Ca(0)=0.0

options=odeset('OutputSel', [1],'RelTol',1e-6);%ode15s(@pravaya,tspan, y0,options);%ode23t(@pravaya,tspan, y0,options);%ode23tb(@pravaya,tspan, y0,options);

figure;[t,y]=ode15s(@pravaya,tspan, y0,options);plot(t,y(:,1));

% Parameters% Note: current (nA), voltage (mV), conductances (uS), time (msec), calcium (mM), cap (nF)

function dydt = pravaya(t,y)

v=y(1);NaPm=y(2);NaPh=y(3);m=y(4);h=y(5);n=y(6);Nm=y(7);Nh=y(8);Pm=y(9);Tm=y(10);Th=y(11);SKz=y(12);BKz=y(13);Am=y(14);Ah=y(15);Hm=y(16);Ca=y(17);

% I_NaP (Persistant Channel) v1=3;v2=5;vNaPm=-30;vNaPh=-45;gNaP_=0.1;tauhNaP=150;

taumNaP=150;ENa=60;

NaPminf=1/(1+exp(-(v-vNaPm)/v1));NaPhinf=1/(1+exp((v-vNaPh)/v2));

gNaP=gNaP_*NaPm*NaPh;iNaP=gNaP*(v-ENa);

dNaPmdt = (NaPminf-NaPm)/taumNaP;dNaPhdt = (NaPhinf-NaPh)/tauhNaP;

% Regular I_Na Channel taumNa=0.1;tauhNa=2;gNa_=0;minf=1/(1+exp(-(v+46)/4));hinf=1/(1+exp((v+54)/4));gNa=gNa_*m*m*m*h;iNa=gNa*(v-ENa);

dmdt=(minf-m)/taumNa;dhdt=(hinf-h)/tauhNa;

% I_K tauK=5;gK_=0;EK=-75;

ninf=1.0/(1.0+exp(-(v-20)/20));taun=tauK;gK=gK_*n*n*n*n;iK=gK*(v-EK);

dndt=(ninf-n)/taun;

% I_leak gl_=0.0064;El=-50;il=gl_*(v-El);

% I_N Vm=-18;Vh=-32;taumN=0.8;tauhN=15;gN_=0.09;ECa=45;

Nminf=1/(1+exp(-(v-Vm)/3));Nhinf=1/(1+exp((v-Vh)/3));gN=gN_*Nm*Nh;iN=gN*(v-ECa);

dNmdt=(Nminf-Nm)/taumN;dNhdt=(Nhinf-Nh)/tauhN;

% I_P taumP=10;%!!!!!!!!gP_=0.0;

Pminf=1/(1+exp(-(v-10)/3));gP=gP_*Pm;iP=gP*(v-ECa);

dPmdt = (Pminf-Pm)/taumP;

% I_T gT_=0.0;

Tminf=1/(1+exp((v+38)/(-5)));Thinf=1/(1+exp((v+70.1)/7));taumT=5/(exp((v+28)/25)+exp(-(v+28)/70))+2;tauhT=20/(exp((v+70)/65)+exp(-(v+70)/65))+1;gT=gT_*Tm*Th;iT=gT*(v-ECa);

dTmdt = (Tminf-Tm)/taumT;dThdt=(Thinf-Th)/tauhT;

% I_SKSKhalf=0.008;tauzSK=50;gSK_=0.046;

SKzinf=Ca*Ca/(Ca*Ca+SKhalf*SKhalf);gSK=gSK_*SKz*SKz;iSK=gSK*(v-EK);

dSKzdt=(SKzinf-SKz)/tauzSK;

% I_BKEBK0=20;EBK1=-50;BKhalf=0.01;tauzBK=20;gBK_=0.0;

EBK=EBK0+EBK1*Ca*Ca/(Ca*Ca+BKhalf*BKhalf);BKzinf=1/(1+exp(-(v-EBK)/5));gBK=gBK_*BKz;iBK=gBK*(v-EK);

dBKzdt=(BKzinf-BKz)/tauzBK;

% I_A - K currenttaumA=1;tauhA=20;gA_=0;

Aminf = 1/(1+exp(-(v+20)/10));Ahinf=1/(1+exp((v+70)/10));gA=gA_*Am*Ah;iA=gA*(v-EK);

dAmdt=(Aminf-Am)/taumA;dAhdt=(Ahinf-Ah)/tauhA;

% I_H - hyperpolarization currentgH_=0;EH=-38.8;

Hminf=1/(1+exp((v+79.8)/5.3));taumH=475/(exp((v+70)/11)+exp(-(v+70)/11))+50;gH=gH_*Hm;iH=gH*(v-EH);

dHmdt=(Hminf-Hm)/taumH;

% iCa - sum of Ca currents%iCa=iN+iP+iT;iCa = iN+iP;

% Ca concentration [Ca++]ik1=-0.0005;k2=0.0024;

dCadt = k1*iCa-k2*Ca;

% STIMULATIONiamp=0.1;ton=6000;toff=9000;

iStim=iamp*(((t-ton)>=0)-((t-toff)>=0));

% iOut - sum of K currents%iOut=iK+iSK+iA+iBKiOut=iSK+iBK;

% Total Current% iTot=iNa+iK+il+iN+iP+iT+iSK+iH+iA+iNaP-iStimiTot=il+iNaP+iOut+iCa-iStim;

% Main Equation Cm=0.05;

dvdt=-iTot/Cm;

dydt = [dvdt dNaPmdt dNaPhdt dmdt dhdt dndt dNmdt dNhdt dPmdt dTmdt dThdt dSKzdt dBKzdt dAmdt dAhdt dHmdt dCadt];

Прежде всего я хочу сказать, что это была замечательно

качественная сессия. И я сам многое почерпнул,

прослушав эти доклады. Я только хотел бы, чтобы то, о чем говорил профессор В.Л. Дунин-Барковский, было бы

представлено более подробно.  9

Речь пойдёт о методах и механизмах представлении непрерывно изменяющихся величин в нейронных системах.

Один из таких механизмов известен давно – частотный код. В отдельных рецепторах величина воздействия преобразуется в частоту нервных импульсов.

Проблемы с кодированием возникли из-за того, что рецепторов, то есть элементов, воспринимающих внешний мир , слишком много.

Часть из них, например рецепторы натяжения мышц работают «в параллель», измеряя по существу одно и то же. Для таких систем уже довольно давно получены важные результаты. Но не о них будет речь в докладе.

Чаще всего, работа многих нервных элементов коррелированна, но далеко не идентична.

10

11

Первая идея о том, как нервная система может поступать в подобных случаях принадлежит Тейво Кохонену.Эта идея описана во многих статьях и книгах как парадигма Кохонена или система самоорганизующихся карт.

Суть идеи состоит в том, что с помощью довольно простых правил обучения (правил формирования межнейронных связей) строится топологически корректное отображение сигналов в пространстве рецепторов на некоторые специфические нейронные цепочки.

Метод оказался полезным для многих практических приложений. Единственный недостаток этого метода с точки зрения теоретической нейрофизиологии в том, что таких нервных цепочек, которые нужны Кохонену в нервных системах нет.

Альтернативой этим цепочкам как раз и являются бугорковые аттракторы, или как их называет Е. Rolls «Нейронные сети с непрерывным аттрактором (CANN) .

12

Похоже, что впервые эти объекты описаны в работе Н.Б. Осовец и моей, опубликованной (и, по счастью, лично рассказанной великому нейротеоретику современности Джону Джозефу Хопфилду) в 1995 г.

Эта конструкция стала популярной в последнее время под названием «Бугорковые аттракторы» – Bump attractors . Вот несколько ссылок на работы последних лет:

13

14

15

Тот факт, что эти аттракторы чуть ли не впервые описаны в наших работах прошлых лет, cтал понятен (мне лично) совсем недавно. Популярность же этого явления объясняется тем, что в последние годы были обнаружены признаки наличия этих аттракторов в работе реальных нервных систем.

Я расскажу о том, что такое эти аттракторы и о практических следствиях того, как именно эти бугорковые аттракторы и другие важные свойства нейронных систем были открыты.

16

17

18

Princeton, New Jersey, USA, April 12, 2010. The 49-th Annivesary of the

Gagarin’s Flight

19

20

21

22

23

24ГИПЕР

ГИПЕР

25

26

27

28

29

НЕ кольца: «Змея в ящике»

Определение кода, т.е. набора состояний (векторов) типа «Змея в ящике».

31

32[Dunin-Barkowski, Osovets, 1995]

33

[Dunin-Barkowski, Osovets, 1995]

34

[Dunin-Barkowski, Osovets, 1995]

В симметричной сети «бугорки» представляют устойчивые состояния, а в асимметричной – динамику активности сети.

Почему «бугорковый»? В интервалах времени за N/4 тактов до моментов «2» и «3» в данной нумерации

нейронов активность выглядит как бугорок:

36

37

До сих пор речь шла только об одномерных бугорковых аттракторах. По аналогии с ними могут быть построены двумерные, трёхмерные и т.д. олигомерные аттракторы. Размерность аттрактора должна быть малой по сравнению с числом нейронов сети, обладающей данным аттрактором.

Аккомодация нейронов в бугорковых аттракторах с размерностью, превышающей единицу, вызывает блуждание активности в пределах аттрактора. В одномерном аттракторе динамичность, обусловленная аккомодацией, вызывает движение в одном из двух возможных направлений. В двух-, трёх- и т.д. измерениях направлений дрейфа активности – континуум.

Любопытно отметить, что дрейф состояния сети под влиянием аккомодации в случае многомерного аттрактора очень похож на интроспективное наблюдение за ходом собственной мысли.

Бугорковые аттракторы и соотношение аналоговых и цифровых компонент в нейронных вычислениях

Одномерные бугорковые аттракторы (БА) удобны для отображения числовой оси, то есть для представления чисел в нейронной сети. БА, полученные в сетях с асимметричным правилом пластичности могут представлять числа только динамически. БА, полученные за счёт симметричной пластичности, способны представлять числа и в статике, и в динамике. При отображении отрезка числовой оси на конечные множества с одномерной топологией (в частности, одномерный БА) одним из самых важных является вопрос о «кванте представления», или, дополнительный к этому, вопрос о динамическом диапазоне представляемых чисел. В простейшем случае – вопрос о «числе чисел» в представлении, то есть вопрос о числе различимых дискретных значений. В компьютерах имеющиеся ресурсы для представления чисел используются исчерпывающим образом. Ячейка размером n бит используется для представления 2n значений чисел. 38

39

Такую предельную эффективность использования вычислительных объектов естественно назвать цифровой. Другая крайность – аналоговое представление состоит в том, что каждый вычислительный объект представляет конкретное число, как бы выступает физическим аналогом абстрактного числа. При аналоговом представлении n вычислительных объектов представляют не более n чисел. Уже в нашем первом примере бугоркового аттрактора [Дунин-Барковский, 1984] число использованных состояний нейронной сети составляло около 2х n, то есть было существенно выше аналогового нижнего предела. Из общих соображений ясно и было обнаружено в вычислительных экспериментах, что с ростом числа нейронов сети легче получить относительно большее число различимых элементов аттрактора. Так, в сети из 256 нейронов, легко можно было записать 5 полных колец активности (5х n различимых элементов), в то время как в сети из 30 нейронов больше 2-х полных колец записать не удаётся.

40

Таким образом, бугорковые аттракторы представляют природный гибрид аналогового и цифрового представления информации в информационно-вычислительных системах.

Важной и интересной является задача поиска методов идентификации конкретных бугорковых аттракторов в реальных физиологических нейронных системах. Вероятно, может помочь при этом метод визуализации многомерных динамических данных – Л-картирование (L-plots) [Dunin-Barkowski et al., 2010].

41

Постановка задачи поиска «Кода разума» Существуют разные точки зрения на проблему того, когда и как будет достигнуто достаточно полное понимание механизмов мозга. Пессимисты говорят о будущих веках, оптимисты ожидают получение решения в ближайшие годы. Я приведу аргументы оптимистов.

Исторические аргументы На протяжении жизни присутствующих произошло немало великих событий. Например, в 1957-м году мне было 15 лет, и я прекрасно помню в начале 1957-го года статью в журнале «Техника-моложёжи» о том, что близка космическая эра. Не пройдёт, мол, и 50-100 лет и человечество выйдет в космос.

42

О том, что событие то произойдёт прямо в том же, 1957-м году и речи не было… Так что 4 октября 1957-го года пришло совершенно неожиданно (и совершенно таким же сюрпризом был полёт Гагарина в 1961-м году).

Предшествующим выходу человека в космос безусловно великим событием была публикация в 1953 г. в журнале Nature Уотсона и Крика о двойной спирали ДНК. Разумеется, я не читал Nature в 1953 году. Но я помню некоторый ажиотаж в средствах массовой информации в 1960 году по поводу того, что нашлись сумасшедшие, которые думают, что они могут

расшифровать код жизни – то есть понять, как мать-природа записывает структуру белков с помощью последовательности нуклеотидов. Совершенно немыслимо было представить себе, что за каких-то пять лет, уже в 1965 году, работа будет сделана. А триумф молекулярной биологии, начавшийся в то время, продолжается и сейчас. Так что поиски кода жизни были отнюдь не напрасны и исследователи, провозгласившие тогда великие цели, не были сумасшедшими…

43

44

Субъективные обстоятельства

…12 апреля 2010 г. (49-я годовщина полёта Гагарина) Джон Джозеф Хопфилд принял меня в своём офисе почётного профессора Принстонского университета. Мы обсуждали состояние дел в нашей с ним сфере науки – понимании мозга. Хопфилд напомнил мне, что сверхпроводимость была обнаружена в 1913 году. Однако, до 1927 г. (рождение квантовой механики) не было никаких шансов понять физические причины этого явления. И даже и после того, понимание механизмов сверхпроводимости начало приходить постепенно, с 1951 г. в теории Гинзбурга и Ландау и последующих работ… Сейчас есть много признаков того, что мы начинаем понимать отдельные, четко выделяемые механизмы работы мозга. Я бы предложил несколько расплывчатый, но полезный термин «код разума» в качестве общего названия для множества элементарных информационных или динамических операций, выполняемых в мозге, которые коллективно обеспечивают нас тем, что называется разум.

45

Идентификация полного набора элементов кода разума представляется одной из важнейших актуальных задач современной науки. Я рискнул высказать Хопфилду предположение, что решение этой задачи будет получено в течение трёх лет. Отсчёт времени начат 12 апреля 2010 года. Хотя я бы не удивился, если бы результат был получен к 12 апреля 2011 г. Разумеется наша задача формулируется гораздо более туманно, чем упомянутая выше задача поиска кода жизни (они знали, что имеется в точности 64 триплета нуклеотидов!). Однако, имеются серьёзные шансы на то, что проблема имеет решение. Уже сейчас мы можем назвать конкретные элементы кода разума. Бугорковые аттракторы заведомо являются таким элементом или, скорее, семейством элементов (В принципе, существует несколько достаточно чётко различимых форм бугорковых аттракторов (БА). Например, кроме одномерных, возможны двух- трёх- и вообще олигомерные формы БА).

Очень предварительный, начальный список элементов кода разума может включать следующие конкретные механизмы или группы механизмов мозга: 1. Персептроны (во многих формах). 2. Коллатеральные сети Девида Марра [Marr, 1971], которые с 1982 года называют сетями Хопфилда, в честь функции энергии Хопфилда, которая полезна при анализе таких сетей. 3. Генераторы центральных программ (Central Pattern Generators or CPG) [Grillner, 2008]. 4. Операция выявления множественного равенства (“Many Are Equal” or MAE), существование которого было предположено Хопфилдом [Hopfield, Brody 2000/2001]. Эта операция относится к широкому классу операций, связанных с поимпульсной синхронизацией нейронов, работающих с близкими частотами. 5. Стохастический резонанс. Многие нейронные конструкции нуждаются для функционирования в оптимальной (очень во многих случаях существенно не нулевой) величине случайного шума. 6. Бугорковые аттракторы, как описано выше. …список далеко не полный и может/должен быть продолжен… 46

47

Дополнительные субъективные обстоятельства. Следует отметить ещё одно обстоятельство. Не вызывает сомнений тот факт, что до сих пор наиболее успешными нейротеоретиками были Девид Марр и Джон Хопфилд. Период работы Марра в области нейросетевых механизмов был очень коротким (1969-1971) и необычайно продуктивным. Хопфилд подключился к исследованиям операций в мозге уже в зрелом возрасте и начал с «переоткрытия» коллатеральной сети Марра, обнаружив, правда, рядом с этой конструкцией эффективный аналитический «энергетический» подход, вытекающий из его профессиональной работы в физике твёрдого тела. Новые элементы реального понимания реальных механизмов мозга пришли к нему позже, когда он, не последовав примеру своих последователей в построении аналитических теорий «нейромагнетиков», стал искать простые вопросы относительно работы нейронных систем и получать простые естественные ответы на них.

Естественно отметить две общие черты, которые, возможно, были среди определяющих компонент, «ответственных» за успех этих исследователей. Первое – это эффект новичка: успеха достигли молодой, не отягощённый избытком знаний Девид Марр и специалист в совершенно посторонней для мозга области науки Джон Хопфилд. И второе (которое, быть может явилось следствием первого) – смелость задаваться любыми разумными вопросами относительно работы мозга и серьёзно искать ответ на поставленные вопросы. Я бы рискнул сказать, что достигнутый этими исследователями прогресс является скорее следствием того, что сама задача выявления механизмов мозга не сложна, надо только перестать её бояться. И ещё одно обстоятельство. Изначальное понимание «двойной спирали» пришло к Уотсону и Крику в процессе манипуляций с проволочными моделями нуклеотидов, из которых они поняли, что длины парных комбинаций нуклеотидов А-Г и Т-Ц одинаковы. Именно это обстоятельство позволило объяснить рентгенограмму кристаллов ДНК. А уже вслед за этим пришло понимание механизма репликации ДНК и задача поиска кода жизни. 48

49

Нетрудно видеть, что детальный «теоретический» анализ проблем сущности жизни, предпринятый незадолго до открытия Уотсона и Крика Шредингером (в книге «Что такое жизнь с точки зрения физики»), оказался продуктивным только в одном отношении: и Уотсон, и Крик, и многие другие пионеры молекулярной биологии восприняли книгу Шредингера как призыв заняться самой важной, самой актуальной проблемой науки того времени.

Начало понимания бугорковых аттракторов пришло примерно в таких же, как у Уотсона и Крика, упражнениях с простыми объектами («бумажно-проволочная» модель нейронной сети). Не исключено, что и дальнейший поиск элементов кода разума должен быть «не слишком заумным» и быть безбоязненно нацеленным на достаточно быстрое и полное понимание механизмов мозга.

50

Моё выступление, кажется, звучит как призыв отказаться от математики в поисках механизмов работы мозга.

На самом деле, я не совсем это имел в виду. Для тех же самых бугорковых аттракторов существует очень сложная математическая проблема оптимальной упаковки олигомерного многообразия в пространстве состояний нейронной сети. Задачи такого рода известны в теории кодирования сигналов, и отличаются очень большой сложностью, и требуют сложной и очень объёмной вычислительной работы.

Единственное, к чему действительно хотелось бы призвать – это к смелости постановки задач и максимальной кооперативности в проблемах поиска решения наших задач.

А их решение, похоже, уже «совсем не за горами».

СПАСИБО ЗА ВНИМАНИЕ!