МОДЕЛИ И КОНЦЕПЦИИ ЭВОЛЮЦИОННОЙ КИБЕРНЕТИКИ

Институт оптико-нейронных технологий РАН

www.iont.ru

Ассоциация нейроинформатики

www.ni.iont.ru

Редько Владимир Георгиевич

[email protected]

МОДЕЛИ И КОНЦЕПЦИИ ЭВОЛЮЦИОННОЙ КИБЕРНЕТИКИ

План

• Кибернетический подход к эволюции В.Ф. Турчина

• Задача моделирования когнитивной эволюции

• Направление исследований «Адаптивное поведение»

• Модель эволюции популяции адаптивных агентов

• Проект программы будущих исследований (в порядке обсуждения)

Данная презентация: www.ni.iont.ru/r.zip

Кибернетический подход к эволюции В.Ф. Турчина

В.Ф. Турчин ввел термин «Эволюционная кибернетика»

Феномен науки

В.Ф. Турчин. Феномен науки: Кибернетический подход к эволюции – М.: Наука, 1993 (1-е изд.). М.: ЭТС, 2000 (2-е изд.).

Теория метасистемных переходов В.Ф.Турчина

C

S1 S2 Sn…

Si S'=

Схема метасистемного перехода. Si - системы нижнего уровня, C - управление объединенными подсистемами, S' - система нового уровня иерархии


- Метасистемный переход: объединение ряда подсистем Si нижнего уровня и появление дополнительного механизма управления C объединенными подсистемами.

- В результате метасистемного перехода формируется система S' нового уровня (S' = C + S1 + S2 +…+ Sn), которая может быть включена как подсистема в следующий метасистемный переход.

- Перед метасистемным переходом -- количественное накопление "потенциала развития" в подсистемах Si

- После метасистемного перехода -- размножения и развития подсистем предпоследнего уровня иерархии.

- Метасистемный переход -- кибернетический аналог физического фазового перехода.


В.Ф. Турчин характеризует биологическую эволюцию следующими метасистемными переходами:

- управление положением = движение

- управление движением = раздражимость (простой рефлекс)

- управление раздражимостью = (сложный) рефлекс

- управление рефлексами = ассоциации (условный рефлекс)

- управление ассоциациями = человеческое мышление

- управление человеческим мышлением = культура

ЗАДАЧА ИССЛЕДОВАНИЯ КОГНИТИВНОЙ ЭВОЛЮЦИИ

Гносеологическая проблема

x

m d2x/dt2 = – U(x)/x

m(dx/dt)2/2 + U(x) = const

U(x)

m

?

Почему логический вывод, сделанный человеком, применим к реальному объекту в природе?

Надо разобраться, как наша логика возникла в процессе когнитивной эволюции

3 Млрд 1,5 Млрд 500 Млн 2,5 Тыс Простейшие Сложные Моллюски Человек однокле- однокле- точные точные

Логика

Условный рефлекс

Привыкание

Безусловный рефлекс

Время (лет назад)

Можем ли мы исследовать эволюционные корни нашей логики?

Математик при доказательстве теорем использует правило modus ponens: «если имеет место А, и из А следует В, то имеет место В», или

{А, A --> B} => B

После выработки условного рефлекса у собаки И.П. Павлова в памяти формируется связь «за УС должен последовать БС» (УС – условный стимул, БС – безусловный стимул), или УС --> БС. Когда собаке предъявляют УС, то она делает «логический вывод»:

{УС, УС --> БС} => БС

Методология исследований

Использовать «метод последовательных приближений».

Первое приближение -- исследовать принципы работы «интеллектуальных изобретений» эволюции, на функциональном уровне, не акцентируя особое внимание на биологической элементной базе (молекулы, нейроны,…).

Должен быть набор моделей «интеллекта» разного эволюционного уровня.

Использовать задел направления «Адаптивное поведение»

НАПРАВЛЕНИЕ ИССЛЕДОВАНИЙ «АДАПТИВНОЕ ПОВЕДЕНИЕ»

Адаптивное Поведение From Animal to Animat – модели адаптивного поведения животного и

робота Первая конференция: Париж, 1990 г. (Ж.-А. Мейер, С. Вильсон)

Основной подход – конструирование и исследование искусственных (в виде компьютерной программы или робота) "организмов" (аниматов, агентов), способных приспосабливаться к внешней среде.

ANIMAL + ROBOT = ANIMAT

Программа-минимум – исследовать архитектуры и принципы функционирования, которые позволяют животным или роботам жить и действовать в переменной внешней среде

Программа-максимум – попытаться проанализировать эволюцию когнитивных способностей животных и эволюционное происхождение интеллекта человека

Предшественники: М.Л. Цетлин, М.М. Бонгард, Д.А. Поспелов Гаазе-Рапопорт М.Г., Поспелов Д.А. От амебы до робота: модели поведения. М.: Наука, 1987, УРСС, 2004.

Адаптивное Поведение

International Society for Adaptive Behaviorhttp://www.isab.org/

Журнал Adaptive Behavior

Конференции

SIMULATION OF ADAPTIVE BEHAVIOR (SAB'06)

25-30 September 2006, Roma, Italy

Исследователи адаптивного поведения

AnimatLab (Paris)

(Париж, руководитель – один из инициаторов анимат-подхода Ж.-А. Мейер)

Широкий спектр исследований адаптивных роботов и адаптивного поведения животных.

Подход AnimatLab предполагает, что система управления анимата может формироваться и модифицироваться посредством

1) обучения,

2) индивидуального развития (онтогенеза) и

3) эволюции.

http://animatlab.lip6.fr/index.en.html


Лаборатория искусственного интеллекта в университете Цюриха (руководитель Рольф Пфейфер)

Основной подход – познание природы интеллекта путем его создания ("understanding by building").

Подход включает в себя

1) построение моделей биологических систем,

2) исследование общих принципов естественного интеллекта животных и человека,

3) использование этих принципов при конструировании роботов и других искусственных интеллектуальных систем.

Pfeifer R., Scheier C., Understanding Intelligence. MIT Press, 1999.

http://www.ifi.unizh.ch/groups/ailab/


Институт нейронаук Дж. Эдельмана (Калифорния)

http://www.nsi.edu/

Разработки поколений моделей работы мозга (Darwin I, Darwin II, …)

Исследования поведения искусственного организма NOMAD (Neurally Organized Mobile Adaptive Device), построенного на базе этих моделей

http://vesicle.nsi.edu/nomad/

NOMAD


В.А. Непомнящих. Моделирование поискового поведения животных на основе анимат-подхода

А.А. Жданов. Схемы и модели автономного адаптивного управления на базе аппарата эмоций. Накопление знаний - одна главных компонент адаптивного управления

А.И. Самарин. Самообучающиеся роботы (с 1970-х годов)

Л.А. Станкевич. Первые в России антропоморфные роботы. Нейрологические архитектуры систем управления гуманоидных роботов на базе когнитивных агентов

В.Г. Редько, М.С. Бурцев, О.П. Мосалов. Модели адаптивного поведения на базе эволюционных и нейросетевых подходов

ОТ МОДЕЛЕЙ ПОВЕДЕНИЯ К ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ

(коллективная монография, под редакцией В.Г. Редько, УРСС, 2006)Часть I. Ретроспектива

П.К. Анохин. Принципиальные вопросы общей теории функциональных системМ.М. Бонгард и сотр. Проект модели организации поведения - «Животное» М.Н. Вайцвайг, М.Н. Полякова. Об одном подходе к проблеме создания искусственного интеллектаА.И. Самарин. Мобильные роботы и самоорганизация в нейронных структурах - ретроспективный взгляд

Часть II. Современные исследованияВ.Г. Редько. From Animal to Animat - направление исследований адаптивное поведениеВ.А. Непомнящих. Модели автономного поискового поведенияВ.Ю. Рощин, А.А. Фролов. Нейросетевая модель выработки пространственной координации на основе сенсомоторного опытаД. В. Прохоров. Адаптивные критики и нейронные сетиМ.Н. Вайцвайг, М.Н. Полякова. О моделировании мышленияС.В. Корниенко, О.А. Корниенко. Искусственная самоорганизация и коллективный искусственный интеллект: на пути от индивидуума к социумуА.А. Жданов. Бионический метод автономного адаптивного управленияЛ.А. Станкевич. Когнитивный подход к управлению гуманоидными роботами

Наши модели 1. Модель эволюционного формирования

целенаправленного адаптивного поведения («Кузнечик») (М.С. Бурцев, Р.В. Гусарев, В.Г.Редько, 2000)

2. Модель эволюционного возникновения иерархии целей (развитие модели «Кузнечик»). (М.С. Бурцев, 2002)

3. Проект "Мозг Анимата". Разработка архитектур систем управления целенаправленным адаптивным поведением на базе теории функциональных систем П.К. Анохина и проекта «Животное» М.М. Бонгарда (В.Г. Редько, Д.В. Прохоров, К.В. Анохин, М.С. Бурцев, 2004)

4. Модель эволюции автономных адаптивных агентов (О.П. Мосалов, Д.В. Прохоров, В.Г. Редько, 2005)

5. Модель возникновения кооперации в популяциях адаптивных агентов (М.С. Бурцев, П.В. Турчин, 2005)

МОДЕЛЬ ЭВОЛЮЦИИ ПОПУЛЯЦИИ АДАПТИВНЫХ

АГЕНТОВ

(О.П. Мосалов, Д.В. Прохоров, В.Г. Редько, 2005)

Обучение с подкреплением

r(t)

r(t+1)

Анимат

Среда

S(t)

S(t+1)

a(t)

Цель анимата – максимизировать суммарную награду

Σk r(t+k) , получаемую за длительный период времени.

В процессе обучения анимат формирует политику (policy). Политика определяет выбор (детерминированный или вероятностный) действия в зависимости от ситуации.

Обучение с подкреплением может рассматриваться как развитие автоматной теории адаптации (М.Л. Цетлин и др.)

t = 1,2,… S(t) – текущая ситуация, a(t) – действие анимата,r(t) – подкрепление (положительное или отрицательное)

Обучение с подкреплением(Richard Sutton, Andrew Barto)

Цель анимата – максимизировать суммарную награду Σ r(t),

получаемую за длительный период времени.

Оценка награды:

U(t) = Σk γk r(t+k) , γ – дисконтный фактор, фактор забывания,

0 < γ < 1, k = 0,1,…

Теоретическая основа обучения с подкреплением (Reinforcement Learning):

Динамическое программирование

Марковские процессы

Обучение с подкреплением – самообучение, без учителя, на основе только наград и наказаний

Robot Weightlifting

Modeled as a three-link pendulum with Joint constraints Contact constraints Torque constraints

start configuration goal configuration

Michael Rosenstein, Univ of Mass

Проект "Мозг Анимата". Архитектура системы управления

аниматом на базе теории ФС П.К. Анохина

(В.Г. Редько, Д.В. Прохоров, К.В. Анохин, М.С. Бурцев, 2004)

Функциональная система по П.К. Анохину

Мотивация

Память

Эфферентные возбуждения

Обратная афферентация

Программадействия

АкцепторрезультатадействияПринятие

решения

ОА

ПАРезультатдействия

Параметрырезультата

Действие

ОА

Афферентный синтез

Архитектура системы управления анимата

Выживание вида

ФС1

ФС1.1 ФС1.2

ФС1.1.1 ФС1.1.2

ФС2

ФС2.1 ФС2.2 ФС2.3

ФС2.1.1 ФС2.1.2 ФС2.2.1 ФС2.3.1

. . .

ФС1, ФС2, … соответствуют ведущим потребностям: питание, размножение, безопасность, накопление знаний

ФС - на основе нейросетевых адаптивных критиков

Схема адаптивного критика (V-критика)

V(Spri(t+1))

V(S(t))

S(t+1)

Модель

S(t)

ai(t)

Spri(t+1)

Критик

Критик V(S(t+1))

S(t) - ситуация

Spri(t+1) - прогноз

ai(t) - i-е действие

V(S) - оценка качества ситуации S

Критик и Модель - многослойные нейронные сети, Критик показан для двух последователь-ных тактов времени

Роль Модели -- прогноз будущих ситуаций

Роль Критика -- оценка качества ситуаций

Описание модели:

Обучение + эволюция

Агенты-брокеры

Рассматриваются агенты-брокеры. Капитал агента C(t) состоит из денег и акций. Доля капитала в акциях есть u(t). Динамика капитала описывается уравнением:

С(t+1) = С(t) [1 + u(t+1) ΔX(t+1) / X(t)], (1)

где ΔX(t+1) = X(t+1) – X(t), X(t) – временной ряд курса акций, t = 1,2,…

R(t) = log C(t).

Текущее подкрепление агента r(t) есть: r(t) = R(t+1) – R(t),

r(t) = log [1 + u(t+1) ΔX(t+1) / X(t)] (2)

Предполагается, что величина u(t) принимает только два значения: u(t) = 0 (весь капитал в деньгах) или u(t) = 1 (весь капитал в акциях)

Система управления агента (обучение) Система управления – адаптивный критик, состоящий из двух нейросетей: Модель и Критик.

Модель предсказывает изменения временного ряда, Критик оценивает качество ситуаций V(S). Ситуация S(t) = {ΔX(t), u(t)}

Модель

Критик

Критик

ΔX pr(t+1)

{ΔX(t), u(t)} V(t)

{ΔX(t-m+1),…,ΔX(t)}

{ΔX pr(t+1), u} Vu pr(t+1)

V(t+1) {ΔX(t+1), u(t+1)}

Действия выбираются с помощью ε-жадного правила. Действия есть:u(t+1) = 0 – перевести весь капитал в деньги u(t+1) = 1 – перевести весь капитал в акции

V (S(t)) - оценка ожидаемого суммарного подкрепления U(t) = Σ γk r(t+k) для ситуации S(t), k = 0,1,…

Алгоритм работы V-критика1. Модель делает прогноз Spr

i(t+1)

2. Критик оценивает V (S(t)), V (Spri(t+1))

3. Применяется ε - жадное правило и выбирается действие ak:k = arg maxi{ V(Spr

i(t+1))} с вероятностью 1- ε ,k выбирается произвольно с вероятностью ε.

4. Действие ak выполняется5. Оценивается подкрепление r(t). Происходит переход к следующему такту времени t+1. Критик оценивает V (S(t+1)).

6. Оценивается ошибка временной разности

δ(t) = r(t) + γV (S(t+1)) - V (S(t)) .

7. Обучаются Модель и Критик

V (S(t)) есть оценка ожидаемого суммарного подкрепления U(t) = Σ γk r(t+k), (k = 0,1,…) для ситуации S(t), V (S(t)) – качество ситуации S(t)

Модель

Критик

Критик

ΔX pr(t+1)

{ΔX(t), u(t)} V(t)

{ΔX(t-m+1),…,ΔX(t)}

{ΔX pr(t+1), u} Vu pr(t+1)

V(t+1) {ΔX(t+1), u(t+1)}

Нейронные сети V-критика

... V(t)

u(t)

ΔX(t)

Нейронная сеть Критика

...

ΔX pr(t+1)

ΔX(t)

ΔX(t-m+1)

...

Нейронная сеть Модели

Обучение V-критикаОбучение проводится путем подстройки весов синапсов Модели и Критика градиентным методом

Обучение Модели (уточнение прогноза):

ΔWM = αM gradWM(Sprk(t+))T(S(t+)-Spr

k(t+)).

Обучение Критика (уточнение оценок качества ситуации):

ΔWC = αC δ(t) gradWС(V (t)) ,

WM , и WC - набор весов нейронных сетей Модели и Критика, αM , αC - параметры скоростей обучения.

Алгоритм работы V-критикаБлок Критик

xC = S(t) = {ΔX(t), u(t)}, yCj = th (Σ i W

Cij x

Ci), V(t) = Σ jV

Cj y

Cj .

V(t) = V(S(t)) – оценка качества ситуации S(t) .

δ(t) = r(t) + γ V(t) - V(t-1)

ΔVCi(t+1) = αC δ(t) yC

j , ΔWCij(t+1) = αC δ(t) VC

j (1 – (yCj)

2) xCi .

Блок Модель

xM = {ΔX(t-m+1),…, ΔX(t)}, yMj = th (Σ i W

Mij x

Mi), ΔXpr(t+1) = Σ j V

Mj y

Mj .

ΔXpr(t+1) – прогноз изменения цены акций

ΔVMi(t+1) = - αM (ΔXpr(t+1) – ΔX(t+1)) yM

j ,

ΔWMij(t+1) = - αM (ΔXpr(t+1) – ΔX(t+1)) VM

j (1 – (yMj)

2) xi .

Эволюция популяции агентов

Эволюционирующая популяция состоит из n агентов.

Каждый агент имеет ресурс R(t), который меняется в соответствии с получаемыми наградами r(t): R(t+1) = R(t) + r(t),

r(t) = log [1 + u(t+1) ΔX(t+1) / X(t)]. (2)

Длительность каждого поколения ng равна T тактов времени. Начальный ресурс рождающего агента равен нулю, R(T(ng-1)+1) = 0.

Начальные веса синапсов нейронных сетей агента составляют его геном G. Текущие веса W изменяются в процессе обучения.

Для вновь рождающегося агента W = G.

В конце каждого поколения находится агент, который имеет максимальный ресурс Rmax (ng). Этот наилучший агент дает n потомков, которые составляют следующее поколение. Геном потомка G отличается от генома родителя малыми мутациями.

Результаты моделирования

Схема моделирования

Рассматривается два вида временного ряда:

1) синусоида : X(t) = 0.5[1 + sin(2πt/20)] +1 ,

2) стохастический ряд:

X(t) = exp[p(t)/1200], p(t) = p(t-1) + (t-1) + k (t), (t) = (t-1) + (t),

где (t) и (t) - случайные нормальные процессы N(0,1), = 0.9, k = 0.3.

Параметры моделирования: число входов нейронной сети Модели m = 10, число нейронов в скрытом слое Модели и Критика NhM = NhC = 10, скорость обучения Модели и Критика M = C = 0.01, дисконтный фактор = 0.9. Длительность поколения T, численность популяции n, интенсивность мутаций Pmut, параметр ε в ε -жадном правиле варьировались.

Анализировались следующие случаи:

L - только обучение

E - только эволюция

LE - обучение совместно с эволюцией

Что эффективней: обучение или эволюция?

L - обучение

E - эволюция

LE – обучение совместно с эволюцией

Результаты усреднены по 1000 расчетам. Pmut = 0.1, ε = 0.05, n = 10, T = 200.

ε = 0 после ng =100 (случай LE) и ng =2000 (случай L).

LEE

L

0

1

2

3

4

5

6

7

0 100 200 300 400 500

n g (cases LE and E)

Rm

ax

0

1

2

3

4

5

6

7

0 500 1000 1500 2000 2500

n g (case L)

Rm

ax

Величина ресурса лучшего агента Rmax, получаемая после 200 временных шагов для синусоиды. ng - номер поколения

В случаях E и LE агенты находят оптимальную политику: покупать/продавать при росте/падении курса

Обучение в наших экспериментах несовершенно

Политика агента u(t) (синяя линия). Случай L. Расчет для синусоиды X(t) (красная линия) Pmut = 0.1, ε = 0.05, n = 10, T = 200.

Агент явно предпочитает держать капитал в акциях. Политика неплохая, но не оптимальная.

-0,2

0,2

0,6

1

599900 599950 600000

t

u(t)

1

1,4

1,8

X(t

)

Тем не менее, обучение помогает эволюции находить хорошую политику быстрее

Ресурс лучшего агента в популяции Rmax, случай LE, синусоида. n = 10, T = 1000, ε = 0.05, Pmut = 0.1 .

В первых поколениях неплохая политика находится путем обучения. В последних поколениях агент имеет хорошую политику с рождения. Эффект Балдвина: приобретаемые навыки становятся наследуемыми.

0

10

20

30

0 1000 2000 3000 4000 5000

t

Rm

ax

Особенности предсказания Модели

Форма предсказанной кривой правильная. Однако, предсказанные величины ΔXpr(t+1) отличаются множителем 25 от действительных ΔX(t+1).

Предсказанные ΔXpr(t+1) (синяя линия) и действительные значения ΔX (t+1) (красная линия). Случай E. Стохастический ряд; n = 10, T = 200, Pmut = 0.1, ε = 0.05.

-0,2

-0,1

0

0,1

0,2

59850 59900 59950 60000t

X

pr(t

+1)

-0,008

-0,004

0

0,004

0,008

X

(t+

1)

Практика не есть критерий истины

Предсказываемые значения могут отличаться от действительных не только величиной, но и знаком. Эти неправильные предсказания используются агентом в оптимальной

политике. Практика не есть критерий истины.

-0,3

-0,2

-0,1

0

0,1

0,2

0,3

59850 59900 59950 60000

t

X

pr(t

+1)

-0,008

-0,004

0

0,004

0,008

X

(t+

1)

Предсказанные ΔXpr(t+1) (синяя линия) и действительные значения ΔX (t+1) (красная линия). Случай LE. Стохастический ряд; n = 10, T = 200, Pmut = 0.1, ε = 0.05.

Обучение в нашем моделировании эволюционно неустойчиво. Почему?

Задача, которую «решает» эволюция (выбор действия), значительно проще, чем та задача, которую решает обучение (прогноз ситуации S, оценка качества прогнозируемых ситуаций для альтернативных действий, итеративное формирования оценок качества ситуаций V(S) и выбор действия на основе этих оценок), поэтому эволюция «задавливает» сложный механизм обучения.

Обучение в наших адаптивных критиках эволюционно нестабильно.

Эволюция модифицирует нейронные сети Модели и Критика таким образом, чтобы сделать систему управления эволюционно устойчивой.

Эволюционным путем находится поведение, подобное поведению простых животных

(есть инерционность и игнорирование мелочей)

-0.2

0.2

0.6

1

500 750 1000

t

u(t)

1.7

1.8

1.9

2

2.1

X(t

)

X(t) - курс акций (красная линия),

u(t) – доля капитала в акциях (синяя линия)

Поведение ручейников(эксперименты В.А. Непомнящих)

Ручейники строят домик. У ручейников есть две тактики поведения: 1) собрать частицы и прикреплять их к домику и 2) искать скопление крупных частиц. Переход от одной тактики к другой характеризуется инерционностью и игнорированием мелочей

Следующая версия «Мозга анимата»

Есть первичный и вторичный репертуар действий. Первичный – формируется в процессе эволюции популяции аниматов, вторичный – в процессе обучения.

Каждая ФС состоит из двух нейронных сетей: Контроллер и Модель. Контроллер предназначен для формирования действий (часть действий – передача управления другим ФС), Модель – для прогноза результатов действий.

Достоинство версии – согласованность эволюционного и индивидуального режимов адаптации. Одна из важных задач моделирования – проверить эффективность одновременного формирования цепочек действий, определяемых Контроллерами, и прогнозов результатов действия, определяемых Моделями.

Задача моделирования когнитивной эволюцииИсследовать происхождение логики, мышления,

интеллекта

3 Млрд 1,5 Млрд 500 Млн 2,5 Тыс Простейшие Сложные Моллюски Человек однокле- однокле- точные точные

Логика

Условный рефлекс

Привыкание

Безусловный рефлекс

Время (лет назад)

Контуры плана будущих исследований Разработка схем и моделей адаптивного поведения на базе

проекта «Мозг Анимата»

Исследование перехода от физического уровня обработки информации в нервной системе животных к уровню обобщенных образов, уровню понятий (аналогов слов)

Исследование процессов формирования причинной связи в памяти животных. Например, связи между условным стимулом (УС) и следующим за ним безусловным стимулом (БС). Анализ роли прогнозов в адаптивном поведении

Исследование процессов формирования логических выводов в «сознании» животных.

{УС, УС --> БС} => БС – аналог modus ponens

Исследование коммуникаций, процессов возникновения языка

Литература

Непомнящих В.А. Поиск общих принципов адаптивного поведения живых организмов и аниматов // Новости искусственного интеллекта. 2002. N. 2. С. 48-53.

Редько В.Г. Эволюция, нейронные сети, интеллект. Модели и концепции эволюционной кибернетики. М.: УРСС, 2005.

«От моделей поведения к искусственному интеллекту»(коллективная монография, под редакцией В.Г. Редько), УРСС, 2006.

Mikhail Burtsev and Peter Turchin. Evolution of cooperative strategies from first principles // Nature, 2006. V. 440, No 7087 (April 20). PP.1041-1044.

Вопросы для обсуждения1. Проблема происхождения интеллекта человека -– одна

наиболее глубоких проблем современной науки. Попробуйте назвать более глубокую проблему

2. Исследования причин происхождения естественного интеллекта могут стать научной базой для искусственного интеллекта

3. Эти исследования могут поставить эпистемологию на твердую естественнонаучную почву

4. Здесь возможно повышение престижа науки. Как произошел интеллект -- это интересно и ученому, и просто любознательному человеку

Так почему же здесь почти никто толком не работает?

Documents

МОДЕЛИ И КОНЦЕПЦИИ ЭВОЛЮЦИОННОЙ КИБЕРНЕТИКИ