17
Вертикальная интеграция вычислительных архитектур: проблема медиатора © Yehor Churilov 2016

Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Embed Size (px)

Citation preview

Page 1: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Вертикальная интеграция вычислительных архитектур: проблема медиатора

© Yehor Churilov 2016

Page 2: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Формулировки

1. Проблема архитектурного медиатораМежду разнообразиями состояний сенсорного уровня сознания и высших когнитивных функций существует масштабный разрыв, который не может быть эффективно закрыт только взаимодействием между двумя архитектурными слоями и требует введения концептуально самостоятельного архитектурного слоя.

2. Проблема высоты интеграционной платформыПовышение мощности когнитивной способности требует повышения уровня интегрированости архитектур

Page 3: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Немного матчасти

Символьный подход (SA)• Оперирует чётко раздёленными

информационными объектами – символами• Операции: формальный

логический вывод, одни знаки из других• Выводится из языка или хорошо

коррелирует с ним• Независим от носителя и

времени

Коннекционистский подход (CA)• Знание - распределённое

состоянии сети• Операции: самоорганизация

сети, динамика глобальных состояний• Хорошо соотносится с

аппаратом восприятия и соответствующими задачами• Зависим от носителя и от

времени (embodiment)

Сейчас существуют два доминирующих подхода к представлению знания и построению ИИ: 1) символьный или когнитивистский против 2) эмерджентного или коннекционистского*.

Page 4: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Причины и мотивы гибридизациив искусственных системах

Мотивы

1. Компенсировать текущие или принципиальные недостатки отдельных подходов

2. Уменьшить совокупную сложность3. «Переиспользование кода» - уменьшение

затрат на теорию и имплементацию4. Биологическая адекватность5. Управлять большим разнообразием

символьных репрезентаций, чем позволяют чисто символьные архитектуры

6. Лучше понимать когнитивные системы, чем позволяют чисто коннекционистские архитектуры

7. Достичь функциональной целостности, необходимость в которой понимается осознанно или интуитивно

Причины

1. Изначально нехолистичный подход к исследованию и реализации когнитивных систем (психология/cognitive science vs нейробиология)

2. Неустранимые ограничения в знании и понимании мозга и сознания, соответственно – доступность только частных представлений и реализаций

3. Неравномерное развитие исследований и технологий

4. Изначальное доминирование логицистических представлений, символьного подхода

5. Нехватка вычислительных и/или организационных мощностей для реализации

Page 5: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Классификация гибридных систем*a) Unified hybrid systems - использования чисто

коннекционистских систем для реализации в том числе символьных моделей. Ранние эксперименты с локалистскими представлениями, “radical connectionism” [Dorffner 1996]

b) Transformational hybrid systems, они же unified systems – отдельно сетка отдельно символьный процессор, между ними транспорт данных. “Function-replacing” [Goonatilake and Khebbal 1995].Федерирование систем, в терминах ISO 14258

c) Modular hybrid systems – сложное взаимодействие модулей с различными архитектурами, с обратными связями между ними

* Согласно McGarry K. et al - Hybrid Neural Systems. From Simple Coupling to Fully Integrated Neural Networks, 1999.

Page 6: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Для организма любая когнитивная функция целостна в плане исполнения. «Гибридов» нет*

* Такое определение зависит от рамок системы и качества различения. Для локальных целей данного изложения вводится противопоставление «негибридной» естественной и «гибридных» искусственных систем.

Page 7: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Вертикальная интеграция в случае когнитивных систем

Верхний уровень

Средний уровень

Нижний Уровень

«Вертикальная» ось – это ось различения уровней абстракции состояний, от большого разнообразия сигналов или действий внизу, до малого разнообразия необходимых целевых результатов вверху.

«Горизонтальная» ось – это ось совмещения компонентов одного операционного масштаба.

Количество уровней скорее прагматический выбор и зависит от необходимости и возможности управлять процессом преобразования сигналов. Каждый уровень обозначает совокупность операций некоторого порядка, имеющие близкий жизненный цикл, сходного масштаба данные и пр.

Вертикально интегрированная система – это целостная реализация некой когнитивной функции «снизу доверху».В гибридных системах такая диспозиция существует по факту, но концептуально не определяется.

North

South

Page 8: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Символьныеархитектуры

Медиаторы?

Коннекционистскиеархитектуры

Символьные архитектуры оперируют наиболее обобщёнными состояниями: символами, взятыми из языка или формальных систем.

Нейросети могут иметь дело с большим разнообразием, аналогично перцептивному аппарату животных и человека.

Гибридные системы объединяют эти подходы каким-то образом. (В EntArch нет концепции «гибридов», есть south-bound architectures, north-bound architectures, enterprise bus. Бизнес понимается лучше?)

«Медиаторы» здесь выделены, но в современной науке и инженерии никак особым образом не оформляются. По факту, state-of-the-art это двухуровневая архитектура. См. дальше.

Вертикальная интеграция в случае когнитивных систем

Высшие представления и функции

Первичные восприятия

Page 9: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Полная модель вертикально-интегрированной архитектуры

СимвольныеархитектурыМедиаторы?

Коннекционистскиеархитектуры

Направление уменьшения разнообразия

Системы «чисто на нейросетях»

CA машина человек

«Чисто» символьные системы

SA машиначеловек

тут провал

features conceptsobjectsraw data

Расширив границы когнитивной системы, получим целостный архитектурный инвариант с отдельными делегируемыми частями, различными в той или иной реализации

Гибридные системы SA машинаCA машина smth

Page 10: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Тезисы о целостной архитектуре1. Необходимость воплощения. Приближение уровня когнитивной способности

искусственного агента к уровню человека требует воплощения (embodiment) ИА в среде с эффективным разнообразием, сравнимым со средой человеческого социума в некоторой сумме

2. Доминирование коннекционизма. Необходимость интенсивной вычислительной работы с высочайшим уровнем разнообразия состояний ведёт к тому, что коннекционистский подход будет превалировать. ANN – это частный случай коннекционистской вычислительной модели

3. Неустранимость символьного подхода. Человек мыслит символами, потому для человеко-машинного взаимодействия символьные архитектуры не могут быть исключены из стека. BCI тут помогут только отчасти, т.к. передача распределённых состояний не исключает и не отключает рацио, нуждающегося в символам

4. Наличие масштабного разрыва. Символьные архитектуры стремятся оперировать разнообразием O(mind), тогда как коннекционистские архитектуры стремятся к пределу O(brain). Очевидно, что O(mind) << O(brain), и это указывает на наличие масштабного разрыва.

5. Необходимость архитектурного медиатора. Увеличение когнитивной способности вертикально интегрированных архитектур потребует введения как минимум ещё одного концептуально-обособленного уровня управления разнообразием, который закроет этот масштабный разрыв.

Page 11: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

К формулировке проблемвертикальной интеграции

Mind здесь понимается в терминах логического позитивизма, как процессор языка

Brain – в терминах физикализма, как 4D-макрообъект, состоящий из объективно регистрируемых пространственных элементов и физических состояний

Понятия и обозначающие их элементы языка появляются, как результат многократного и целесообразного обобщения большого количества перцептивных микросостояний – конструирования макропозиций из микропозиций.А также через абстрагирование – целесообразное устранение нерелевантных частей спектра.

В результате этого процесса сигнальное разнообразие уменьшается на многие порядки, что и выражает формула O(mind) << O(brain)

Развитие символьных или коннекционистских архитектур для сокращения масштабного разрыва упирается в необходимость введения в модели конструктов, не укладывающихся в ту или иную парадигму. Их непротиворечивое введение будет связано с концептуальными компромиссами, а их невведение застопорит разработку.

4. Наличие масштабного разрыва. Символьные архитектуры стремятся оперировать разнообразием O(mind), тогда как коннекционистские архитектуры стремятся к пределу O(brain) Очевидно, что O(mind) << O(brain), и это указывает на наличие масштабного разрыва.

Page 12: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

1. Проблема архитектурного медиатора

Между разнообразиями состояний сенсорного уровня сознания и высших когнитивных функций существует масштабный разрыв, который не может быть эффективно закрыт только взаимодействием между двумя архитектурными слоями и требует введения концептуально самостоятельного архитектурного слоя.

Символьныеархитектуры

Коннекционистскиеархитектуры

Архитектурныймедиатор

Page 13: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Enterprise Architectures

Images: http://www.simcrest.com/blog/BlogEntry/35

Эволюция

Вызовы1. Увеличение количества исходных данных, средств и

способов представления, обработки, доставки, количества производителей…

2. Усложнение связности3. Проблемы управляемости…

“Business Logic Tier” – инфраструктурный элемент, не видный «снаружи» системы. Данные снизу, решения сверху. Но он несёт на себе всё больше нагрузки.

В стеке целостной когнитивной системы этот элемент сейчас концептуально не оформлен.

Page 14: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Что такое «интеграция»?Интеграция (в терминах ISO 14258) это форма взаимодействия систем, когда они обмениваются экземплярами сущностей из одной исполняемой модели или концептуальной схемы, без трансформаций и дополнительных интерфейсных усилий. Интегрированность означает общность вычислительной платформы до какого-то уровня в стеке. Для современных гибридных систем это уровень структур вычислительной среды или языка программирования, на котором они реализованы.

System 1 System 2Common Data Model

h

Page 15: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

2. Проблема высоты интеграционной платформы

Повышение мощности когнитивной способности требует повышения уровня интегрированости архитектур

Символьныеархитектуры

Коннекционистскиеархитектуры

Архитектурныймедиатор

Коннекционистскиеархитектуры

Символьныевычисления

Архитектурныймедиатор

Коннекционистскиепредставления

Репрезентационныймедиатор

Символьныепредставления

?

Транспозиция

модульной интеграции в

репрезентационную

мод

ульн

ая и

нтег

раци

я

Page 16: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Подход к решению

Две фазы

1. Решение проблемы архитектурного медиатора через введение концептуально самостоятельного уровня представления. Основной элемент – многомасштабный паттерн внимания, связывающий первичные обобщения коннекционистских репрезентаций с высокогенерализованными категориями, онтологическими элементами символьных репрезентаций.

2. Облегчение проблемы высоты интеграционной платформы через унификацию вычислений на метаконнекционистском основании. «Радикальный коннекционизм» - использование хорошо масштабируемых распределённых представлений для реализации всего спектра операций. Но, возможно, не ANN, а сетей более высоких порядков, где элементами выступят более сложные вычислительные органоиды.

Page 17: Вертикальная интеграция вычислительных архитектур - Проблема медиатора

Спасибо!Егор Чурилов, Минск

[email protected]