Человек и робот – от управления к диалогу

Ющенко Аркадий Семенович, д.т.н., проф.МГТУ им. Н.Э.Баумана,

Научно-учебный Центр «Робототехника»

•Спасательные операции

•Борьба с проявлениями терроризма

•Мониторинг окружающей среды и объектов технической инфраструктуры

•Охрана помещений и территорий

•Медицина – диагностика, хирургия и реабилитация

•Сервисная робототехника

•Дистанционное управление роботами в космосе и под водой

При выполнении опасных и ответственных операций «интелектуальным» роботом необходимо участие

человека. Возникает Эргатическая (человеко-машинная) Робототехническая Интеллектуальная Система (ЭРИС)

Сегодня существует две ветви развития Эргатических Робототехнических Систем:

Дистанционное управление с очувствлением (виртуальная реальность)

Диалоговое (речевое)управление Совместное применение диалогового и

«очувствленного» дистанционного управления

Пример телеуправления Пример телеуправления Justin TeleoperationJustin Teleoperation

DLR Telepresence & VR Group

Это система очувчтвленного копирующего управления (Master- slave)

Application AreasApplication Areas of of Haptic InterfaceHaptic Interface

Применение систем с очувствленным интерфейсом

Экзоскелет НAL-5 с управлением от биотоков мышц

В ряде случаев непосредственное управление движениями нецелесообразно:

Экстремальные условия (пожар, техногенная катастрофа)

Космические манипуляторы Спасательные роботы Роботы для охраны помещений Мониторинг окружающей среды

Space Robot TeleoperationSpace Robot Teleoperation

Need to consider time-delay

В таких случаях необходимо использовать прямой речевой диалог.

Возможны и ситуации, когда речевой диалог дополняет сенсорный контакт человека и робота.

Робот и человек становятся равноправными партнерами процесса (кооперативное управление)

Эргатическая система с сенсорной и речевой обратной связью

Человек-оператор

Речевая команда

интерпретатор Робот- ассистент

Обработка сенсорной

информации

Планирование диалога

Речевая обратная связь

Сенсорная обратная связь

Сигналы управления

Это система кооперативного управления Master - assistant

D

UW/Seattle KUT / Korea

Internet

Haptic Serveros:IP:

Video/voice Server

os:IP:

Video/Voice Server

OS: Windows XPIP:

Haptic ServerOS: Windows XP

IP:

PHANToM Pre. 1.5A

UDP

Skype for voice

Video?

University of WashingtonSeattle/USA

Teleoperation of a surgery robot via Internet.

Jee-Hwan RyuKorea University of Technology and Education

Медицинский робот для проведения хирургических операций Da Vinci

Манипуляторы

Рабочий инструмент

Сенсоры

Пост управления

Человек-оператор

Описание внешнего мира и текущей ситуации

с помощью нечетких отношений и с использованием лингвистических переменных.

Задачи ориентации и распознавания

Естественные пространственные отношения определяются путем экспериментального анализа восприятия этих отношений человеком

(Количество значений функций принадлежностиопределяется психофизиологическим правилом Миллера 7±2 )

Шкала расстояний, оцениваемая экспертами (Поспелов Д.А.,Литвинцева Л.В., Кандрашина Е.Ю., 1989)

Функции принадлежности лингвистической переменной «расстояние»

Лингвистическая переменная dj, j = 1,2,…,M -«дистанция между объектами а и б»

j = 6- «очень очень далеко», j = 5- «очень далеко», j = 4- «далеко», j= 3- «недалеко- неблизко», j = 2 «близко», j = 1«очень близко»,

j = 0- «вплотную»(а1 dj а2) & (а1 di а3) & (j=i+1) - а2 дальше от а1, чем а3 от а1,

(а1 dj а2) & (а1 di а3) & (j=i-1) - а2 ближе к а1, чем а3(а1 dj а2) & (а1 di а3) & (j > i+1) - а2 значительно дальше от а1, чем а3

Лингвистическая переменная fi, i=1,2,…N – «направление от объекта а к объекту б»: f1 - впереди, f2- впереди слева, f3 - слева, f4 - сзади слева, f5 - сзади, f6- сзади справа, f7 - справа, f8 -

впереди справа;

Отношения, описывающие нечеткое взаимное положение объекта а2 относительно объекта а1

(a1 f2a 2) – «а2 впереди слева», (a1 f8 a2) –«а2 – впереди и справа».(a1 d4 a2)&(a1 f7 a2) = (a1 d4 f7 a2) - «а2 далеко, и справа от а1»

Нечеткие экстенсиальные пространственные отношения между объектами внешнего мира

Базовые отношения:Унарные:R1- Иметь горизонтальное положениеR2- Иметь вертикальное положениеБинарные:R3- соприкасаться, R6-быть на одной R9- иметь точку прямой, опоры R4- быть внутри, R7-быть на одной плоскостиR5- быть вне R8- быть в центре,,,…Производные отношения:⌐ R3- не соприкасаться, R10 – стоять на а2: (а1 R2) &(а1 R9 а2)=(а1 R10 а2)

Составные отношения, описывающие нечеткое взаимное положение объекта а1 относительно объекта а2(a1 R10 а2) &(a1 d4 f7 a3) – «а1 стоит на а2 далеко справа от а3»

Нечеткие интенсиальные пространственные отношения между объектами внешнего мира

Семиотическая форма описания:

<(A1 R8 S)& (Ao d5 f7 A1)>

Ao – наблюдатель,R8 – быть на поверхности, d5 – быть далеко, f7 - быть справа

Нечеткие пространственные отношения используются для формирования языка описания ситуаций

Лингвистическая форма описания

А1 стоит на поверхности S Далеко справа

Контролируемый Интенсиальное Экстенсиальное

объект отношение отношение

Ситуация эргатически наблюдаема, если оператор может по лингвистической информации, дополненной показаниями информационно-сенсорной системы составить адекватное представление о текущей ситуации.

Сегментация трехмерной сценыАлгоритм сегментации Сегментация рабочей сцены робота

Использование пространственной модели сцены позволяет провести нечеткую классификацию типовых

объектов по определенным параметрам:

Использование пространственной модели сцены позволяет провести нечеткую классификацию типовых

объектов по нечетким признакам, задаваемым оператором

• «Высота объекта»

{“Высокий”, “Средней высоты”, “Низкий”}

• «Ширина объекта»

{“Протяженный”, “Компактный”}

• «Дальность до объекта»

{“Опасная близость”, “Безопасная дальность”, “Дальняя граница зоны видимости” }

Значения лингвистических переменных определяются в соответствии с габаритами самого робота и особенностями обстановки

Принятие решения о типе объекта по совокупности признаков – по методу Мамдани

Продукционные правила для определения типа объекта по нечетким признакам

• «Блок – невысокий, компактный объект»,• «Порог – протяженный низкий объект»,• «Левый угол – высокий, либо средней высоты объект

слева от робота»,• «Правый угол – высокий, либо средней высоты

объект справа от робота», • «Стена – протяженный высокий объект в центре поля

зрения»

Володин Ю.С., Михайлов Б.Б., Ющенко А.С., 2011

Функции принадлежности нечетких множеств по высоте и по углу курса для мобильного робота зависят от

дистанции

Таким образом, функции принадлежности нечетких множеств с учетом перспективы являются

трехмерными

Рефлексивные движения мобильного робота на исполнительном уровне могут быть заданы системой правил-продукций с использованием лингвистических переменных дистанции и ориентации, в том числе:

•Подойти к стене (и остановиться)

•Двигаться параллельно кромке тротуара,…

•Проехать «в ворота»

•Объехать препятствие

•Преследовать движущийся объект

• ………………………………………..

Каждое рефлексивное движение задается системой правил-продукций, содержащихся в базе знаний робота

Команда на выполнение движений задается оператором, или верхним уровнем системы управления

Управление мобильным роботом на исполнительном уровне

Нечеткие правила принятия решения задаются оператором, исходя из опыта. Настройка параметров

обычно проводится экспериментально

Если дистанция малая и цель впереди, то двигаться медленно, прямо

Если дистанция малая и цель впереди справа,то двигаться медленно и немного поворачивать направо

………….

Если дистанция большая и цель впереди, справа, то двигаться быстро и немного поворачивать направо

Если дистанция большая и цель справа, то двигаться медленно и быстро поворачивать направо

………………………

Примеры нечетких правил движения робота- преследование объекта (вход – дистанция и ориентация, выход – линейная и угловая скорость). Дефаззификация проводится методом Мамдани

Правила поведения формулируются человеком, исходя из собственного опыта:

Рефлекторные движения мобильного робота на исполнительном уровне могут быть заданы системой правил-продукций с использованием лингвистических переменных дистанции и ориентации, в том числе:

•Подойти к объекту (и остановиться)

•Двигаться параллельно (к стене, кромке тротуара,…)

•Проехать «в ворота»

•Объехать препятствие

•Преследовать движущийся объект

• ………………………………………..

Каждое рефлекторное движение задается системой правил-продукций, содержащихся в базе знаний робота

Команда на выполнение движений задается оператором, или верхним уровнем системы управления

Описание ситуации с помощью нечетких пространственных отношений, определяет «нечеткое описание ситуации», аналогичное

её описанию человеком (согласование модели внешнего мира)

а6

а2

а5

а3

а4

а1

<a1d1f1а2>

<a2d2f2a7>

<a6d6f6a1>

а7

11

Кирпичное здание

Заводская труба

Одинокая сосна

Мобильный робот

2

<Далеко, впереди объект а2 >

По «нечеткой карте» (отношениям между а1 – а6) и наблюдаемым объектам можно вычислить нечеткое отношение к невидимому объекту а6

Ющенко А.С., 2004

<Близко, впереди и слева объект а2 >

<Близко, слева объект а6 >

Описание выполняемых роботом манипуляционных операций как допустимых преобразований на построенной нечеткой модели внешнего мира

< имя операции > < исходная ситуация > < целевая ситуация > < предусловия >< перенести объект А > < А на Б > или < А справа, рядом от наблюдателя А0 > < А стоит на поверхности S > < предусловияСитуационные: на объекте А не находится любой другой объект& требуемые для захвата объекта положение и ориентация схвата манипулятора являются допустимыми Технические: робот имеет захват, соответствующий типу объекта и его размерам & вес объекта не превышает грузоподъемности робота Объектные: объект является твердым телом и может выдержать без разрушения усилие развиваемое при захвате>

Фрейм элементарной манипуляционной операции задается на построенной выше модели внешнего мира и определяет синтаксис команд целеуказания. В слотах фрейма используются лингвистические переменные

Элементарные операции непосредственно выполняются роботом если выполнены предусловия. В противном случае формируется запрос оператору Сложная операция представляет собой цепь согласованных между собой элементарных операций: постусловия n-й операции являются предусловиями n+1-й операции

Планирование операций – это создание цепи согласованных элементарных операций, приводящих к достижению цели

S1 S2 S3 Sn

Планирование основано на методе разрешения противоречий (Магазов С.С.,2007)

.

O1 O2 On-1

Планирование элементарных операций методом разрешения противоречий (Магазов С.С.,2007)

Примеры:

(1) Цель: объект a1 на поверхности S. В действительности (по наблюдениям видео-системы)): объект a1 не находится на поверхности S .Операция: Переместить a1 на S.

Цель: (a1 R8 S) По факту: (a1 ⌐ R8 S) Переместить a1 на S.

(2) Цель: Вал a1 внутри втулки C: (a1 R2 C). По факту: (a1 ⌐ R2 C) Операция: Вставить a1 в C

(3) Целевое положение мобильного робота R по отношению к наблюдателю O есть (R d1 f1 O). Фактическое положение: (R d2 f2 O). Операция: Переместить R в положение (R d1 f1 O).

Пример задачи планирования операций

Цель операции: установить В на С2 с заданной ориентацией.

Исходная ситуация: на В С1^ на А В ^ на Б В ^ свободно А ^ свободно Б ^ не свободно В

Целевая ситуация: на В С2 ^ на Б С1 ^ на А С1 ^свободно В ^ свободно Б ^свободно А

Б А

В С1

С2

Пример, когда разрешение противоречий за одну элементарную операцию невозможно и требуется планирование операций

Условия Анализ Генерация Предусловия Анализ противоречий Генерация Предусловия Анализ противоречий i = 1 противоречий ЭО, i = 2 ЭО, i = 2 предусловий и ситуации ЭО, i= 3 ЭО, i = 3 предусловий и ситуации цели и ситуации Цель На А С1

На Б С1

Ситуация

Свободно Б

Не свободно В

На В С2

На А С1

На Б С1

Свободно А

Свободно Б

На Б В

На А В

Своб. схват ссссссхват

Свободно В

На В С1

Убрать В на С2

Убрать А на С1

Убрать Б на С1

В схвате В ВНа Б С1

В схвате А

В схвате Б

Захватить А

Захватить В

Захватить Б

Свободно В ВНа Б С1

Свободно А В ВНа Б С1

Свободно Б В схвате В ВНа Б С1

Граф, описывающий последовательное разрешение противоречий и позволяющий сформировать план

сложной операции

Ющенко А.С,, 2005

Взаимодействие оператора с роботом на уровне планирования операций

Человек-оператор

Интерпретатор команд

Робот

База рабочих операций

Проверка предусловий

База когнитивных операций

Текущие измеренияЗапросы робота

Команды (постановка целей)

Содержанием когнитивной деятельности робота является выполнение операций, направленных на получение недостающей информации о внешнем мире и о текущей ситуации.

Обучение робота с использованием технологии нейро-нечетких сетей

АСНВ – адаптивная система нечеткого вывода (ANFIS - Adaptive Neuro – Fuzzy Intelligent System)

Обучение робота «Богомол» (Институт физико-технических проблем, Москва)

сенсоры

манипулятор

движитель

Оператор управляет движением четырех гусениц робота, имеющих автономные приводы, с помощью двух 3-компонентных джойстиков (сигналы управления). Входными переменными являются параметры текущего положения робота

Адаптивная система нечеткого вывода (АСНВ – ANFIS) позволяет настроить параметры нечеткого контроллера с учетом динамики

системы по обучающей выборке или в реальном времени

D

φV

ω

Параметры функций принадлежности и «веса» p, q настраиваются методом обратного распространения ошибки

Ющенко А.С., Киселев Д.В.,Вечканов В.В., 2002

Обучение «без учителя». Метод автономного адаптивного управления ( Жданов А.А.,»Автономный

искусственный интеллект, М.,2008)

Среда

Сенсоры

Исполнит. устр.

Аппарат эмоций

Блок распознаванияситуаций

База знаний

Блок принятия решений

Метод позволяет обучать робот в полностью автономном режиме, используя принцип «подкрепления» правильных решений

Речевое управление роботом. Организация диалога

Примеры речевого управления роботом при выполнении манипуляционных

операций

Работа посвящена мобильным роботам, а примеры- толькодля манипуляционных!

Функциональная схема диалога человека и робота

Перечень функциональных модулей:- распознавание речи (получение символьного

представления акустического сигнала)- понимание речи (распознавание запроса,

планирование, ведение диалога)- синтез речи (речевой ответ)

Распознавание речи

РечьРаспознавание

запроса

Планирование и диалог

Запрос на ЕЯ

Запрос в формальном видеРеплика на ЕЯ

оператору

Синтез речи

Речевой ответ

Методы распознавания речи

Варианты постановки задач:- настройка на диктора;- количество слов;- изолированность произнесения;- шумовые условия.

Методы распознавания:

- динамическое искажение времени (ДП, АЛП);

- скрытые марковские модели (гибридизируется: VQ, гауссовские смеси, NN)

Методы моделирования языка:

- энграммы;- СММ, полученные из

грамматик;- FST;- стохастические

грамматики.

Векторы признаков и шумоподавление:

- банки фильтров (адаптивная компенсация 2 мик., вычитание стац. спектра)

- MFCC, гомоморфная фильтрация сигнала

Функциональная схема системы речевого диалогового управления

Оператор

Робот

Распознавание речи

Понимание речи

Управление диалогом

Управление диалогом

Управление роботом

Генерация ответа

Внешняя среда

Модуль планирования диалога предусматривает различные сценарии, в том числе:

•Объяснение роботом наблюдаемой ситуации в ответ на запросы оператора (этап анализа ситуации)

•Пояснение составленного роботом плана действий (этап планирования операций)

•Запросы робота по уточнению задачи, поставленной оператором с возможной коррекцией условий задачи (этап принятия решений)

•Оценка роботом достигнутых в результате операции результатов (этап предварительной оценки результатов)

•Оценка роботом собственного состояния – технических параметров и самооценка качества работы) – в ответ на запрос оператора

•Оценка роботом успешности действий оператора и косвенные запросы робота, имеющие целью определение состояния и работоспособности оператора (этап эргономической экспертизы)

Задачи модуля управления диалогом:

- реакция на события диалога;

- интеграция событий от модуля управления роботом ;

- отправка управляющих сигналов модулю управления роботом.

Разработка модуля управления диалогом-менеджер диалога на основе нечетких сетей Петри

(Жонин А.А.,2011)

Применение модифицированных сетей Петри:

- вершина (процесс или состояние)

- вершина с фишкой

- переход по событию (запросу)

- переход без жесткого условия

- ингибиторная дуга по наличию фишки

- ингибиторная дуга по отсутствию фишки

- ждущий переход

вперед, назад

стопПроцесс:движение

Fun - Функциональная подсеть

Пример применения управляющей сети Петри для организации речевого диалога «человек-робот».

RecErr

ACT

OUT

RST

Функциональная подсеть обработки ошибок распознавания речи

ACT+ ~

естьгипотеза

да нет

RST

OUT

Гипотезанадежна

Гипотеза сомнительна

Поддерживаемые сетью сценарии:- команды движения;- остановка;- начало сеанса;- запоминание оператора;- конец сеанса;- переспрос и подтверждение;- просьбы о помощи;- объяснение состояния.

Начало сеанса

RecErr

RecErr

RecErr

RecErr RecErr

RecErr

Запрос запоминания

оператора

Состояние: сеанс

управленияЗапрос: завершить

сеанс

Запрос: объяснить состояние

Запрос: движение

Запрос: стоп

Событие: беспомощное

положениеПроцесс:

запоминание оператора

Процесс: объяснение состояния

Процесс: движение

Состояние: беспомощное

положение

Событие: разрешение

ситуации

Событие: конец

запоминания

Последний штрих

Если робот поддерживает диалог, то он может быть и антропоморфным

Тогда речь должна иметь поддержку в форме выражения «лица»

Правда, в этом случае нужно моделировать и «эмоции» робота

Либо воспроизводить их по наблюдением за оператором

Речь робота целесообразно сопровождать выражением «лица», определяющим эмоциональное сопровождение речи

• Hanson Robotics • Hiroshi Ishiguro

• Около 10 моделей• 15 актуаторов в

голове, ходьба и руки

• 2 модели• 13 актуа-

торов головы

• Тело с 37 актуато-рами

Российские антропоморфные роботы (Компания Neurobotics, Москва)

• 4 действующие модели, 1 в разработке

• 15 актуаторов головы

• Силиконовая кожа, полное портретное сходство

• В глазах HD-камеры, в ушах микрофоны

• Пассивная генерация артикуляции

• Программное обеспечение:

– Распознавание голоса, контекстный поиск ответа, генератор голоса

– Определение и слежение за человеком

– Режим копирования эмоционального состояния

Использование антропоморфных роботов• Охранник для комплекса

обеспечения безопасности• Оператор стола

информации, лектор• Копия существующего или

существовавшего человека• Исследование психологии

общения человека и машины

• Телеприсутсвие человека:o На большом расстоянииo В опасных средахo Для людей с

ограниченными возможностями

54

ЗАДАЧИ НА БЛИЖАЙШУЮ ПЕРСПЕКТИВУ

•Обучение роботов путем диалога и демонстрации. Распознавание жестов. Разработка профессиональных и «естественных» языков диалога робота и человека

•Управление коллективами роботов (многоагентное управление).Создание теории многоагентных систем.

•Описание взаимодействия коллективов людей и коллективов роботов. Включение интеллектуальных роботов в социум людей. Вопросы защиты роботов от «хакерских» атак

•Автономное поведение и самообучение роботов в непредвиденных ситуациях. Комбинация предварительного обучения и самообучения

•Мультимодальные информационно-сенсорные системы и комплексирование информации. «Образное мышление» роботов. Когнитивное поведение роботов.

•Проблема понимания и взаимопонимания человека и робота – антропоцентрический подход к созданию интеллектуального уровня робота, включая «эмоциональный уровень» управления

•Психология человека и «психология» робота. Социально-психологические проблемы согласования.

Благодарю за внимание !

Наш адрес: robot@bmstu.ru

Научно-учебный Центр «Робототехника» МГТУ им. Н.Э.Баумана,

Москва, 105037, Измайловская пл., 7

Кафедра «Робототехнические системы»

Тел. 8 499 165 – 17 - 01