11
Проблемы и проектыПроблемы и проекты
интерфейса «робот (машина) – человек»интерфейса «робот (машина) – человек»
«Сколково Роботикс», Сколково Гиперкуб, 20-22 марта 2015«Сколково Роботикс», Сколково Гиперкуб, 20-22 марта 2015
В.Е.ПавловскийВ.Е.Павловский
доктор физико-математических наук, профессор,доктор физико-математических наук, профессор,Институт прикладной математики им. М.В.Келдыша РАНИнститут прикладной математики им. М.В.Келдыша РАН
22
О содержании
1. Типовые нетипичные интерфейсы «не-keyboard»- хаптик интерфейсы- интерфейсы с преобразованием потока данных (например, зрение – тактильные данные, слух)
2. ИМК – интерфейс «Мозг – Компьютер»
3. Специфические интерфейсы современных роботов
3
1. Типовые нетипичные интерфейсы- хаптик интерфейсы
4
Примеры возможных решений:
- голосовой интерфейс
- жестовый интерфейс
- специальные интерфейсные решения (перчатки,
контакторы, трехмерные манипуляторы, и т.п.)
5
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
Робот БЕРТИ (BERTI) в Лондонском музее наук
6
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
Робот БЕРТИ (BERTI) в Лондонском музее наук
Имя Берти - это аббревиатура, образованная сокращением слов Bristol Elumotion Robotic Torso 1.
Робот пробудет в музее недолго, но за то время, что он будет пребывать в музее любой посетитель может поработать с ним, для этого необходимо надеть специальную перчатку с датчиками движения.
Робот умеет разговаривать "компьютерным голосом" и владеет несколькими жестами, правда словарный запас андроида невелик и жесты разнообразием не отличаются.
Данному роботу около двух лет от роду, его разработчиками является компания Elumotion, построившая робота в сотрудничестве с Бристольской робототехнической лабораторией. Создатели надеются, что Берти поможет им создать искусственный интеллект самого высокого уровня.
Компания работает над роботами-андроидами, с которыми можно будет легко общаться. Такие как Берти роботы могут быть полезны при создании протезов для людей, а также при выполнении опасных для жизни работ, например, саперных или работ на большой высоте.
7
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
Голосовое управление роботом университета Чень-Кунь (Тайвань)
Специалисты государственного университета Чень-Кунь (Тайвань) объявили о создании самого маленького в мире робота, управляемого голосовыми командами. Машина, рост которой составляет всего 15 сантиметров, построена на базе коммерческой гуманоидной платформы GeStream BeRobot; она имеет 16 степеней свободы, интегрированную камеру, а также программную часть, способную интерпретировать команды на нескольких языках и осуществлять несколько тысяч возможных действий.
Кроме того, предусматривается возможность не только управлять роботом в режиме реального времени, но и программировать его на выполнение последовательных действий.
8
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
Навигатор BMW с голосовым управлением
Компания BMW представила систему голосового управления для навигации в автомобиле. Как говорится в официальном пресс-релизе, с этой системой водитель будет нуждаться только в одной команде. Ожидается, что прокладка маршрута будет осуществляться при произнесении нужного адреса вслух. Параллельно с навигационной представлена также новая мультимедийная система, которая также управляется голосом. На всех новых автомобилях BMW данные системы станут доступны с конца 2009 года.
9
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
Жестовый интерфейс университета Брауна, Провиденс, США
Разработчики университета Брауна продемонстрировали возможность отдавать машине невербальные команды в любой обстановке, что обеспечивается расширением стандартного алгоритма цифровой идентификации объектов. Датчик глубины объекта был разработан при помощи инфракрасной камеры; робот, оснащенный таким модулем, постоянно анализирует внешнюю обстановку, вычленяя из всех объектов оператора и следя за его движениями, опознает отдаваемые им жестовые команды.
10
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
HAPTIC интерфейс. Компьютерная перчатка P5.
P5 состоит из двух частей - собственно перчатки (это, скорее, даже не перчатка, а накладка на руку) и базовой станции. Базовая станция включается в порт USB и не требует внешнего питания. Перчатка включается проводом в базовую станцию. На тыльной стороне "ладони" расположено 8 инфракрасных светодиодов (что характерно, цифровая камера их не "видит", хотя свет от обычного пульта ДУ она видит великолепно), которые позволяют базовой станции отслеживать перемещения руки в пространстве.
11
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
HAPTIC интерфейс. Компьютерная перчатка P5.
В базовой станции находятся две инфракрасные камеры - это позволяет более надежно следить за перчаткой и точно определять расстояние до нее. Зона видимости базовой станции составляет 45° по вертикали и горизонтали и около полутора метров в "глубину". В этом конусе P5 может отслеживать координаты руки по всем трем осям с точностью до 0.6 см (на расстоянии 60 см от базы), а также поворот и наклон ладони с точностью до 2 град. Опрос координат происходит с частотой 40 гц (задержка составляет 12 миллисекунд).
12
ЧЕЛОВЕКО-МАШИННЫЙ ИНТЕРФЕЙС В РОБОТИКЕ
HAPTIC интерфейс. Компьютерная перчатка P5.
Кроме светодиодов системы слежения в перчатке имеется пять резиновых "пальцев" с датчиками изгиба. К руке они крепятся пластиковыми кольцами и измеряют изгиб с точностью в 1.5 град. Еще на тыльной стороне перчатки имеется четыре кнопки, одна из которых - программируемая (остальные служат для калибровки, включения/выключения и переключения режимов работы). Таким образом, в терминах джойстика P5 имеет 11 аналоговых осей и одну кнопку.
13
1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных
(например, зрение – тактильные данные, слух)
14
1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных
(например, зрение – тактильные данные, слух)
Проекты Imagine Cup Microsoft
15
Проекты Imagine Cup Microsoft
a) Kinect for the Blind, МФТИ, 2011 г.
16
http://www.zoneos.com/kinectfortheblind.htm
Как работает Kinect for the Blind.
17
http://www.zoneos.com/kinectfortheblind.htm
Как работает Kinect for the Blind. Пояс информации.
18
http://www.zoneos.com/kinectfortheblind.htm
Как работает Kinect for the Blind. Тактильная матрица.
19
http://www.zoneos.com/kinectfortheblind.htm
Похожие проекты.
NAVI – Navigational Aids for the Visually Impaired
Vision Substitution
AuxDeco - Forehead Sensory Recognition
The vOICe - See with your Ears
20
1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных
(например, зрение – тактильные данные, слух)
Проекты Imagine Cup Microsoft 2012
21
1-ое место в категории «Проектирование программного обеспечения»: Проект Enable Talk (Донецк)
Команда из Украины создала проект, который позволяет переводить язык жестов в голосовые сообщения. Enable Talk состоит из пары перчаток с гибкими сенсорами, предназначенными для отслеживания сгибания пальцев, акселерометра, компаса для определения положения руки в пространстве, и гироскопа.
Таким образом, берутся данные жестов, переводятся с помощью нейронной сети и передаются через Bluetooth к мобильному телефону, который озвучивает речевую версию того, что было сказано жестами, используя Microsoft Speech API.
22
3-е место в категории «Проектирование программного обеспечения»: Проект wi-GOАвтономная магазинная тележка. Португалия.
Приз зрительских симпатий: D LabsСистема помощи детям улучшать навыки чтения (Кинект). Индия.
23
1. Типовые нетипичные интерфейсы- интерфейсы с преобразованием потока данных
(например, зрение – тактильные данные, слух)
Проекты Imagine Cup Microsoft 2014
24
Конкурс «инновации»
Победила команда [self tune] (МФТИ, г. Москва) с одноименным проектом — мобильным приложением, помогающим определить уровень стресса пользователя с помощью камеры телефона на основании отклонений пульса, а также предлагающим набор упражнений для снятия стресса..
2525
2. ИМК – интерфейс «Мозг – Компьютер»
26 Схема идеи ИМК.
27ИМК в МГУ-Сколково (кадр из фильма).
2828
3. Специфические интерфейсы современных роботов Проекты
2929
1. Детство, отрочество, юность … iCUB и NAO
3030
2. HEARBO Robot Has Superhearing
3131
3. Adam Z1 обладает интеллектом трехлетнего ребенка
3232
4. Diego-San имеет самую реалистичную мимику, МОДЕЛИРУЕТ ЭМОЦИИ(университет San Diego, США)
3333
5. Kirobo – японский робот-астронавт с мощной системой коммуникации
3434
6. Робот NICO приобретает самосознание с помощью зеркал
3535
7а. Алиса Зеленоградова, Нейроботикс, Зеленоград, Россия
3636
7б. Алиса Зеленоградова, Нейроботикс, Зеленоград, Россия
3737
8. AIDA robot. MIT-Volkswagen. USA-Germany.
38
II Всероссийский научно-практический семинар «Беспилотные транспортные средства с элементами
искусственного интеллекта»(БТС-ИИ-2015)
www.ai-uv.ruПлощадка для обмена опытом между специалистами в области
искусственного интеллекта, робототехники, беспилотных транспортных средств и др.
1-й семинар прошёл в Казани, 24 сентября 2014, и имел большой успех:
– 16 приглашенных докладчиков из ведущих НИИ и ВУЗов страны, более 150 слушателей;
– принятые доклады опубликованы в трудах 14-й национальной конференции по искусственному интеллекту (КИИ-2014) отдельной главой и доступны онлайн (2014.ai-uv.ru).
2-й семинар пройдёт в Санкт-Петербурге, 9 октября, в рамках международной конференции «ЭКСТРЕМАЛЬНАЯ РОБОТОТЕХНИКА» (ЭР-2015)
Приглашаем всех заинтересованных исследователей и разработчиков принять участие в семинаре БТС-ИИ-2015!
Контактное лицо: Константин Яковлев, [email protected]
39
4040
Спасибо за внимание