[Skolkovo Robotics V] Современное состояние и перспективы развития технологий технического зрения робототехнических

Современное состояние и перспективы развития технологий

технического зренияробототехнических комплексов

Визильтер Юрий Валентинович, д.ф.-м.н., проф. РАН,

начальник подразделения ФГУП «ГосНИИАС»,

руководитель рабочей группы «Техническое зрение»

Экспертного совета Национального центра развития

технологий и базовых элементов робототехники

Москва, SKOLKOVO ROBOITICS, 21.04.2017

Содержание

Национальный центр развития технологийи базовых элементов робототехники (НЦ), Экспертный совет (ЭС) НЦ,Рабочая группа «Техническое зрение» ЭС НЦ

Современное состояние и перспективы развития технологии зрения роботов

Национальный центр развития технологий и базовых элементов

робототехники (НЦ),Экспертный совет (ЭС) НЦ,

Рабочая группа «Техническое зрение»

(По материалам заседаний ЭС НЦ и РРГ СТЗ)

Национальный центр развития технологий и базовых элементов робототехники

Образец 1 Образец 2 … Образец N

Интегральна

я

оценка

энергетика РТК; Экспертнаяоценка

Экспертнаяоценка …

Экспертнаяоценка


средства связи; Экспертнаяоценка




системы навигации и наведения;





датчики, привода и манипуляторы





системы технического зрения;





бортовые вычислители;





системы и пункты управления





Н

А

Ц

И

О

Н

А

Л

Ь

Н

Ы

Й

Ц

Е

Н

Т

Р

Подготовка

предложений в

проекты

документов по

прогнозу и

планированию

развития

РТК ВН и СН

Уточнение

направлений

развития

ключевых

технологий и

базовых

элементов

робототехники

ТЕХНОЛОГИЯ

РТКЭ

К

С

П

Е

Р

Т

Н

Ы

Й

С

О

В

Е

Т

СОВЕТ ГОЛОВНЫХ РАЗРАБОТЧИКОВ

ОСНОВНЫЕ ВОПРОСЫ ТРЕБУЮЩИЕ ВНИМАНИЯ ЭС НЦ

* По итогам обсуждений в рамках XI ВНПК «Перспективные системы и задачи управления (г.Евпатория ,4-8 апреля 2016г.)»

Определение потребности ВС РФ в РТК военного, специального и двойного назначения

2.ТЕХНОЛОГИИ

Направления развития технологий робототехники

Стандартизация и унификация компонентов РТК, технологий их проектирования и испытаний

ПЕРСПЕКТИВНЫЕ РТК

НОВОГО ПОКОЛЕНИЯ3.СТАНДАРТИЗАЦИЯ УНИФИКАЦИЯ

Слайды: ПШИХОПОВ ВЯЧЕСЛАВ ХАСАНОВИЧДиректор НИИ робототехники и процессов управления ЮФУ, Председатель ЭС НЦ

Функции Экспертного совета НЦ

ОСНОВНЫЕ ФУНКЦИИ


экспертных

заключений

по результатам исследований, испытаний, интеллектуальной деятельности и конструкторских разработок;

по проектам документов стратегического планирования; по инновационным научно- техническим идеям, передовым конструкторским и

технологическим решениям.

Участие в

подготовке и

анализе

предложений по основным направлениям и перечню приоритетных работ развития ключевых технологий производства РТК с учетом мнения заказчиков и мировых тенденций развития роботостроения;

предложений ФОИВ по формированию перечней базовых и критических военных, специальных и промышленных технологий в части РТК.

Анализ и

систематиза-

ция

результатов выполнения важнейших НИР, ОКР, технологических работ,направленных на решение задач разработки и производства РТК

Экспертиза

концепций, программ, проектов по формированию технических требований к перспективным РТК, реализации приоритетных работ по развитию ключевых технологий производства РТК;


предложений

по формированию номенклатуры унифицируемых модулей РТК и технологий их производства;

совершенствованию системы стандартизации РТК и их базовых элементов; по прогнозу и планированию развития РТК ВН и СН, включая ГПВ и ГП развития

ОПК в части робототехники.

Технологические составляющие РТКи структура Экспертного совета Национального центра

РГ СТЗ и смежные рабочие группы

Структура Экспертного совета Национального центра

Рабочая группа ЭС НС Руководитель

Бортовые вычислители.Трушкин Константин Александрович Директор по маркетингу ПАО

«Институт электронных управляющих машин им. И.С. Брука»

Навигация.Муравьев Алексей Борисович; Руководитель сектора, начальник отделения

ЗАО «КБ НАВИС»

Полезная нагрузка и

испытания.

Шарапов Олег Юрьевич; Зам. начальника аварийно-спасательного

формирования – начальник отдела оперативного реагирования

Всероссийского НИИ им. Н.Л.Духова

Приводы и манипуляторы.Сычков Владислав Борисович Исполнительный директор ПАО «НПО

«Андроидная техника»

Системы и пункты

управления.

Сыроежко Аркадий Аркадьевич; Директор Дирекции по управлению

программами развития роботизированных БП систем АО «Концерн

радиостроения «Вега»

Связь и передача данных.Гугалов Константин Геннадьевич; Генеральный директор ООО «ИТЦ

«Профессиональные Радио Системы»

Техническое зрение.Визильтер Юрий Валентинович Начальник подразделения ФГУП

«Государственный НИИ авиационных систем»

Энергетика. Попов Виталий Александрович; Начальник СКТБ-2 ОАО «Сатурн»

Экспертиза программно-

плановых документов.

Баранник Александр Юрьевич; Зам. начальника научно-исследовательского

центра «Развития техники и технологий» НИИ по проблемам ГО и ЧС МЧС

Председатель ЭС НЦ: Пшихопов Вячеслав Хасанович, Директор НИИ робототехники и процессов управления ЮФУЗам. председателя ЭС НЦ: Визильтер Ю.В., ГосНИИАС

Расширенная рабочая группа«Техническое зрение»

ОАО «НПО «Орион»ОАО «ГОИ им. С.И. Вавилова»ОАО «Красногорский завод им. С.А. Зверева»ОАО «НИИ «Полюс» им. М.Ф. Стельмаха»ОАО «Швабе-Технологическая лаборатория»ОАО «Швабе-Исследования»ОАО «Швабе-Приборы»ОАО «Швабе-Фотосистемы» ЦНИИ «Электрон»ЗАО «Светлана-Рост»ОАО «Оптрон»ОАО «НПП «Пульсар»МГТУ им. Н.Э. БауманаМАИОАО «НКБ ВС» ИПМТ ДВО РАНИКИ РАН

ОАО «ГРПЗ»ИПМ им. М.В. Келдыша РАНИСА РАНОАО «РПКБ»ИСОИ РАНСГАУЗАО «КРОК инкорпорейтед»ОАО "ВИСТ Групп“ООО «Техэкоплазма»МЦСТ «Эльбрус»ОАО «Институт электронных управляющих машин им. И.С. Брука»ООО «ПСИ», ОАО «НПО «ГИПО»ЦНИИ РТКЮЗГУ

ФГУП «ГосНИИАС», ОАО «ЦНИИ «Циклон»

Перечень организаций и предприятий, участвовавших в разработке подпрограммы «Приоритетных работ по развитию ключевой технологии технического зрения для создания робототехнических комплексов нового поколения» на 2015 - 2030 годы

Облик изделияили подсистемы,технические решения

Несистемный подход к разработке

Функции Характеристики

Новоеоборудование

Логика работы

Новое ПО

Новые алгоритмы

Состави структура

Готовые комплектующие

Интерфейсы

Технические требования

Заказчик РазработчикПрежние наработки +Творческое видение

Системный подход к разработке РТК и их подсистем


Назначение

Логикаприменения

Сопряженные комплексы и

системы



Новое ПО


Возможность унификации с другими РТК

Информационное обеспечение

Метрологическоеобеспечение

Программы иметодики

испытаний

Необходимость создания

Зарубежныеаналоги

Актуальныехарактеристики

Достижимыехарактеристики

Прежние разработки

Достижимаяфункциональность

Доступные АО/ПОкомплектующие

Перспективныетехнологии




Системный подход к разработке РТК и их подсистем





системы



Новое ПО






испытаний












Необходимые средства поддержки системного подхода





системы



Новое ПО






испытаний












БД техническойинформации

БД научнойинформации

БД специальнойинформации

Средства операционногомоделирования

БД информацион-ного обеспечения

Стендовая и испытательная базаБанк доступных комплектующих

Задачи и элементы среды поддержки разработки РТКразработки РТК





системы



Новое ПО






испытаний












БД техническойинформации

БД научнойинформации

БД специальнойинформации

Средства операционногомоделирования

БД информацион-ного обеспечения

Стендовая и испытательная базаБанк доступных комплектующих

Системная работа по формированию и наполнениюБД технической информации

Системная работа по формированию и наполнениюБД научной информации

Системная работа по моделированию применения РТК

Системная работа по наполнению БД

Системная работа по информационному обеспечению

Системная работа по сбору и тестированию комплектующих

Системная работа по формированию исходных данных

Системная работапо экспертизе качества выполняемых разработок

Системная работапо выявлению потребностей в новых разработках

Системная работа по стендам и полигонам

Анализ состояния и перспектив развития ключевой технологии

«Техническое зрение»

(По материалам ранее разработанной подпрограммы «Приоритетных работ по развитию ключевой технологии

технического зрения для создания робототехнических комплексов нового поколения» на 2015 - 2030 годы)

Водные

РТК

Наземные

РТК

Предметная область СТЗ РТК

СТЗ РТК Функции и системы

Датчики

Пассивные

Активные

КомплексыДРФП

ЛЛ РЛ

ТВ УФ

ИК

ДФП

БазовыефункцииСТЗ РТК

БЛА,КЛА

Автономная навигация

ATR / Понимание сцены

Улучшенное видение

Распределенный сенсор

- модульная архитектура АО и ПО

- интерфейсы передачи 2D и 3D данных

- информационное обеспечение, включая геоинформацию, эталоны и 3D модели

объектов/целей, базы данных и знаний

- средства математического и полунатурного моделирования

СТЗ – совокупность средств, обеспечивающих РТК оперативными 2D и 3D сведениями о текущем состоянии окружающей среды

Техн. элементы

СТЗ РТК. Жизненный циклРазработка

элементов,

оптики и

сенсоров

Разработка

процессоров,

модулей,

устройств

обработки

Разработка

методов,

алгоритмов,

программного

обеспечения

Создание

информа-

ционного

обеспечения

Математическое

и полунатурное

моделирование,

стендовая

отработка

Летные и

наземные

эксперименты,

летная

отработка

Навигация по 2D и 3D данным в естественной и искусственной среде

Обнаружение и распознавание объектов/целей, понимание динамических сцен

Комплексирование информации от 2D и 3D активных и пассивных датчиков РФП

Обеспечение режима «распределенный сенсор»

Специализированные автоматические функции: зависание,

посадка, сопровождение… / манипулирование объектами

Улучшенное и синтезированное видение для дистанионно-управляемых РТК

СТЗ РТК

Наземные

РТК

Функции и системы

Датчики

Пассивные

Активные


ЛЛ РЛ

ТВ УФ

ИК

ДФП


БЛА,КЛА

Микро и мини

Средние

Дальние

Группы

РТК МО

РТК МЧС

Промышленные

ТС без водителя

Автономная навигацияATR / Понимание сцены



Водные

РТК

Что ограничивает функциональные возможностиСТЗ РТК? (Результаты анализа-2010)

Вывод-2010:основной сдерживающий

фактор создания автономных

систем управления с

использованием изображений -

отставание развития

алгоритмического

обеспечения от прогресса

датчиков и вычислителей

• Сигнальные процессоры

• ПЛИСы

• специальные архитектуры.

Датчики изображения (тенденции развития)

Высокое разрешение

Высокая частота кадров

Малый размер

Интеллектуальные камеры

Технические предпосылки прогресса

Совершенствование оборудования для

получения цифровых изображений

Прогресс в области аппаратных средств

обработки изображений

Средства обработки изображений

Желтов С.Ю., Визильтер Ю.В. Проблемы технического зрения в современных авиационных системах, ТЗСУ-2010, ИКИ РАН, 16 марта 2010 г.

Рост быстродействия процессоров

Наземные

РТК

Датчики

Пассивные

Активные


ЛЛ РЛ

ТВ УФ

ИК

ДФП


БЛА,КЛА


Средние

Дальние

Группы

РТК МО

РТК МЧС







Водные

РТК

СТЗ РТК

Импортные вычислители обеспечивают все необходимые характеристики для решения задач технического зрения.Отечественные вычислители уже приближаются к ним.Многие алгоритмы анализа видео реализуются на телефонах!

Датчики

Импортные датчики обеспечивают все необходимые характеристики для решения задач технического зрения.Отечественные пассивные датчики отстают из-за проблем с ФПУ, но отдельные достижения, технологии и перспективы есть. Отечественные датчики РЛ 3, 8 мм и ЛЛ –только создаются.

Вычислители

Основная проблема – импортозамещениепринципиальных ограничений функциональных возможностей нет

Датчики и вычислители-2017Состояние предметной области СТЗ РТК

СТЗ РТК

Наземные

РТК

Функции и системы

Датчики

Пассивные

Активные


ЛЛ РЛ

ТВ УФ

ИК

ДФП


БЛА,КЛА


Средние

Дальние

РТК МО

РТК МЧС







Водные

РТК

Состояние предметной области СТЗ РТКАлгоритмы и функции-2017 .

Оценка-2010:большинство алгоритмов либо не обеспечивают

выполнение необходимых функций, либо не могут

быть выполнены в реальном времени на

существующих и перспективных бортовых

вычислителях

Оценка-2017: произошла (и продолжается)

революция в компьютерном зрении:

- для большинства базовых и специальных функций

СТЗ РТК разработаны алгоритмы, обеспечивающие

необходимые характеристики

- многие из этих алгоритмов уже могут быть

выполнены в реальном времени на существующих,

либо перспективных бортовых вычислителях,

остальные – в процессе поиска такой реализации

- на повестке дня – полное автоматическое

решение всех задач зрения

Современное состояние компьютерного зрения:основные задачи, лучшие методы и результаты

• Реконструкция 3D сцены и навигация в ней:Structure-from-Motion, SLAM, Road Scene Understanding and Autonomous Driving

• Сегментация сцены и понимание видеосюжета:Saliency maps, Video & 3D Segmentation, 3D-Flow, Multi-Tracking, Human Detection, Human pose estimation, Human Action Detection and Prediction,Crowd behavior, Group analysis, Face Detection and Recognition

• Распознавание изображений:Convolution networks, Deep learning, Image Retrieval, Object Detection

Реконструкция 3D сцены и навигация в ней:

Structure-from-Motion,

SLAM, Road Scene

Understanding andAutonomous Driving

Structure-from-Motion (SfM, 2000+)• Structure-from-Motion – технология реконструкции 3D сцены на основе

множества разноракурсных снимков и оценки положения/параметров относительной ориентации снимков

По материалам А. С. Конушина

Scene Chronology. Kevin Matzen, Noah Snavely. ECCV2014

Building Rome in a day. ICCV 2009, Boujou

SLAM (Simultaneous Localization and Mapping)с 2006, с улучшениями в 2011, 2014

• SLAM – технология одновременной реконструкции 3D сцены и оценки положения/параметров движения камеры

LSD-SLAM: Large-Scale Direct Monocular SLAM,Jakob Engel and Thomas Schops and Daniel Cremers

В реальном времени на смартфоне

SLAM (Локальная автономная навигация)


SLAM (Outdoor)


SLAM (Indoor)

LSD-SLAM: Large-Scale Direct Monocular SLAM,Jakob Engel and Thomas Schops and Daniel Cremers, ECCV’14

PTAM-2006 LSD-SLAM-2014

Towards real-time, dense tracking, reconstruction and scene understanding,A. Davison

Семантическая сегментация сцены и навигация в нейна основе описания объектового состава

Пока не в реальном времени, большие вычислительные затраты

Sliding Shapes for 3D Object Detection in Depth Images, Shuran Song, Jianxiong Xiao

Object-level SLAM (Перспектива развития)

Детектор в скользящем 3D окне

Распознавание характерных элементов городской среды для привязки видеоданных к карте

1) GIS-Assisted Object Detection and Geospatial Localization,Shervin Ardeshir, Amir Roshan Zamir, Alejandro Torroella, and Mubarak Shah2) Augmenting vehicle localization accuracy with cameras and 3D road infrastructure database, Lijun Wei, Bahman Soheilian, Valerie Gouet-Brunet

(глобальная навигация по ориентирам)

SLAM, Autonomous Driving (Приложения)

Towards real-time, dense tracking, reconstruction and scene understanding,A. Davison

Работа с камерой 360-градусов

SLAM-Навигация

SLAM, UAV, Fish-eye Camera (Снижение габаритов)

Real-time Accurate Geo-localization of a MAV with Omnidirectional Visual Odometry and GPS, Johannes Schneider and Wolfgang Forstner

2012-15 – калибровка и высокоточная 3D реконструкция на основе камер типа «рыбий глаз»

Теперь все СТЗ для автономнойнавигации в 3D включают много небольших широкоугольных камер

Autonomous Driving (проект Фольксваген + Ко)

Multi-Camera Systems in the V-Charge Project: Fundamental Algorithms, Self Calibration, and Long-Term Localization,Paul Furgale, ECCV’14, W15

Задачи автономной навигации в 3Dрешаются на основе множества небольших широкоугольных камер

Изображения от камер SLAM и оптические потоки

Autonomous Driving

Multi-Camera Systems in the V-Charge Project: Fundamental Algorithms, Self Calibration, and Long-Term Localization,Paul Furgale

Autonomous Driving (Проект Даймлер)

Intelligent Drive & Pedestrian Safety 2.0,Dariu Gavrila

Автономная навигация на основе множества широкоугольных камер

Распознавание элементов среды и

автоматическийанализ ситуации в

реальном времени

Резюме:задача 3D реконструкции и автономной

навигации для СТЗ РТКв целом практически решена!

Сегментация сценыи понимание видеосюжета:Saliency maps, Video & 3D Segmentation,

3D-Flow, Multi-Tracking, Human Detection, Human pose estimation,

Human Action Detection and Prediction,Crowd behavior, Group analysis, Face

Detection and Recognition

Saliency Maps (Имитация зрительного внимания)

RGB Saliency RGBD Saliency

Примеры карт внимания (фиксаций взгляда) человекаи результатов работы автоматических алгоритмов поиска зон интереса

RGBD Salient Object Detection: A Benchmark and Algorithms,Houwen Peng, Bing Li, Weihua Xiong, Weiming Hu, and Rongrong Ji

A Closer Look at Context: From Coxels to the Contextual Emergence of Object Saliency Rotem Mairon and Ohad Ben-Shahar, ECCV’14

Saliency in Crowd,Ming Jiang, Juan Xu, and Qi Zhao

Единый подход к обработке и сегментации данных (2003+)2D, 2D+T, 3D, 3D+T: MRF, Energy-based, 3D Flow

Efficient Joint Segmentation, OcclusionLabeling, Stereo and Flow EstimationKoichiro Yamaguchi, David McAllester,and Raquel Urtasun

Минимизация сложных энергий пока не в реальном времени!

Основные принципы:• Минимизация целевой функции

(энергии)• Модели на основе Марковских

полей• Оценка 2D и 3D потоков в сцене• Использование карт внимания

в процессе сегментации

Методы разреза графов впервые позволили выполнять сегментацию на основе минимизации энергии быстро для простых энергийY. Boykov and V. Kolmogorov. Computing geodesics and minimal surfaces via graph cuts. In Proc. IEEE International Conf. Computer Vision (ICCV), pp. 26–33, 2003.

Анализ движения, видеонаблюдение с аналитикойБыстрые методы анализа видеопоследовательностей (до 800 fps):

(Vishnyakov et al. Минимальные требования к вычислителям

• Использование правил анализа динамической сцены для генерации событий и сообщений в системах видеонаблюдения

• Выделение и прослеживание движущихся объектов• Выделение изменений в сцене, обнаружение оставленных предметов• Классификация человек/машина

Обнаружение людей(пешеходов)

Crowd Tracking with Dynamic Evolution of Group Structures, Feng Zhu, Xiaogang Wang, and Nenghai Yu

Открытая проблема!

Ten years of pedestrian detection, what have we learned?R. Benenson. et. Al, ECCV 2014

Crowd behavior,Group analysis

Прорывная работа:(Dollár, Wojek, Schiele, Perona, 2012)

Задача практически решена

Распознавание действий людей

Video Action Detection with Relational Dynamic-Poselets, L. Wang, Y. Qiao, and X. Tang, ECCV’14

Распознавание взаимодействий двух и более людей – открытая проблема!

Возможно распознавание поз и динамических жестов отдельного человека (при известном типе активности, словаре поз или по примерам)

Action-Reaction: Forecasting the Dynamics of Human Interaction,De-An Huang and Kris M. Kitani

Построение и использование пространственно-временных логик и онтологий для анализа

сложных динамических сцен

Group walking, Group running, Group merging and Group splitting.

Events detection using a video-surveillance Ontology and a rule-based approach,Yassine Kazi Tani, Adel Lablack, Abdelghani Ghomari, and Ioan Marius Bilasco

Открытая проблема!

Слишком сложные описания очевидныхдля человека ситуаций

Модель сцены

Модель событий и процессов

Распознавание изображений:

Convolution networks, Deep learning,

Image Retrieval,Object Detection

Convolution networks, Deep learning, Image Recognition

2011: First Superhuman Visual Pattern

Recognitiontwice better than humans

three times better than the closest

artificial competitor

six times better than the best non-neural method

Jürgen Schmidhuberhttp://people.idsia.ch/~juergen/deeplearning.html

2011+: Результаты автоматического распознавания изображений лучше,

чем у человека

Задача распознаваниявизуальных образов

The list of won competitions in Computer Vision:9. MICCAI 2013 Grand Challenge on Mitosis Detection 8. ICPR 2012 Contest on Mitosis Detection in Breast Cancer Histological Images 7. ISBI 2012 Brain Image Segmentation Challenge (with superhuman pixel error rate) 6. IJCNN 2011 Traffic Sign Recognition Competition (only our method achieved superhuman results) 5. ICDAR 2011 offline Chinese Handwriting Competition 4. Online German Traffic Sign Recognition Contest 3. ICDAR 2009 Arabic Connected Handwriting Competition 2. ICDAR 2009 Handwritten Farsi/Arabic Character Recognition Competition 1. ICDAR 2009 French Connected Handwriting Competition. Compare the overview page on handwriting recognition.

Список тестов, в которых данный алгоритм показал такие результаты

http://www.idsia.ch/~juergen

+ Иерархическое обучениес повышением абстракции данных от уровня к уровню

Глубокое обучение

Другие методы обучения

Вероятность распознавания

Объем обучающей выборки

Уровень 1

Уровень 2

Уровнь 3

Типовая структура глубокой конволюционной сети

Автоматическое обнаружение и распознавание объектовна базе глубоких конволюционных нейронных сетей (с 2011)

+ С 2011 г. - распознавание образов на уровне человека или выше (superhuman)

+ Тысячи слоев нейронов+ Учет специфики изображений как объекта распознавания (локальность, инвариантность к сдвигу, нечеткая локализация)

Постановка задачи

распознавания объектов заданного

типа

Формирова-ние

«комплекта обучения» на основе

реальных и модельных

данных

Обучение алгоритмов

обнаруженияи глубокой нейронной

сети

Постановка задачи

обнаружения и

Распознава-ния объектов

заданного типа

+ Обучение на сверхбольших объемах данных

- Нужны огромные обучающие выборки- Длительное моделирование и обучение

- Ресурсоемкость, низкая скорость- Необходимо быстрое предобнаружение

- Необходимость эффективных алгоритмических реализаций- Необходимость создания нового поколения нейропроцессоров

Достоинства и проблемы

45

На какие элементы изображения реагируют нейроны разных уровней:


Visualizing and Understanding Convolutional Networks, Matthew Zeiler and Rob Fergus, ECCV’14

чем выше слой сети, тем выше уровень абстракции

Уровень 1 Уровень 2 Уровень 3

Уровень 4 Уровень 5

Показаны 9 характерных стимулов на нейрон

Convolution networks, Deep learning, Image Retrieval

Coarse-to-Fine Auto-Encoder Networks (CFAN) for Real-Time Face Alignment,Jie Zhang, Shiguang Shan, Meina Kan, Xilin Chen, ECCV’14 4

7

Нормализация изображений лиц

48

СуперразрешениеLearning a Deep Convolutional Network for Image Super-

Resolution Chao Dong, Chen Change Loy, Kaiming He, and Xiaoou

Tang The 13th European Conference on Computer Vision (ECCV),

2014

49

Суперразрешение

Zhen Cui, Hong Chang, Shiguang Shan, Bineng Zhong, Xilin

Chen Deep Network Cascade for Image Super-resolution

Computer Vision – ECCV 2014 Lecture Notes in Computer

Science Volume 8693, 2014, pp 49-64

50

Оценка ядра смаза

51

Оценка ядра смаза

52

Деконволюция

53

Денойсинг

Сеть: L–17–4x2047

Image denoising: Can plain Neural Networks compete

with BM3D? Harold C. Burger, Christian J. Schuler, and

Stefan Harmeling CVPR 201254

Семантическая сегментация

Machine Learning for Aerial Image Labeling - V. Mnih

Effective Semantic Pixel labelling with Convolutional Networks and Conditional Random Fields - Paisitkriangkrai, Sherrah, Janney and Van-Den Hengel

Задача распознавания:Изображение -> метка класса

Задача семантической сегментации:Изображение -> метка класса + сегментация границ

Конволюционизация

56

Приложение (ГосНИИАС): автоматическая семантическая сегментация аэроснимков

дороги зданияаэрофото

На вход сети Выход сетиГлубокаяполноконволюционная

нейронная сеть

карта

Обработка

Ground truth

ОшибкаОбучение

Схема обучения сети для семантической сегментациии пример работы сети для выделения зданий и дорог

57

Цветом указаны классы объектов: желтый – бронетехника, красный –самолеты, голубой – грузовики, синий – автомашины, зеленый - люди

Обнаружение и распознавание объектовв реальном времени (ГосНИИАС, 2016)

58

Обнаружение и распознавание объектовв реальном времени

59

Как это сделано:

Общая идея работы алгоритмов класса Detect Net

Глубокая сеть формируетдля каждой ячейкиразбиения кадра:

Гипотезу о положенииобъекта (объемлющий прямоугольник)

Маску семантическойсегментации (степень принадлежности пикселовобъектам классов)

Гипотезы кластеризуютсяи формируется окончательный список

Обнаружение и распознавание объектовв реальном времени

60

Как это сделано:

1

2𝑁

𝑖=1

𝑁

|𝑐𝑜𝑣𝑒𝑟𝑎𝑔𝑒𝑖𝑡 − 𝑐𝑜𝑣𝑒𝑟𝑎𝑔𝑒𝑖

𝑝|2 + 𝑘 ∗

1

2𝑁

𝑖=1

𝑁

[ 𝑥1𝑡 − 𝑥1

𝑝+ 𝑦1𝑡 − 𝑦1

𝑝+ 𝑥2𝑡 − 𝑥2

𝑝+ 𝑦2𝑡 − 𝑦2

𝑝]

Схема обучения Detect Net

Критерий (loss)

Структура сети для работы в реальном времени

Аппаратно-программные решения

Нейроядро Нейроядро

Ка

на

л п

ер

ед

ачи

Канал передачи R Канал передачи

Ка

на

л п

ер

ед

ачи

R

Нейроядро Нейроядро

Ка

на

л п

ер

ед

ачи

Канал передачи R Канал передачи

Ка

на

л п

ер

ед

ачи

R

Подсистема

ввода и

реконфигурации

Подсистема

вывода

Канал передачи

Канал передачи

Контроллер

внешнего

интерфейса

ФПИ «Мемристор», МФТИ

NVIDIA GPGPUПЛИС (FPGA), ARM

НТЦ Модуль, МЦСТ Эльбрус 61

Прогноз I: доступно для СТЗ поколения-2020

Задачи компьютерного зрения, доведенные до стадии технологических решений:

• SLAM – технология одновременной реконструкции 3D сцены и оценки положения/параметров движения камеры

• Привязка облаков точек к заданным 3D моделям• Распознавание характерных элементов городской среды для

привязки видеоданных к карте• Выделение и прослеживание движущихся объектов• Использование правил анализа динамической сцены для

генерации событий и сообщений в системах видеонаблюдения• Системы автоматического анализа специализированных

видеоданных (например, некоторых типов спортивных игр)• Выделение изменений в сцене• Обнаружение людей (пешеходов)• Обнаружение и распознавание лиц • Поиск по сходству в коллекциях изображений• Обнаружение машин и т.п. объектов простых типов

Перспективы технологии СТЗ РТК

Прогноз II: доступно для СТЗ поколений 2025-2030 Задачи компьютерного зрения, находящиеся в стадии исследования и далекие от готовых технологических решений:

• Оценка характера поведения групп людей или толпы• Выделение и прослеживание отдельных людей в толпе• Ре-идентификация людей при съемке в различных условиях• Распознавание лиц в сложных условиях съемки, при низком

разрешении, при наличии мимики• Распознавание действий людей, особенно – их взаимодействия

различных типов, операций с предметами , взаимодействия с элементами окружающей среды и т.п.

• Реконструкция природных процессов в сценах наблюдения (пожары, наводнения, разрушения, т.п.)

• Семантический поиск по сходству в коллекциях видеоданных• Автоматическое аннотирование видеоданных с использованием

текстовых тегов• Построение и использование пространственно-временных логик

и онтологий для анализа сложных динамических сцен

Перспективы технологии СТЗ РТК

Перспективы технологии СТЗ РТКСоздание трех новых поколений СТЗ РТК:

Этап 1. 2015-2020: Разработка методик, спецификаций и унифицированных конструктивных решений, создание отечественных технологий производства элементной базы, реализация функций комплексирования многоспектральной информации, автономной навигации, обнаружения, сопровождения и распознавания целей и создание типовых СТЗ РТК первого поколения.

Этап 2. 2021-2025: Реализация методики сквозной разработки, отработки и сопровождения СТЗ РТК, создание линеек отечественных элементов, датчиков, вычислителей и программного обеспечения СТЗ второго поколения на базе модульной архитектуры, реализация функций понимания сцены на основе предметных онтологий и баз знаний, всесуточного и всепогодного видения, сбора и комплексирования данных в режиме «распределенный сенсор».

Перспективы технологии СТЗ РТКСоздание трех новых поколений СТЗ РТК:

Этап 3. 2026-2030: Создание на основе гибкой модульной архитектуры и отечественной элементной базы типоряда СТЗ третьего поколения для автономных РТК различного типажа и назначения с функциями искусственного интеллекта (ИИ), реализация функций автоматической классификации наблюдаемых ситуаций и процессов, сетевого распределенного технического зрения групп РТК различного базирования, самообучения и дообучения специальным навыкам и новым функциям.

Водные

РТК

Наземные

РТК

Анализ состояния СТЗ РТК. Проблемы


Датчики

Пассивные

Активные


ЛЛ РЛ

ТВ УФ

ИК

ДФП


БЛА,КЛА











Функции СТЗ : революция в

компьютерном зрении:

- для большинства базовых и

специальных функций СТЗ РТК

разработаны алгоритмы,

обеспечивающие необходимые

характеристики

- на повестке дня – полное

автоматическое решение всех

задач зрения роботов

Датчики и вычислители:основная проблема –имортонезависимость

Импортные ПЛИС и процессоры обеспечивают все необходимые характеристики для решения задач технического зрения.Отечественные элементы ВТ пока сильно отстают по всем параметрам, но часть алгоритмов можно реализовать

Импортные датчики обеспечивают все необходимые характеристики для решения задач технического зрения.Отечественные пассивные датчики отстают из-за проблем с ФПУ, хотя отдельные достижения, технологии и перспективы есть, готового – нет! Отечественные датчики РЛ 3, 8 мм и ЛЛ – только создаются.

Технологические аспекты:- Нет типовых решений по классам СТЗ РТК, ПО, АО

- Большие проблемы с передачей видеоданных

- Отсутствуют доступные банки информационного обеспечения (геоинформация, эталоны и 3D модели объектов/целей, …)

- Нет доступных стандартных средств метрологии, математического и полунатурного моделирования

Водные

РТК

Наземные

РТК

Анализ состояния СТЗ РТК. Задачи


Датчики

Пассивные

Активные


ЛЛ РЛ

ТВ УФ

ИК

ДФП


БЛА,КЛА











- Типовые решения по классам СТЗ РТК

- Модульные архитектуры и модули ПО и АО

- Централизованные банки информационного обеспечения СТЗ РТК и средства доступа к ним

- Стандартные и доступные средства метрологического , математического и полунатурного моделирования

Технологическое отставание в области СТЗ РТК следует полностью ликвидировать в течение ближайших 5-10 лет, иначе оно приведет как к немедленным критическим последствиям для обеспечения обороноспособности, безопасности границ и ведения контртеррористических операций, так и к потере большой части рынка боевых авиа, морских и наземных систем уже к 2025-2030 году.

Наличие высокоточных, надежных и функциональных СТЗ, являетсянеобходимым условием создания РТК

Необходимо создать отечественную элементную базу для датчиков

Необходимо создать отечественную элементную базу для вычислителей

Необходимо определить разумную стратегию и правила использования зарубежной элементной базы

Необходимо разработать/создать:

Срочность при ограничениях ресурсов

Программа развития РЭП

МО РФ, Национальный центр,министерства, ведомства

Спасибо за внимание!

Визильтер Юрий Валентинович,руководитель рабочей группы «Техническое

зрение» Экспертного совета Национального центра развития технологий и базовых элементов

робототехники

[email protected]

mailto:[email protected]

Унификация и модульность

• Унификация необходима не только по горизонтали (классы изделий), но и по вертикали (одинаковые подсистемы и элементы для разных классов изделий) Отсюда - дополнительные требования к базовым платформам по обеспечению вертикальной унификации в дополнение к горизонтальной.

• Модульность и интегрированные модульные архитектуры (ИМА) -необходимое условие матричной (горизонтально-вертикальной) унификации. Необходимость внедрения ИМА также связана с повышением роли алгоритмического, программного и информационного обеспечения.

• Модульность – это когда нет единственных поставщиков. Модульность и унификация исключают диктат единственного производителя компонентов и одновременно структурируют и ограничивают выбор главного конструктора в части заказа/создания уникальных подсистем и компонентов. Отсюда снижение стоимости, обеспечение технологической устойчивости, возможность выбора для конструктора как при закупке готовых компонентов и подсистем, так и при создании кооперации предприятий.

• Модульность и унификация должны быть разумными: необходимо определить критерии, в каких случаях целесообразной является разработка оригинальных и уникальных решений, а в каких – доработка или непосредственное использование готовых типовых.

Горизонтальная унификация на основе базовых платформ

Базовые Платформы РТКназемного базирования

Класс 1

Класс N

…

Базовые Платформы РТКвоздушного базирования

Класс 1

Класс N

…

Базовые Платформы РТКводного базирования

Класс 1

Класс N

…

Класс 1

Класс N

…

Матричная унификация на основе модульных платформ

Базовые Платформы РТКназемного базирования

Класс 1

Класс N

…

Базовые Платформы РТКвоздушного базирования

Класс 1

Класс N

…

Базовые Платформы РТКводного базирования

Класс 1

Класс N

…

Класс 1

Класс N

…… … …

…

Базовые Платформы энергетики, систем управления, связи, технического зрения…

Coding Pooling Coding Pooling


Идеи Deep Learning (Kai Yu, 2012)

- Много десятков уровней (кодирование + объединение данных)- Инвариантность к сдвигу и масштабу изображения (свертка) - На верхних уровнях – собственно классификатор (не всегда NN)

Основной метод: сверточные сети, глубокое обучение –современная реинкарнация персептронов (2005+)

Архитектура “Coding + Pooling” = “Кодирование + Объединение ”

(e.g., convolutional neural net, HMAX, BoW, …)

- Иерархическое выделение признаков при обучении и/илисамообучении на сверхбольших выборках изображений

Обнаружение и распознавание объектов в реальном времени под

произвольным ракурсом в сложной фоноцелевой обстановке

Автоматическое обнаружение и распознавание объектовна базе глубоких конволюционных нейронных сетей (с 2011)

• Новое поколение алгоритмов обнаружения и распознавания целей

• Автоматизированная технология разработки всех этапов алгоритма в едином потоке

74

Структура подсистемы обнаружения и распознавания объектовв системах навигации и управления БЛА, решаемые задачи

Навигация, целеуказаниеи наведение

БЛА/АСП

Обнаружение и распознавание

целей (ATR)

Обнаружение объектов

Распознавание объектов

Сопровождение объектов

Предобработка изображений

Обучение

Формирование полетной

информации

Моделирование объектов и сцен

База данных моделей

Гео-информация

Актуализация данных

Моделирование сенсорных каналов

Дешифри-рование

Поиск отличий

Геопривязка

На борту,автоматически, в реальном времени

На землеили на борту,

На земле,с участиемчеловека

автоматизированно

или автоматически, оперативно 75

Technology

[Skolkovo Robotics V] Современное состояние и перспективы развития технологий технического зрения робототехнических