Москва, 2012 г.

Аппаратная реализация бортовой автономной системы улучшенного и

синтезированного зрения мобильных устройств

Бондаренко А.В., Бондаренко М.А., Докучаев И.В.www.rastr.net

ООО «РАСТР TЕХНОЛОДЖИ»

Введение• Мобильная техника – устройства, способные

перемещаться в некоторой среде.

• Одна из наиболее важных задач управления -

задача навигации мобильной техники в реальном времени в условиях недостаточного объёма информации при работе в сложной внешней обстановке.

Мобильная техника

Автономная (роботы) Автоматическая Пилотируемая

Требования, предъявляемые к системам навигации

Актуальность

Интеллектуальность

Надёжность Устойчивость

Работа в реальном времени

Гарантия работы в заданных условиях

Качество и удобство выдаваемых данных

По любым входным данным

Обеспечение надёжности системыОтработанные оригинальные схемотехнические

решения

Современная элементная база

Автономная работа системы

Дублирование критических узлов: реализация соответствующей схемы 100% резервирования

Протоколирование всей выходной информации и телеметрии на твердотельный носитель

Испытание готовой системы в условиях, наиболее приближенных к условиям эксплуатации

SSD

100%

Основные подзадачи, решаемые универсальной системой навигации

Результирующее изображение окружающей обстановки, совмещённое с распознанными

объектами

Предобработка

Выделение объектов

Сопоставление

Совмещение

Вывод

Комплексирование

Изображения, полученные из источников разнородного спектрального диапазона

Улучшенные изображения, приведённые к единому формату

Улучшенное синтезированное изображение

Области на синтезированном изображении,База навигационных данных

Области изображения, соответствующие навигационным данным, объекты из базы

Виды навигационных данных

ЗD-модели объектов

Карты

Снимки из космоса

Относительные или абсолютные координаты объектов

Базанавигационных

данных

Notebook(Dock Station)

- опция

м

Основные компоненты системы

Управляющая бортовая ЭВМ с

графическим процессором

RS-485

резерв

TFT-монитор1280 х 1024

60 Гц

синтезированноеизображение

SSD для протокола

100%

RT-107MX

Устройства ввода информации

Автономный видеопроцессор

RT-107MX

Источники ТВ информации

GPU VGA

реальные изображения

Навигационные данные

Цифровые ПЗС камеры Визуализация слабоконтрастных

изображений, получаемых с медицинских диагностических аппаратов

Исследования в области астрофизики, космоса СТЗ роботов, системы слежения, наведения,

ДЗЗ и неразрушающий контроль. Получение высококачественного изображения

c прогрессивной развёрткой 12/14-битное разрешение по яркости Обработка изображения в реальном времени

с применением различных DSP-функций Внутренняя и внешняя синхронизация с

гальванической развязкой

Предыдущие разработки

Предыдущие разработкиАвтономная вычислительная система RT-106MX Одновременная работа до 6 цифровых

камер RT-1000DC Входной поток данных до 360 Мбайт/с Обработка и анализ изображений в

реальном времени по заданным алгоритмам

Использование встроенного процессора NIOS II

96 Мб SDRAM, 512 Мб Flash (конфигурация настроек камер и хранение изображений)

Часы реального времени, календарь, привязка к глобальному времени

Интерфейсы - 7 x Channel Link RS-644 или Fiber Channel по меди , 2 x RS-232

Видео выходы: SVGA на TFT монитор 1280 x 1024 x 60 Гц, CCIR

Выдача сигналов тревоги и телеметрии, ведение журнала

Питание с борта: +18 … +36 В, 15 Вт Диапазон рабочих температур: -40 … +70 °С

Габариты печатной платы: 20 х 16 см

Предыдущие разработки

AFE - АЦП - 12 бит @ 40 МГц с VGA DSP обработка и управление - ПЛИС Altera

семейства Cyclone II Память кадров изображений - SDRAM (16М х 16) Флэш память для записи вспышек - 128 Мбайт Цифровой датчик температуры ЦФК в диапазоне

-40 … +75 °С Интерфейс обмена данными и управления:

CAN-2B Интерфейс запуска - LVDS Скорость передачи данных - до 1 Мбайт/сек Питание - 12 В Потребление - 2.5 Вт Аппаратная поддержка рекурсивного

накопления, усреднения и вычитания кадров

Цифровая камера для регистрации атмосферных грозовых разрядов миссии «ЧИБИС-М»

Рекурсивное накопление• Использование режима накопления позволяет повысить

соотношение сигнал/шум в сильно зашумленных статических и слабо динамичных изображениях.

• Входной кадр представляет собой шумовую составляющую ПЗС матрицы и ЭОП. Калиброванная освещённость 10-6 лк, коэффициент рекурсии 1/32, контраст 4, время интеграции 4 сек.

Структурная схема автономного видеопроцессора

м

6 банков SDRAM

2 порта I/O

6 банков SDRAM

2 порта I/O

6 банков SDRAM

2 порта I/O

SATA ctrl

Накопитель SSD

ГТИ~~~

Часы реального времени

Супервизор питания и температуры

RGB VGA/DVIк мониторуSYNC

SDRAM 4 банкаSDRAM 4 банкаSDRAM 4 банкаSDRAM 4 банка

6 банков SDRAM

2 порта I/O

6 банков SDRAM

2 порта I/O

6 банков SDRAM

2 порта I/O

ВИП Схема плавного запуска

АЦП/DVI/LVDS

/24SYNC

Fiber Channel

/36

RS-485Управление

Ноутбук

От ЦП: VGA DVI/LVDS

LED-индикаторы режимов работы

LIIPLL

/12

IR-3

IR-2

IR-1

RT-1000DC(RT-1050)

RT-1000DC(RT-1050)

MUX FG

FG/12

/12

SYNC

SYNC

SER/DES

SER/DES

FC

FC

TV

TV

TV

/36

/36

LI

1 2

РЕЗЕРВ

Видео DAC 1280 x 1024

VideoDSP RTImage

Enhancer

GNFG ROMSDI

/96

Схема резервирования

FLASH ROM MUX

2:1

Лазерный лидар Схема SYNC

Процессор I/O

микшер /24 RGB

Структурная схема блока оцифровки аналоговых сигналов

MUX

DC Restore

SYNC Separator

Регистр смещения DC(8 бит)

GEN Lock

VGA

Канал 1

Канал 2

SDI

/12

FG

/12

SYNC

75 Ом0.5 .. 2 ВANALOG

0

1

2

3

SYNC

SDI

75 Ом0.5 .. 2 ВANALOG

MUX2:1

Регистр смещения DC(8 бит)

DC Restore

SYNC Separator

VGA

GEN Lock

АЦП

REF

REF

АЦП

Функциональная схема цифровой камеры RT-1000DC (RT-1050DC)

CDS1,212 Дб

CDS3,412 Дб

VGA1,20..6 Дб

VGA3,40..6 Дб

Источник питания 18..36 В

Программируемый генератор тактовых

сигналов

RAM8 MB

RAM8 MB

RAM8 MB

RAM16 MB

ADС1,214 бит

ADС3,414 бит

БЛОК ФОТОПРИЁМНИКА

512

512

512

Выход на TFT монитор

Видеовыход 1В, 75 Oм

DSP

AD9978 #1 (RT-1000DC, RT-1050DC)

Регистры режимов и

регулировок

Интерфейс

CoaX

pres

s

Схема внешнего запуска

DACПодсистема

вывода изображения

CCD

W

X

Z

Y LVDSAD9978 #2 (RT-1050DC)

Драйверы управления затвором и считывания

заряда

512

Схема получения синтезированного изображенияВходные аналоговые сигналы

Настройка на динамический диапазон

Оцифровка

Комплексирование

Масштабирование

Рекурсивное накопление

Нормализация

……………

Синтезированное изображение

Некорректность задачи совмещения изображения и 3D-навигационных данных

Схема совмещения синтезированного изображения с навигационными данными на примере 3D-моделей

Карта нормалей

Сопоставление областей карты

нормалей и объектов

Главные диаметры объектов

Масштабирование выбранной проекции

Совмещениесинтезированного

изображения и проекции 3D-модели

Синтезированное изображение с распознанными

объектами, совмещёнными с

3D-моделями

Сегментация объектов

Объекты

Области карты нормалей, соответствующие объектам

Поиск в БД 3D-моделей и преобразований

поворота, соответствующих

областям карты нормалей

Навигационная БД

Лазерный лидар

Синтезированное изображение

РезультатыНа основании более чем 20 летнего опыта

разработки систем ввода и обработки изображений в реальном времени предложена

новая архитектура высокопроизводительных систем навигации, соответствующая любым

требованиям надёжности.

В рамках указанной архитектуры предложены алгоритмы, позволяющие решить задачу

навигации мобильной техники в самом общем случае.

Cпacибо за внимание! ^_^

www.rastr.net