Соколов С.М.., Богуславский А.А. Москва, УРАН ИПМ им. М.В. Келдыша РАН

СИСТЕМА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ЗАДАЧ СБЛИЖЕНИЯ И СТЫКОВКИ, ПОСАДКИ КА НА ОСНОВЕ

КОМПЬЮТЕРНОГО ВИДЕНИЯ

Соколов С.М.., Богуславский А.А.Москва, УРАН ИПМ им. М.В.

Келдыша РАНe-mail: [email protected]

НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18

марта 2010

mailto:[email protected]





СИСТЕМА ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ЗАДАЧ СБЛИЖЕНИЯ И СТЫКОВКИ, ПОСАДКИ КА НА

ОСНОВЕ КОМПЬЮТЕРНОГО ВИДЕНИЯ

ВведениеАлгоритмическое обеспечениеПрограммные технологииПримеры реализацииЗаключение

НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010

ВведениеОдним из эффективных средств информационного обеспечения при решении навигационных задач в процессах сближения и стыковки, посадки космических аппаратов (КА) является визуальный канал.До последнего времени этот канал использовался в «ручном» режиме, в виде визуальной обратной связи посредством зрительной системы человека в контуре управления КА (например, комплекс ТОРУ на транспортных кораблях и космических станциях). Человеческий фактор привносит в контур управления ряд особенностей, сдерживающих эффективность самого зрительного канала и всей системы управления (СУ) КА в целом.

Цель автоматизированного мониторингаКонечная цель программного комплекса для автоматизации визуального мониторинга процессов сближения и стыковки КК и МКС - полная автоматизация визуального контроля стыковки КК и МКС с момента видимости МКС в поле зрения ТВ-камеры КК (приблизительно 150 м) и до полной стыковки КК и МКСНа основных этапах сбора и обработки зрительных данных комплекс работает подобно человеку-оператору В дополнение к действиям оператора, комплекс вычисляет и отображает в виде принятом для анализа, количественные параметры, характеризующие относительное движение КК и МКСВозможности многофункциональных расширений.


марта 2010

Алгоритмическое обеспечение

• На кадре видеоизображения выбираются несколько характерных точек станции, координаты которых в ее строительной системе координат известны. Координаты этих точек в кадре измерялись – алгоритмами выделения интересующих объектов и формировании их математического описания (геометрических мест точек).

• Затем методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции.

• В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение.


марта 2010

Алгоритмическое обеспечениеОсновные составные подсистемы

автоматизированного мониторинга


марта 2010

Измерительная подсистема

Вычислительная подсистема

Измерительная подсистема

• Выделение положения областей интереса (ROI) на текущем изображении

• Предобработка зрительных данных в области интереса

• Выделение (распознавание) образов объектов интереса в ROI

• Определение размеров и координат распознанных образов


марта 2010

Выделение положения областей интереса (ROI) на текущем изображении

Пример выделения области интереса в поле зрения ТВ-камеры на борту КК a) полное изображение поля зрения камеры на борту КК b) изображение области интереса (ROI)

a)

b) НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18

марта 2010

Предобработка зрительных данных в области интереса

Выделение креста мишени среди кандидатов на основе априорной информации (размеры и относительное расположение перекладин креста).

Выделение (распознавание) образов объектов интереса в ROI

Пример выделения меток мишени на основании априорной информации об их расположении (a) оценка расположения области интереса для выделения меток (b) грубая оценка радиуса мишени по результатам обработки диаметрально расположенных фрагментов/кандидатов меток (c) кольцеобразная область интереса с метками мишени (d) результаты распознавания меток мишени и уточнённой оценки радиуса мишени

a) b)

c) d)

Измерительная подсистемаИзмерительная подсистемавыходные данныевыходные данные

Измерительная информация,Измерительная информация, полученная в результате обработки одного полученная в результате обработки одного телевизионного полукадра кадра, имеет вид:телевизионного полукадра кадра, имеет вид:

– – время привязки полукадра (в секундах от начала видеоклипа);время привязки полукадра (в секундах от начала видеоклипа); – – координаты центра креста (действительные числа);координаты центра креста (действительные числа); – – количество точек на верхней/нижней горизонтальной стороне креста (целое количество точек на верхней/нижней горизонтальной стороне креста (целое

число);число); – – координаты точек на верхней горизонтальной стороне креста (целые числа координаты точек на верхней горизонтальной стороне креста (целые числа

– координаты точек на нижней горизонтальной стороне креста (целые числа);– координаты точек на нижней горизонтальной стороне креста (целые числа); – – координаты точек на левой вертикальной стороне креста и их координаты точек на левой вертикальной стороне креста и их

координаты (целые числа);координаты (целые числа); – – координаты точек на правой вертикальной стороне креста (целые координаты точек на правой вертикальной стороне креста (целые

числа);числа); – – координаты центра окружности мишени и ее радиус координаты центра окружности мишени и ее радиус

(действительные числа);(действительные числа); – – количество точек на окружности мишени и их количество точек на окружности мишени и их

координаты (целые числа);координаты (целые числа); – – координаты центра внешнего обода станции (окружности) и ее координаты центра внешнего обода станции (окружности) и ее

радиус (действительные числа).радиус (действительные числа).

TCC YX ,

1N

ii YX ,

ii YX ,

ii VU ,

ii VU ,

RYX OO ,,

),,2,1(,, 33 NiBAN ii

SSS RYX ,,

Вычислительная подсистема

Методом наименьших квадратов с использованием формул пересчета координат точек реальной станции в координаты тех же точек на ее изображении в кадре находятся координаты фокуса камеры и ее ориентация в строительной системе координат станции. Функционал метода наименьших квадратом формировался так, чтобы его минимизация по определяемым параметрам позволила наилучшим образом согласовать расчетные и измеренные координаты выбранных точек на видеоизображении. Найденные таким образом координаты фокуса камеры и параметры ее ориентации пересчитывались в параметры положения строительной системы координат корабля относительно строительной системы координат станции.

В результате описанной обработки получается последовательность положений корабля (точнее, последовательность параметров, задающих положение его строительной системы координат) во времени. Интерполяция этой последовательности позволяет рассчитывать положение корабля для любого момента на представляющем интерес отрезке времени, а геометрические модели корабля и станции, позволяют визуализировать это положение.

ВЫЧИСЛИТЕЛЬНАЯ ПОДСИСТЕМАВЫЧИСЛИТЕЛЬНАЯ ПОДСИСТЕМАОпределение координат центра перекрестия мишени

The cross is supposed to be formed by the orthogonal straight lines

, , where the coefficients , and are unknown.

They are determined as follows.

Processing the digital image results in two sequences of points:

the points , …, lie on the first line, the points , …, lie on the second line.

Solving the linear problem of least squares

on

gives the values of the coefficients.

Then the cross coordinates are calculated:

, .

1cyax 2cayx a 1c 2c

),( 11 YX ),(11 NN YX ),( 11 VU ),(

22 NN VU

min)()(1 2

1

2

12

211

N

i

N

jjjii cVaUcYXa 21,, cca

221

1 a

cacXC

2

12

1 a

cacYC

Вычислительная подсистемаопределение движения КК

The mathematical model of the spacecraft motion is described by formulas

, , ,

, , .

Here is time counted from the beginning of the clip, and are constant coefficients. The measurement data

, Where , etc., are processed by portions. Each portion contains about 10 frames (instants ). Its processing is carried out in two stages.

tzztd 211 )( tzztd 432 )( tzztd 653 )(

tvvt 211 )( tvvt 432 )( tvvt 653 )(

t iz jv

)()()()()()( ,,,,,, kO

kO

kkC

kC

kk YXRYXat

)()(k

k taa kt

At first, the coefficients are determined as the solution of the regression problem

, , .

Then, the coefficients are determined as the solution of the problem

, , .

At the processing of the second and subsequent portions of data, the previous estimations of and are taken into account as a priori information about these coefficients.

iz

)()(

33

1

])()[(

)( kO

kC

kk

k XXbtdtd

tbdf

)()(

33

2

])()[(

)( kO

kC

kk

k YYbtdtd

tbdf

)(

3 )(k

k

Rtd

fr

jv

)(

)(1)(

3

2)(1

k

kkOk td

tfdY

ft

)(

)(1)(

3

1)(2

k

kkOk td

tfdX

ft

)(3 )( kk at

iz

jv

Компонентный каркас для разработки ПрО СТЗ реального времени

Структура предлагаемого каркаса

Каркас – заготовка приложения СТЗ для доработки применительно к конкретной задаче.

Архитектура каркаса основана на применении трех параллельных подсистем:

• Наращиваемая среда разработки ПрО СТЗ на языке программирования Си++

• Компоненты: классы и подсистемы

• подсистема ввода зрительных данных

• подсистема интерфейса пользователя

• подсистема обработки зрительных данных


Программные технологии



Координация взаимодействия подсистем – объекты-режимы

Режимы функционирования

О бъект “Буф ер кадра”

П одсистема обработки

изображений

П одсистема вводазрительны х данны х

П одсистемаинтерф ейса

пользователя

Запустить

Вы полнить регистрацию клиента

О бъект “Режим настройки”

Включить

Уведомление о съеме кадра

О ткры ть буф ер изображения

Копировать

Закры ть буф ер изображенияП олучить изображение

О бработать изображение

О тобразить текущ иерезультаты обработки

Вы ключить

О тменить регистрацию клиента

Режим настройки:

• проверка аппаратной части

• проверка обработки изображений

• просмотр результатов


Координация взаимодействия подсистем – объекты-режимы

Режимы функционирования

Автоматический режим:

• Обработка в реальном времени

• Отключение буфера кадра

П одсистема обработки

изображений

П одсистема вводазрительны х данны х

П одсистемаинтерф ейса

пользователя

Запустить

Вы полнить регистрацию клиента

О бъект “Автоматический

режим”

Включить

Уведомление о съеме кадра

О ткры ть буф ер изображения

Закры ть буф ер изображения

О бработать изображение

О тобразить текущ иерезультаты обработки

Вы ключить

О тменить регистрацию клиента

О тобразить результаты


Примеры реализации

• Сближение и стыковка КК «Прогресс» и МКС

• Сближение и стыковка КК «ATV» и МКС• Работа с оптическим потоком в Земных

условиях


марта 2010

Пример работы комплекса автоматизированного мониторинга


Сравнение результатов определения параметров относительного движения КК и МКС по зрительным данным

и традиционно (радиолокация).

На верхнем рисунке темным – традиционными методами, розовым - СТЗ; на нижнем: красным – традиционными, черным - СТЗ


Сближение и стыковка КК «ATV» и МКС


Стыковочный узел СО1


Стыковочный узел ФГБ


модуль ЛНС на основе бесконтактного одометра

Система сама подстраивается под изменяющуюся текстуру Система сама подстраивается под изменяющуюся текстуру подстилающей поверхности для сохранения надёжности подстилающей поверхности для сохранения надёжности результатарезультата

23Домбай 6НТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010тая Всероссийская научно-практическая конференция ПЕРСПЕКТИВНЫЕ СИСТЕМЫ И ЗАДАЧИ УПРАВЛЕНИЯ

модуль ЛНС на основе бесконтактного одометра

Пример определения траектории движения ТСПример определения траектории движения ТС

Домбай 6—10 апреля 2009 Четвертая Всероссийская научно-практическая конференция ПЕРСПЕКТНТК "Техническое зрение в СУ мобильными объектами" Таруса 16-18 марта 2010 24

Заключение• Описанные системы используются в настоящее время

наземными службами в режиме опытной эксплуатации. Получают необходимую информацию в режиме реального времени.

• Все элементы описанной системы и её функциональные

возможности продолжают совершенствоваться • Открытая архитектура и компонентные технологии

позволяют говорить о возможности формирования многофункционального информационного комплекса на основе системы компьютерного видения


марта 2010

Documents

Соколов С.М.., Богуславский А.А. Москва, УРАН ИПМ им. М.В. Келдыша РАН