1

Обработка и анализ Обработка и анализ изображений изображений в бортовыхв бортовых

оптико-электронных оптико-электронных системахсистемах

Алпатов Б.А., Бабаян П.В., Костяшкин Л.Н., Романов Ю.Н.

ФГУП ФГУП Государственный Государственный

Рязанский Рязанский приборный приборный

заводзавод

ГОУВПО ГОУВПО Рязанский Рязанский

государственный государственный радиотехнический радиотехнический

университетуниверситет

2

Основные задачи обработки и анализа Основные задачи обработки и анализа изображений, решаемые бортовыми изображений, решаемые бортовыми оптико-электронными системамиоптико-электронными системами

• Улучшение видения

• Выделение, обнаружение и оценка параметров объектов

• Высокоточное сопровождение объектов

3

Основные типы фоноцелевой Основные типы фоноцелевой обстановкиобстановки

• Неподвижные и малоподвижные протяженные объекты

• Движущиеся и неподвижные протяженные объекты на относительно ровном фоне

• Движущиеся протяженные объекты на неоднородном фоне

• Малоразмерные воздушные объекты

4

Математические модели состояния и наблюденияМатематические модели состояния и наблюдения при решении задач обнаружения и слежения за при решении задач обнаружения и слежения за объектамиобъектами

Модель наблюдения: ),,(),,()),,(1(),,(),,(),,( njinjignjirnjihnjirnjil ,

где ),,( njil – наблюдаемое изображение, ),,( njih – изображение объекта, ),,( njig – изображение фона,

,,0

,,1),,(

фонутпринадлежиточкаесли

объектутпринадлежиточкаеслиnjir

),,( nji – пространственно-временной шум датчика изображения. Модель состояния фона:

1,,1,,,, njinjignjig , где nji ,, – некоррелированный в пространстве и во времени гауссов случайный процесс.

Модель состояния яркости объекта: 1,,1,,,, nnhnh ,

где , – координаты точек объекта в системе координат, связанной с центром объекта, nji ,, – некоррелированный в пространстве и во времени гауссов случайный процесс.

Модель движения объекта слежения: 11 nnCn hh ,

где Thyhyhxhxh nnnnn ,,, – вектор координат объекта и их производных,

C – матрица динамики, n – векторный белый шум.

5

Основные алгоритмы, применяемые для Основные алгоритмы, применяемые для обнаружения и сопровождения объектовобнаружения и сопровождения объектов

• Алгоритмы сопоставления с эталоном с межкадровой фильтрацией

• Алгоритмы на основе статистической сегментации

• Алгоритмы на основе выделения динамических изменений

• Алгоритмы на основе пространственной фильтрации

6

Наиболее перспективные направления развития Наиболее перспективные направления развития алгоритмического обеспечения оптико-электронных алгоритмического обеспечения оптико-электронных систем обнаружения и сопровождения объектовсистем обнаружения и сопровождения объектов

• Анализ фоноцелевой обстановки и принятие решений о работоспособности алгоритмов обнаружения и оценки параметров объектов

• Разработка алгоритмов на основе комплексирования разноспектральной информации

• Разработка вычислительно эффективных структурных алгоритмов обнаружения и оценки параметров объектов

7

Общая структураОбщая структура программно-алгоритмического обеспечения программно-алгоритмического обеспечения оптико-электронной системы, обеспечивающего решение задач оптико-электронной системы, обеспечивающего решение задач обнаружения и сопровождения объектовобнаружения и сопровождения объектов

Алгоритмы обнаружения и оценки параметров объектов

Видео

Потребитель

Датчики ИК+ТВ на поворотной

платформе

Управление приводами Сопровождение объектов (цифровой регулятор)

Ош

ибк

а по

зиц

ион

иров

ания

да

тчик

а

Алгоритм статистической сегментации

Алгоритм на основе пространственной фильтрации

Алгоритм на основе выделения динамических изменений

Анализ фоноцелевой обстановки.

Принятие решений о работоспособности

алгоритмов

Вы

деле

ние

фра

гмен

тов

изоб

раж

ени

я

Алгоритм на основе сопоставления с эталоном

Сигналы с датчиков платформы

Оценивание параметров геометрических преобразований

Модуль взаимодействия с потребителем

Структурный алгоритм

Объ

един

ение

рез

ульт

атов

8

Алгоритм на основе сопоставления с Алгоритм на основе сопоставления с эталоном с межкадровой фильтрациейэталоном с межкадровой фильтрацией

Определение координат объекта:

Hji

jiljih,,

),(),(minarg,

l(i,j) – текущее изображение h(i,j) – эталонное изображение Межкадровая фильтрация эталона:

1,,11,,,, njihknjihknjih

njih ,, – эталонное изображение на кадре n

1,, njih – эталонное изображение на кадре 1n

1,, njih – выделенное из 1n -го кадра изображение объекта k – коэффициент сглаживания

Межкадровая фильтрация значений критериальной

функции

Поиск экстремума критериальной функции в зоне

поиска

Считывание очередного кадра

Проверка критерия присутствия объекта

на изображении ?

Межкадровая фильтрация

эталона

Взятие объекта на сопровождение

Конец сопровождения

Объект найден

Объект отсутствует

Начало

Объект отсутствует длительное

время

9

Блок-схема алгоритма на основе Блок-схема алгоритма на основе статистической сегментациистатистической сегментации

Рамка

Окно

Исходное изображение

Результат сегментации

Правило классификации: Если )|),(()|),(( РjiXpAbОjiXp , то точка ji, объекту. b - априорная вероятность наличия

элемента фона в окне A - параметр стоимости неправильной

классификации )|( ОXp - гистограмма в окне )|( РXp - гистограмма в рамке

10

Структура алгоритма на основе Структура алгоритма на основе выделения динамических измененийвыделения динамических изменений

-

+ Пороговая обработка

Вычисление СКО суммарной ошибки

Бинарное изображение Наблюдаемое изображение

Оценка яркости фонового

изображения

Оценка дисперсии

аддитивного шума

Геометрическоепреобразование

изображения

Преобразованное изображение

Пространственно-временная

фильтрация бинарного

изображения

Оценивание параметров

геометрических преобразований

Параметры геометрического преобразования

Разметка и параметризация

Анализ траекторий

Список параметров объектов

Алгоритм получения бинарного изображения:

Если 1,,ˆ,,,,ˆ njiknjilnjig s ,

то точка ji, принадлежит объекту,

где njig ,,ˆ – оценка фонового изображения

njis ,,̂ – оценка СКО суммарной ошибки

k – пороговый коэффициент

Оценка фонового изображения: njilknnvjnvigknjig yx ,,11,,,, фф

Оценка дисперсии аддитивного шума:

222 1,,ˆ,,11,,ˆ,,ˆ njignjilknjiknji

11

Структура алгоритма на основе Структура алгоритма на основе пространственной фильтрациипространственной фильтрации

+

Оценка дисперсии шума

-

Параметризация

Зачистка и восстановление

Пространственный фильтр 1

Анализ траекторий

Пороговая обработка

Наблюдаемые изображения

Список параметров

объектов

Датчик

Разностные изображения

Бинарные изображения

Фильтрация во времени

Пространственный фильтр 2

Временная фильтрация

12

Технология оценки ожидаемой Технология оценки ожидаемой работоспособности алгоритмов в зависимости работоспособности алгоритмов в зависимости от фоноцелевой обстановкиот фоноцелевой обстановки

Значения КХР

Измеренные траектории

КХР – количественные характеристики работоспособности

Статистический анализ

База данных видеосюжетов и эталонных параметров

объектов

Алгоритмы измерения координат объектов

Видеосюжеты, начальные

целеуказания

Вычисление КХР

Начальные кадры сюжетов,

целеуказания

Оценивание ожидаемой

работоспособности для каждого алгоритма

Видео

Оценки КХР

Правила оценивания

КХР

13

Принятие решения о работоспособности Принятие решения о работоспособности алгоритмов измерения координаталгоритмов измерения координат

Видео

Выбор алгоритма

Датчик изображений

Обнаружение движущихся объектов

Наблюдаемый объект

Оценка КХР

Целеуказание от оператора или

алгоритма предварительного

обнаружения

Правила оценивания КХР,

полученные в результате обработки базы данных

Вычисление признаков работоспособности

Ошибки принятия решений о работоспособности алгоритмов Ошибки принятия решений о работоспособности алгоритмов

АлгоритмОшибка

первого рода, %Ошибка

второго рода, %

Алгоритм сопоставления с эталоном 0 3,64

Алгоритм статистической сегментации 0 6,383

Алгоритм на основе пространственной фильтрации 0 7,89

Алгоритм на основе выделения динамических изменений 0 18,2

14

Система обработки Система обработки видеоизображений «Охотник»видеоизображений «Охотник»