Автоматическая система реального времени для обнаружения объектов и

ориентиров на изображении, основанная на обработке цветных изображений

Кий К.И.Институт Прикладной Математики им. Келдыша РАН,

IKI Таруса 2010

Постановка задачи и связь с предыдущими исследованиями

• Задача обобщенной сегментации цветных изображений и поиска ориентиров

• Выделить на цветном изображении однородные части реальных объектов и построить их сжатое описание, содержащие описание формы и полутоновое и цветовое описания без индексирования точек массива изображения.

• Обеспечить выполнение процедур в реальном времени на современных мобильных компьютерах.

• Задача примыкает к исследованиям по сегментации цветных изображений и выделению объектов интереса (salient features).

• Существенное отличие состоит в том, что мы не решаем задачу преобразования изображения в субъективно подобное, но использующее меньшие диапазоны цветов.

Построение геометризованной гистограммы изображения

Изображение, задаваемое скалярной функцией интенсивности (черно-белое, инфракрасное, и т.д.)

I. Локальная конструкция1. Изображение разбивается на узкие горизонтальные

(вертикальные) полосы.

2. Каждое множествo уровня интенсивности проектируется на горизонтальную (вертикальную) ось. Его проекция является набором отрезков на горизонтальной (вертикальной) оси. Каждому интервалу предписывается его мощность (число точек полосы, спроектированных на этот интервал.

3. В соответствие каждой полосе изображения ставится в соответствие множество интервалов на горизонтальной вертикальной оси координатной системы изображения. Каждому интервалу предписано определенное значение интенсивности и мощности.

Изображение, множество отрезков для всех уровней, и сгустки в полосе

Кадр из Бури в Пустыне, описание полосы изображения

Множество отрезков, соответствующее 20ой полосе полутоновой компоненты изображения

• Предложение. Описанное выше отрезковое описание полосы изображения может быть получено за один проход массива изображения полосы и сложность его получения линейно зависит от числа пикселов.

• Gi - множество интервалов, соответствующее i-ой полосе,

называется геометризованной гистограммой этой полосы

• G= Gi - объединение геометризованных гистограмм для

всех полос называется глобальной геометризованной гистограммой изображения, соответствующей заданному разбиению изображения на полосы.

• Если обозначить B конечное упорядоченное множество, нумерующее полосы, то мы можем рассмотреть проекцию

• p: G →B, слоями которой являются Gi .

Топологические структуры на G, задаваемые неевклидовыми мерами близости

• ri (I, J) = L(I∩J)/Si (I, J) i = 1, 2;

• S1(I, J) = max (L(I), L(J)),

• S2(I, J) = min (L(I), L(J));

• L(I), L(J), L(I∩J) - длины соответствующих отрезков;

• di (I, J) =1 - ri (I, J) - соответствующие псевдо-метрики.

Геометризованная гистограмма, соответствующая распределениям цвета

• Цветовая компонента задается парой G/(G+B), G/(G+R) или G/(G+B), R/(R+B). Вместе с полутоновой компонентой I получаем систему координат G/(G+B), G/(G+R), I и G/(G+B), R/(R+B), I , где (R, G, B) координаты стандартного представления цветных изображений.

• Пары G/(G+B), G/(G+R) и G/(G+B), R/(R+B) задают представление цвета эквивалентное представлению, задаваемому парой (H, S) (оттенок, насыщение), так как любая пара однозначно определяет любую внутреннюю точку цветового треугольника.

• Необходимо построить геометризованную гистограмму для заданного распределения цветов (цветного изображения), т.е. необходимо построить расслоение отрезков аналогичное расслоению отрезков для скалярной функции интенсивности.

Стандартный цветовой треугольник

Hue

(r,g,b)

O

G/(G+B)

R/(R+B) G/(R+G)

R

B G

Системы координат G/(G+B), R/(R+B) и G/(G+B), G/(G+R)

Изображения G/(G+B), G/(G+R), и Grayscale

Изображение комнаты и его компоненты

Изображение коридора и три его компоненты

Изображение темного коридора и его компоненты

Изображение дорожной обочины

Построение геометризованной гистограммы для цветных изображений

• Тривиальный способ: строится геометризованная гистограмма для компоненты G/(G+B) и дополнительно каждый интервал снабжается гистограммой распределения уклонения от среднего значения другого отношения, например G/(G+R), и дополнительно для каждого отрезка вычисляются верхнее и нижнее значение полутоновой компоненты.

• Данный метод хорошо работает, например, на изображениях дорожных сцен на фоне растительности и плохо работает на сложных сценах со многими предметами разных цветов – объекты не различаются на уровне построения локальной геометризованной гистограммы.

• Правильный метод состоит в учете обеих компонент G/(G+B) и G/(G+R) при построении системы отрезков локальной геометризованной гистограммы. Этот метод есть некоторая аналогия человеческой зрительной системы (теория Геринга трех стрелок измерительных приборов).

Процедура расширения диапазона значений G/(G+B)

• Рассмотрим случай G/(G+B) >= 0.5 (остальные случаи аналогичны). Пусть G/(G+B) принимает дискретные значения 0,…,k.

• Если точка, определяемая парой G/(G+B), G/(G+R), имеет оттенок из желтой области, то расширенной функции CF=G/(G+B)ext присваивается значение G/(G+B). В случае если точка попадает в зеленой или красный диапазоны, значения G/(G+B)ext увеличиваются на k + 1 и 2(k + 1), соответственно.

• Для CF строится система интервалов в полосе также как это делалось для G/(G+B) . Каждый интервал снабжается классической гистограммой уклонений значений G/(G+R) от среднего значения в точках полосы, соответствующих заданному интервалу, значением мощности интервала, и верхним, нижним и средним значением полутоновой компоненты.

Корректировка функции CF для отделения бесцветных и темных компонент

• Вводятся дополнительные значения CF, чтобы описывать объекты, которые имеют “наивный” белый, серый (светло-серый, темно-серый) и черный цвета. Кроме того темные но окрашенные компоненты интегрируются по аналогии с человеческим зрением.

• Для каждой цветовой области устанавливаются свои правила (диапазоны значений полутоновой компоненты) принадлежности к определенному наивному цвету.

• Данная процедура принудительным образом делает бесцветные компоненты однородными по отношению к полутону.

• Темным компонентам присваиваются некоторые интегрированные цвета.

Выделение однородных окрашенных интервалов геометризованной гистограммы

• Полученные интервалы геометризованной гистограммы характеристической функции CF в зависимости от гистограммы уклонений оппонентного отношения (R/(R+B) или G/(G+R)) признаются однородными или неоднородными в цветовом отношении.

• Аналогичная процедура проводится для определения полутоновой однородности с рассмотрением ширины полутонового и диапазона и уклонения среднего значения от верхней и нижней границ диапазона.

Процедура согласования результатов с человеческим зрением

• Определение заметных и незаметных цветов окрашенных интервалов.

• Основываясь на средних значениях и диапазонах численных характеристик окрашенных интервалов, их мощности, а также характеристик окружения по некоторым правилам определяется заметен ли сам интервал и его цвет.

Пример геометризованной гистограммы с обработкой

Процедуры построения сгустков (color bunches) интервалов в геометризованной гистограмме

полосы• Выбираются интервалы имеющие однородный заметный

цвет и сами признанные заметными.• Устраивается процедура выживания сильнейших

интервалов. Интервалы бросаются на прямую и в каждой точке выживает сильнейший интервал (имеющий максимальную плотность). Данная процедура проделывается итеративно и в нескольких цветовых диапазонах. Интервалы упорядочиваются в зависимости от доли точек, в которых они выжили. Выжившие интервалы берутся как семена при построении кластеров. Кластеры строятся с помощью метрик, описанных выше.

• Проводятся различные процедуры, устраняющие дублирование. Кластерам приписываются некоторые средние значения H (hue) и S (saturation) и I и диапазоны вариации их значений а также интервал на оси полосы.

Построение структурного графа

• Вершины графа STG – цветовые сгустки для всех полос разбиения изображения. Граф разбивается на несколько слоев, каждый слой соответствует цветовым сгусткам одной полосы.

• Определяются соседние цветовые сгустки в одинаковых слоях (соответствующих одной полосе) и в соседних слоях (соответствующих соседним полосам). Сгустки являются соседними если их интервалы пересекаются или близки в смысле близостей, подобных приведенным выше.

• Слева направо (или справа налево) строятся последовательности ребер графа STG. Каждый цветовой сгусток соединяется с соседним сгустком в соседнем слое имеющим наиболее близкие и сходные цветовые характеристики.

Структурный граф изображения коридора с человеком в кадре. Вертикальные прямые соответствую горизонтальным полосам изображения с соответствующими номерами, окрашенные квадраты – цветовым сгусткам, отрезки прямых – ребрам графа.

Построение глобальных объектов

1. Строятся непрерывные системы сгустков окрашенных интервалов, которые соответствую путям на структурном графе таким, что каждый путь содержит по одной точке в каждом слое. По аналогии с теорией расслоений такие непрерывные системы называются сечениями.

2. Глобальные окрашенные объекты-сечения используются как кубики, из которых складываются реальные окрашенные объекты в кадре. Геометрически глобальные объекты соответствуют связным компонентам ребер графа.

3. Более сложные многоцветные сложные объекты складываются из соседних окрашенных объектов.

Примеры глобальных объектов-сечений

Примеры построения цветовых сгустков

Поиск ориентиров

Структурный граф

Уличная сцена

Структурный граф уличной сцены

Другие примеры

Снимки с конференции

Выделенные объекты

Программная реализация

• Система реализована в С++ (Visual Studio 2008) вместе со средствами сопряжения с вводом изображений из телекамер с использованием DirectX SDK.

• Скорость обработки для цветных изображений 640х480 8-10 fps, для изображений 320х240, в четыре раза быстрее. Однокомпонентные изображения обрабатываются в 6 раз быстрее цветных изображений.

• Система имеет средства для работы через сеть, включая работу через Internet.

• Выводы• Разработан новый метод представления сцен, основанный на

понятии геометризованной гистограммы, удобный для решения задач понимания изображений в реальном времени.

• Основу представления данных составляет структурный граф, поставленный в соответствие любому цветному изображению.

• Геометризованная гистограмма и структурный граф позволяют разделять и находить различные предметы на изображениях.

• Предложенная техника дает подход к интерпретации цветовых характеристик объектов на изображении сходной с интерпретацией, выполненной человеком.

• Разрабатывается система поиска ориентиров на изображениях, основанная на развитой технике.

• Необходимо строить разные правила интерпретации, повысить точность используемых параметров, и организовать процедуру обучения с целью выбора оптимальных правил для разных классов изображений.