Современная математика компьютерного зрения

Виктор КостоусовДенис Перевалов

Институт математики и механики им. Н.Н.Красовского

Конференция DUMP-2013

План

1. Что такое компьютерное зрение2. Успехи3. Математика4. Проблемы5. Методы

Нас интересуют методы извлечения и анализа цветовых и геометрических структур на изображении. 

ОпределениеКомпьютерное зрение

- теория и технология создания машин, которые могут видеть.

http://the-gadgeteer.com/wp-content/uploads/2009/12/mr-robot-head-game.jpg

Высший уровень

Классификация и идентификация объектов,

построение описания сцены

Низкоуровневая обработка

фильтрация и выделение точечных особенностей

Задачи компьютерного зрения

Средний уровень

Обнаружение линий, контуров, простых геометрических фигур,

построение скелета,сегментация

2. Успехи компьютерногозрения

Решены конкретные задачи> Обнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя

Решены конкретные задачиОбнаружение лиц > Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя

Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.> Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя

Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещении> Распознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя

Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестов> Автоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя

Решены конкретные задачиОбнаружение лиц Обнаружение объектов: пешеходы, автомобили, животные и пр.Мониторинг людей в помещенииРаспознавание жестовАвтоматическое наведение на цельНомера автомобилейПоиск деталей на конвейереАвтоматический контроль в производствеАвтомобили без водителя

Разработаны общие методы> Сегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)по контурам (MRF)

Сшивка изображений (SIFT)

http://www.cis.upenn.edu/~jshi/GraphTutorial/Tutorial-ImageSegmentationGraph-cut4-Sharon.pdf

Разработаны общие методыСегментация (GrabCut)> Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)по контурам (MRF)

Сшивка изображений (SIFT)

Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)> Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)по контурам (MRF)

Сшивка изображений (SIFT)

http://opencv.willowgarage.com/documentation/c/_images/disparity.png        

Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)> Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)по контурам (MRF)

Сшивка изображений (SIFT)

http://www.merl.com/projects/images/particle.jpg

Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)> Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)по контурам (MRF)

Сшивка изображений (SIFT)

http://ericbenhaim.free.fr/images/hog_process.png

Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)> Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)по контурам (MRF)

Сшивка изображений (SIFT)

http://robwhess.github.io/opensift/

Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)> по контурам (MRF)Сшивка изображений (SIFT)

Li 1994a, из книги Li по MRF

Разработаны общие методыСегментация (GrabCut)Оптический поток (Farneback)Стереозрение (SGM)Трекинг (Particle filter)Поиск объектов на изображении (Виола-Джонс, HOG, GHT)Сопоставление с эталоном в условиях загораживания

по ключевым точкам (SIFT)по контурам (MRF)

> Сшивка изображений (SIFT)

http://queue.acm.org/detail.cfm?id=2206309

3. Математика компьютерного зрения

Задача сопоставления двух изображений

• Многие задачи компьютерного зрения являются конкретизацией следующей задачи:

-----------------------------------------------------------------------------

Дано два изображения A и B.

Требуется их сопоставить между собой,

и выдать параметры сопоставления: геометрические, цветовые, показатель надежности.

-----------------------------------------------------------------------------

> Отсутствие геометрических трансформаций

Малые локальные сдвиги

Большие горизонтальные сдвиги

Большой однородный сдвиг в любом направлении

Большой однородный сдвиг, поворот, масштабирование

A[x,y] ↔ B[x,y]

Задача поиска существенных изменений между изображениями

Задача сопоставления двух изображений

Отсутствие геометрических трансформаций

> Малые локальные сдвиги

Большие горизонтальные сдвиги

Большой однородный сдвиг в любом направлении

Большой однородный сдвиг, поворот, масштабирование

A[x,y] ↔ B[x + epsX, y + epsY]

Оптический поток

Задача сопоставления двух изображений

Отсутствие геометрических трансформаций

Малые локальные сдвиги

> Большие горизонтальные сдвиги

Большой однородный сдвиг в любом направлении

Большой однородный сдвиг, поворот, масштабирование

A[x,y] ↔ B[x + X, y]

Стереозрение

Задача сопоставления двух изображений

Отсутствие геометрических трансформаций

Малые локальные сдвиги

Большие горизонтальные сдвиги

> Большой однородный сдвиг в любом направлении

Большой однородный сдвиг, поворот, масштабирование

A[x,y] ↔ B[x + U, y +V] где U,V – одинаковы для всех (x,y)

Сшивка изображений

Задача сопоставления двух изображений

http://queue.acm.org/detail.cfm?id=2206309

Отсутствие геометрических трансформаций

Малые локальные сдвиги

Большие горизонтальные сдвиги

Большой однородный сдвиг в любом направлении

> Большой однородный сдвиг, поворот, масштабирование

A[x,y] ↔ B[ T(x,y) ] где T – афинный оператор

Поиск объектов на изображении

Задача сопоставления двух изображений

4. Проблемы компьютерногозрения

Комбинаторный взрыв

• Количество бинарных изображений размером NxN пикселей – 2N*N.

• 1x1 2 изображения• 2x2 16 изображений• 3x3 512 изображений• 5x5 33 554 432 изображений• 10x10 1267650600228229401496703205376• 100x100 ~103000 (3000 знаков в числе).

Это - комбинаторный взрыв:

Перебрать всё множество изображений трудно.Приходится сокращать пространство возможных изображений.

Трудоемкость

Число возможных расположений объекта на изображении велико (положение, поворот, размер, искажения).

Например, равнобедренный треугольник с шириной и высотой 1..100 пикселей, на изображении 1000x1000 пикселей,

100 углов поворота: 100 * 100 * 1000 * 1000 * 100 =~1 000 000 000 000 возможных положений для поиска по эталону.

Решение этой проблемы:

Двухуровневый поиск (грубый – точный масштаб).

Поиск объекта по частям (отрезки, углы объекта).

Структурная изменчивость изображений объектов

Проблема слабовыраженных границ

http://flogiston.ru/img/invisible_flounder_fish.jpg

Как найти камбалу?

Проблема сегментации сильно-текстурированных объектов

http://dangerouswildlife.com/images/zebra-herd.jpg

Сколько зебр на снимке?

5. Методыкомпьютерного зрения

Ретроспектива развития методов> 50-е Перцептрон, линейные фильтры

60-е Корреляционные методы, Хаф, Фурье

70-е Математическая морфология

• Линейная фильтрация с помощью оптических и аналоговых средств.• Перцептрон Розенблатта – надежда использовать простую модель

нейронов мозга для распознавания изображений.

Фрэнк Розенблатт со своим компьютером — «Марк-1».

Ретроспектива развития методов50-е Перцептрон, линейные фильтры

> 60-е Корреляционные методы, Хаф, Фурье

70-е Математическая морфология

• Сопоставления с эталоном с помощью корреляции.• Преобразование Хафа для поиска линий – аккумулирование в пространстве параметров

модели.• Быстрое преобразование Фурье – надежда на получение устойчивого метода

сопоставления с эталоном.• Фильтры границ Собела, Превитта.

Ретроспектива развития методов50-е Перцептрон, линейные фильтры

60-е Корреляционные методы, Хаф, Фурье

> 70-е Математическая морфология

• Морфология Серра – характеризация пористых изображений.• Морфологический анализ Ю.П. Пытьева – оператор морфологического

проектирования, инвариантный к изменениям яркостей объектов.

http://bme.med.upatras.gr/improc/Morphological%20operators.htm

Результат работы морфологического замыкания

Ретроспектива развития методов> 80-е Дифференциальные и интегральные методы, обобщенный Хаф

90-е Комбинаторные методы и анализ многообразий изображений

2000-е - н.в. Три направления

• Метод Канни для поиска контуров.• Методы Люкаса-Канаде и Хорна для вычисления оптического потока.• Метод активных контуров• Обобщенный метод Хафа.• Многомасштабный анализ – надежда на вейвлеты.• RANSAC – стабильный метод оценки параметров модели на основе случайных выборок.

http://www.roborealm.com/help/Canny.php

Ретроспектива развития методов80-е Дифференциальные и интегральные методы, обобщенный Хаф

> 90-е Комбинаторные методы и анализ многообразий изображений

2000-е - н.в. Три направления

• Использование множества частиц для трекинга объектов (Particle filter). • Методы анализа изображений как многообразий, PCA (principal component

analysis) – построение опорных векторов многообразий, для поиска лиц.

Ретроспектива развития методов80-е Дифференциальные и интегральные методы, обобщенный Хаф

90-е Комбинаторные методы и анализ многообразий изображений

> 2000-е - н.в. Три направления

1. Общий подход (MRF) для решения многих задач компьютерного зрения. Позволяет формулировать задачу в общей математической формулировке, описанной выше.

Модель задачи в виде марковских случайных полей () + наложение модели на изображение с помощью глобальной оптимизации.

2. Сильные признаки (SIFT)

Построены признаки, инвариантные к повороту и изменению масштаба, которые можно применять для сопоставления объектов и пр.

3. Простой признак + “сильный” метод принятия решения (HOG, Виола-Джонс)

Использование достаточно простых признаков вместе с мощным аппаратом распознавания образов типа SVM и бустинга.

Заключение

1. Все упомянутые методы, классические и новейшие, используются в различных задачах.

2. Многие алгоритмы реализованы в библиотеке OpenCV и могут быть использованы для «разведки» задачи.

3. Для серъезных приложений необходимы собственные реализации методов, учитывающих специфику задачи.

ЛитератураЭтот доклад будет опубликован тут:

www.uralvision.blogspot.com

Компьютерное зрение• E. R. Davies, Computer and Machine Vision, 2012.• Гонсалес Р., Вудс Р.  Цифровая Обработка Изображений, 2012.• Шапиро Л., Стокман  Дж. Компьютерное зрение, 2009.• Форсайт Д., Понс Ж. - Компьютерное зрение. Современный

подход, 2004.

Список книг по OpenCV

http://opencv.willowgarage.com/wiki/OpenCVBooks