Анализ изображений и видео 1, осень 2012: Классификация...

Анализ изображений и видео

Наталья Васильева nvassilieva@hp.com HP Labs Russia

9 ноября 2012, Computer Science Center

Лекция 7: Классификация изображений и распознавание объектов.

2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Вопросы (время на ответы 15 минут)

1. Преобразуйте цепной код 11076765543322 так, чтобы он стал инвариантным по отношению к выбору начальной точки и к повороту.

2. Дано изображение шахматного поля с клетками размером nxn пикселей. Какие параметры сдвига будут порождать матрицу смежности диагонального вида?

3. К каким трансформациям изображения не инвариантен детектор Харриса?

4. Какая индексная структура требует меньшего объема памяти для организации индекса: kD-tree или Vocabulary tree?

5. Какова вероятность коллизии для двух объектов x и y при использовании b-битных хеш-кодов и t независимых хеш-таблиц, если известно что sim(x,y)=p?

a) pt

b) 1 – (1 – pb)t

c) b(1 – pt)

3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Классификация, кластеризация Зачем сравнивать изображения?

Обучающее множество: изображения и метки класса

Модель классификатора

Обучение классификатора: сопоставление особенностей изображений меткам классов

Обучение

Тестирование

Тестовое изображение

Сопоставление тестового изображения модели

классификатора

Предсказанные классификатором классы: – open outdoor

4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Обнаружение объектов Зачем сравнивать изображения?

5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Мы бы хотели... Зачем сравнивать изображения?

• чтобы компьютер «понимал» семантику сцены на изображении • автоматически распознавать что и где изображено

• категоризировать и идентифицировать объекты, определять их свойства и отношения

Slide credit: M. Everingham

6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Разные уровни обобщения Что считать похожими объектами?

• Один и тот же объект в разные моменты времени (слежение/tracking)

• Один и тот же объект в разных позах, в разных условиях, с разным фоном (распознавание лиц)

• Разные объекты одной категории (обнаружение объектов/object detection)

7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Разные уровни локализации Что есть распознанный объект?

• Объект (сцена) присутствует на изображении

классификация, категоризация изображений (image classification)

• Известно местоположение объекта, объект выделен на изображении

обнаружение, выделение, локализация объекта (object detection, localization)

• Известны пиксели, принадлежащие объекту

объектная сегментация (object segmentation)

Slide credit: M. Everingham

8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Уровни обобщения

Уров

ни л

окал

изац

ии

просто

сложно

Определение категории и объектная сегментация

Определение категории и выделение объекта на изображении

Определение категории объекта на изображении

9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Стул Найдем стул на этом изображении Корреляция с шаблоном

Насколько сложна задача выделения объекта?

Slide credit: А. Torralba

10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Найдем стул на этом изображении

Простое сопоставление шаблонов не решает задачу

Насколько сложна задача выделения объекта?

Slide credit: А. Torralba

11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сложности: разные ракурсы/позы объекта

Slide credit: M. Everingham

12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сложности: разный масштаб

Slide credit: M. Everingham

13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сложности: изменение освещения

Slide credit: M. Everingham

14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сложности: фон

Slide credit: M. Everingham

15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Cложности: перекрытия

Slide credit: M. Everingham

16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сложности: деформируемые объекты

Slide credit: M. Everingham

17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Сложности: внутривидовые различия

Slide credit: M. Everingham

18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Как выделить общие свойства свойства объектов из одной категории?

Определить «с потолка» абстрактную модель непросто Проще обучить модель на примерах

Slide credit: M. Everingham

19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Общая схема решения

Использование классификатора:

• Представление изображения или его фрагмента в виде вектора признаков:

• Обучение классификатора • Классификация векторов признаков

Извлечение признаков

Классификатор

машина/не машина

f( )

20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Какие признаки использовать?

Какие свойства объектов являются ключевыми?

Зависят ли ключевые свойствва и признаки от категории?

Как достичь необходимой инвариантности?

Slide credit: M. Everingham

21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Какие признаки использовать?

0

500

1000

1500

2000

2500

0 50 100 150 200 250

22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Какие признаки использовать?

23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Как обучить классификатор?

Как построить разделяющую поверхность?

Как добиться необходимого уровня обощения модели классификатора?

Как учесть дополнительные априорные знания?

Slide credit: M. Everingham

24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Различные варианты разметки обучающего множества

Slide credit: M. Everingham

25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Модели: Generative vs. Discriminative

26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Модели: Generative vs. Discriminative

0 10 20 30 40 50 60 70 0

0.05

0.1

x = data

• Generative model

0 10 20 30 40 50 60 70 0

0.5

1

x = data

• Discriminative model

0 10 20 30 40 50 60 70 80

-1

1

x = data

• Classification function

Slide credit: А. Torralba

27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Discriminative methods

106 examples

Nearest neighbor

Shakhnarovich, Viola, Darrell 2003 Berg, Berg, Malik 2005 …

Neural networks

LeCun, Bottou, Bengio, Haffner 1998 Rowley, Baluja, Kanade 1998 …

Support Vector Machines and Kernels Conditional Random Fields

McCallum, Freitag, Pereira 2000 Kumar, Hebert 2003 …

Guyon, Vapnik Heisele, Serre, Poggio, 2001 …

Slide credit: А. Torralba

28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Классификация для разных подзадач и типов объектов

• Определение категории сцены/объекта Подход: классификация признаков изображения (глобальных или локальных) без выделения и анализа отдельных объектов/частей

• Выделение объектов Подход: классификация локальных признаков фрагментов изображения (скользящее окно)

• Объекты как множество составляющих их частей Подход: классификация локальных признаков составляющих частей объектов с учетом их взаимного расположения

29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Определение категории объекта

• Объект (сцена) присутствует на изображении

классификация, категоризация изображений (image classification)

30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Определение категории: пример

Slide credit: M. Everingham

31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Выделение объекта

• Известно местоположение объекта, объект выделен на изображении

обнаружение, выделение, локализация объекта (object detection, localization)

42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Использование классификатора

Набор фрагментов

… и принимается решение относительно категории каждого фрагмента («монитор» или «не монитор»).

Decision boundary

Монитор

Фон

В пространстве признаков

Где мониторы?

Изображение разбивается на фрагменты (возможно пересекающиеся)

Slide credit: А. Torralba

43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Использование скользящего окна

Полный перебор всех позиций и размеров окна!

44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Использование скользящего окна

Полный перебор всех позиций и размеров окна!

45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Использование скользящего окна

Полный перебор всех позиций и размеров окна!

46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Добавим информацию о пространственном расположении в модель «мешка слов»

Slide credit: M. Everingham

48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Добавим информацию о пространственном расположении в модель «мешка слов»

Slide credit: M. Everingham

49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Можно использовать пирамиду

Slide credit: M. Everingham

50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Добавление искусственных положительных примеров в выборку Jittering

Отображения, повороты, сдвиги, изменение масштаба, добавление шума

54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Детектор Violo-Jones

• «Быстрые», «простые» признаки объектов

• Интегральные изображения, свертка с прибиженным базисом Хаара

• Использование адаптивного бустинга (AdaBoost) для выбора наиболее информаитвных признаков

• Использование каскада классификаторов для быстрой отбраковки не-объектов

Основные идеи:

56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

2 3

Slide credit: M. Everingham

57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Everingham

58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Part arrangement models

• Объекты, как набор составных частей

• Вероятностная модель присутствия объекта на изображении: P(Object|Image)

• Вероятность наличия объекта зависит от:

• Вероятности наличия необходимых частей объекта «в нужных местах»: P(part k is at [xk,yk]|Image)

• Вероятности «правильного» расположения частей относительно друг друга P(part 1 is at [x1,y1]|Image) && P(part 2 is at [x2,y2]|Image) && …

59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Part arrangement models

• Голосование

• Ограничение на углы

• Использование Марковских случайных полей

60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Irani

61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Irani

62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Slide credit: M. Irani

63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.

Заключение

• Определение категории и выделение объектов решается при помощи классификации

• Определение категории: классификация локальных (глобальных) признаков с использованием машинного обучения

• Выделение объекта – использование скользящего окна • Проблемы

• Репрезентативность обучающей выборки • Bootstrapping and jittering

• Скорость работы • Каскады классификаторов

• Зависимость от контекста