Upload
cs-center
View
193
Download
3
Embed Size (px)
Citation preview
Анализ изображений и видео
Наталья Васильева [email protected] HP Labs Russia
12 ноября 2013, Computer Science Center
Лекция 5: Построение признаков и сравнение изображений: локальные особенности и признаки
2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Признаки изображений
Признаки
Глобальные Локальные
Описывают картинку целиком: − средняя яркость; − среднее значение по
красному каналу; − …
Описывают часть картинки: − средняя яркость верхней левой
четверти; − среднее значение по красному
каналу в окрестности центра изображения;
− …
Обычно, вычисляются по всем пикселям изображения
Сегментация, поиск точек интереса, построение признаков по окрестностям точек интереса
3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Когда глобальные признаки не работают?
Изменение масштаба Изменение точки съемки
Изменение освещения Перекрытие
4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Решение: локальные признаки
• Хотя глобальные признаки отличаются, можно найти сопоставимые фрагменты изображений
• Как выбирать фрагменты? • Как описывать фрагменты?
5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Как сопоставлять фрагменты?
1. Сканирование (scanning) Полный перебор (точно не пропустим пару сопоставимых фрагментов)
Полный перебор (медленно) Слишком много пар
6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Как сопоставлять фрагменты?
1. Выборочное сравнение фрагментов (sparse matching) Быстрее: меньше сравнений
Изолированные фрагменты (нет пересекающихся пар) Нет гарантии, что всегда будут найдены все пары Как искать «ключевые» точки???
Ключевые точки Точки интереса Точки внимания Особые точки Точечные особенности Характерные точки “salient” “keypoints” “representative”
7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Какими должны быть «особые» фрагменты?
1. Их должно быть немного • существенно меньше, чем пикселей на изображении
2. Информативные, репрезентативные, уникальные (distinctive, salient) • Если окрестности двух точек не отличимы, будет сложно понять, какую из
них сопоставить искомому фрагменту 3. Повторяемые (repeatable)
• Одна и та же точка должна находиться на изображении вне зависимости от геометрических и фотометрических изменений объекта съемки
4. Локальные (local) • Небольшого размера, устойчивы к частичному перекрытию другим
объектом
8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Повторяемость особых точек
• Необходимо, чтобы хотя бы часть особых точек первого изображения была обнаружена на втором
• При этом обнаружение особых точек должно происходить независимо для каждого изображения
Нет совпадающих особых точек – нет возможности сопоставить изображения!
Slide credit: K. Grauman
9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Информативность, репрезентативность
• Желательна однозначность в сопоставлении фрагментов
• Желательна инвариантность к геометрическим и фотометрическим трансформациям объекта на разных изображениях
?
10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Геометрические и фотометрические трансформации изображения
Геометрические:
• Поворот
• Поворот + изменение масштаба
• Афинные преобразования
Фотометрические • Афинные преобразования интенстивности (I → a I + b)
11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Сравнение изображений при помощи локальных признаков: основные шаги
1. Локализация особых точек
2. Выделение особых фрагментов – окрестности ключевых точек, инвариантные к различного рода преобразованиям
3. Построение векторов признаков для найденных фрагментов
4. Сопоставление наборов локальных признаков для двух изображений
Fig. credit: K. Grauman, B. Leibe
12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Применение локальных признаков
• Слежение за движущимися объектами
• Сопоставление изображений (например, для построения панорам)
• 3D-реконструкция
• Распознавание объектов
• Индексирование и поиск изображений
• Навигация роботов
13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Finding Corners
•Key property: in the region around a corner, image gradient has two or more dominant directions •Corners are repeatable and distinctive
C.Harris and M.Stephens. "A Combined Corner and Edge Detector.“ Proceedings of the 4th Alvey Vision Conference: pages 147--151.
14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Угловые точки в качестве особых
• Просто обнаружить, используя маленькое окно • Смещение окна в окрестности угловой точки в любом направлении приводит к
существенному изменению набора интенсивностей окна (алгоритм Моравица) • В окрестности угловой точки – два доминирующих направления градиента
(алгоритм Харриса)
“край”: нет изменений по одному из направлений – вдоль края
“угол”: существенные изменения по всем направлениям
“монотонная” область: нет изменений ни в каком направлении
15 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Схема работы детекторов угловых точек
http://kiwi.cs.dal.ca/~dparks/CornerDetection/index.htm
16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Пример
17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Детектор Моравица (Moravec)
• Для каждого направления смещения вычисляется изменение интенсивности:
• Строится карта силы угла в каждой точке:
• Отсекаются неугловые точки по порогу (значение силы угла меньше порога) • Отсекаются точки, не являющиеся локальным максимумом (non-maximal
suppression)
(x,y) – центр окна, размер окна (2n+1)X(2n+1), n=1,2,4
(u,v) – направление смещения (всего 8 направлений)
∑ +=+=
−=−=++−=
nybnxa
nybnxavbuaIbaIvuyxS ,
,2)),(),((),,,(
)},,,({min),(,
vuyxSyxCvu
=
18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Недостатки детектора Моравица
• Не является инвариантным к повороту из-за дискретности рассмтариваемого множества направлений смещений
• Выдает высокий отклик вдоль при наличии даже небольшого шума
• Неточен в оценке локального изменения интенсивности из-за использования квадратной бинарной маски окна
19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Детектор Харриса
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
dxdf
dydf
20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Детектор Харриса – освновная идея
• Для каждого окна смотрим на собственные числа ковариационной матрицы градиентов пикселей
• Собственные вектора этой матрицы показывают «основные направления» данных
• Величина собственных чисел указывает на «степень выраженности» соответствующего направления
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
Нет «больших» собственных чисел 1 «большое» собственное число 2 «больших» собственных числа
21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Детектор Харриса: математика
[ ]2
,( , ) ( , ) ( , ) ( , )
x yE u v w x y I x u y v I x y= + + −∑
Изменение интенсивности в окрестности точки (x,y) при сдвиге [u,v]:
Яркость Яркость при сдвиге
Функция окна
или Функция окна w(x,y) =
Гауссиан 1 в окне, 0 снаружи
Slide credit: Computer Vision : CISC 4/689
22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
[ ]( , ) ,u
E u v u v Mv
≅
Для небольших сдвигов [u,v] можем аппроксимировать (ряд Тейлора):
2
2,
( , ) x x y
x y x y y
I I IM w x y
I I I
=
∑
где M - матрица 2×2, состоящая из частных производных от интенсивности:
Детектор Харриса: математика
Это приводит к приближению:
∑ +≈yx
yx vyxIuyxIyxwvuE,
2)),(),()(,(),(
vyxIuyxIyxIyvxuI yx ),(),(),(),( ++≈++
23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
[ ]( , ) ,u
E u v u v Mv
≅
Угол характеризуется большим изменением E во всех направлениях вектора [u,v], что эквивалентно большим по модулю собственным значениям матрицы М
λ1, λ2 – собственные значения M
Slide credit: Computer Vision : CISC 4/689
Детектор Харриса: математика
λ2
“Угол”
“Край”
“Край”
“Плоская” область
λ1 и λ2 велики, λ1 ~ λ2, E растет во всех направлениях
λ2 >> λ1
λ1 >> λ2
λ1
λ1 и λ2 малы; E почти постоянна по всем направлениям
24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
λ2
“Угол”
“Край”
“Край”
“Плоская” область
R > 0
R < 0
R < 0 |R| small
Slide credit: Computer Vision : CISC 4/689
Детектор Харриса: мера отклика угла
• R зависит только от значений собственных чисел ,
• R принимает большие значения в угловых точках
• R принимает отрицательные значения, большие по модулю на контуре
• |R| мало в плоском регионе
λ1 λ2
λ1
( )2det traceR M k M= −
1 2
1 2
dettrace
MM
λ λλ λ
== +
(k – эмпирическая константа, k = 0.04-0.06)
25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Детектор Харриса
1. Вычислить градиент изображения в каждой точке с использованием Гауссова сглаживания
2. Вычислить матрицу М с весовыми коэффициентами Гауссова окна для окрестности каждой точки
3. Вычислить меру отклика угла R
4. Найти точки с большим значением R (отсечение по порогу)
5. Найти локальные максимумы меры отклика угла (nonmaximum suppression)
26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Slide credit: Computer Vision : CISC 4/689
Пример
27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Вычисляем значение R
Slide credit: Computer Vision : CISC 4/689
Пример
28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Выделяем точки с R>threshold
Slide credit: Computer Vision : CISC 4/689
Пример
29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Оставим точки локального максимума R
Slide credit: Computer Vision : CISC 4/689
Пример
30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Slide credit: Computer Vision : CISC 4/689
Пример
31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Свойства детектора Харриса
• Инвариантность к повороту
• Инвариантность к сдвигу интенсивности I → I + b
• Не инвариантен к изменению масштаба!
Все точки – точки контура
Угол
32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Рассмотрим фрагменты (например, круги) разного размера на разных изображениях Для двух изображений найдутся соответствующие масштабы, при которых фрагменты будут выглядеть похоже
Fine/Low Coarse/High
Slide credit: Computer Vision : CISC 4/689
Инвариантность к изменению масштаба
33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Задача: как выбрать размер фрагмента независимо для каждого изображения???
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Решение: • Выберем функцию, заданную на фрагменте изображения, инвариантную к
изменению масштаба – значение функции одинаково для сопоставимых фрагментов, даже если они разного масштаба (например, средняя интенсивность)
• В каждой точке изображения посмотрим на эту функцию, как на функцию от изменения размера фрагмента
scale = 1/2
f
region size
Image 1 f
region size
Image 2
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Решение:
scale = 1/2
f
region size/scale
Image 1 f
region size/scale
Image 2
Найти лоакльный максимум такой функции
Наблюдение: точка локального максимума инвариантна к изменению маштаба
s1 s2
Важно: размер фрагмента, на котором достигается локальный максимум, находится для каждого изображения независимо!
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Characteristic Scale (Характеристический размер)
• Точка локального максимума - characteristic scale • S1/S2 равно соотношению масштабов между изображениями
37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
“Хорошая” функция для определения соотношения масштабов фрагментов:
f
region size
bad
f
region size
bad
f
region size
Good !
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
Нужен один хорошо выраженный пик функции.
38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Многомасштабное представление изображений
Пирамида изображений
39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Прореживающая выборка (sampling) Тривиальный способ уменьшения размера изображения
Slide source: Fei-Fei Li
40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Алиасинг (aliasing)
Slide credit: Fei-Fei Li
41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Slide credit: Fei-Fei Li
42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Антиалиасинг
Решение: избавится от высоких частот Потеряем часть информации, но это лучше, чем алиасинг
Для удаления высоких частот используется сглаживание Если сглаживаем при помощи фильтра Гаусса, получим Гауссову пирамиду
44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Построение пирамиды
46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Гауссова пирамида
Slide credit: Fei-Fei Li
47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Масштабно-независимые детекторы Функции для определения характеристического размера:
2 2
21 22
( , , )x y
G x y e σπσ
σ+
−=
( )2 ( , , ) ( , , )xx yyL G x y G x yσ σ σ= +
( , , ) ( , , )DoG G x y k G x yσ σ= −
Kernel Imagef = ∗
где
Оба ядра инварианты к изменению масштаба и повороту
Лапласиан:
Разность Гауссиан (приближение Лапласиана):
Slide credit: Computer Vision : CISC 4/689
48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Свертка с Лапласианом
gdxdf 2
2
∗
f
gdxd
2
2
Edge
Second derivative of Gaussian (Laplacian)
Edge = zero crossing of second derivative
Source: S. Seitz
49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Свертка с Лапласианом
Spatial selection: the magnitude of the Laplacian response will achieve a maximum at the center of the blob, provided the scale of the Laplacian is “matched” to the scale of the blob
maximum
Slide credit: S. Lazebnik
50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Пример выбора масштаба
• 2D Laplacian задается формулой: • Для бинарного круга радиуса r Лапласиан достигает максимума при 2/r=σ
r
2/rimage
Lapl
acia
n re
spon
se
scale (σ)
222 2/)(222 )2( σσ yxeyx +−−+
Slide credit: S. Lazebnik
51 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Laplacian-of-Gaussian (LoG)
52 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Difference-of-Gaussian
2=σ
21 σσ −
The input image is convolved with Gaussian function:
21 =σ 42 =σ
53 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Difference-of-Gaussian
54 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Difference-of-Gaussian
55 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Harris-Laplacian1 Find local maximum of: • Harris corner detector in space (image
coordinates) • Laplacian in scale
scale
x
y
← Harris →
← L
apla
cian
→
• SIFT (Lowe)2 Find local maximum of: – Difference of Gaussians in space
and scale
scale
x
y
← DoG →
← D
oG →
Key point localization
Slide credit: Computer Vision : CISC 4/689
56 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Scale Invariant Detection: Summary
Given: two images of the same scene with a large scale difference between them
Goal: find the same interest points independently in each image
Solution: search for maxima of suitable functions in scale and in space (over the image)
Methods:
1. Harris-Laplacian [Mikolajczyk, Schmid]: maximize Laplacian over scale, Harris’ measure of corner response over the image
2. SIFT [Lowe]: maximize Difference of Gaussians over scale and space
57 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
We know how to detect points Next question: How to match them?
?
Point descriptor should be: 1. Invariant 2. Distinctive
Локальные признаки
58 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
SIFT: Основные шаги
1. Scale-space peak selection • Using Difference-of-Gaussians (DoG)
2. Keypoint localization • Elimination of unstable keypoints
3. Orientation assignment • Based on keypoint local image patch
4. Keypoint descriptor • Based upon the image gradients in keypoint local neighbourhood
59 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
SIFT keypoints
Maxima and minima of DoG applied in scale-space:
1) Extrema detection for the same scale 2) Check if it is stable for different scales
60 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Scale-space extrema detection
61 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 61/50
Keypoints orientation and scale
• Extract image gradients and orientations at each pixel
• Each key location is assigned a canonical orientation
• The orientation is determined by the peak in a histogram of local image gradient orientations
62 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
SIFT descriptor
63 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 63/50
Example
64 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Заключение
Глобальные признаки не всегда работают Вычисление локальных признаков
Определение особых точек Выделение особых фрагментов – инвариантность к масштабу! Построение векторов признаков Сопоставление локальных деcкрипторов пары изображений