Выделениеисопоставлениеособыхточеквобработке

изображений

АлександрМордвинцев,СПбГУИТМО,НИИНКТzzznah@gmail.com

http://znah.net2011

Мотивация

Мотивация

Мотивация

Мотивация

Мотивация

План• Выделениеособыхточек(feature pointdetection)– Harris,LoG,DoG,MSER,FAST…

• Построениедескрипторов(featuredescription)– SIFT,SURF,BRIEF,DAISY…

• Featurematching• Applications

Поискособыхточек

• Повторяемость– Детекторнаходитодниитежеточкинаразныхкадрах

• Эффективность– Особыхточекзначительноменьше,чемпикселей

Поискособыхточектрадиционныйподход

Функция«особенности»

Saliencyfunction

Порог

Локальныемаксимумы

Локальнаяособенность:угол• Ищемточки,окрестностькоторыхсильноизменяетсяприсмещениивлюбомнаправлении

Монотонныйрегион(-)

Край(-) Угол(+)

Детектор угловХаррисаHarrisCornerDetector

( )[ ]

[ ] ∑

∑

⎥⎥⎦

⎤

⎢⎢⎣

⎡=⎥

⎦

⎤⎢⎣

⎡≈

≈++−=

yx yyx

yxx

yx

IIIIII

yxwMvu

Mvu

vyuxIyxIyxwvuE

,2

2

,

2

),(,

),(),(,),(

Окно(напр.Гауссиан)

Яркостьточкиокрестности

Яркостьсмещеннойточки

Матрицапроизведенийпроизводныхвточке(x,y)

АппроксимацияEквадратичнойформой

Матрицамоментов,структурныйтензор…

ДетекторугловХаррисафункции“особенности”

• λ1 иλ2 – собственныечисламатрицыM

• Инвариантныкповороту• Частичноинвариантнык

переменеосвещенности

),min(tracedet

)(tracedet

21Shi

Brown

2Harris

λλ=

=

−=

RMMR

MkMR

06.004.0tracedet

21

21

!=

+=

=

kMM

λλ

λλ

Структурныйтензор• ВторойсобственныйвекторматрицыMуказываетнаправлениетекстуры

• Обобщаетсянатрехмерноепространство

Выбормасштаба

• Проблема:детекторХаррисанеинвариантенкмасштабуизображения

• Необходимвыбормасштаба

• Локальнаяособенность:капля(blob)– Болееяркое(илитемное),

чемфон,пятнонаизображении

«Край» Угол!

ЛапласианГауссиана

• ПоложениелокальныхмаксимумовLoGопределяетположениеимасштабособойточки

• КомбинируетсясдетекторомХаррисадлявычислениямасштабауглов

• АппроксимациииспользуютсявдетекторахSIFT,SURFимногихдругих

( ))(),LoG( 22 xx Ig ∗∇= σσσ

ДетекторобластейMSER• MSER- MaximallyStable

Extremal Region• Устойчивыек

бинаризациисразличнымпорогомучасткиизображения

• Эффективнореализуетсяприпомощисистемынепересекающихсямножеств

• Инвариантенкаффиннымпреобразованиям

• Точкаособенная,есливнакольцерадиусаrестьдугаизNпоследовательныхпикселей,всеизкоторых– Значительнотемнееp– Значительносветлееp

ДетекторFAST:идея

• Классифицируемпикселикольцапопорогуt насветлые,темныеисерые.Окрестностьточкиописываетсятренарным вектором

• Строимрешающеедереводляклассификациивекторовнаособые/неособые

• Результат- >4000 строквложенныхif-else• Новсреднем всего2.26 сравненийнапиксельдляr=3,

N=9.Работаеточеньбыстро

ДетекторFAST:реализация

Дескрипторыособенностей• Описываютокрестностькаждойособойточкинаборомпараметров

• Должныбыть:– специфичны– локальны– устойчивы– простыввычислении– иметьадекватнуюметрику

ДескрипторыособенностейПростейшие• (не)ориентированныеокна

Гистограммыградиентов(SIFT)• Ориентацияточки(поискдоминирующегоградиента)

• Бьемориентированнуюокрестностьрегулярнойсеткой(обычно4x4)

• Строимгистограммуградиентов,попавшихвкаждуюячейку(обычно8бинов)

• Получаемвекториз4*4*8=128.Нормализуем.ЭтоиестьдескрипторSIFT

ДескрипторBRIEF• Приразработкедескрипторагенерируемслучайныйнаборпардвухмерныхвекторовсмещений(xi,xi’)

• Дескриптор точкиpb(p) - векторизN=128...256булевыхзначений

⎩⎨⎧

ʹ+≤+

ʹ+>+=

)()(если,1)()(если,0

)(ii

iii II

IIb

xpxpxpxp

p

• МетрикаХеммингадлясравнениядескрипторов

Сравнениедескрипторов• Имеемдванаборадескрипторов,хотимнайти

соответствия– Критерий1-NNdistance– 1-NN/2-NNdistance

• Используемвероятностныйиндексдляпоискаближайшихсоседейвмногомерномпространстве(FLANN)

• Модельтрансформациимеждуизображениями

• RANSAC

Регистрацияизображений

Приложения, демонстрации.

Ссылки• RichardSzeliski ComputerVision:AlgorithmsandApplications

(http://szeliski.org/Book/)• http://courses.graphicon.ru/main/vision/2011/lectures• Featuredetectors

– http://www.robots.ox.ac.uk/~vgg/research/affine– http://www.edwardrosten.com/work/fast.html– Space-timeinterestpoints

• Descriptors– http://www.cs.ubc.ca/~lowe/keypoints/– http://www.vision.ee.ethz.ch/~surf/– (BRIEF)http://cvlab.epfl.ch/~lepetit/– http://www.cmap.polytechnique.fr/~yu/research/ASIFT/demo.html– http://cvlab.epfl.ch/research/detect/ldahash/

• Applications– http://www.robots.ox.ac.uk/~bob/research/research_ptamm.html– http://phototour.cs.washington.edu/bundler/– http://pix4d.com/