Specific Object Recognition using SIFT

گروه بینایی ماشین و پردازش

تصویرMachine Vision and Image Processing Group (Student Group)Electronic Research Center of Iran University of Science and Technology

http://mvip.iust.ac.ir

Presentation by:

Amir Azizi

1389آبان November 2010

1amir.s.azizi@gmail.com

Introduction

Example for specific object recognition:Search photos on web for the particular places

j. sivic

Introduction

Why is it difficult?

j. sivic

Challenges1- Viewpoint

Challenges2- Illumination

Challenges3- Occlusion

Challenges4- Scale

Challenges5- Deformation

Challenges6- Background Clutter

Local FeaturesNew

Dataset

☺Corners☺Blobs

Local Features (Interest points or key points):

Some of applications:- Specific object recognition- Tracking- Image registration- Camera calibration- ….

Local Features

Desired Properties of local features:* Repeatability

- The same feature can be found in several images despite geometric and photometric transformation

* Distinctiveness- Each feature has a distinctive description

* Locality- A feature occupies a relatively small area of the image; robust to clutter and occlusion

* Quantity- Number of features

* Efficiency- Applications that need to speed

Local feature-based object recognition

(:Detector- آشکارساز )1استخراج نقاط کلیدی

- توصیف کننده 2(Descriptor:)

ساخت بردار ویژگی برای هر (Matching- انطباق )3نقطه کلیدی

انطباق بردارهای ویژگی با دیتاست

نیرومندی نسبت به موارد زیر:

تغییر نقطه دید-تغییر روشنایی-تغییر شکل و کجی-تغییر اندازه-انسداد-شلوغی و درهم -

برهمی

سرعت نیز اهمیت دارد

مراحل:

توصیف کننده هاآشکارسازها- Harris- Harris-Laplace- Harris-Affine- MSER- Salient Regions- SIFT Detector (DoG)- SURF Detector

- Hessian-Laplace- Hessian-Affine- Shape Context- Geometric Blur- SIFT Descriptor- SURF Descriptor

Local feature-based object recognition

SIFT: Scale Invariant Feature Transform1999 and 2004

Hessian Matrix

𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦 (𝑥 , 𝑦 ,𝜎 )𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ] 𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )= 𝜕2

𝜕 𝑥2 𝑃

In mathematics, the Hessian matrix (or simply the Hessian) is the square matrix of second-order partial derivatives of a function; that is, it describes the local curvature of a function of many variables.

We want to find Blobs, soSIFT uses extrema of Hessian matrix trace:

Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )

1- SIFT Detector

هدف: آشکارسازی مکان هایی که با تغییر اندازه تصویر ثابت بمانند.

1- Lindeberg 1994,19982- Koendernik 1984

SCALE-SPACE𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )

Scale = σ

1- SIFT Detector SCALE-SPACE

𝐿 (𝑥 , 𝑦 ,𝜎 )=𝐺 (𝑥 , 𝑦 ,𝜎 )∗ 𝑓 (𝑥 , 𝑦 )

Laplacian=𝑇𝑟𝑎𝑐𝑒=𝐿𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎 )Laplacian=𝑇𝑟𝑎𝑐𝑒=(𝐺¿¿ 𝑥𝑥 (𝑥 , 𝑦 ,𝜎 )+𝐺𝑦𝑦(𝑥 , 𝑦 ,𝜎 ))∗ 𝑓 (𝑥 , 𝑦 )¿

𝐺 (𝑥 , 𝑦 ,𝑘𝜎 )−𝐺 (𝑥 , 𝑦 ,𝜎 )≈(𝑘−1)𝜎2𝛻2𝐺

𝐿𝑜𝐺=𝛻2𝐺

Mikolajczyk 2002: normalized Laplacian gives more robust features

𝐻=[ 𝐿𝑥𝑥(𝑥 , 𝑦 ,𝜎) 𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 )𝐿𝑥 𝑦(𝑥 , 𝑦 ,𝜎 ) 𝐿𝑦𝑦 (𝑥 , 𝑦 ,𝜎) ]

1- SIFT Detector

Down sampling

ساخت هرم:

1- SIFT Detector

آشکارسازی اکسترمم ها:

1- SIFT Detector

تعیین محل دقیق نقطه کلیدی:

1- SIFT Detector

حذف نقاط کلیدی نقاط دارای کنتراست پایین*ناپایدار:

نقاطی که بطور ضعیفی روی لبه ها قرار گرفته اند*

2- SIFT Descriptor تخصیص جهت به نقاط

کلیدی

2- SIFT Descriptor Rotation Invariance:

2- SIFT Descriptor

4×4×8=128

So we have a feature vector with 128 dimensions

3- Matching

دارای k-dساخت درخت * kمحاسبه تقریبی نزدیکترین همسایه اول و دوم به هر نقطه کلیدی در دیتا ست * بعد

نسبت نردیکترین همسایه اول به نزدیکترین همسایه دوم محاسبه * BBFبه کمک روش می شود

برای David Loweروش انطباق

در انتها برای *افزایش دقت

شناسایی نسبت به تغییر شکل و استتار از تبدیل

هاف نیز استفاده می شود.

با سپاس از توجه شما

؟amir.s.azizi@gmail.com

Specific Object Recognition using SIFT

Documents

SIFT: Scale Invariant Feature Transformcgg.mff.cuni.cz/~pepca/ref/SIFT.pdf · SIFT: Scale Invariant Feature Transform Automatické nalezení korespondencí mezi dvojicí obrázků

Av Recognition

SIFT Scale Invariant Feature Transform

Algoritmo SIFT

Facial recognition

melt. beat. sift

KIN RECOGNITION

PLATES RECOGNITION Part II Segmentazione targa e Riconoscimento cifre tramite SIFT Docente: Fiora Pirri Corso: Visione e Percezione Studenti: Alessio Borraccino

CTL Equine Infectious Anemia Virus-Specific Recognition of Gag

SIFT - Distinctive Image Features from Scale-Invariant Keypoints

HANDWRITING RECOGNITION

Specific Object Recognition using SIFT گروه بینایی ماشین و پردازش تصویر Machine Vision and Image Processing Group (Student Group) Electronic Research Center

SIFT sosiaali- ja terveydenhuollon integraation paikat ...sosiaalitaito.fi/wp-content/uploads/2019/09/SIFT-loppuraportti2019.pdf · Miten sosiaali- ja terveydenhuollon horisontaalinen

Face recognition

Speech Recognition

SIFT 特征匹配技术

Revenue & Recognition

Opportunity Recognition

Stvaranje panorame iz više slika bazirano na SIFT …ssegvic/project/pubs/palasek11sem2.pdf2. SIFT (Scale-Invariant Feature Transform) SIFT (Scale-Invariant Feature Transform) je

Sift Prcsr