SURFتوصیف کننده SPEEDED-UP ROBUST FEATURES

دکتر محمد جواد فدائی اسالم: تنظیم برای درس

Related Works

• Harris Corner Detector - Harris 1988

• Laplacian of Gaussian - Lindeberg 1998

• Difference of Gaussian - Lowe 2004

2

Related Works

• Harris Corner Detector - Harris 1988

• Laplacian of Gaussian - Lindeberg 1998

• Difference of Gaussian - Lowe 2004

flat edge corner

Illumination invariance !!!

3

Related Works

• Harris Corner Detector - Harris 1988

• Laplacian of Gaussian - Lindeberg 1998

• Difference of Gaussian - Lowe 2004

* =

characteristic scale

4 LoG can detect blob-like structures at locations

“Feature Detection with Automatic Scale Selection”, IJCV ‘98

Related Works

• Harris Corner Detector - Harris 1988

• Laplacian of Gaussian - Lindeberg 1998

• Difference of Gaussian - Lowe 2004

2 2( , , ) ( , , ) ( 1) ( , , )G x y k G x y k G x y

5

Computational efficiency !

Keep the same keypoint in all scale !

Compare to 26 neighbors

Motivation

• Lindeberg uses Laplacian of Gaussian, one could

obtain scale invariant features.

• Lowe uses difference of Gaussian to approximate

Laplacian of Gaussian. (SIFT)

• This paper uses Hessian - Laplacian to approximate

Laplacian of Gaussian, to improve calculation speed.

6

Using integral images for major speed up

Integral Image (summed area tables) is an intermediate

representation for the image and contains the sum of gray

scale pixel values of image.

INTEGRAL IMAGES تصاویر تجمعی

7

They can be evaluated at a very low computational cost using integral images with

box filters

INTEGRAL IMAGES (مثال)تصاویر تجمعی

8

3 1 6 4 5

3 7 12 2 1

3 3 1 6 2

3 0 7 9 6

3 0 8 12 9

19 16 15 9 5

44 38 30 12 6

59 50 39 20 8

84 72 61 35 14

116 101 90 56 23

28=3+8+3+7+3+3+1 =حاصل جمع محاسبه 6جمعی با

28=12+56-44-116 =حاصل جمع محاسبه 3جمعی با

مستقل از اندازه پنجره .با تغییر پنجره تعداد محاسبه ثابت می ماند

تصویر تجمعی

Hessian Matrix

مشتقات شامل که مربعی ماتریس از است عبارت (هسیان یا هژین) هشین ماتریس

تابع موضعی انحنای میزان گر بیان واقع در ماتریس این . می باشد تابعی دوم مرتبه جزئی

توسط میالدی نوزدهم قرن در ماتریسی چنین.هست آن متغیرهای ازای به نظر مورد

.شد گذاری نام او، نام به و مطرح آن آلمانی ریاضیدان

9

ماتریس هسیان در فضای مقیاس

در هسیان ماتریس دترمینان از مناسب ویژگی های یافتن برای SURF ویژگی در

.است شده گرفته ایده مقیاس فضای

10

𝐻 𝐱, 𝜎 =𝐿𝑥𝑥(𝐱, 𝜎) 𝐿𝑥𝑦(𝐱, 𝜎)

𝐿𝑥𝑦(𝐱, 𝜎) 𝐿𝑦𝑦(𝐱, 𝜎)

𝐿𝑥𝑥(𝐱, 𝜎)=The Convolution of the Gaussian Second Order Derivative 𝜕2

𝜕𝑥2 g(σ) with the Image 𝐼 in point 𝐱 .

𝐼

تابع گوسی در فضای مقیاس

Gaussians are optimal for scale-space analysis, but in practice they have to be discretized and cropped.

In SURF feature, Box filter is used to approximate second order Gaussian derivatives.

The Box filter can be evaluated at a very low computational cost using integral images.

The calculation time therefore is independent of the filter size.

20

17

/1/1

0

11

Fre

e te

mp

late

from

ww

w.b

rain

ybe

tty.co

m

BOX FILTER

12

𝐷𝑦𝑦

𝐷𝑥𝑦

سطوح خاکستری مقدار صفر دارند

Guassian Box

The 9 × 9 box filters are approximations of a Gaussian with 𝜎 = 1.2

and represent the lowest scale (highest spatial resolution)

13

(DoG) SURF

In SURF, the scale space is analyzed by up-scaling the filter size

rather than iteratively reducing the image size.

SCALE SPACE REPRESENTATION

The scale space is divided into octaves.

An octave represents a series of filter response

maps obtained by convolving the same input

image with a filter of increasing size.

An octave encompasses a scaling factor of 2

which implies that one needs to more than double

the filter size

14

SCALE-SPACE REPRESENTATION

15

9 × 9 15 × 15

SCALE-SPACE REPRESENTATION

Octave1: 9 × 9, 15 × 15, 21 × 21, 27 × 27,

Octave2: 15 × 15, 27 × 27, 39 × 39, 51 × 51,

Octave3: 27 × 27, 51 × 51, 75 × 75, 99 × 99,

16

INTEREST POINT LOCALIZATION

مقدار بیشینه در یک فضای همسایگی

3 × 3 × 3 به عنوان ویژگی مناسب در نظر گرفته ( بیشینه در مکان و مقیاس های متفاوت)

.می شود

17

DESCRIPTION

ORIENTATION ASSIGNMENT

پس از تعیین مکان ویژگی باید یک بردار برای توصیف آن ایجاد شود .

در گام اول باید یک جهت قابل بازیابی انتخاب شود.

6برای یافتن جهت در فضای دایروی به شعاعs ( کهs مقیاسی است که. از مرکز ویژگی، موجک هار محاسبه می شود( ویژگی در آن یافت شده است

انتخاب شده sو گام نمونه برداری 4sبرای محاسبه این موجک طول پنجره .است

18

DESCRIPTION

ORIENTATION ASSIGNMENT (CONT’D)

19

6موجک با تابع تبدیل هار که برای هر نقطه کاندیدا در فضای دوs محاسبه .می شود

عمل نیاز است 6از آنجا که تصویر تجمعی موجود است برای هر موجک تنها.

𝒅𝒙 𝒅𝒚

DESCRIPTION

ORIENTATION ASSIGNMENT (CONT’D)

20

محاسبه موجک ها و یافتن دو مقدار𝑑𝑥 و 𝑑𝑦 برای هر نقطه

interest point

scale = s

r = 6s

Haar dx

dy

x response y response

DESCRIPTION

ORIENTATION ASSIGNMENT (CONT’D)

21

برای هر نقطه دو مقدار وجوددارد که در یک فضای دو بعدی

.ترسیم می شود

سپس این فضا به پنجره هایی با

طول 𝜋

3 𝑑𝑦و 𝑑𝑥تقسیم شده

.نقاط آنها باهم جمع می شود

بیشترین بردار به عنوان جهت

.انتخابی تعیین می شود

UPRIGHT SURF (U-SURF)

22

Note that for many applications, rotation

invariance is not necessary.

U-SURF is faster to compute and can increase

distinctivity, while maintaining a robustness to

rotation of about +/− 15.

DESCRIPTOR

23

DESCRIPTOR (CONT’D)

24

به مرکز ویژگی نواحی . با توجه به جهتی که در مرحله قبل به دست آمد4 × ایجاد می شود 4

در هر ناحیه بردار زیر محاسبه می شود:

تایی تشکیل می گردد 64یعنی برای هر ویژگی یک بردار.

𝑑𝑥 و𝑑𝑦 با توجه به موجک با تبدیل هار به دست می آید. موجک نسبت به بایاس مستقل است و اگر بر مقدار حداکثر تقسیم شود تا

.نرمال شود نسبت به کنتراست نیز مستقل خواهد بود

DESCRIPTOR (CONT’D)

25

Conclusion

SURF is faster than SIFT by 3 times, and

has recall precision not worse than SIFT.

SURF is good at handling image with

blurring or rotation.

SURF is poor at handling images with

different viewpoints .

26

27

Reference

• “Speeded-Up Robust Features”, CVIU ‘08 Herbert Bay

• “Distinctive Image Features from Scale-Invariant

Features”, IJCV ’04 David G. Lowe

• “A Combined Corner and Edge Detector” ‘88 Chris Harris

• “Feature Detection with Automatic Scale Selection”, IJCV ’98

Lindeberg