Sharpening Spatial Filters

Sharpening

• วตัถปุระสงค์หลกัของ sharpening คือต้องการเพิ่มรายละเอียดหรือปรับปรุงรายละเอยีดของภาพ

เช่นในกรณีท่ีภาพเบลอเม่ือเกิดจากความผิดพลาดหรือผลโดยธรรมชาติของการได้มาซึง่ข้อมลูภาพ(image acquisition)

• Sharpening ถกูน ามาใช้อย่างกว้างขวาง เช่นในการพิมพ์ิภาพ Medical image, Remote sensing, Industrial inspection, และทางด้านการทหารที่ใช้ระบบน าทางอตัโนมตัิ เป็นต้น

image differentiation

• การเฉลี่ยข้อมลูเปรียบได้กบัการอินตเิกรต

• Sharpening ด าเนินการได้โดยการดฟิเฟอเรนติเอชนัในสปาเทียลโดเมน

• โดยปกติแล้วผลตอบสนองท่ีได้จากตวัด าเนินการอนพุนัธ์จะเป็นสดัสว่นกบัระดบัความไมต่อ่เน่ืองในข้อมลูภาพ

• ดงันัน้การหาอนพุนัธ์ของภาพเป็นการปรับปรุงขอบของวตัถใุนภาพ รวมไปถึงจดุท่ีไม่ตอ่เน่ืองท่ีปรากฏอยูใ่นภาพ(สญัญาณรบกวน) และตวัด าเนินการนีจ้ะไปลดความเข้มข้นของข้อมลูในพืน้ท่ีท่ีไม่มีการเปลี่ยนแปลงของข้อมลู

Foundation

• การหาอนพุนัธ์ในปริภมูิหนึง่มิติ เราสนใจพฤตกิรรมของอนพุนัธ์ในช่วงตา่งๆของระดบัสีเทาท่ีคงท่ี(Flat segments) และสว่นท่ีไม่ตอ่เน่ืองเช่นสว่นท่ีมีความชนั(Ramp) และท่ีความชนัเท่ากบั 90 องศาหรือท่ีเรียกวา่ “Step”

• ความไมต่อ่เน่ืองท่ีถกูปรับปรุงด้วยอนพุนัธ์สามารถน าไปจ าลองจดุท่ีเป็นสญัญาณรบกวน เส้นตรง และขอบของวตัถท่ีุปรากฏอยูใ่นภาพ

• พฤตกิรรมของผลลพัธ์ของอนพุนัธ์ท่ีน่าสนใจอีกอยา่งหนึง่คือ การเปลี่ยนแปลงท่ีจะเข้าสูแ่ละออกจากจดุท่ีมีคณุสมบตัิท่ีส าคญั (image

features)

Foundation

• first derivative (1) must be zero in flat segments (areas of constant gray-

level values); (2) must be nonzero at the onset of a gray-level step or

ramp; and (3) must be nonzero along ramps.

Similarly, any definition of• second derivative

(1) มีค่าเท่ากบัศนูย์ในช่วงท่ีไม่มีการเปลี่ยนแปลง (flat areas); (2) มีค่าไม่เท่ากบัศนูย์ at the onset and end of a gray-level step or

ramp; and (3) มีค่าเท่ากบัศนูย์ along ramps of constant slope.

นิยามของอนพุนัธ์อนัดบัท่ีหนึง่ของฟังก์ชนัหนึง่มิติ f( x) ได้ก าหนดไว้ดงันี ้

𝜕𝑓

𝜕𝑥= 𝑓 𝑥 + 1 − 𝑓(𝑥)

A second-order derivative as the difference

𝜕2𝑓

𝜕𝑥2= 𝑓 𝑥 + 1 + 𝑓(𝑥 − 1) − 2𝑓(𝑥)

Example 1st and 2nd derivative

Image contains various solid objects, a line, and a single noise point.

0 50 100 150 200 250 300 350 400 450 5000

50

100

150

200

250

• Graph shows a horizontal gray-level profile (scan line) of the image along the center and including the noise point.

• This profile is the one-dimensional function we will use for illustrations regarding this figure.

Example 1st and 2nd derivative

ในรูปแสดงโพรไฟล์ ท่ีแทนด้วยตวัเลขท่ีสเกลลงมาเพื่อความสะดวกในการแทน ง่ายตอ่การด าเนินการ และการวิเคราะห์พฤตกิรรมของอนพุนัธ์อนัดบัท่ีหนึง่และท่ีสอง เม่ือข้อมลูประกอบด้วยสญัญาณรบกวน ช่วงที่ไม่มีการเปลี่ยนแปลง ขอบวตัถ ุเป็นต้น

0 50 100 150 200 250 300 350 400 450 5000

50

100

150

200

250

1st =f(x+1)-f(x) = 4-5=-1

0 50 100 150 200 250 300 350 400 450 5000

50

100

150

200

250

2nd =f(x+1)+f(x-1)-2f(x) = 4+5-2(5)=-1

• First-order derivative is nonzero along the entire ramp, • The second-order derivative is nonzero only at the onset

and end of the ramp. • Because edges in an image resemble this type of transition, • Conclude:

– first-order derivatives produce "thick" edges and – Second-order derivatives, much finer ones.

• The isolated noise response at and around the point is much stronger for the second-order than for the first-order derivative. Of course, this is not unexpected.

• A second-order derivative is much more aggressive than a first-order derivative in enhancing sharp changes.

• So that, we can expect a second-order derivative to enhance fine detail (including noise) much more than a first-order derivative.

The thin line is a fine detail, • If the maximum gray level of the line had been the same as the isolated point,

• the response of the second derivative would have been stronger for the latter.

Step Edge• the response of the two derivatives is the same at the gray-Ievel step (in

most cases when the transition into a step is not from zero, the second derivative will be weaker).

• The second derivative has a transition from positive back to negative. • In an image, this shows as a thin double line or "double-edge“.

• Note that if the gray level of the thin line had been the same as the step, • the response of the second derivative would have been stronger for the line

than for the step.

Comparing the response between first- and second-order derivatives

(1) First-order derivatives generally produce thicker edges in an image.

(2) Second-order derivatives have a stronger response to fine detail, such as thin lines and isolated points.

(3) First order derivatives generally have a stronger response to a gray-level step.

(4) Second-order derivatives produce a double response at step changes in gray level.

We also note of second-order derivatives that, for similar changes in gray-level values in an image, their response is stronger to a line than to a step, and to a point than to a line.

1st and 2nd Derivative

• การประยกุต์ใช้ส าหรับการปรับปรุงข้อมลูภาพสว่นใหญ่ อนุพนัธ์อนัดบัสองจะมีความเหมาะสมกวา่อนัดบัหนึง่ เน่ืองจากสามารถปรับปรุงรายละเอียดของวตัถใุนภาพได้ดีกวา่

• ส าหรับอนพุนัธ์อนัดบัท่ีหนึง่จะน ามาอธิบายในหวัข้อถดัไป เน่ืองจากจะน าไปใช้ในการหาขอบของวตัถใุนภาพ แตก็่สามารถน ามาใช้ร่วมกบัอนพุนัธ์อนัดบัท่ีสองเพื่อการปรับปรุงภาพได้

การใช้อนพุนัธ์อนัดบัสองในการปรับปรุงภาพ

• ในท่ีนีจ้ะน าอนพุนัธ์อนัดบัสองมาสร้างตวักรองสญัญาณภาพ ท่ีเป็นตวักรองแบบไมมี่ทิศทาง (Isotropic Filter) นัน่คือไม่วา่จะหมนุข้อมลูภาพไปในทิศทางใด เม่ือประมวลกบั Isotropic Filter ก็จะได้ผลลพัธ์เหมือนกนั

• อนพุนัธ์อนัดบัสองท่ีน ามาใช้ เป็นวิธีลาปลาเซียน (Laplacian) ซึง่เป็นตวัด าเนินการอนพุนัธ์อนัดบัสองท่ีง่ายท่ีสดุ ท่ีใช้สร้างตวักรองแบบไม่มีทิศทาง ซึง่ตวัด าเนินการลาปลาเซียนของรูปภาพ f(x,y) ท่ีมีสองตวัแปรสามารถก าหนดได้ดงันี ้

𝛻2𝑓 =𝜕2𝑓

𝜕𝑥2+

𝜕2𝑓

𝜕𝑦2

ลาปลาเชียลแบบไมต่อ่เน่ือง

• เม่ือน าลาปลาเชียลมาใช้ปรับปรุงภาพ ซึง่เป็นข้อมลูท่ีไม่ต่อเน่ือง(ข้อมลูแบบเตม็หน่วย) การหาอนพุนัธ์จะต้องใช้ข้อมลูในบริเวณใกล้เคียงมาค านวณ

𝛻2𝑓 =𝜕2𝑓

𝜕𝑥2 +𝜕2𝑓

𝜕𝑦2

• จากนิยามของอนพุนัธ์ยอ่ยอนัดบัสองตามแกน x จะได้วา่𝜕2𝑓

𝜕𝑥2= 𝑓 𝑥 − 1, 𝑦 + 𝑓 𝑥 + 1, 𝑦 − 2𝑓(𝑥, 𝑦)

• ในกรณีของอนพุนัธ์ยอ่ยตามแกน y สามารถก าหนดได้ดงันี ้𝜕2𝑓

𝜕𝑦2= 𝑓 𝑥, 𝑦 − 1 + 𝑓 𝑥, 𝑦 + 1 − 2𝑓(𝑥, 𝑦)

ลาปลาเชียลสองมิติ

เม่ือน าผลรวมของอนพุนัธ์ยอ่ยตามแกน x และ y มาเขียนรวมกนัก็จะได้อนพุนัธ์ยอ่ยอนัดบัสอง ดงันี ้

𝛻2𝑓= 𝑓 𝑥 − 1, 𝑦 + 𝑓 𝑥 + 1, 𝑦 + 𝑓 𝑥, 𝑦 − 1

ลาปลาเชียลสองมิติลาปลาเชียลท่ีได้เป็นตวักรอง Isotropic ท่ี 90 องศา คือเม่ือหมนุรูปทกุๆ 90 องศาจะได้ผลลพัธ์ท่ีเหมือนกนั ถ้าต้องการสร้างตวักรองในแนวเส้นทะแยง ก็สามารถสร้างได้เช่นเดียวกบักรณีข้างต้นนัน้คือ• จากนิยามของอนพุนัธ์ยอ่ยอนัดบัสองตามแนวทะแยงจะได้วา่𝜕2𝑓

𝜕𝑥2= 𝑓 𝑥 − 1, 𝑦 − 1 + 𝑓 𝑥 + 1, 𝑦 + 1 − 2𝑓(𝑥, 𝑦)

• ในกรณีของอนพุนัธ์ยอ่ยตามแนวทะแยง สามารถก าหนดได้ดงันี ้𝜕2𝑓

𝜕𝑦2= 𝑓 𝑥 − 1, 𝑦 + 1 + 𝑓 𝑥 + 1, 𝑦 − 1 − 2𝑓(𝑥, 𝑦)

• จะได้ลาปลาเชียลตามแนวทะแยงคือ

𝛻2𝑓 =

𝑓(𝑥 − 1, 𝑦 − 1) 0 𝑓(𝑥 − 1, 𝑦 + 1)0 −4𝑓(𝑥, 𝑦) 0

𝑓(𝑥 + 1, 𝑦 − 1) 0 𝑓(𝑥 + 1, 𝑦 + 1)(2)

ลาปลาเชียลสองมิติ

เม่ือน าตวักรองจากสมการท่ี (1) และ (2) มารวมกนั ก็จะได้ตวักรองท่ีไม่ขึน้อยูก่บัทิศทางท่ีหมุน่ไปทกุๆ 45 องศา

𝛻2𝑓 = 𝑓 𝑥, 𝑦−1,−1 −1,0 −1,10, −1 −8 0,0 0,11,−1 1,0 1,1

(3)

จากสมการท่ี (1) และ (3) จะได้วินโดว์ลาปลาเชียลขนาด 3×30 1 01 −4 10 1 0

0 −1 0−1 4 −10 −1 0

1 1 11 −8 11 1 1

−1 −1 −1−1 8 −1−1 −1 −1

การปรับภาพให้คมชดัด้วยลาปลาเชียล

𝑔 𝑥, 𝑦 = 𝑓 𝑥, 𝑦 − 𝛻2𝑓 𝑥, 𝑦 กรณีที่สมาชิกตรงกลางลาปลาเชียลติดลบ𝑓 𝑥, 𝑦 + 𝛻2𝑓 𝑥, 𝑦 กรณีท่ีสมาชิกตรงกลางลาปลาเชียลเป็นบวก

(4)

𝑔 𝑥, 𝑦 = 𝑓 𝑥, 𝑦 − 𝑓 𝑥, 𝑦 ∗ 𝑤4 𝑔 𝑥, 𝑦 = 𝑓 𝑥, 𝑦 − 𝑓 𝑥, 𝑦 ∗ 𝑤8

(ก) รูปขัว้เหนือของดวงจนัทร์(ข) ผลจากลาปลาเชียล

0 1 01 −4 10 1 0

(ค) ผลจากลาปลาเชียลในโดเมนของทศนิยม>>f = im2double(f);>>g2=imfilter(f,w,’replicate’);>>imshow(g2,[]);(ง) Image sharpening โดยการ>>g = f – g2;

สมการท่ี (4) ท่ีนิยามไว้วา่𝑔 𝑥, 𝑦

= 𝑓 𝑥, 𝑦 − 𝛻2𝑓 𝑥, 𝑦 กรณีท่ีสมาชิกตรงกลางลาปลาเชียลติดลบ𝑓 𝑥, 𝑦 + 𝛻2𝑓 𝑥, 𝑦 กรณีท่ีสมาชิกตรงกลางลาปลาเชียลเป็นบวก

(4)

เม่ือลาปลาเชียล 𝛻2𝑓 𝑥, 𝑦 แทนด้วยสมการท่ี (1) จะสามารถจดัรูปเสียใหม่เป็น

𝑔 𝑥, 𝑦= 𝑓 𝑥, 𝑦− 𝑓 𝑥 − 1, 𝑦 + 𝑓 𝑥, 𝑦 − 1 + 𝑓 𝑥, 𝑦 + 1 + 𝑓 𝑥 + 1, 𝑦+ 4𝑓 𝑥, 𝑦= 5𝑓 𝑥, 𝑦− 𝑓 𝑥 − 1, 𝑦 + 𝑓 𝑥, 𝑦 − 1 + 𝑓 𝑥, 𝑦 + 1

0 −1 0−1 5 −10 −1 0

−1 −1 −1−1 9 −1−1 −1 −1

Unsharp masking and high-boost filtering

• มีกระบวนการหนึง่ท่ีนิยมใช้ในการปรับความคมชดัของข้อมลูภาพเมื่อหลายสบิปีก่อน กระบวนการนีจ้ะน าข้อมลูภาพมาหาคา่เฉลี่ยแล้วน าไปลบออกจากข้อมลูเดิม ท าให้กระบวนการนีถ้กูเรียกวา่ “Unsharpmasking” ซึง่ถกูก าหนดน าโดย

𝑔𝑠 𝑥, 𝑦 = 𝑓 𝑥, 𝑦 − 𝑓 𝑥, 𝑦 (6)

• กระบวนการนีม้าจากการอดัฟิล์มในห้องมืด ซึง่ตอ่มา Unsharpmasking ถกูพฒันามาเป็น High-boost filtering ท่ีมีการนิยามดงันี ้

𝑔ℎ𝑏 𝑥, 𝑦 = 𝐴𝑓 𝑥, 𝑦 − 𝑓(𝑥, 𝑦)

high-boost filtering

𝑔ℎ𝑏 𝑥, 𝑦 = 𝐴𝑓 𝑥, 𝑦 − 𝑓 𝑥, 𝑦 (7)

โดยท่ี 𝐴 ≥ 1สมการนีส้ามารถน ามาจดัรูปเสียใหมโ่ดย𝑔ℎ𝑏 𝑥, 𝑦= 𝐴𝑓 𝑥, 𝑦 + 𝑓 𝑥, 𝑦 − 𝑓 𝑥, 𝑦 − 𝑓 𝑥, 𝑦= 𝐴 − 1 𝑓 𝑥, 𝑦 + 𝑓 𝑥, 𝑦 − 𝑓 𝑥, 𝑦= 𝐴 − 1 𝑓 𝑥, 𝑦 + 𝑔𝑠 𝑥, 𝑦 (8)

ในสมการท่ี (8) สามารถใช้ได้ทัว่ไป แตไ่ม่ได้ก าหนดไว้ตรงๆว่าจะปรับภาพให้คมชดัได้อยา่งไร ดงันัน้ถ้าเลือกใช้ลาปลาเชียล 𝑔𝑠 𝑥, 𝑦 ก็จะได้จากสมการท่ี (4)

high-boost filtering

จากกรณีข้างต้น ท าให้สมการท่ี (8) กลายเป็น

𝑔ℎ𝑏 = 𝐴𝑓 𝑥, 𝑦 − 𝛻2𝑓 𝑥, 𝑦 ถ้าสมาชิกตรงกลางของลาปลาเชียลติดลบ𝐴𝑓 𝑥, 𝑦 + 𝛻2𝑓 𝑥, 𝑦 ถ้าสมาชิกตรงกลางของลาปลาเชียลเป็นบวก

(9)

การปรับภาพให้คมชดัด้วยตวักรอง high-boost มีรูปแบบของวินโดว์เป็นดงันี ้0 −1 0

−1 𝐴 + 4 −10 −1 0

−1 −1 −1−1 𝐴 + 8 −1−1 −1 −1

>>g=imfilter(f,-w8, ‘replicate’);

A=1 A=1.7

การใช้อนพุนัธ์อนัดบัท่ีหนึง่ในการปรับปรุงภาพ• อนพุนัธ์อนัดบัท่ีหนึง่ส าหรับการประมวลผลภาพจะใช้ขนาดของเกรเดียน เม่ือฟังก์ชนั

ข้อมลูภาพอยูใ่นรูป f(x, y) เกรเดียนต์ท่ีโคออร์ดิเนต (x, y) จะถกูก าหนดเป็นสองมิติในรูปของคอลมัน์เวกเตอร์ดงันี ้

𝛻𝒇 =𝐺𝑥

𝐺𝑦=

𝜕𝑓

𝜕𝑥𝜕𝑓

𝜕𝑦

(10)

• ขนาดของเวกเตอร์นีถ้กู าหนดโดย

12

12

2 2

22

x y

f mag

G G

f f

x y

f

• องค์ประกอบตา่งๆท่ีได้จากเกรเดียนต์เวกเตอร์เองจะเป็นเชิงเส้น แต่ขนาดของเวกเตอร์ไม่เป็นเชิงเส้นเพราะ มีการยกก าลงัสองและการถอดรากท่ีสอง

• อนพุนัธ์ยอ่ยในสมการท่ี (10) จะมีทิศทางหรือเป็นเวกเตอร์ (non isotropic) แตข่นาดจะไมเ่ป็นเวกเตอร์คือจะเป็น Isotropic

• การค านวณขนาดของเวกเตอร์ในการประมวลผลภาพ ปกติจะใช้วิธีประมาณคา่ด้วยคา่สมับรูณ์แทนการยกก าลงัสองและการถอดรากท่ีสอง

𝛻𝑓 ≈ 𝐺𝑥 + 𝐺𝑦

การใช้อนพุนัธ์อนัดบัท่ีหนึง่ในการปรับปรุงภาพ

การใช้อนพุนัธ์อนัดบัท่ีหนึง่ในการปรับปรุงภาพ

𝑓(𝑥 − 1, 𝑦 − 1) 𝑓(𝑥 − 1, 𝑦) 𝑓(𝑥 − 1, 𝑦 + 1)𝑓(𝑥, 𝑦 − 1) 𝑓(𝑥, 𝑦) 𝑓(𝑥, 𝑦 + 1)

𝑓(𝑥 + 1, 𝑦 − 1) 𝑓(𝑥 + 1, 𝑦) 𝑓(𝑥 + 1, 𝑦 + 1)

𝑧1 𝑧2 𝑧3

𝑧4 𝑧5 𝑧6

𝑧7 𝑧8 𝑧9

ดงันัน้𝐺𝑥 = 𝑓 𝑥 + 1, 𝑦 − 𝑓 𝑥, 𝑦 = 𝑧8 − 𝑧5

𝐺𝑦 = 𝑓 𝑥, 𝑦 + 1 − 𝑓 𝑥, 𝑦 = 𝑧6 − 𝑧5

• Roberts cross-gradient operators ได้นิยามไว้ดงันี ้𝐺𝑥 = 𝑓 𝑥 + 1, 𝑦 + 1 − 𝑓 𝑥, 𝑦 = 𝑧9 − 𝑧5

𝐺𝑦 = 𝑓 𝑥 + 1, 𝑦 − 𝑓 𝑥, 𝑦 + 1 = 𝑧8 − 𝑧6

• จะมีขนาดเป็น𝛻𝑓 = 𝑧9 − 𝑧5

2 + 𝑧8 − 𝑧62 1 2

• ซึง่จะประมาณโดย𝛻𝑓 ≈ 𝑧9 − 𝑧5 + 𝑧8 − 𝑧6 (11)

• เกรเดียนต์ในวินโดว์ 3×3 ที่น่าสนใจอีกตวัหนึง่คือ𝛻𝑓≈ 𝑧7 + 2𝑧8 + 𝑧9 − 𝑧1 + 2𝑧2 + 𝑧3

+ 𝑧3 + 2𝑧6 + 𝑧9 − 𝑧1 + 2𝑧4 + 𝑧7 (12)

การใช้อนพุนัธ์อนัดบัท่ีหนึง่ในการปรับปรุงภาพ

• วินโดว์ท่ีได้จาก Roberts cross-gradient operators สมการท่ี (11) คือ

−1 00 1

0 −11 0

• Sobel operators จากสมการท่ี (12) คือ−1 −2 −10 0 01 2 1

−1 0 1−2 0 2−1 0 1

การใช้อนพุนัธ์อนัดบัท่ีหนึง่ในการปรับปรุงภาพ

%Laplacian>>g=imfilter(f, w8, ‘replicate’);%Sharpening image>> gs = f+g;%Sobel operators>>g1 = imfilter(f, w, ‘replicate’);>>g2 = imfilter(f, w’, ‘replicate’);>>g = abs(g1)+abs(g2);%Average 5x5 of Sobel operators>>g = imfilter(g, w5x5, ‘replicate’);