אלכסנדר ברנגולץאלכסנדר ברנגולץ

מסננים דו-ממדיםמסננים דו-ממדים

קונוולוציה גרפיתקונוולוציה גרפית )קונוולוציה בשני ממדים )כולל גרפית(קונוולוציה בשני ממדים )כולל גרפית

רעש וגישות פשוטות לניקיונורעש וגישות פשוטות לניקיונו..

אלכסנדר ברנגולץאלכסנדר ברנגולץ

מסננים דו-ממדיםמסננים דו-ממדים

קונוולוציה גרפיתקונוולוציה גרפית )קונוולוציה בשני ממדים )כולל גרפית(קונוולוציה בשני ממדים )כולל גרפית

רעש וגישות פשוטות לניקיונורעש וגישות פשוטות לניקיונו..

עיבוד אותות ותמונות עיבוד אותות ותמונות במחשבבמחשב

עיבוד אותות ותמונות עיבוד אותות ותמונות במחשבבמחשב

22 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

מסננים דו-ממדיםמסננים דו-ממדיםמסננים דו-ממדיםמסננים דו-ממדים ניתן להגדיר את המערכת גם במקרה דו-ממדי. אך כיוון ניתן להגדיר את המערכת גם במקרה דו-ממדי. אך כיוון

שהמערכות הללו מופעלות בעיקר על התמונות ושם שהמערכות הללו מופעלות בעיקר על התמונות ושם ברוב המקרים אנחנו מתעניינים בפעולות מקומיות רוב ברוב המקרים אנחנו מתעניינים בפעולות מקומיות רוב

המערכות הדו-ממדיות שנדון בהן הן קבועות בהזזה.המערכות הדו-ממדיות שנדון בהן הן קבועות בהזזה. :דוגמאות הן: דוגמאות הן

מערכת סףמערכת סף–מערכת מחשבת מקסימום מקומי בתוך חלון מערכת מחשבת מקסימום מקומי בתוך חלון –מערכת מחשבת סכום של ערכי הפיקסילים בתוך חלוןמערכת מחשבת סכום של ערכי הפיקסילים בתוך חלון–

33 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

מסננת סףמסננת סףמסננת סףמסננת סף

otherwise

xy ij

ij 0

threshold1

otherwise

xy ij

ij 0

threshold1

44 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

מסננת מקסימוםמסננת מקסימוםמסננת מקסימוםמסננת מקסימום

מחליף את הערך שבפיקסל בערך גדול ביותר בסביבה מסוימת:מחליף את הערך שבפיקסל בערך גדול ביותר בסביבה מסוימת:

55 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

בשני ממדיםבשני ממדים LSILSIמערכות מערכות בשני ממדיםבשני ממדים LSILSIמערכות מערכות בדיוק כמו במקרה חד-ממדי אם מערכת היא ליניארית אז בדיוק כמו במקרה חד-ממדי אם מערכת היא ליניארית אז

:אם מערכת גם קבוע בהזזה:אם מערכת גם קבוע בהזזה

(,)T(,) nmxnmy (,)T(,) nmxnmy

jiij jminx

,

(,)T

jiij jminx

,

(,)T

ji

ij jminx,

(,)T

ji

ij jminx,

(,)T

(,)(,)T jminhjmin (,)(,)T jminhjmin :מכאן מקבלים:מכאן מקבלים

ji

ij jminhxmny,

(,)(,)

ji

ij jminhxmny,

(,)(,) nmnm hx * nmnm hx *

כלומר, קונוולוציה בשני ממדיםכלומר, קונוולוציה בשני ממדים

66 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

שתי דרכים להסתכל אל שתי דרכים להסתכל אל קונוולוציהקונוולוציה

שתי דרכים להסתכל אל שתי דרכים להסתכל אל קונוולוציהקונוולוציה

דרך אחת הסתכלות אל קונוולוציה היא ישר לפי דרך אחת הסתכלות אל קונוולוציה היא ישר לפי hxyקונבולוציה קונבולוציה הגדרה:הגדרה: * hxy * היא תגובה של היא תגובה של

מערכת מערכת hT ][ hT ][

xx לאות לאות

אזי אם נפרק את אות כניסה בתור סדרת ההלמים נוכל אזי אם נפרק את אות כניסה בתור סדרת ההלמים נוכל לקבל את אות התוצאה בתור סכום של תגובות ההלם לקבל את אות התוצאה בתור סכום של תגובות ההלם

המתחילות בנקודות המתאימות. המתחילות בנקודות המתאימות.

77 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

דוגמהדוגמהדוגמהדוגמהעלינו לחשב את קונוולוציה:עלינו לחשב את קונוולוציה:

**נפרק את אות נפרק את אות

הכניסההכניסה

88 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

דרך אחרתדרך אחרתדרך אחרתדרך אחרת

אם קודם הסתכלנו על קונוולוציה בתור פעולה של סכימה אם קודם הסתכלנו על קונוולוציה בתור פעולה של סכימה סדרתית לפי סדר ההלמים באות הכניסה ניתן להתייחס סדרתית לפי סדר ההלמים באות הכניסה ניתן להתייחס

לקונוולוציה לפי הגדרתה:לקונוולוציה לפי הגדרתה:in

iin hxy

in

iin hxy

מה הם ההלמים שהשפיעו על נקודה מסוימת בתוצאה?מה הם ההלמים שהשפיעו על נקודה מסוימת בתוצאה?

**נכנסת לחישוב נכנסת לחישוב ixix כל נקודהכל נקודה

של של

nyny עם משקל עם משקל inh inh

99 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב © א’ ברנגולץ© א’ ברנגולץ

בגלל הקומוטטיביות של קונוולוציה ניתן להחליף בגלל הקומוטטיביות של קונוולוציה ניתן להחליףאת התמונה שהיא מערכת ואות הכניסהאת התמונה שהיא מערכת ואות הכניסה

קונוולוציה בשני ממדים )גישה קונוולוציה בשני ממדים )גישה ראשונה(ראשונה(

קונוולוציה בשני ממדים )גישה קונוולוציה בשני ממדים )גישה ראשונה(ראשונה(

נסתכל על קונוולוציה בתור תגובה של מערכת נסתכל על קונוולוציה בתור תגובה של מערכתLSILSI::

11 11 1100 00 11

00 1100

00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 11 11 11 00 00 00 00 0000 11 33 33 11 00 00 00 00 0000 11 11 33 11 00 00 00 00 0000 11 11 11 11 00 00 11 11 0000 00 00 00 00 00 11 22 11 0000 00 00 00 00 00 11 11 00 0000 00 00 00 00 00 00 00 00 00

** ==

00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00

11 11 111111

33 1111 33 11

1111 11 1133

11 11 11 112211 11

111111 11

11 11 111111

0000

00 0000 0022 22 1100 00 11

00 1100

111111

11 11 111111

0000

00 0000 00

22 33 2200 00 11

00 1100

111111

111111

00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00

11 11 111111

22 33 2200 00 11

00 1100

111111

111111

11 11 111111

33 333333

3300 00 00

0000

00 000000

000000

22 33 221111

114444

111111

11 44 441111 33

22 33 2200 00 44

00 4400

117744

111111

11 44 771111 33 33

22 33 225544

118844

1111 44 77

1111 33 33 11

222222

2211 11

11

3344

22

11

5566

33

88 7766

1122

88 3399

2211

11 11 3344222211

5544

6655 77

11 1122

77 338844

2233

1122

11 11

3322 2211 11

2222

2233

33

4444

11

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב00

© א’ ברנגולץ© א’ ברנגולץ

קונוולוציה בשני ממדים )גישה קונוולוציה בשני ממדים )גישה אחרת(אחרת(

קונוולוציה בשני ממדים )גישה קונוולוציה בשני ממדים )גישה אחרת(אחרת(

כעת נסתכל על הנקודות שלפי הגדרת הקונוולוציה כעת נסתכל על הנקודות שלפי הגדרת הקונוולוציה..משפיעות על נקודה מסוימת בתוצאהמשפיעות על נקודה מסוימת בתוצאה

11 11 1100 00 11

00 1100

00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 11 11 11 00 00 00 00 0000 11 33 33 11 00 00 00 00 0000 11 11 33 11 00 00 00 00 0000 11 11 11 11 00 00 11 11 0000 00 00 00 00 00 11 22 11 0000 00 00 00 00 00 11 11 00 0000 00 00 00 00 00 00 00 00 00

** ==

00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00

11

1111 0000

11

00

11

00

11

11

1111

22

111111

33

1111

22

11

11

11

11

3311

44

333311

7711

113333

8811

1133

551111

22

11

11

1111

2211

331111

661133

113311

991133

1133

88111111

33

11

11

1111

221111

111111

553311

111111

773333

1111

88111111

331111

221111

223311

4411 1111 1111 11

1111

11

3311

11

2211

11

1111

22

1111

22

11

11

2211

33

112211

4411

1122

441111

22

1111

2211

1111

33112211

441111

221111

222211

3311 1111 1111 11

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב11

© א’ ברנגולץ© א’ ברנגולץ

ספרביליות ספרביליות ספרביליות ספרביליות

jnimi j

ijmn hxy , jnimi j

ijmn hxy ,

()()(,) 21 jhihjih ()()(,) 21 jhihjih נתבונן בהגדרת הקונוולוציה הדו-ממדית נתבונן בהגדרת הקונוולוציה הדו-ממדית

ונניח כעת שניתן לפרק את ונניח כעת שניתן לפרק את

:אז נוכל לרשום: אז נוכל לרשום

i jijjnim

i jijmn jnhximhhxy ()() 21,

i jijjnim

i jijmn jnhximhhxy ()() 21,

?למה זה חשוב?למה זה חשוב , אז קונולווציה לוקח, אז קונולווציה לוקחKKLL הואהוא hh וגודל וגודל AABB הואהוא xxנניח שגודל נניח שגודל

((O)ABKLO)ABKL זמן. אם זמן. אם hh הוא ספרבילי היא תיקח רק הוא ספרבילי היא תיקח רק((((O)AB)K+LO)AB)K+L

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב22

© א’ ברנגולץ© א’ ברנגולץ

ספרביליות )דוגמאות(ספרביליות )דוגמאות(ספרביליות )דוגמאות(ספרביליות )דוגמאות(

** ==

== **

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב33

© א’ ברנגולץ© א’ ברנגולץ

ספרביליות )דוגמאות(ספרביליות )דוגמאות(ספרביליות )דוגמאות(ספרביליות )דוגמאות(

**==

**1111113

13

1

11

11--

00

-1-1 00 112

12

1

-1-1 00 11-1-1 00 11-1-1 00 11

6

16

1

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב44

© א’ ברנגולץ© א’ ברנגולץ

רעש אדיטיבי )בעיקר רעש אדיטיבי )בעיקר “גאוסי”(“גאוסי”(

רעש אדיטיבי )בעיקר רעש אדיטיבי )בעיקר NIIn“גאוסי”(“גאוסי”( NIIn

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב55

© א’ ברנגולץ© א’ ברנגולץ

((salt & peppersalt & pepperרעש יש\אין )רעש יש\אין ) ((salt & peppersalt & pepperרעש יש\אין )רעש יש\אין )

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב66

© א’ ברנגולץ© א’ ברנגולץ

רעש מכפלה רעש מכפלה רעש מכפלה רעש מכפלה INIn 1 INIn 1

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב77

© א’ ברנגולץ© א’ ברנגולץ

ניקוי רעשניקוי רעשניקוי רעשניקוי רעש

?מה אנחנו יודעים על אות ורעש?מה אנחנו יודעים על אות ורעש

-כדי לראות דוגמאות נוספות של ניקוי רעש ב- כדי לראות דוגמאות נוספות של ניקוי רעש ב MatlabMatlab ניתן ניתןnrfiltdemonrfiltdemoלהשתמש בפקודה להשתמש בפקודה

הוא אקראי, אין קורלאציה בין ערכו בנקודה הוא אקראי, אין קורלאציה בין ערכו בנקודה רעשרעש מסוימת ובנקודה הסמוכה.מסוימת ובנקודה הסמוכה.

הוא אקראי, אין קורלאציה בין ערכו הוא אקראי, אין קורלאציה בין ערכו אותאות בנקודה מסוימת ובנקודה הסמוכה.בנקודה מסוימת ובנקודה הסמוכה.

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב88

© א’ ברנגולץ© א’ ברנגולץ

פתרון פשוטפתרון פשוטפתרון פשוטפתרון פשוט

נשתמש בשכניםנשתמש בשכניםרעיון:רעיון:רעש רעש

כל פיקסלים נפגעו מרעש אך שינויים שנגרמו הם כל פיקסלים נפגעו מרעש אך שינויים שנגרמו הם אדיטיבי:אדיטיבי:iii נמצע נמצעיחסית קטניםיחסית קטנים nfF iii nfF iffi 0 iffi 0

N

NiiF

Nf

12

10̂

N

NiiF

Nf

12

10̂

N

Niii nf

N 12

1

N

Niii nf

N 12

1

N

Niin

Nf

12

10

N

Niin

Nf

12

10

מסנן מיצועמסנן מיצועהמסנן הזה נקרא המסנן הזה נקרא

11 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב99

© א’ ברנגולץ© א’ ברנגולץ

מסנן מיצוע מסנן מיצוע מסנן מיצוע מסנן מיצוע

N

Ni i

N

Ni ii

w

Fwf̂

בינטיים הכל בסדר ?! )-; בינטיים הכל בסדר ?! )-;

22 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב00

© א’ ברנגולץ© א’ ברנגולץ

מסנן חציון מסנן חציוןרעש “יש\אין” רעש “יש\אין” מסנן חציון מסנן חציוןרעש “יש\אין” רעש “יש\אין”

אי אי ”( ”( on\off” “salt and pepperon\off” “salt and pepperבמקרה של רעש “יש\אין” )“במקרה של רעש “יש\אין” )“אפשר להשתמש במיצוע: אם פיקסל נפגע מהרעש ערכו אפשר להשתמש במיצוע: אם פיקסל נפגע מהרעש ערכו

השתנה משמעותית ובמקרה של מיצוע יגרום לשינויים השתנה משמעותית ובמקרה של מיצוע יגרום לשינויים דרסתים בכל הסביבה.דרסתים בכל הסביבה.

הפירסלים עם הפירסלים עם ” ” salt and peppersalt and pepper במקרה של רעש “ במקרה של רעש “רעיון אחר:רעיון אחר:רעש הם או הכי בהרים או הכי קהים: העכרים שבאמצע רעש הם או הכי בהרים או הכי קהים: העכרים שבאמצע

נמיין וניקח את הערך האמצעי נמיין וניקח את הערך האמצעי שייכים לנקודות הלא רעשות. שייכים לנקודות הלא רעשות.

מסנן חציוןמסנן חציוןהמסנן הזה נקרה המסנן הזה נקרה

22 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב11

© א’ ברנגולץ© א’ ברנגולץ

מסנן חציון בפעולה מסנן חציון בפעולה מסנן חציון בפעולה מסנן חציון בפעולה

10%10%10%10%30%30%30%30% נקודות נקודות99 נקודות נקודות99 נקודות נקודות77 נקודות נקודות77 נקודות נקודות55 נקודות נקודות55 נקודות נקודות33 נקודות נקודות33

10%10% 33x3x330%30% 33x3x355x5x550%50% 55x5x577x7x770%70% 77x7x799x9x91111x11x11

22 עיבוד תמונות ואותות במחשב עיבוד תמונות ואותות במחשב22

© א’ ברנגולץ© א’ ברנגולץ

מסנן חציון ורעש אדיטיבימסנן חציון ורעש אדיטיבימסנן חציון ורעש אדיטיבימסנן חציון ורעש אדיטיבי

עד כה ראיונו שבעיה העיקרית עם מסנן מיצוע היא טשטוש גבולות:עד כה ראיונו שבעיה העיקרית עם מסנן מיצוע היא טשטוש גבולות:

פונקציה ברב המקרים מבחינה לוקלית היא ליניארית, ז”א פונקציה ברב המקרים מבחינה לוקלית היא ליניארית, ז”א החציון של הסביבה צריך ליפול באזור של הערך של החציון של הסביבה צריך ליפול באזור של הערך של

פונקציה מקורית.פונקציה מקורית.

כאן טשטוש של כאן טשטוש של איןאיןכלומר, כלומר, הגבולהגבול