39
תתתתת תתתתתתת תתתתת תתתתתתת תתתתת תתתתת תתת תתתתת תתתתת תתת תתתת תתתתתת תתתת תתתתתת תתתתתת תתתתתת: : תתת תתתתתת תתת תתתתתת034943522 034943522 תתתת תתתת תתתת תתתת040673873 040673873 תתתת: תת' תתת תתתתתת תתתת: תת' תתת תתתתתת

עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

  • Upload
    carver

  • View
    75

  • Download
    0

Embed Size (px)

DESCRIPTION

עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת. מגישים: גיא הרשטיג 034943522 מיכל חורב 040673873 מנחה: דר' גבי דוידוב. תוכן עניינים. מטרות הפרויקט אופן העקיבה מושגים חשובים שיטות עקיבה מבוססות על עיבוד תמונה סינון רעשים לפני העיבוד חקר ביצועים מסנן קלמן חלון בעל גודל משתנה - PowerPoint PPT Presentation

Citation preview

Page 1: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

מצלמה באמצעות מצלמה עקיבה באמצעות עקיבהמטרה אחר מטרה רועדת אחר רועדת

מתמרנתמתמרנת::מגישיםמגישים

034943522034943522גיא הרשטיג גיא הרשטיג 040673873040673873 מיכל חורב מיכל חורב

מנחה: דר' גבי דוידובמנחה: דר' גבי דוידוב

Page 2: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

עניינים עניינים תוכן תוכן

מטרות הפרויקטמטרות הפרויקט

אופן העקיבה אופן העקיבה מושגים חשובים מושגים חשובים

שיטות עקיבה מבוססות על עיבוד תמונה שיטות עקיבה מבוססות על עיבוד תמונה סינון רעשים לפני העיבוד סינון רעשים לפני העיבוד

חקר ביצועים חקר ביצועים מסנן קלמן מסנן קלמן

חלון בעל גודל משתנה חלון בעל גודל משתנה כניסה ויציאה ממצב הסתרה כניסה ויציאה ממצב הסתרה

ייצוב תמונה רועדת ייצוב תמונה רועדת אלגוריתם העקיבה אלגוריתם העקיבה

סיכום ומסקנות סיכום ומסקנות תודות תודות

Page 3: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

הפרויקט הפרויקט מטרות מטרות

עקיבה אחר מטרה מתמרנת בשיטת מרכז הכובד ובשיטת עקיבה אחר מטרה מתמרנת בשיטת מרכז הכובד ובשיטת הקורלציה והשוואת השיטות.הקורלציה והשוואת השיטות.

לימוד מסנן קלמןלימוד מסנן קלמן

מימוש מערכת עקיבה המבוססת על מסנן קלמן המסוגלת מימוש מערכת עקיבה המבוססת על מסנן קלמן המסוגלת לעקוב אחר מטרה בתנאים הבאים:לעקוב אחר מטרה בתנאים הבאים:

רעשים בתמונהרעשים בתמונההסתרה חלקית או מלאה של המטרההסתרה חלקית או מלאה של המטרה רעידות בתמונה רעידות בתמונה

Page 4: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

העקיבה העקיבה אופן אופן• . המשתמש ידי על המטרה סימון

• . העקיבה של הפרמטרים ואתחול המטרה רכישתהמטרה סביב העקיבה מסגרת .ציור

• . הבאה לתמונה מעבר

•. המטרה אחר עקיבה

Page 5: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

חשובים חשובים מושגים מושגים

הקלט של הפרויקט הינו סרט המציג מטרה מתמרנת.הקלט של הפרויקט הינו סרט המציג מטרה מתמרנת.

תמונות.תמונות.// הסרט מורכב מאוסף מסגרות הסרט מורכב מאוסף מסגרותמסגרת:מסגרת://תמונהתמונה

הינו חלק מן התמונה, בעל גודל קבוע אך מיקום הינו חלק מן התמונה, בעל גודל קבוע אך מיקום חלון החיפוש:חלון החיפוש:משתנה, בו אנו מחפשים את המטרה. משתנה, בו אנו מחפשים את המטרה.

חלק מחלון החיפוש בו אותרה המטרה. בכל חלק מחלון החיפוש בו אותרה המטרה. בכל חלון עקיבה:חלון עקיבה:תמונה מצויר חלון העקיבה סביב המטרה.תמונה מצויר חלון העקיבה סביב המטרה.

Page 6: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

המסה מרכז המסה שיטת מרכז שיטת

הקורלציה הקורלציה שיטת שיטת

עיבוד על מבוססות עקיבה עיבוד שיטות על מבוססות עקיבה שיטותתמונהתמונה

Page 7: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

המסה מרכז המסה שיטות מרכז שיטות

מרכז כובד של גוף מחושב ע"י הנוסחא : מרכז כובד של גוף מחושב ע"י הנוסחא :

מסמל את מספר הפיקסלים מסמל את מספר הפיקסלים NN הוא ערך הפיקסל ו- הוא ערך הפיקסל ו-IIכאשר כאשר במטרה .במטרה .

את מרכז הכובד נחשב עבור כל תמונה ולאחר מכן נסמן אותו את מרכז הכובד נחשב עבור כל תמונה ולאחר מכן נסמן אותו באמצעות הסמן ונצייר סביבו את חלון העקיבה. באמצעות הסמן ונצייר סביבו את חלון העקיבה.

N

ii

N

iii

c

I

xIx

1

1

Page 8: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

אזורים של השוואה ידי על המטרה אחר עוקבים אנו זו אזורים בשיטה של השוואה ידי על המטרה אחר עוקבים אנו זו בשיטה. שבידינו הייחוס לתמונת חיפוש בחלון .שונים שבידינו הייחוס לתמונת חיפוש בחלון שונים

הוא ביותר הגבוה הקורלציה מקדם בעל החיפוש בחלון הוא האזור ביותר הגבוה הקורלציה מקדם בעל החיפוש בחלון האזור . העקיבה חלון מצויר וסביבו המטרה נמצאת בו . האזור העקיבה חלון מצויר וסביבו המטרה נמצאת בו האזור

הקורלציה הקורלציה שיטות שיטות

הייחוס תמונת

" הקו י ע המצויר החלון הינו החיפוש חלוןרצוף.

Page 9: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

לצורך קבלת תוצאות אופטימליות רצוי לסנן את התמונה לצורך קבלת תוצאות אופטימליות רצוי לסנן את התמונה מרעשים לפני תחילת העיבוד.מרעשים לפני תחילת העיבוד.

מסננים פשוטים ליישום ובעלי יכולות טובות הם:מסננים פשוטים ליישום ובעלי יכולות טובות הם:מסנן בינארימסנן בינארימסנן חציוןמסנן חציוןמסנן ממצעמסנן ממצע

העיבוד לפני רעשים העיבוד סינון לפני רעשים סינון

Page 10: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

העיבוד - לפני רעשים העיבוד - סינון לפני רעשים מסנן מסנן סינוןבינאריבינארי

יחשבו שנקבע הסף מערך הגבוה ערך בעלי יחשבו פיקסלים שנקבע הסף מערך הגבוה ערך בעלי פיקסליםולהיפך לבנים ולהיפך כפיקסלים לבנים . . כפיקסלים

אלא קבוע יהיה לא התמונה עבור הסך ערך שקביעת אלא רצוי קבוע יהיה לא התמונה עבור הסך ערך שקביעת רצוי . התמונה בתכונות תלוי . יהיה התמונה בתכונות תלוי יהיה

Page 11: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

בשיטה זו אנו מחליפים את ערכו של כל פיקסל בממוצע בשיטה זו אנו מחליפים את ערכו של כל פיקסל בממוצע יראה כך: יראה כך:33XX33הערכים של שכניו ושלו עצמו. גרעין בגודל הערכים של שכניו ושלו עצמו. גרעין בגודל

חסרונותיו העיקריים הם:חסרונותיו העיקריים הם:.פיקסל יחיד יוצא דופן ישפיע מאוד על תוצאת הממוצע.פיקסל יחיד יוצא דופן ישפיע מאוד על תוצאת הממוצע.מסנן זה נוטה לטשטש שפות.מסנן זה נוטה לטשטש שפות

העיבוד - לפני רעשים העיבוד - סינון לפני רעשים מסנן מסנן סינוןממצעממצע

Page 12: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

העיבוד - לפני רעשים העיבוד - סינון לפני רעשים חציון סינון חציון מסנן מסנן

בסדר ושכניו נתון פיקסל של ערכיהם את מסדרים אנו זו בסדר בשיטה ושכניו נתון פיקסל של ערכיהם את מסדרים אנו זו בשיטהשהתקבל. האמצעי הערך את יקבל הנתון הפיקסל שהתקבל. נומרי האמצעי הערך את יקבל הנתון הפיקסל נומרי

. הנומרי . מהסידור הנומרי מהסידור

" אך " הממצע המסנן של הקשיים עם יותר טוב מתמודד זה " מסנן אך " הממצע המסנן של הקשיים עם יותר טוב מתמודד זה מסנן. יותר ארוך חישובו .זמן יותר ארוך חישובו זמן

112211

882211

441122

111122248

Page 13: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים ביצועים חקר חקר

בעת מימוש אלגוריתם העקיבה נדרשנו להחליט:בעת מימוש אלגוריתם העקיבה נדרשנו להחליט:

באמצעות איזו שיטה לבצע את העקיבה: באמצעות איזו שיטה לבצע את העקיבה: קורלציה. קורלציה.// מרכז מסה מרכז מסה

באלו מהמסננים להשתמש לשם עיבוד התמונה המקדים: באלו מהמסננים להשתמש לשם עיבוד התמונה המקדים: מסנן ממצע. מסנן ממצע.// מסנן חציון מסנן חציון // מסנן בינארי מסנן בינארי

באיזה סדר להשתמש במסננים. באיזה סדר להשתמש במסננים.

Page 14: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים - ביצועים - חקר המסה חקר מרכז המסה שיטת מרכז שיטת

באמצעות עקיבה לשיטת מתאים מקדים עיבוד איזה לבחון באמצעות כדי עקיבה לשיטת מתאים מקדים עיבוד איזה לבחון כדי , על מסננים של שונות קומבינציות הפעלנו המסה , מרכז על מסננים של שונות קומבינציות הפעלנו המסה מרכז

. משתנה רקע גבי על מטרה של . תמונה משתנה רקע גבי על מטרה של תמונה

ולאחר ברקע הרעש שונות ואת הרקע את שינינו פעם ולאחר בכל ברקע הרעש שונות ואת הרקע את שינינו פעם בכל. המסה מרכז בחישוב השגיאה גודל את בדקנו .הסינון המסה מרכז בחישוב השגיאה גודל את בדקנו הסינון

Page 15: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים – ביצועים – חקר המסה חקר מרכז המסה שיטת מרכז שיטת

. מתוצאות מדגם שונים בתנאים מסנן כל של תפקודו את . בחנו מתוצאות מדגם שונים בתנאים מסנן כל של תפקודו את בחנו : הבינארי : המסנן הבינארי המסנן

NoiseNoise Var

Pos X

Pos YXerrYerr

NoneN/A-25000

S&P0.03-2506.220.53

BkGndlena-250322.1918.62

S&P + Lena Bkgnd

0.03-250337.4716.15

 

המתקבלת הבינארית התמונה , מרכז מחשבים בה סינון לאחר

מסה

המטרההרקע

המורעש

סינון לפני

Page 16: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים – ביצועים – חקר המסה חקר מרכז המסה שיטת מרכז שיטת

. מתוצאות מדגם שונים בתנאים מסננים שני הפעלת תוצאות את . בחנו מתוצאות מדגם שונים בתנאים מסננים שני הפעלת תוצאות את בחנומסנן מסנן הפעלת כך חציוןחציוןהפעלת כך ואחר בינארי ואחר בינארי מסנן : : מסנן

NoiseNoise Var

Pos XPos YXerrYerr

S&P0.03-25011

S&P0.2-2500.211

S&P0.4-25025.171.38

סינון לפני

הרקע המטרההמורעש

לאחר המתקבלת התמונהמרכז, מחשבים בה סינון

מסה

Page 17: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים – ביצועים – חקר המסה חקר מרכז המסה שיטת מרכז שיטת חשיבות לסדר המסנן. חשיבות לסדר המסנן. עםעםבחנו את תוצאות הפעלת שני מסננים בתנאים שונים בחנו את תוצאות הפעלת שני מסננים בתנאים שונים

..ומסנן בינאריומסנן בינארי חציוןחציוןמדגם מתוצאות הפעלת מסנן מדגם מתוצאות הפעלת מסנן מסנן בינארי ואחר כך מסנן חציון:מסנן בינארי ואחר כך מסנן חציון:

מסנן חציון ואחר כך מסנן בינארי:מסנן חציון ואחר כך מסנן בינארי:

כיוון שהמסננים אינם לינאריים - לסדר המסננים חשיבות כיוון שהמסננים אינם לינאריים - לסדר המסננים חשיבות עצומה!עצומה!

NoiseNoise VarPos XPos YXerrYerr

S&P0.03-25011

S&P0.2-2500.211

S&P0.4-25025.171.38

NoiseNoise VarPos XPos YXerrYerr

S&P0.03-2500.991

S&P0.2-25017.321.2

S&P0.4-250157.621.35

Page 18: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים – ביצועים – חקר המסה חקר מרכז המסה שיטת מרכז שיטת

Combination of filters NoiseNoise VarPos XPos YXerrYerr

Binary filterS&P0.0325-06.220.53

Mean filterS&P0.0325-04.391.05

Median filterS&P0.0325-00.981

Binary & MeanS&P0.0325-011

Median & BinaryS&P0.0325-011

Binary & MedianS&P0.0325-00.991

Combination of filters NoiseNoise VarPos XPos YXerrYerr

Median filterS&P0.425-0155.291.22

Binary & MeanS&P0.425-024.681.21

Median & BinaryS&P0.425-025.171.38

Binary & MedianS&P0.425-0157.621.35

: . התוצאות מן מדגם שונים בתנאים המסננים קומבינציות כל בין :השוונו . התוצאות מן מדגם שונים בתנאים המסננים קומבינציות כל בין השוונו

בין בין השוואה :44השוואה :הטובים הטובים

Page 19: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים – ביצועים – חקר המסה חקר מרכז המסה שיטת מרכז שיטתמרכז חישוב על העקיבה חלון בתוך המטרה מיקום השפעת את מרכז בדקנו חישוב על העקיבה חלון בתוך המטרה מיקום השפעת את בדקנו

המסה. מרכז על המטרה מיקום להשפעת דוגמה כאן מובאת המסה. המסה מרכז על המטרה מיקום להשפעת דוגמה כאן מובאת המסהממצע : מסנן ואחריו בינארי במסנן שימוש ממצע :לאחר מסנן ואחריו בינארי במסנן שימוש לאחר

NoiseNoise Var

Pos XPos YXerrYerr

S&P0.625-0172.771.52

S&P0.6002.221.2

סינון לאחר הרגילה התמונה

סינון לאחר המוזזת התמונה סינון לפני המוזזת התמונה

סינון לפני הרגילה התמונה

למיקום המטרה בתוך חלון העקיבה יש השפעה גדולה על הטעות במיקום מרכז המסה! למיקום המטרה בתוך חלון העקיבה יש השפעה גדולה על הטעות במיקום מרכז המסה!

Page 20: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים - ביצועים - חקר הקורלציה חקר הקורלציה שיטת שיטת

כדי לבחון איזה עיבוד מקדים מתאים לשיטת עקיבה באמצעות כדי לבחון איזה עיבוד מקדים מתאים לשיטת עקיבה באמצעות שיטת הקורלציה, הפעלנו קומבינציות שונות של מסננים על שיטת הקורלציה, הפעלנו קומבינציות שונות של מסננים על

תמונה של מטרה על גבי רקע משתנה. תמונה של מטרה על גבי רקע משתנה.

בכל פעם שינינו את הרקע ואת שונות הרעש ברקע ולאחר בכל פעם שינינו את הרקע ואת שונות הרעש ברקע ולאחר הסינון בדקנו את גודל השגיאה בחישוב מרכז המסה.הסינון בדקנו את גודל השגיאה בחישוב מרכז המסה.

Page 21: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים - ביצועים - חקר הקורלציה חקר הקורלציה שיטת שיטת

NoiseNoise VarPos XPos YXerrYerr

S&P0.03-25000

BkGndlena

S&P0.7-2505.370.76

BkGndlena

אף שהתמונה התחתונה כמעט ואינה ניתנת לזיהוי השגיאה בחישוב מרכז המסה קטנה ! אף שהתמונה התחתונה כמעט ואינה ניתנת לזיהוי השגיאה בחישוב מרכז המסה קטנה !

Page 22: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ביצועים - ביצועים - חקר הקורלציה חקר הקורלציה שיטת שיטת

Filter

NoiseNoise VarPos XPos YXerrYerr

BinaryS&P0.0325-000

MeanS&P0.0325-00.710.59

MedianS&P0.03-25-00.60.64

Combination of filters 

NoiseNoise Var

Pos XPos YXerrYerr

Binary filterS&P0.0325-06.220.53

Mean filterS&P0.0325-04.391.05

Median filterS&P0.0325-00.981

Binary & MeanS&P0.0325-011

Median & BinaryS&P0.0325-011

Binary & MedianS&P0.0325-00.991

: . התוצאות מן מדגם שונים בתנאים המסננים קומבינציות בין :השוונו . התוצאות מן מדגם שונים בתנאים המסננים קומבינציות בין השוונו

: תנאים אותם עבור המסה מרכז שיטת לתוצאות :תזכורת תנאים אותם עבור המסה מרכז שיטת לתוצאות תזכורת

Page 23: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

שיטת לעומת מסה מרכז שיטת שיטת לעומת מסה מרכז שיטתקורלציהקורלציה

מסה מסה מרכז קורלציהקורלציהמרכז

לעקוב יותר לעקוב מתקשה יותר מתקשהרועשת והתמונה רועשת במידה והתמונה במידה

מאדמאד

גם היטב לעקוב גם מסוגל היטב לעקוב מסוגלמאד רועשת התמונה מאד אם רועשת התמונה אם

סיבוכיות חישוב גבוההסיבוכיות חישוב גבוההסיבוכיות חישוב נמוכהסיבוכיות חישוב נמוכה

במצב גם יעילה במצב העקיבה גם יעילה העקיבהמשמעותיים שינויים משמעותיים של שינויים של

המטרה המטרה בצורת בצורת

יעילה אינה יעילה העקיבה אינה העקיבהשינויים של שינויים במצב של במצב

בצורת בצורת משמעותיים משמעותייםהמטרההמטרה

של למקרה רק של יעיל למקרה רק יעילבין בגוונים בין הבדל בגוונים הבדל

לרקע לרקע המטרה המטרה

גווני מהם משנה גווני לא מהם משנה לאהמטרההמטרה

Page 24: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

וקורלציה המסה מרכז שיטת וקורלציה שילוב המסה מרכז שיטת שילוב

. בחרנו לכן שלה והחסרונות היתרונות את ישנם שיטה . לכל בחרנו לכן שלה והחסרונות היתרונות את ישנם שיטה לכל: העקיבה אלגוריתם ביישום השיטות שתי את :לשלב העקיבה אלגוריתם ביישום השיטות שתי את לשלב

. חציון מסנן בעזרת התמונה את .נסנן חציון מסנן בעזרת התמונה את נסנן

חלון את החיפוש בחלון נאתר הקורלציה שיטת חלון באמצעות את החיפוש בחלון נאתר הקורלציה שיטת באמצעות. החלון במרכז ממוקמת המטרה בו המתאים .העקיבה החלון במרכז ממוקמת המטרה בו המתאים העקיבה

. בינארי מסנן באמצעות העקיבה חלון את .נסנן בינארי מסנן באמצעות העקיבה חלון את נסנן

. המטרה של המסה מרכז את .נחשב המטרה של המסה מרכז את נחשב

Page 25: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

במצב אופטימאלי בו המטרה כולה נגלית לעין ואין רעשים, במצב אופטימאלי בו המטרה כולה נגלית לעין ואין רעשים, חישוב מודל התנועה הינו פשוט. ניתן להסתפק בעיבוד חישוב מודל התנועה הינו פשוט. ניתן להסתפק בעיבוד

תמונה כדי לבצע עקיבה מדויקת אחר המטרה. תמונה כדי לבצע עקיבה מדויקת אחר המטרה.

במצב בו התמונה רועשת והמטרה לעיתים נסתרת מן העין במצב בו התמונה רועשת והמטרה לעיתים נסתרת מן העין באופן חלקי או מלא, עיבוד תמונה בלבד לא יספיק כדי באופן חלקי או מלא, עיבוד תמונה בלבד לא יספיק כדי

לחשב את מודל התנועה ולעקוב אחר המטרה. לחשב את מודל התנועה ולעקוב אחר המטרה.

נוכל לחשב מודל תנועה של המטרה נוכל לחשב מודל תנועה של המטרה מסנן קלמןמסנן קלמןבאמצעות באמצעות ולעקוב אחריה גם במצב הסתרה. ולעקוב אחריה גם במצב הסתרה.

למה?למה?מסנן קלמן – מסנן קלמן –

Page 26: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

האופטימאלי הבא המצב וקטור של המשערך את מפיק זה האופטימאלי מסנן הבא המצב וקטור של המשערך את מפיק זה מסנן . משני מורכבת המסנן פעולת השגיאה שונות מזעור של . במובן משני מורכבת המסנן פעולת השגיאה שונות מזעור של במובן

" הפרמטרים : י עפ המצב ווקטור של מראש שערוך " חלקים הפרמטרים : י עפ המצב ווקטור של מראש שערוך חלקים. , המשוערך הווקטור של תיקון המדידה כניסת ולאחר .השונים , המשוערך הווקטור של תיקון המדידה כניסת ולאחר השונים

המערכת המערכת מודל ::מודל

מודל המסנןמודל המסנןמסנן קלמן – מסנן קלמן –

XX וקטור משתנה המצב– וקטור משתנה המצב –ZZ וקטור המדידות – וקטור המדידות –

vvרעש המדידה – רעש המדידה – wwרעש המצב – רעש המצב – QQקווריאנס רעש המצב – קווריאנס רעש המצב – RRקווריאנס רעש המדידה – קווריאנס רעש המדידה –

( ) ~ (0, )

( ) ~ (0, )

w k N Q

v k N R

( 1) ( ) ( ) ( )

( ) ( ) ( ) ( )

x k F k x k w k

z k H k x k v k

Page 27: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

2

2

11 T T 0 0 0

20 1 T 0 0 0

0 0 1 0 0 0( )

10 0 0 1 T T

20 0 0 0 1 T

0 0 0 0 0 1

F k

מטריצות מטריצות מסנן קלמן – מסנן קלמן – משוואות המצב משוואות המצב

משתני המצב הם המיקום, משתני המצב הם המיקום,• המהירות והתאוצה בשני הצירים. המהירות והתאוצה בשני הצירים.

המדידות הן מיקום מרכז המסה המדידות הן מיקום מרכז המסה•..YY ובציר ובציר XX בציר בציר

מקשרות מקשרות HH ו- ו-FF המטריצות המטריצות •בין משתנה המצב והמדידותבין משתנה המצב והמדידות

..k-1k-1 ובזמן ובזמן kk בהתאמה בזמן בהתאמה בזמן

( )

x

x

x

y

y

y

location

velocity

accelerationx k

location

velocity

acceleration

( )

x

y

measured locationz k

measured location

1 0 0 0 0 0( )

0 0 0 1 0 0H k

Page 28: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

משוואות המסנןמשוואות המסנןמסנן קלמן – מסנן קלמן –

2 )

xxe kkk ˆ xxe kkk ˆ

][ eePT

kkkE

][ eePT

kkkE

RHHPHPK T

k

T

kk

)( ˆˆˆ xzKxx kkkkkH

RS HHPT

k

1 )

xkˆ - המצב וקטור חיזויK - המסנן הגברS - קווריאנס החידוש

Page 29: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

משתנה גודל בעל משתנה חלון גודל בעל חלון

, , המטרה לגודל יחסית גדול עקיבה חלון של הברור , היתרון , המטרה לגודל יחסית גדול עקיבה חלון של הברור היתרוןבשיטת המטרה אחר לעקוב יותר קל מורעשת שבתמונה בשיטת הוא המטרה אחר לעקוב יותר קל מורעשת שבתמונה הוא . הוא גדול בחלון עיקרי חסרון אולם והקורלציה המסה . מרכז הוא גדול בחלון עיקרי חסרון אולם והקורלציה המסה מרכז

. כתלות בגודלו המשתנה חלון ממשנו לכן החישוב . עלות כתלות בגודלו המשתנה חלון ממשנו לכן החישוב עלות. " התמונה" איכות .ב " התמונה" איכות ב

: הבא באופן יקבע החלון :גודל הבא באופן יקבע החלון גודל

)()1()(

_arg_

)( kRHkkPkHSupplement

SupplementsizeetTsizeFrame

kT

Sup. .Sup

.Sup

Page 30: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

הסתרה הסתרה גילוי גילוי

הייחוס תמונת נוכחית תמונה

If correlation )current frame, reference frame) < threshold

OR )mass is out of range)

begin prediction using Kalman filter;

Page 31: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

הסתרה במצב מטרה הסתרה גילוי במצב מטרה גילוי

תמונת הרפרנס נוכחית תמונה

If diff )current frame, reference frame) > threshold{

Target located; /* the target is the difference/*

Draw frame around the target and compute center of mass;

}

Page 32: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

הסתרה - במצב מטרה הסתרה - גילוי במצב מטרה חסרונותחסרונותגילוי

בזמן משמעותי באופן משתנים ההסתרה או והרקע בזמן במידה משמעותי באופן משתנים ההסתרה או והרקע במידה , לעולם מהסתרה לצאת לא עלולה היא בהסתרה , שהמטרה לעולם מהסתרה לצאת לא עלולה היא בהסתרה שהמטרה

. יותר רלוונטית אינה הייחוס שתמונת . מכיוון יותר רלוונטית אינה הייחוס שתמונת מכיוון

עלולה היא ההסתרה בזמן כוון או מהירות משנה והמטרה עלולה אם היא ההסתרה בזמן כוון או מהירות משנה והמטרה אם. מספיק גדול אינו החיפוש וחלון במידה מהסתרה לצאת .לא מספיק גדול אינו החיפוש וחלון במידה מהסתרה לצאת לא

Page 33: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

רעיון - רועדת תמונה רעיון - ייצוב רועדת תמונה ייצובשימוש ברעיון שיטת הקורלציה, בכדי למצוא את גודל ההזזה שימוש ברעיון שיטת הקורלציה, בכדי למצוא את גודל ההזזה

של התמונה הנוכחית מתמונת מקור מיוצבת.של התמונה הנוכחית מתמונת מקור מיוצבת.

Page 34: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

רעיון – ) רועדת תמונה רעיון – )ייצוב רועדת תמונה ((22ייצוב , אחד בכל ההזזה מהדמות הגדול חלל בתוך מתבצע , הייצוב אחד בכל ההזזה מהדמות הגדול חלל בתוך מתבצע הייצוב

תחום על אחיד באופן המפולג אקראי משתנה היא תחום מהצירים על אחיד באופן המפולג אקראי משתנה היא מהצירים[[1010....1010.]-.]-

Page 35: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

מדידות - רועדת תמונה מדידות - ייצוב רועדת תמונה ייצובשונות הרעש

שגיאת מציאת Yהגוף בציר

שגיאת מציאת Xהגוף בציר

שגיאת מציאת הגוף הכוללת

שגיאת הייצוב Yבציר

שגיאה הייצוב Xבציר

שגיאה הייצוב הכוללת

0000000

0.011.350.43331.4178324620.04170.00830.4333

0.021.36670.31671.4029140320.10830.050.3167

0.031.3750.451.446763630.2250.08330.45

0.051.2750.39171.333811790.30.2750.3917

0.11.14170.71.3392083071.19170.73330.7

0.20.95830.68331.1769612481.83331.70.6833

0.30.8251.3251.5608491282.42.33331.325

0.41.35832.21672.5997572543.12.60832.2167

0.51.96673.0253.6081205483.36672.53333.025

0.62.954.8755.6980808173.88333.28334.875

Page 36: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

תוצאות - רועדת תמונה תוצאות - ייצוב רועדת תמונה ייצוב

camera stabilizing research

0

1

2

3

4

5

6

0 0.2 0.4 0.6 0.8

S&P noise variance

erro

r

שגיאת הייצובהכוללת

שגיאת מציאתהגוף הכוללת

Page 37: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

העקיבה העקיבה אלגוריתם אלגוריתם .עדכון משתני המצב.שמירת תמונת ייחוס

.בינאריזציה וחישוב מרכז מסה

אתחולחלון חיפוש

העקיבה קורלציה" ע

סינוןרעשים

בינאריזציה של התמונה וחישובמסת המטרה

מוסתרת המטרה האםחלקית?

" קורלציה) ומקדם מסה פ (ע

לא

הבאה לתמונה מעבר

חיזוי לפימשתני מצב

של מסנן קלמן

כן

המטרה האם? התגלתה

לתמונה מעברהבאה

לא

לתמונה, מעבר כןהבאה

עקיבה

חיזוי

Page 38: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

ומסקנות ומסקנות סיכום סיכום

מרכז שיטת את המשלבת בשיטה עקיבה אלגוריתם מרכז מימוש שיטת את המשלבת בשיטה עקיבה אלגוריתם מימוששיטה כל מאשר יותר טובות תוצאות מניב והקורלציה שיטה המסה כל מאשר יותר טובות תוצאות מניב והקורלציה המסה

לחוד.לחוד.

את משמעותית משפר ובכך רעשים מסנן מקדים את עיבוד משמעותית משפר ובכך רעשים מסנן מקדים עיבוד . יותר מדויקת הפרדה יוצר העיבוד המטרה אחר . העקיבה יותר מדויקת הפרדה יוצר העיבוד המטרה אחר העקיבה

." " " רקע " ו מטרה ".לאזורי " " רקע " ו מטרה לאזורי

את המתאים אדפטיבי אלגוריתם הוא טוב עקיבה את אלגוריתם המתאים אדפטיבי אלגוריתם הוא טוב עקיבה אלגוריתם . לתכונת דוגמאות בתמונה לשינויים העקיבה . פרמטרי לתכונת דוגמאות בתמונה לשינויים העקיבה פרמטרי

: שלנו, המימוש מן שנלקחו :האדפטיביות שלנו, המימוש מן שנלקחו האדפטיביות. משתנה גודל בעל עקיבה .חלון משתנה גודל בעל עקיבה חלון , יוצרים אנו בעזרתו אשר הסף ערך של מחדש חישוב ביצענו תמונה , בכל יוצרים אנו בעזרתו אשר הסף ערך של מחדש חישוב ביצענו תמונה בכל

. , התמונה של ההיסטוגרמה על בהתבסס הבינארית התמונה .את , התמונה של ההיסטוגרמה על בהתבסס הבינארית התמונה את

Page 39: עקיבה באמצעות מצלמה רועדת אחר מטרה מתמרנת

נרצה להודות לדר' גבי דוידוב על העזרה והתמיכה במהלך נרצה להודות לדר' גבי דוידוב על העזרה והתמיכה במהלך הפרויקט וכן לכל צוות המעבדה.הפרויקט וכן לכל צוות המעבדה.

תודותתודות