פרויקט עקיבה בצבע אחרי מספר פרויקט עקיבה בצבע אחרי מספר מטרות בעזרת קורלציה, מסנן מטרות בעזרת קורלציה, מסנן

JPDAFJPDAFקלמן, קלמן,

מנחה : ד"ר גבי מנחה : ד"ר גבי : אורן פסטרנאק : אורן פסטרנאק מגישיםמגישים דוידובדוידוב

לימור שגיא לימור שגיא

על סדר היוםעל סדר היוםמטרות הפרויקטמטרות הפרויקט

מבנה מערכת העקיבהמבנה מערכת העקיבה

שיטות גילוי שיטות גילוי קורלציהקורלציההתאמה לצבעהתאמה לצבעשיפור הסיבוכיותשיפור הסיבוכיות

מסנני עקיבהמסנני עקיבהמסנן קלמןמסנן קלמן מסנן מסנןJPDAFJPDAF

מימוש האלגוריתמים על סרטים צבעונייםמימוש האלגוריתמים על סרטים צבעוניים

מטרות הפרויקטמטרות הפרויקט

לימוד טכניקות עקיבה שונות.לימוד טכניקות עקיבה שונות.

טיפול בנושא הצבע וניסיון לשלבו במערכות העקיבה.טיפול בנושא הצבע וניסיון לשלבו במערכות העקיבה.

..JPDAFJPDAFמימוש מסנני קלמן ו-מימוש מסנני קלמן ו-

צילום סרט צבעוני הכולל מספר מטרות נעות ועקיבה אחר צילום סרט צבעוני הכולל מספר מטרות נעות ועקיבה אחר המטרות בעזרת המסננים הנ"ל.המטרות בעזרת המסננים הנ"ל.

..MATLABMATLABהפרויקט מומש בסביבת הפרויקט מומש בסביבת

מבנה מערכת העקיבהמבנה מערכת העקיבהתיאור עקרוניתיאור עקרוני

קביעת חלון חיפוש סביב

שיערוך המדידה

הבאה

חיפוש ע"י קורלציה וקבלת

מספר לא ידוע של מדידות

סימון חלונות החיפוש

מסנן JPDAF

בחירת מטרות

ע"יהמשתמש

שיערוך המדידה הבאה בהנחת 0מהירות

שיערוך פרמטרים באמצעות

ניתוח מאורעות שיתופיים

חיזוי מיקום המדידה

הבאה לפי מודל תנועה 2מסדר

שיטות למציאת המטרהשיטות למציאת המטרהמרכז מסהמרכז מסה

.מתאים לתמונות שחור לבן.מתאים לתמונות שחור לבן.בתמונות צבע אין משמעות למושג מסה.בתמונות צבע אין משמעות למושג מסה

קורלציהקורלציה.חיפוש מטרה ע"י תמונת רפרנס.חיפוש מטרה ע"י תמונת רפרנס בכל פריים נבדקת התאמה בין תמונת הרפרנס לחלקים בכל פריים נבדקת התאמה בין תמונת הרפרנס לחלקים

בפריים.בפריים.

.מתקבלת מטריצת קורלציה מתוכה נבחר הערך המקסימאלי.מתקבלת מטריצת קורלציה מתוכה נבחר הערך המקסימאלי.בהמשך נראה התאמה של נוסחת הקורלציה לתמונת צבע.בהמשך נראה התאמה של נוסחת הקורלציה לתמונת צבע

1 1( , ) 2 2

1 1 1 1

, ,( , )

, ,

N M

n mi j

N M N M

n m n m

f m n g i m j ncorr f g

f m n g i m j n

RGBRGBטיפול בצבע – מודל טיפול בצבע – מודל

00 משתנים בעלי ערך בין משתנים בעלי ערך בין 33 צבע מיוצג ע"י צבע מיוצג ע"י RGBRGB במודל במודל המיצגים את ערכי צבעי הבסיס אדום ירוק המיצגים את ערכי צבעי הבסיס אדום ירוק 255255ל-ל-

וכחול. וכחול. : :3D3Dתמונת צבע מיוצגת ע"י מטריצהתמונת צבע מיוצגת ע"י מטריצה

n,mn,m משתני מקום ו משתני מקום וc=1,2,3c=1,2,3 מגדיר צבעי מגדיר צבעי RGBRGB

::3D3D הרחבנו את נוסחת הקורלציה ל הרחבנו את נוסחת הקורלציה ל

3

1 1 1( , ) 2 23 3

1 1 1 1 1 1

, , , ,( , )

, , , ,

N M

c n mi j

N M N M

c n m c n m

f m n c g i m j n ccorr f g

f m n c g i m j n c

בעיות עם פונקצית הקורלציה בעיות עם פונקצית הקורלציה ופתרונןופתרונן

סיבוכיות זמן ריצה גבוההסיבוכיות זמן ריצה גבוהה 3כל צעד בחיפוש דורש סכימה ע"פ מטריצה כל צעד בחיפוש דורש סכימה ע"פ מטריצהD3D . . הוספנו פרמטר של גודל צעד שמותאם לגודל הרפרנס הוספנו פרמטר של גודל צעד שמותאם לגודל הרפרנס

ולחלון החיפוש. בצורה זו הקטנו את מספר הצעדים ולחלון החיפוש. בצורה זו הקטנו את מספר הצעדים הדרוש בכל חיפוש.הדרוש בכל חיפוש.

גודל הצעד נבדק אמפירית גודל הצעד נבדק אמפירית trade offtrade offונבחר גודל שנותן ונבחר גודל שנותן

מספק בין דיוק הפונק' לבין מספק בין דיוק הפונק' לבין הסיבוכיות.הסיבוכיות.

בעיות עם פונקצית הקורלציה בעיות עם פונקצית הקורלציה ערכי קורלציה גבוהים מדי בתמונות צבע אמיתיותערכי קורלציה גבוהים מדי בתמונות צבע אמיתיותופתרונןופתרונן

בתמונות שחור לבן מתגברים על הבעיה הנ"ל ע"י סף בינאריזציה והמרת בתמונות שחור לבן מתגברים על הבעיה הנ"ל ע"י סף בינאריזציה והמרתהתמונה לתמונה בינארית.התמונה לתמונה בינארית.

.עבור מודל הצבע ניסינו למצוא טיפול דומה.עבור מודל הצבע ניסינו למצוא טיפול דומה

נסיון א': קביעת ערך סף ובינאריזציה עבור כל צבע בדומה נסיון א': קביעת ערך סף ובינאריזציה עבור כל צבע בדומה לתמונות שחור לבןלתמונות שחור לבן

.בעיה בהבחנה בין צבעים המורכבים משילוב של צבעי היסוד.בעיה בהבחנה בין צבעים המורכבים משילוב של צבעי היסוד .הצבע הכתום והצהוב למשל מורכבים ממשקלים שונים של אדום וירוק. הצבע הכתום והצהוב למשל מורכבים ממשקלים שונים של אדום וירוק

בבינאריזציה השפעת היחסים בין המשקלים מתבטלת.בבינאריזציה השפעת היחסים בין המשקלים מתבטלת..שינוי סף נותן הפרדה בין צבעים מסוימים, אבל פוגע בצבעים אחרים.שינוי סף נותן הפרדה בין צבעים מסוימים, אבל פוגע בצבעים אחרים

נסיון ב': קביעת רמות קונטיזציהנסיון ב': קביעת רמות קונטיזציה ע"י בניית פונקציה ע"י בניית פונקציהrgb_quant.mrgb_quant.m.קיבלנו חלוקה למספר רמות קונטיזציה. קיבלנו חלוקה למספר רמות קונטיזציה חלוקה זו נותנת הפרדה טובה בין צבעים וערכי קורלציה הפרושים טוב חלוקה זו נותנת הפרדה טובה בין צבעים וערכי קורלציה הפרושים טוב

יותר.יותר. מספר הרמות נקבע בצורה אמפירית כך שנתן ערכים טובים עבור מגוון מספר הרמות נקבע בצורה אמפירית כך שנתן ערכים טובים עבור מגוון

תמונות צבע.תמונות צבע.

עקיבה ע"י קורלציה עם סרט אמיתיעקיבה ע"י קורלציה עם סרט אמיתי

הדגמת פעולת הקוונטיזציה הדגמת פעולת הקוונטיזציה .זהו המפתח להצלחת פעולת הקורלציה בצבע.זהו המפתח להצלחת פעולת הקורלציה בצבע

בעיה בעקיבה ע"י קורלציה :בעיה בעקיבה ע"י קורלציה :חיפוש המטרה מתבצע בתוך חלון חיפוש ולא ע"פ כל הפריים. מיקום חלון החיפוש מתעדכן בפריים הבא לפי תוצאת הקורלציה.חיפוש המטרה מתבצע בתוך חלון חיפוש ולא ע"פ כל הפריים. מיקום חלון החיפוש מתעדכן בפריים הבא לפי תוצאת הקורלציה.הסתרותהסתרות

כאשר המטרה מוסתרת, פונק' הקורלציה נותנת מיקום לא נכון והחלון חיפוש לא מתעדכן לערך הנכון. כאשר המטרה מוסתרת, פונק' הקורלציה נותנת מיקום לא נכון והחלון חיפוש לא מתעדכן לערך הנכון.

פתרון: מסנן קלמןפתרון: מסנן קלמן

מסנן זה מפיק את המשערך של וקטור המצב הבא מסנן זה מפיק את המשערך של וקטור המצב הבא האופטימאלי במובן של מזעור שונות השגיאה.האופטימאלי במובן של מזעור שונות השגיאה.

מודל המערכת: משוואות תנועה מסדר שנימודל המערכת: משוואות תנועה מסדר שני

2

2

11 T T 0 0 0

20 1 T 0 0 0

0 0 1 0 0 0( )

10 0 0 1 T T

20 0 0 0 1 T

0 0 0 0 0 1

A k

1 0 0 0 0 0( ) ( )

0 0 0 1 0 0

x

x

x

y

y

y

location

velocity

accelerationC k x k

location

velocity

acceleration

[ 1] [ ] [ ] [ ]

[ ] [ ] [ ] [ ]

x k A k x k v k

z k C k x k w k

x̂

משוואות המסנןמשוואות המסנןPP)קוואריאנס וקטור המצב )בהינתן המדידות( –קוואריאנס וקטור המצב )בהינתן המדידות–

- שערוך מיטבי של ווקטור המצב - שערוך מיטבי של ווקטור המצב

ˆ ˆ ˆ( 1| ) ( ) ( | 1) ( ) ( ) ( ) ( ) ( | 1)x k k A k x k k A k K k z k C k x k k

ˆ ˆ( 1| ) ( ) ( | )2)

( 1| ) ( ) ( | ) ( )T

x k k A k x k k

P k k A k P k k A k Q

1

ˆ ˆ ˆ( | ) ( | 1) ( ) ( ) ( ) ( | 1)

1) ( ) ( | 1) ( ) ( ) ( | 1) ( )

( | ) ( | 1) ( ) ( ) ( | 1) ( ) ( ) ( | 1)

T T

x k k x k k K k z k C k x k k

K k P k k C k C k P k k C k R

P k k P k k K k C k P k k I K k C k P k k

מסנן קלמן נידון בהרחבה בעבודות קודמות לכן לא נרחיב מסנן קלמן נידון בהרחבה בעבודות קודמות לכן לא נרחיב •לגביולגביו

פתרון: מסנן קלמןפתרון: מסנן קלמן

מסנן קלמן נותן חיזוי של מיקום המטרה בפריים הבא.מסנן קלמן נותן חיזוי של מיקום המטרה בפריים הבא.

כאשר המטרה מוסתרת, פונ' הקורלציה מחזירה את כאשר המטרה מוסתרת, פונ' הקורלציה מחזירה את מרכז חלון החיפוש ורוב משקל העקיבה וקידום חלון מרכז חלון החיפוש ורוב משקל העקיבה וקידום חלון

החיפוש הבא ניתן באמצעות שיערוך המסנן.החיפוש הבא ניתן באמצעות שיערוך המסנן.

שיפור נוסף לטיפול בהסתרות: חלון חיפוש מתנפחשיפור נוסף לטיפול בהסתרות: חלון חיפוש מתנפח כאשר המטרה מוסתרת מגדילים את החלון בו מחפשים את כאשר המטרה מוסתרת מגדילים את החלון בו מחפשים את

המטרה.המטרה.

ריבוי מטרותריבוי מטרות

כאשר העקיבה היא אחרי מספר מטרות לכל מטרה יש כאשר העקיבה היא אחרי מספר מטרות לכל מטרה יש חלון חיפוש משלה.חלון חיפוש משלה.

חלון חיפוש של מטרה מסוימת יכול להכיל מטרה חלון חיפוש של מטרה מסוימת יכול להכיל מטרה אחרת. במקרה זה פונ' הקורלציה יכולה להחזיר מספר אחרת. במקרה זה פונ' הקורלציה יכולה להחזיר מספר

מדידות. מדידות.

בשיטת הקורלציה ומסנן קלמן, הזיהוי של מטרה בתוך בשיטת הקורלציה ומסנן קלמן, הזיהוי של מטרה בתוך חלון חיפוש נעשה לפי:חלון חיפוש נעשה לפי:

Strongest Neighbour Standard Filter )SNSF(Strongest Neighbour Standard Filter )SNSF( . .כלומר, המדידה שנותנת קורלציה הכי גבוהה עם כלומר, המדידה שנותנת קורלציה הכי גבוהה עם

תמונת הרפרנס נבחרת כמדידה המתאימה. תמונת הרפרנס נבחרת כמדידה המתאימה.

JPDAFJPDAFריבוי מטרות – מסנן ריבוי מטרות – מסנן Joint Probabilistic Data Association FilterJoint Probabilistic Data Association Filter

מניח מספר מטרות ומביא בחשבון את מניח מספר מטרות ומביא בחשבון את JPDAFJPDAFמסנן מסנן כל המדידות התקפות בכל פריים.כל המדידות התקפות בכל פריים.

::JPDAFJPDAFאלגוריתם אלגוריתם .קבלת מספר מדידות מפונק' הקורלציה עבור כל מטרה.קבלת מספר מדידות מפונק' הקורלציה עבור כל מטרה יצירת "מאורעות שיוך סבירים": כל המאורעות האפשריים יצירת "מאורעות שיוך סבירים": כל המאורעות האפשריים

המשייכים מטרה מסוימת למדידה מסוימת. המשייכים מטרה מסוימת למדידה מסוימת. נתינת משקל הסתברותי לכל מאורע ע"ס מודל התנועה של נתינת משקל הסתברותי לכל מאורע ע"ס מודל התנועה של

כל מטרה.כל מטרה. .שיערוך מיקומה של כל מטרה לפי המשקלים ההסתברותיים. שיערוך מיקומה של כל מטרה לפי המשקלים ההסתברותיים חיזוי מיקום המטרה בפריים הבא לפי משוואות המצב כפי חיזוי מיקום המטרה בפריים הבא לפי משוואות המצב כפי

שנעשה במסנן קלמן.שנעשה במסנן קלמן.

JPDAFJPDAFמימוש אלגוריתם מימוש אלגוריתם הרחבת פונ' הקורלציה כך שתחזיר מספר מדידותהרחבת פונ' הקורלציה כך שתחזיר מספר מדידות

.חיפוש מקסימות לוקליות של מטריצת הקורלציה.חיפוש מקסימות לוקליות של מטריצת הקורלציה החזרת כל המדידות שמעל ערך סף הנקבע האופן דינאמי ביחס למקסימום החזרת כל המדידות שמעל ערך סף הנקבע האופן דינאמי ביחס למקסימום

הגלובאלי.הגלובאלי.

אשר תכיל את המידע המתאר אילו מדידות אשר תכיל את המידע המתאר אילו מדידות יצירת מטריצת תיקוףיצירת מטריצת תיקוף נמצאות בתוך חלון החיפוש של כל מטרהנמצאות בתוך חלון החיפוש של כל מטרה

:דוגמה:דוגמה

0

1

2

3

4

\

1 1 0 0

1 1 1 0

1 0 1 1

1 0 0 1

targetmeas y b r

1מדידה 2מדידה

3מדידה

4מדידה

מייצגת מדידת מייצגת מדידת 00שורה מייצגת מדידה. עמודה מייצגת מטרה. עמודה שורה מייצגת מדידה. עמודה מייצגת מטרה. עמודה שווא.שווא.

JPDAFJPDAFמימוש אלגוריתם מימוש אלגוריתם ::יצירת מאורעות השיוך הסביריםיצירת מאורעות השיוך הסבירים

כל מטרה נובעת לכל היותר ממדידה אחת וכל מדידה שייכת ללא כל מטרה נובעת לכל היותר ממדידה אחת וכל מדידה שייכת ללאיותר ממטרה אחת. יותר ממטרה אחת.

בודד. בודד.11בכל שורה יש למקם בכל שורה יש למקם המייצגת המייצגת 00 בודד מלבד עמודה בודד מלבד עמודה 11בכל עמודה יש למקם לכל היותר בכל עמודה יש למקם לכל היותר

מדידה שקרית.מדידה שקרית. יצירת מאורעות השיוך הסבירים ע"י פונק' רקורסיבית בשיטת יצירת מאורעות השיוך הסבירים ע"י פונק' רקורסיבית בשיטת

backtrackingbacktracking הקומבינציות האפשריות עבור מספר הקומבינציות האפשריות עבור מספר כלכל הנותנת את הנותנת את מדידות שאינו ידוע מראש.מדידות שאינו ידוע מראש.

:דוגמה למאורע אפשרי:דוגמה למאורע אפשרימדידה 1

מדידה 2

מדידה 3

מדידה 4

0

1

2

3

4

\

0 1 0 0

0 0 1 0

1 0 0 0

0 0 0 1

targetmeas

i

y b r

הערה: מאורע זה בהכרח אינו המאורע הנכון ולכן אמור לקבל משקל הסתברותי נמוךהערה: מאורע זה בהכרח אינו המאורע הנכון ולכן אמור לקבל משקל הסתברותי נמוך ..

JPDAFJPDAFמימוש אלגוריתם מימוש אלגוריתם

נעשה ע"י נעשה ע"יחישוב המשקל ההסתברותי של כל מאורעחישוב המשקל ההסתברותי של כל מאורע11

( ( ) | ) ( )! ( ( )) ( ) (1 )j

j

k t t t tt j D D

j t

P k Z Vf z k P PC

משויכת מדידה כלשהי.jהאם למטרה

משויכת מטרה כלשהי.iהאם למדידה 1

ˆm

j iji

0ˆ ii not

0

1 1

ˆ [1 ]m m

i ii i

.מספר המדידות השקריות במאורע

tDP הסתברות שהמטרהt אותרה )נקבע לפי ערך

הקורלציה( .V.)נפח אזור התקפות )חלונות החיפוש

ˆ( ( )) ( | 1), ( )ji i ji jif z k z k k S k מידול הפילוג של מיקום המטרה האמיתית

( )jz k.קורדינטות המדידה הנוכחית

JPDAFJPDAFמימוש אלגוריתם מימוש אלגוריתם

לפי לפי jj שיערוך מיקומה הנוכחי של כל מטרהשיערוך מיקומה הנוכחי של כל מטרה

בהינתן בהינתן jj הוא שיערוך וקטור המצב של מטרה הוא שיערוך וקטור המצב של מטרה שייכת למטרה זו כפי שנעשה במסנן קלמן. שייכת למטרה זו כפי שנעשה במסנן קלמן. iiשמדידה שמדידה

..jj שייכת למטרה שייכת למטרה ii הוא ההסתברות לכך שהמדידה הוא ההסתברות לכך שהמדידה

כלומר סכום כל המאורעות כלומר סכום כל המאורעות מוכפלים מוכפלים jj משויכת למטרה משויכת למטרה iiהשיתופיים בהם מדידה השיתופיים בהם מדידה

בהסתברות כל מאורע.בהסתברות כל מאורע.

נעשה ע"י קידום נעשה ע"י קידום חיזוי מיקום המטרה בפריים הבאחיזוי מיקום המטרה בפריים הבאמשוואות המצב כפי שנעשה במסנן קלמן, ע"ס .משוואות המצב כפי שנעשה במסנן קלמן, ע"ס .

ix

ˆ( | ) ( )kjiji P Z

( )

0

ˆ ( )m k

j i ii

x k x

i

ˆ ( )jx k

שלבי עבודה על סרט צבעשלבי עבודה על סרט צבעקבלת מיקום המטרות מהמשתמש קבלת מיקום המטרות מהמשתמש

שלבי עבודה על סרט צבעשלבי עבודה על סרט צבעקביעת חלון חיפוש סביב כל מטרהקביעת חלון חיפוש סביב כל מטרה

שלבי עבודה על סרט צבעשלבי עבודה על סרט צבעJPDAFJPDAFעקיבה אחרי המטרות בעזרת אלגוריתם עקיבה אחרי המטרות בעזרת אלגוריתם

במידה ומטרה יוצאת מהפריים, חלון החיפוש שלה קטן )ברוחב במידה ומטרה יוצאת מהפריים, חלון החיפוש שלה קטן )ברוחב או בגובה(. כאשר החלון קטן מאחוז מסוים מגודלו המקורי, או בגובה(. כאשר החלון קטן מאחוז מסוים מגודלו המקורי,

מכריזים על המטרה כנעלמת.מכריזים על המטרה כנעלמת.

מימוש העקיבה בסרט צבעמימוש העקיבה בסרט צבע

מימוש העקיבה בסרט צבע שונהמימוש העקיבה בסרט צבע שונה

הטיפול בסרט זה זהה לטיפול בסרט הקודם מלבד השוני בתמונות הרפרנס וצבע חלונות הטיפול בסרט זה זהה לטיפול בסרט הקודם מלבד השוני בתמונות הרפרנס וצבע חלונות החיפוש, כלומר הקוד גנרי ואמור לעבוד עם סרטי מקור שונים )במגבלת מודל התנועה(.החיפוש, כלומר הקוד גנרי ואמור לעבוד עם סרטי מקור שונים )במגבלת מודל התנועה(.

הצעות להמשךהצעות להמשך

טיפול בפגיעה בקירות והחזרה: התאמת סדר טיפול בפגיעה בקירות והחזרה: התאמת סדר המודל. המודל.

טיפול בפרספקטיבה: כאשר הכדור קרוב יותר טיפול בפרספקטיבה: כאשר הכדור קרוב יותר למצלמה הוא נראה גדול יותר וכן מהיר יותר.למצלמה הוא נראה גדול יותר וכן מהיר יותר.

טיפול בהארה לא אחידה. אפשרי ע"י עדכון טיפול בהארה לא אחידה. אפשרי ע"י עדכון HSVHSVתמונת רפרנס או שילוב של מודל הצבע תמונת רפרנס או שילוב של מודל הצבע

המכיל מידע על עצמת ההארה.המכיל מידע על עצמת ההארה.