טייס כלי עקיבתפנים זיהוי באמצעות

אמויאל : ועדי סטון שגיא מאתכוחיי קובי בהנחיית

לישראל – טכנולוגי מכון הטכניוןחשמל להנדסת הפקולטה

לבקרה המעבדה

תקציראדם פני אחר ועקיבה זיהוי מערכת מימשנו זה בפרויקט

מסוג" רחפן י ( .Ar.Drone 1.0)ע: בהמשך נרחיב עליהם אספקטים כמה זו מערכת למימוש

תמונה • ניתוחבקרה •תוכנה •למידה•אינטגרציה •

הכוללת המערכת

הפעולה אופןקדמית במצלמה מצויד אשר מרחפן מורכבת המערכת

אלחוטית ) מותקן(, Wi-Fiותקשורת עליו מחשב SDKבנוסף. הרחפן עם ולתקשר לשלוט מאפשר אשר

. , העקיבה ושלב הזיהוי שלב שלבים משני מורכב המימוש

הזיהוי שלב

החדר • סריקת כדי תוך ממריא הרחפןלהסתובב • מתחיל בוגר אדם פני של ממוצע לגובה מגיע כאשר

צירו סביב• ) המחשב ) השליטה יחידת אל תמונות הרחפן שולח זה זמן כל

התמונות לניתוח פנים זיהוי באלגוריתם משתמש אשר

המשך - הפעולה אופןהעקיבה שלב

• , השליטה ליחידת מורה היא פנים מזהה שהמערכת לאחר. הפנים אחר עקיבה פקודות לשלוח להתחיל

ליחידת • תמונות לשדר הרחפן ממשיך העקיבה בזמןמיקום על מידע ומספקת התמונות את שמנתחת השליטה

. עוקבים אנו אחריהם אשר הפנים• , " שהם בקרה חוגי שלושה סגירת י ע מתבצע המעקב

" י, . ע מבוקרים והמרכוז הגובה כאשר ומרכוז מרחק גובה " , שטח גודל י ע המרחק ואילו בתמונה הפנים מיקום

הפנים.

Face detectionשל פנים לאיתור האלגוריתם על מבוסס violaהאלגוריתם

& jones: עיקריים. אלמנטים כמה ובו

במלבני חלשים haarשימוש מסווגים בתור " הזיהוי " להאצת אינטגרל בתמונות שימוש הלמידה adaboostאלגוריתם מסווגcascade הקרוב השכן קריטריון לפי חופפות תוצאות איחוד

haar מלבני איזור לכל ציון לקבוע כדי יחסית קטנים במסננים שימוש

בתמונה " הלבן שבחלק האפור רמות חיסור י ע הוא איזור כל ציון

מהשחור " החיזוי " אשר חלש מסווג בתור מוגדר כזה אלמנט כל

ממטבע טובים יותר קצת חיזוי אחוזי נותן לבד שלו(50/50)

adaboost הלמידה אלגוריתם של ליניארי בצירוף שימוש עושה

חלשים מסווגים כמה וכמה בכמה הבוחן סט על רץאיטרציות משמעותית ירידה אין כאשר עוצר

סף ערך קובע וכך בטעות

אינטגרל תמונת " את לשפר מ ע שפותחה טכניקה

האלגוריתם של הריצה זמן רמות סכום את מחזיק פיקסל כל

השמאלי בריבוע שנמצאים האפורהעליון על בודד מעבר לאחר ניתן כך

סכום את בקלות לחשב התמונהשנרצה ריבוע בכל האפור רמות

cascade מסווג בכמה שימוש היא האלגוריתם את להאיץ דרך עוד

הוא מעבר כל כאשר בתמונה שונים איזורים על מעבריםשמספיק כזאת אך קטנה לא שגיאה שנותנת סף רמת עם

. הלימוד סט כל את כמעט נכון לסווג טוב בהם ומשקיעים רלוונטים לא אזורים של מיון עושים כך

" מ ע זמן עוד משקיעם רלוונטים באזורים ואילו זמן פחות. טובות יותר תוצאות לקבל

תוצאות איחוד פנים גדלי כמה עם התמונה על מעברים כמה לאחר

צורך יש שוניםשל זיהוי אותו בעצם שהם מפני חופפות פנים זיהוי לאחד

שונים ממעברים שהתקבל פנים כמה

פנים גילוי סיכום למידהoffline תמונה כל על מעבר ומיצוע חופפים ממצאים של איחוד תוצאה החזרת

בקרה: בקר לבחירת קריטריונים

טובים תעופה ביצועי שיפיק יכולות- בקר את ימקסםובעל חלק יהיה האובייקט אחר שהמעוף כך העקיבה

או כיוונו את משנה האובייקט כאשר מהירה תגובהמהירותו

המימוש פשטות

בבקר להשתמש בחרנו כן ביותר PIDעל הנפוץ שהוא . ליניאריות מערכות בבקרת

הבקר מימושבשלושה לנוע יכול הרחפן יבשתיים תחבורה מכלי להבדיל

. . הצירים כל עבור בקרה חוגי לממש יש כן על במרחב ציריםעבור בקר מימשנו : 3אנו X,Y,Zצירים

 

  

בציר הגלגול – Xהבקר פקודה על .ROLLאחראיבציר הגובה – Yהבקר שינוי פקודת על .GAZאחראיבציר העלרוד - Zהבקר פקודת על PITCHאחראי

לציר* מתייחסים בהמשך ההסברים הצירים Xכל לשלושת זהים אבל בלבד

המשך - הבקר מימושיחידת בכל יחידה תמונה עבור הינו לבקר שנשלח המידע

כן, ועל סופית היא המחשב של העיבוד יכולת בנוסף זמןבדיד בזמן הבקר את מימשנו

- " השגיאה " חישוב על בהמשך errהסבר יגיע

Up(nT) = Kp*err(nT) :P

Ui (nT) = Ki*(Ui_prev + err(nT)) :I

Ud(nT) = Kd *( err(nT) - err(n(T-1))) /T :D

Uc = Up(nT) + Ui (nT) + Ud(nT)

השגיאה – חישוב הבקר מימוש

המשך - השגיאה חישוב ", " של" – errהשגיאה " הפריים מרכז בין ההפרש

.) הרחפן ) מסך על האובייקט למיקום הרחפן מצלמת

errX = Xm – Xc errY = Ym – Yc

המשך - הבקר מימוש , האובייקט מיקום את נקבל הרחפן ממצלמת שמגיע בודד פריים עבור

. " לעיל " שתואר כפי השגיאה את ונחשב בפריים לבצע הרחפן שעל הבאה הפקודה את ומחשב השגיאה את מקבל הבקר

. הפריים למרכז האובייקט את להביא כלומר השגיאה את למזער מנת על תחושב ושוב הפריים במרכז יהיה לא כבר הוא ממקומו זז האובייקט כאשר

חדשה פקודה ותתקבל השגיאה

פרמטרים - הבקר מימושבצורה שיתאימו כך הבקר עבור פרמטרים לקבל מנת על

הפעולות את ביצענו הרחפן לתעופת אופטימאליתהבאות:

" " י ע שמצאנו פשטני מתמטי מודל י ע הרחפן מידול. ברחפן שערכנו מדידות

( יחידה פקודה לרחפן שונות הלם פונקציות הכנסת ) שונים הגברים בכמה

הרחפן מיקום שינוי של מדידה : הבאות התוצאות את וקיבלנו

בציר הרחפן מיקום של פיסיקלי Xמודל

-1.5-1-0.500.511.5

-60

-40

-20

0

20

40

60

80

f(x) = − 49.711038961039 x − 0.369047619047619

הפקודה הגבר

תזוזה מספר][פיקסלים

פרמטרים - הבקר מימוש " את הוצאנו ליניארית רגרסיה י וע הצירים שלושת עבור המדידות את ביצענו

. בקרה ציר כל של הפיסיקלי המודלמ הוצאנו מכן לבקר matlabלאחר הפרמטרים " PIDאת שימוש י ע המתאים

. שבנינו הרחפן במודלהאידיאלים הפרמטרים עבור מדרגה לכניסת ההתכנסות זמן מתואר בגרף

- .matlabמה

2 4 6 8 10 12

0.97

0.98

0.99

1

1.01

1.02

System: TTime (seconds): 0.98Amplitude: 0.98

Step Response

Time (seconds)

Am

plit

ude

פרמטרים - הבקר מימוש שקיבלנו הפרמטרים עבור שקיבלנו הביצועים

- MATLABמ- היית לא העקיבה טובים מספיק היו לא . שלנו לדרישות מספיק חלקה

לבקר הגענו הפרמטרים של ידני כינון שנותן PIDלאחר . בפועל יותר טובות תוצאות

התוצאות אופטימיזציתזיהוי יחידת עבור האופטימלים לפרמטרים הגענו רבים ניסיונות לאחר

. ביותר הטובות המעקב תוצאות את לנו נתנו אשר הפנים

ב מ - 100%שיפרנו המקורי העבודה תדר 8ל frame/sec 4אתframe/sec " לפרמטרים הדיפולטים מהפרמטרים מעבר י ע

. שמצאנו האופטימלים

מנצלים לא שאנו מצאנו התוכנה ריצת של הבקבוק צוואר ניתוח לאחרה ממשק את היה, OpenCVנכון לא איתו שעבדנו שלמחשב מפני

. מחשב עם לעבוד עברנו לכן במעבד עיבוד יחידת רק אלה מסך כרטיס , עוד של לשיפור שהביא מה גרפי מאיץ העבודה 50%בעל בתדר

.frame/sec 12ל 8frame/secמ

" העבודה תדר י ע שמוגבל המקסימאלי העבודה לתדר מאוד התקרבנוהמצלמה - .frame/sec 15של

ואופטימיזצית תוצאותהתוצאות

, איכות על השפעה יש הזיהוי לאלגוריתם גם הבקר מלבד . הריצה וזמן התוצאות

Scale -התמונה את לדגום רזולוציה באיזה שמגדיר פרמטר . נדגום כך יותר גדול שהוא ככל מהרחפן שמקבלים המקורית

, אחד מצד יותר קטנה ברזולוציה המקורית התמונה את. מהירה יותר תהייה הריצה אך אמינה פחות תהייה התמונה

ScaleFactor – ה במתודולוגית שמגדיר פרמטרcascade . השרשרת של חוליה כל בין הקפיצה גודל את

, דבר איטרציות יותר נבצע יותר קטן יהיה זה שפרמטר ככל. המשערך אמינות את ישפר אך זמן יותר שייקח

ומסקנות סיכום " כדי תוך רחפן י ע פנים זיהוי הייתה הפרויקט מטרת

. כל כאשר עקיבה מכן ולאחר שלו הוידיאו בערוץ שימושבין גבוהה ובקורלציה אוטונומי באופן מתבצעים השלבים

. השונים האלמנטים

של העבודה מתדר ישירות הושפעו הבקרה מעגלי איכות . הוידיאו תקשורת תדר סיבות מכמה שהושפע המערכת

הוא הבקרה למערכת הרחפן . 15בין על לשנייה תמונותזיהוי אלגוריתם של עבודה נעשתה בודדת תמונה כל

יותר עוד העבודה תדר את שמאט דבר הפנים

המשך - מסקנות לכל התייחס לא שכן מדי פשטני היה הרחפן מודל

. אמפירית התקבל אלה הפיסיקה ולחוקי התנועה משוואות

בתנאים והפעלתו מסוימים בתנאים נעשה הפרויקטשהתקבלו כמו טובות תוצאות יניבו בהכרח לא אחרים

, , . הרוח האוויר מזג תאורה תנאי כגון עבדו בהם בתנאים.' וכו מייצרים הרחפן שמדחפי

, + – מגביל ארוך טעינה זמן סוללות מעט אנרגיה מקור. הרחפן על העבודה זמן את מאוד

המשך - מסקנות , משפיעים אשר לכיוון שניתנים פרמטרים כמה הפנים זיהוי לאלגוריתם

. לפרמטרים אופטימיזציה לאחר הריצה ומהירות התוצאות איכות עלב שיפור , 100%קיבלנו מ העבודה .8ל 4בתדר בשנייה תמונות

על מבוסס האלגוריתם ביחידות OpenCVלב רציני שימוש שעושה . מאחד גרפי מאיץ לו שיש מחשב בין מעבר המחשב של הגרפי העיבוד

ב העבודה בתדר שיפור נתן גרפי מאיץ תמונות 12ל 8מ 50%בליבשנייה.

ב מהשימוש עבר הבקבוק צוואר גרפי מאיץ עם במחשב שימוש לאחרOpenCV . מקום יש ליבות מרובי המעבדים כל בו בעידן מעבד לזמן

. " הקוד מקבול י ע הביצועים את לשפר