ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΑΡΑΓΩΓΗΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ

“Σύνθεση πληροφοριών αισθητήρων για την ασφαλή πλοήγηση έντροχου ρομποτικού οχήματος”

Αθανάσιος Τσαλατσάνης

Δομή παρουσίασης

Εισαγωγή Υλοποίηση αλγορίθμου κίνησης και αποφυγής εμποδίων Παρουσίαση διαγραμμάτων ροής αλγορίθμων Παρουσίαση αποτελεσμάτων Συμπεράσματα

Εισαγωγή

Στόχος της εργασίας Σύνθεση πληροφοριών αισθητήρων υπερήχων και οπτικού

συστήματος για την ασφαλή πλοήγηση έντροχου ρομπότ Περιβάλλον εργασίας

Εσωτερικός χώρος εργασίας Δύο τύποι εμποδίων

Πρωτοτυπία της εργασίας Ταυτόχρονη λειτουργία των αισθητήρων Νέα τεχνική βαθμονόμησης οπτικού συστήματος

Υλοποίηση αλγορίθμου κίνησης και αποφυγής εμποδίων

Άντληση πληροφοριών οπτικού συστήματος Αλλαγή χρωματικού χώρου Εφαρμογή τεχνικής κατωφλίου Εφαρμογή φίλτρου Gauss Εξαγωγή χαρακτηριστικών σημείων εικόνας Υπολογισμός απόστασης αντικειμένου Στροφή οπτικού συστήματος Ενεργοποίηση αισθητήρων υπερήχων Κίνηση

Χρωματικοί χώροι

Οι εικόνες που λαμβάνονται από το οπτικό σύστημα ανήκουν στον χρωματικό χώρο RGB

Για τον εντοπισμό του κίτρινου αντικειμένου χρησιμοποιήθηκε ο χρωματικός χώρος YCbCr

),(),(255

255

255

214.18786.93112

112203.74797.37

966.24553.128481.65

128

128

16

yxyxr

b

B

G

R

C

C

Y

Χρωματικός χώρος YCbCr

ΕικόναRGB Φωτεινότητα Υ

Χρωματικό χαρακτηριστικό Cb

Χρωματικό χαρακτηριστικό Cr

Εφαρμογή κατωφλίου στον χρωματικό χώρο YCbCr

0

255),( yxg

,

),(),(, 21 TyxCbTyxCb

Φίλτρα Gauss Εξομάλυνση της εικόνας χωρίς βλάβη της ευκρίνειας Εφαρμόζονται με την συνέλιξη μιας μάσκας, h(x,y), με την

συνάρτηση της ψηφιακής εικόνας, g(x,y), σύμφωνα με την σχέση

Όπου n το μέγεθος της μάσκας, ενώ η συνάρτηση h(x,y) ορίζεται ως

n

j

n

i

jyixhjigyxhyxgyxF11

),(),(),(*),(),(

2

22

2

)(

),( yx

ceyxh

Προοπτικές συντεταγμένες

Z

48.8o

Επίπεδοεικόνας

X

(Xi,Yi,Zi)

(xi,yi)

(yp,xp)

A(cm): οριζόντια ορατή περιοχή

Εικόνα

Τρισδιάστατησκηνή

))(4.24tan(320

2

)(

))(4.24tan(2

)(320

cmZxX

pixelsxX

cmZA

pixelsA

ipi

pi

i

))(19tan(240

2

)(

))(19tan(2'

)(240'

cmZyY

pixelsyY

cmZA

pixelsA

ipi

pi

i

Προβολή ενός πραγματικού σημείου X,Y,Z στο επίπεδο της εικόνας

Υπολογισμός απόστασηςZ

X

W(Xw,Yw,Zw)

(yp1,xp1)

(yp2,xp2)εικόνα 2

εικονα 1

Κεντρικήγραμμή

X

Οπτικό σύστημα μιας κάμερας

Z

X

W(Xw,Yw,Zw)

(yp1,xp1) (yp2,xp2)

κεντρική γραμμή

Z

εικονα 2εικονα 1

W(X2,Y2,Z2)

Στερεοσκοπικό οπτικό σύστημα

)()4.24tan()(2

320

21

cmxx

BZ

pp )(

12

2 cmxx

BxZ

pp

p

Συντελεστής ενδιαφέροντος Moravec Χρησιμοποιείται για την εξαγωγή χαρακτηριστικών

σημείων σε μια εικόνα Εντοπίζει σημεία των οποίων η τιμή της έντασης

αλλάζει γρήγορα σε τουλάχιστον μια διεύθυνση

Παράδειγμα υπολογισμού απόστασηςΑρχικές εικόνες Επεξεργασμένες εικόνες Χαρακτηριστικά σημεία

Αριστερή κάμερα

Δεξιά κάμερα

Πραγματική απόσταση 126.5cm, Υπολογισμένη απόσταση 127.55cm

Στροφή οπτικού συστήματος

Z

X

Z

εικονα 2εικονα 1

h

65.6

20cm X

Z

Χl

Χr

ZrZl

h’

53.6

Ελάχιστη απόσταση αντικειμένου 45cm Ελάχιστη απόσταση αντικειμένου 27cm

Κίνηση ρομποτικού οχήματος

Συναρτήσεις κίνησης του συστήματος Mobility Αποφυγή εμποδίων

Οπτικό σύστημα: στροφή έως ότου δεν εντοπίζεται το αντικείμενο, κίνηση ευθεία για απόσταση ίση με την απόσταση του εμποδίου που εντοπίστηκε

Αισθητήρες υπερήχων: στροφή έως ότου δεν εντοπίζεται το αντικείμενο

Περιορισμοί Δεν εντοπίζονται από το οπτικό σύστημα εμπόδια που δεν

είναι κίτρινα Ο υπολογισμός της απόστασης του αντικειμένου με την

χρήση του οπτικού συστήματος παρουσιάζει σημαντικά σφάλματα στην περίπτωση όπου το αντικείμενο δεν φωτίζεται ομοιόμορφα

Αλγόριθμος εφαρμογής κατωφλίου

Αρχή

ΕισαγωγήRGB

εικόνας

ΜετασχηματισμόςRGB σε YCbCr

ΥπολογισμόςΙστογράμματος

H(i), για τοσυστατικό Cb

Α

T=a,Η(a)=maxH(i) και

a=min(i)

T1=T-0.1TT2=T+0.1T

Επανάληψη γιακάθε

εικονοστοιχείο

Α

Β

Cb(x,y)>Τ1 &

Cb(x,y)<Τ2

G(x,y)=0 G(x,y)=255

Β

Τέλοςεπανάληψης

Τέλος

Οχι Ναι

Αλγόριθμος κίνησης και αποφυγής εμποδίων

Αρχή

Ορισμόςθέσηςστόχου

Επανάληψη έωςσυνθήκη

τερματισμού

ΕντοπισμόςεμποδίουΟχι Ναι

Α Β

Α

Ελεγχος γιατερματισμό

Επανάληψη

Τέλος

Οχι

Ναι

Υπολογισμόςαπόστασηςεμποδίου, D

Β

D<150

Αποφυγήεμποδίου

Ναι

Α

Οχι

Α

Αποφυγή εμποδίων με την χρήση οπτικού συστήματος

Αποφυγή δύο εμποδίων

Αποφυγή δύο εμποδίων

Αποφυγή εμποδίων με την χρήση οπτικού συστήματος

Αποφυγή τριών εμποδίων

Αποφυγή τριών εμποδίων

Αποφυγή εμποδίων με την χρήση των αισθητήρων υπερήχων

Κίνηση του ρομποτικού οχήματος

Κίνηση του ρομποτικού οχήματος

Αποφυγή εμποδίων με την χρήση οπτικού συστήματος και αισθητήρων υπερήχων

Κίνηση του ρομποτικού οχήματος

Κίνηση του ρομποτικού οχήματος

Αποφυγή εμποδίων με την χρήση οπτικού συστήματος και αισθητήρων υπερήχων

Κίνηση του ρομποτικού οχήματος

Κίνηση του ρομποτικού οχήματος

Παρουσίαση βίντεο

Αποφυγή εμποδίων με την χρήση του οπτικού συστήματος Βίντεο 1 Βίντεο 2 Βίντεο 3

Αποφυγή εμποδίων με την χρήση του οπτικού συστήματος και των αισθητήρων υπερήχων Βίντεο

Αποφυγή δυναμικών εμποδίων Βίντεο 1 Βίντεο 2

Συμπεράσματα

Αναπτύχθηκε αλγόριθμος κίνησης και αποφυγής εμποδίων με την χρήση αισθητήρων υπερήχων και οπτικού συστήματος

Οπτικό σύστημα Εντοπισμός κίτρινων αντικειμένων Υπολογισμός απόστασης αντικειμένων με μέγιστο σφάλμα

5% για αντικείμενα που βρίσκονται έως 8 μέτρα από το έντροχο ρομπότ

Αισθητήρες υπερήχων Αδυναμία εντοπισμού αντικειμένων που βρίσκονται σε

διαφορετικό επίπεδο από το επίπεδο των αισθητήρων Αδυναμία εντοπισμού αντικειμένων μικρών σε μέγεθος

Περιγραφή του ATRV-Mini Έντροχο ρομπότ για χρήση

σε εσωτερικό και εξωτερικό χώρο

Βασικά συστατικά 2 κινητήρες συνεχούς

ρεύματος 4 τροχοί 24 αισθητήρες υπερήχων Οπτικό σύστημα Συσκευή πρόσκτησης

γραφικών Παγκόσμιο σύστημα

συντεταγμένων Πυξίδα / γωνιόμετρο Μέγιστη ταχύτητα 1,5m/s Μέγιστη γωνιακή ταχύτητα

250ο/s

Αισθητήρες υπερήχων

Μικρό κόστος κατασκευής Υπολογισμός απόστασης με

πολύ γρήγορο ρυθμό Περιοχή εντοπισμού που

περιγράφεται από έναν κώνο με κορυφή το κέντρο του αισθητήρα, γωνία 30ο και ύψος 4m

Αδυναμία εντοπισμού μικρών επιφανειών, αντικειμένων που βρίσκονται σε διαφορετικό επίπεδο ή σε μεγάλη γωνία σε σχέση με την ακτίνα των αισθητήρων

Οπτικό σύστημα Το οπτικό σύστημα του ATRV

Mini αποτελείται από δύο κάμερες SONY EVI D30

Τα τεχνικά χαρακτηριστικά τους είναι Χρωματικό πρότυπο NTSC Βαθμός μεγέθυνσης 12X Οριζόντιο πεδίο όρασης 48.8ο

Κάθετο πεδίο όρασης 37.6ο

Δυνατότητα κίνησης στο οριζόντιο και κάθετο επίπεδο

Εύρος οριζόντιας κίνησης 200ο

Εύρος κάθετης κίνησης 50ο

Υπολογισμός απόστασης σε μονοσκοπικό οπτικό σύστημα

Z

X

W(Xw,Yw,Zw)

(yp1,xp1)

(yp2,xp2)εικόνα 2

εικονα 1

Κεντρικήγραμμή

X

))(4.24tan(320

211 cmZxX pw

))(4.24tan(320

222 cmZxX pw

BZZ 21

)(12

21 cm

xx

BxZZ

pp

pw

Λήψη αντικειμένου από δύο διαφορετικές θέσεις

Υπολογισμός απόστασης σε στερεοσκοπικό οπτικό σύστημα

Z

X

W(Xw,Yw,Zw)

(yp1,xp1) (yp2,xp2)

κεντρική γραμμή

Z

εικονα 2εικονα 1

W(X2,Y2,Z2)

)4.24tan(320

21 wpw ZxX

)4.24tan(320

2222 ZxX p

ZZZw 2

BXX w )( 2

)4.24tan()(2

320

21 pp xx

BZ

Λήψη αντικειμένου από δύο διαφορετικές θέσεις

Υπολογισμός απόστασης σε στερεοσκοπικό σύστημα υπό στροφή

aZaXX oldoldnew sincos

aZaXZ oldoldnew cossin

oldl

oldlp

oldl AZZxX )4.24tan(

310

21

oldr

oldrp

oldr BZZxX )4.24tan(

310

22

newr

newl ZZZ

baselineXX newl

newr

baselineaaABaaAB

aABaaABaZ

)2sin()2sin())(sin)()(cos(

)(sin)sin()cos()()(cos22

22

X

Z

Χl

Χr

ZrZl

baseline

W(X,Y,Z)

W(Xlnew,Yl

new,Zlnew)

W(Xrnew,Yr

new,Zrnew)

Αριστερήκάμερα

Δεξιάκάμερα

α

Συντελεστής ενδιαφέροντος Moravec Εντοπίζει σημεία των οποίων η

τιμή της έντασης αλλάζει γρήγορα σε τουλάχιστον μια διεύθυνση Υπολογίζεται το άθροισμα των

τετραγώνων των τιμών της έντασης για κάθε διεύθυνση σε ένα παράθυρο S

Υπολογίζεται η ελάχιστη τιμή των αθροισμάτων

Υπολογίζονται τα τοπικά μέγιστα για μια μεγαλύτερη περιοχή

Εξαλείφονται τα στοιχεία που είναι μικρότερα από τα τοπικά μέγιστα

),,,min(

)1,1(),(

)1,1(),(

),1(),(

)1,(),(

4321

),(

24

),(

23

),(

22

),(

21

IIIII

yxfyxfI

yxfyxfI

yxfyxfI

yxfyxfI

Syx

Syx

Syx

Syx

Αντιστοίχηση χαρακτηριστικών σημείων

(134,131)

(228,134)

(134,250)

(225,250)

(130,61)

(222,64)

(130,179)

(222,181)

Φίλτρα Gauss

121

242

121

16

1

24542

491294

51215125

491294

24542

115

1

1122211

1224221

2248422

24816842

2248422

1224221

1122211

265

1

3x3 5x5 7x7

Συνήθεις μάσκες των φίλτρων Gauss

Αλγόριθμος λήψης εικόνας

Αρχή

Ορισμός αρχείουπεριγραφής

Ορισμός ενεργούκαναλιού

Ορισμόςχαρακτηριστικών

εικόνας

Επανάληψη έωςσυνθήκη

τερματισμού

Α

Λήψη εικόνας

Αποθήκευσηεικόνας στηνμνήμη του

υπολογιστή

Τέλοςεπανάληψης

Τέλος

Α

Αλγόριθμος λειτουργίας οπτικού συστήματος

Αρχή

Λήψη ζεύγουςεικόνων

ΜετασχηματισμόςRGB to YCbCrστις δύο εικόνες

Εφαρμογήκατωφλίου στονχρωματικό χώρο

YCbCr

Α

Εφαρμογήφίλτρου Gauss

στις νέες εικόνες

Α

Εξαγωγήχαρακτηριστικών

σημείων

Υπολογισμόςαπόστασης

Τέλος