Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI
MINISTERUL MUNCII, FAMILIEI ŞI PROTECŢIEI SOCIALE
AMPOSDRU
Fondul Social European
POSDRU 2007-2013
Instrumente Structurale
2007-2013 OIPOSDRU UNIVERSITATEA TEHNICĂ
“GHEORGHE ASACHI” DIN IAŞI
UNIVERSITATEA TEHNICĂ
“GHEORGHE ASACHI” DIN IAŞI
Şcoala Doctorală a Facultăţii de
Automatică şi Calculatoare
TEHNICI DE CONTROL PENTRU
SISTEMELE SERVOING VIZUALE
- REZUMATUL TEZEI DE DOCTORAT -
Conducător de doctorat:
Prof. univ. dr. ing. Corneliu Lazăr
Doctorand:
Ing. Cosmin Copoţ
IAŞI - 2011
UNIUNEA EUROPEANĂ GUVERNUL ROMÂNIEI
MINISTERUL MUNCII, FAMILIEI ŞI PROTECŢIEI SOCIALE
AMPOSDRU
Fondul Social European
POSDRU 2007-2013
Instrumente Structurale
2007-2013 OIPOSDRU UNIVERSITATEA TEHNICĂ
“GHEORGHE ASACHI” DIN IAŞI
Teza de doctorat a fost realizată cu sprijinul financiar al
proiectului „Burse Doctorale - O Investiţie în Inteligenţă (BRAIN)”.
Proiectul „Burse Doctorale - O Investiţie în Inteligenţă (BRAIN)”,
POSDRU/6/1.5/S/9, ID 6681, este un proiect strategic care are ca
obiectiv general „Îmbunătățirea formării viitorilor cercetători în
cadrul ciclului 3 al învățământului superior - studiile universitare de
doctorat - cu impact asupra creșterii atractivității şi motivației pentru
cariera în cercetare”.
Proiect finanţat în perioada 2008 - 2011.
Finanţare proiect: 14.424.856,15 RON
Beneficiar: Universitatea Tehnică “Gheorghe Asachi” din Iaşi
Partener: Universitatea “Vasile Alecsandri” din Bacău
Director proiect: Prof. univ. dr. ing. Carmen TEODOSIU
Responsabil proiect partener: Prof. univ. dr. ing. Gabriel LAZĂR
i
CUPRINS
CAPITOLUL 1. INTRODUCERE ......................................................................................... 1
1.1. SISTEMELE SERVOING VIZUALE .................................................................................. 1
1.2. STRUCTURA TEZEI ...................................................................................................... 3
1.3. DISEMINAREA REZULTATELOR ................................................................................... 4
CAPITOLUL 2. SISTEME SERVOING VIZUALE ............................................................ 7
CAPITOLUL 3. ANALIZA PERFORMANŢELOR TRĂSĂTURILOR VIZUALE
UTILIZATE ÎN APLICAŢII SERVOING .......................................................................... 13
3.1. EVALUAREA TRĂSĂTURILOR PUNCTIFORME ............................................................. 13
3.2. EVALUAREA TRĂSĂTURILOR DE TIP MOMENTE ALE IMAGINII ................................... 16
CAPITOLUL 4. LEGI DE CONTROL CONVENŢIONALE ........................................... 21
CAPITOLUL 5. TEHNICI DE CONTROL PREDICTIV PENTRU SISTEMELE
SERVOING ............................................................................................................................. 29
5.1. ALGORITMI DE CONTROL PREDICTIV PENTRU TRĂSĂTURI PUNCTIFORME .................. 29
5.2. ALGORITMI DE CONTROL PREDICTIV PENTRU MOMENTE ALE IMAGINII ..................... 34
5.3. IMPLEMENTAREA ÎN TIMP REAL A REGULATORULUI PREDICTIV ................................ 37
CAPITOLUL 6. CONCLUZII ŞI DIRECŢII VIITOARE ................................................. 43
6.1. CONTRIBUȚII ............................................................................................................ 44
6.2. DIRECȚII VIITOARE ................................................................................................... 45
BIBLIOGRAFIE .................................................................................................................... 48
Capitolul 1. Introducere
Cercetările recente din domeniul roboticii vizează folosirea unor senzori auxiliari care
să contribuie la îmbunătățirea robusteții, flexibilității și preciziei sistemului. Informațiile
senzoriale obținute sunt folosite în bucla de reglare a sistemului. În ultimii ani s-au fost
dezvoltat diferite tipuri de senzori pentru îndeplinirea unor sarcini specifice, dar care în
același timp diferă între ele. În robotică, cei mai folosiți senzori sunt: senzori de forță, senzori
de cuplu, senzori cu ultrasunete și senzori vizuali. Dintre toate tipurile de senzori, senzorul
vizual oferă cele mai complete informații ce pot fi folosite în bucla de reglare. Prin folosirea
acestui tip de senzor, robotul poate percepe mediul de lucru. Utilizarea trăsăturilor vizuale
extrase din imaginile achiziționate cu ajutorul senzorului vizual ca mărimi măsurate pentru a
închide bucla de reglare a sistemului, reprezintă o metodă viabilă pentru a controla mișcările
robotului și este cunoscută sub denumirea de sistem servoing vizual.
1.1. Sistemele servoing vizuale
Sistemele servoing vizuale reprezintă o ramură de cercetare care îmbină rezultatele din
diferite domenii cum ar fi: vederea artificială, robotică, precum și proiectarea aplicațiilor în
timp real, acesta devenind un domeniu de interes major pentru cercetările din ultimul
deceniu. Sistemele servoing se referă la folosirea trăsăturilor vizuale pentru a controla
traiectoria mișcării unui robot manipulator. Trăsăturile vizuale sunt definite ca proprietăți ale
obiectelor ce compun o imagine. Imaginile pot fi achiziționate cu ajutorul unui senzor vizual
care este montat fie într-o poziție fixă în mediul de lucru, fie pe ultima articulație a robotului.
Prima configurație este denumită eye-to-hand, iar cea de-a doua configurație este denumită
eye-in-hand și este folosită pentru realizarea experimentelor din cadrul tezei de doctorat. În
(Weiss, 1988) se face pentru prima dată o descriere completă a celor două arhitecturi
fundamentale ale sistemelor servoing vizuale: arhitectura bazată pe poziţie si arhitectura
bazată pe imagine. Fiecare din cele doua arhitecturi prezintă avantaje si dezavantaje pentru
procesele de timp real (Corke și Hutchinson, 2001).
Arhitectura bazată pe poziţie constă în calcularea unei erori reprezentate în sistemul
Cartezian şi necesită atât un model al obiectului ( de obicei de tip CAD) cât şi o cameră
perfect calibrată pentru a obţine o estimare a poziţiei şi orientării obiectului (Mezouar și
Chaumette, 2002). În cazul arhitecturii bazate pe imagine, se evita folosirea unui model al
obiectului prin măsurarea erorii în planul imaginii, care este mapată direct în comenzile
Capitolul 1 – Introducere
2
elementului de execuţie al robotului (Corke și Hutchinson, 2001). Avându-se ca unul din
scopurile principale stabilitatea globală a sistemelor servoing, s-a constatat faptul că
arhitectura bazată pe poziţie suferă limitări masive din punct de vedere al robusteţii şi
descrierii matematice a modelelor necesare implementărilor fizice. Astfel, aşa numitele
metode hibride, au fost create pentru a se compensa deficienţele iniţiale (Kyrki et al., 2004;
Comport et al., 2003).
Ambele arhitecturi folosesc trăsături vizuale ca mărimi de caracterizare a proprietăţilor
obiectelor în planul imaginii. Dacă pentru arhitectura bazată pe poziţie trăsăturile sunt folosite
pentru a caracteriza poziţii prin corelarea planului imaginii cu spaţiul tridimensional, în cazul
arhitecturii bazate pe imagine aceste trăsături conduc la formarea matricei de interacţiune,
matrice ce reprezintă maparea între vitezele obiectelor proiectate în planul imaginii şi mediul
de lucru al robotului.
Alegerea unui set adecvat de trăsături vizuale este necesară pentru a se asigura o
corelare cât mai exactă între dinamica din spaţiul imaginii şi dinamica din spaţiul task-urilor,
ceea ce conduce la diferite entităţi: trăsături de tip punct (centroizi, colţuri), momente ale
imaginii, ariile regiunilor proiectate, orientarea liniilor care unesc doua puncte, lungimile
muchiilor, parametrizarea liniilor etc. (Marchand și Chaumette, 2005; Chaumette, 2004;
Mahony et al., 2002). Aceste tipuri de trăsături vizuale pot fi folosite pentru generarea legii de
control bazate pe imagine. Cele mai utilizate sunt trăsăturile punctiforme și cele bazate pe
momente ale imaginii. Trăsăturile punctiforme pot fi uni-dimensionale (muchie) și bi-
dimensionale (colt). Principalul avantaj al folosirii trăsăturilor punctiforme este acela al
calculării matricei de interacțiune relativ simplu deoarece coordonatele punctelor sunt
cunoscute. Dezavantajul utilizării punctelor de interes în aplicații servoing fiind acela al
stabilității reduse (nu sunt invariante la schimbări ale obiectului în scena de lucru). Această
problemă întâlnită la trăsăturile punctiforme poate fi eliminată dacă se folosesc trăsături de tip
momente ale imaginii pentru a genera legea de control ce permite controlul mișcării robotului.
Ideea folosirii momentelor în aplicații servoing este relativ veche, dar problema era matricea
de interacțiune care nu era disponibila pentru orice tip de obiect. În (Chaumette, 2004) a fost
dezvoltată o metodă cu ajutorul căreia se poate calcula matricea de interacțiune
corespunzătoare momentelor imaginii pentru orice tip de obiect. Trăsăturile de tip momente
ale imaginii fiind astfel utilizate mai des în aplicații servoing.
Controlul roboţilor studiază structura şi funcţionarea sistemului de comandă al
roboţilor. Pe baza modelului geometric şi dinamic, a sarcinii de îndeplinit convertită în
traiectoria de urmat, se stabilesc comenzile necesare elementelor de acţionare şi elementelor
hardware şi software care să furnizeze aceste comenzi, folosind şi semnalele de reacţie
obţinute de la sistemul senzorial (Spong et al., 2006). Astfel, rezultă complexitatea ridicată a
sistemului de control al unui robot manipulator. Acesta va avea frecvent o organizare
ierarhică, în care pe nivelul superior se află partea de decizie cu privire la acţiunea de
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
3
întreprins, iar pe nivelul inferior elementele de control şi acţionare ale articulaţiilor. Aceste
comenzi vor trebui să ţină seama şi de performanţele dorite pentru robot, aici intervenind
modelul dinamic al robotului. Structura tipică a sistemului de control va conţine un calculator
pe nivelul superior şi un sistem cu unul sau mai multe microcontrolere comandând elementele
de acţionare din articulaţii.
Selectarea unui set adecvat de trăsături vizuale și proiectarea legii de reglare reprezintă
principalul aspect pentru a obține o arhitectură de control cu performanțe ridicate. Trăsăturile
vizuale utilizate în sistemele servoing pot părăsi spațiul camerei pe parcursul taskului
servoing (Chesi și Vicino, 2004). De aceea, este de dorit ca legile de control folosite să fie
capabile să păstreze trăsăturile vizuale în câmpul de vedere al camerei pentru a obține un
feedback corect în timpul procesului servoing. Pentru a minimiza probabilitatea ca trăsăturile
vizuale să părăsească spațiul camerei pot fi folosite strategii de planificare (Mezouar și
Chaumette, 2002), sau de marcare (Gans și Hutchinson, 2007). Creşterea numărului de grade
de libertate ale roboţilor incluşi în sistemele servoing şi complexitatea mărită a obiectelor din
scena de lucru (Fuijimoto, 2003) au condus la necesitatea implementării de noi metode pentru
proiectarea legii de control. Astfel una din soluţiile propuse vizează controlul predictiv
(Gangloff și Mathelin, 2003) cu scopul de a creşte viteza de răspuns a sistemului servoing.
1.2. Structura tezei
Lucrarea este structurată în șase capitole după cum urmează:
În capitolul 1 s-a realizat o scurtă introducere ce prezintă noţiunile fundamentale din
sistemele servoing vizuale.
În capitolul 2 intitulat ”Sisteme servoing vizuale” sunt prezentate diverse metode din
sistemele servoing vizuale care vor fi ulterior folosite pentru dezvoltarea contribuțiilor proprii
din cadrul tezei. Prima parte a acestui capitol este dedicată detectării a două tipuri de trăsături
vizuale: puncte de interes şi momente ale imaginii. În continuare sunt prezentate două metode
folosite pentru modelarea ansamblului robot-senzor vizual. În finalul acestui capitol sunt
prezentate arhitecturile fundamentale ale sistemelor servoing: arhitectura bazată pe poziţie şi
arhitectura bazată pe imagine. Simulatorul pentru sistemele servoing care stă la baza
simulatoarelor servoing dezvoltate în cadrul cercetărilor doctorale este prezentat în ultima
parte a acestui capitol.
Capitolul 3 intitulat ”Analiza performanțelor trăsăturilor vizuale utilizate în aplicații
servoing” este dedicat criteriilor de evaluare a trăsăturilor de tip puncte de interes și a
trăsăturilor de tip momente ale imaginii în aplicații servoing. Evaluarea trăsăturilor de tip
puncte de interes se realizează pe baza criteriilor utilizate în aplicații servoing cum ar fi:
stabilitate, robustețe, repetabilitate și gradul de împrăștiere. Pentru a analiza performanțele
Capitolul 1 – Introducere
4
trăsăturilor de tip momente ale imaginii s-a propus un nou criteriu de evaluare ce se bazează
pe distanța Hausdorff.
În capitolul 4 intitulat ”Legi de control convenționale” este prezentată arhitectura de
control bazată pe feedback vizual în care dinamica robotului a fost modelată ca un dispozitiv
de mişcare cartesian virtual (Virtual Cartesian Motion Device - VCMD). Pentru
implementarea, testarea și validarea algoritmului de control s-au dezvoltat două simulatoare
cu regulator proporțional bazat pe trăsături de tip puncte de interes și, respectiv, trăsături de
tip momente ale imaginii. Pornind de la aceste simulatoare servoing s-a dezvoltat o arhitectură
de control pentru a controla în timp real mișcarea unui robot manipulator ABB IRB2400 cu 6
grade de libertate.
Capitolul 5 intitulat ”Tehnici de control predictiv pentru sistemele servoing” este
dedicat metodelor de control predictiv utilizate în sistemele servoing vizuale. Pentru a testa și
valida teoria propusă s-a dezvoltat simulatoare servoing ce se bazează pe controlul predictiv.
Folosind arhitectura de control propusă s-a realizat un sistem servoing pentru controlul în
timp real a unui robot manipulator FANUC cu 6 grade de libertate.
În capitolul 6 se prezintă concluziile finale, contribuțiile originale din cadrul tezei,
precum și direcțiile viitoare de cercetare.
1.3. Diseminarea rezultatelor
Rezultatele cercetărilor doctorale au fost prezentate în 13 articole publicate sau
acceptate spre publicare din care: o lucrare într-o revistă cotată ISI cu factor de impact 1.717,
două lucrări în reviste indexate BDI, un capitol în carte publicată la editura ELSEVIER, 7
lucrări la conferinţe cu volume indexate în baze de date internaţionale din care 5 ISI
Proceedings, una la Congresul IFAC 2011 şi una SCOPUS şi două lucrări la conferinţe
internaţionale la care se efectuaează recenzia lucrărilor.
Reviste ISI cu factor de impact
Copoț C., Lazăr C. și Burlacu A., (2011). Predictive Control of Nonlinear Visual
Servoing Systems using Image Moments, IET Control Theory and Applications,
accepted with revisions (cotată ISI, impact factor = 1.717).
Reviste indexate BDI
Copoţ C., Burlacu A., Lazăr C., (2011). Image moments based predictive control for
eye-in-hand servoing systems, Buletinul Institutului Politehnic din Iași, Automatic
Control and Computer Science Section, Tome LVII (LXI), Fasc. 1. (indexată
Zentralblatt)
Cosmin Copoț – Universitatea Tehnică “Gheorhe Asachi”, Iași
5
Burlacu A., Copoţ C., Lazăr C., (2007). SIFT Based Algorithm for Point Feature
Tracking, The Annals of “Dunarea de Jos” University of Galati, Fascicle III, pag. 59-
64. (indexată PROQUEST-CSA / EBSCO ).
Capitol în carte
Copoț C., Lazăr C. şi Burlacu A. (2011). Nonlinear Model based Predictive Control of
Visual Servoing Systems using Image Moments, editura ELSEVIER, In Press.
Conferinţe cu volume indexate în baze de date internaţionale
ISI Proceedings
Burlacu A., Copoț C., Cervera E. și Lazăr C., (2011). Real-Time Visual Predictive
Control of Manipulation Systems, Proc. of. IEEE 15th
International Conference on
Advanced Robotics, ICAR‟15, Tallin, Estonia, pag. 383 – 388. (indexată ISI
Proceedings)
Copoț C., Burlacu A. și Lazăr C., (2011). Visual Predictive Control Architecture
based on Image Moments for Manipulators Robots, Proc. of 20th
IEEE Int. Symposium
on Industrial Electronics, Gdansk, Polonia, pag. 963 – 968. (indexată ISI Proceedings)
Copoţ C., Burlacu A., Lazăr C., (2010). Visual control architecture of servoing
systems based on image moments, Proc. of 12th
Int. Conference on Optimization of
Electrical and Electronic Equipment (OPTIM), Braşov, pag.801-806. (indexată ISI
Proceedings)
Burlacu A., Copoţ C., Lazăr C., (2010). An Hausdorff distance based approach for
evaluation of image moments in servoing applications, Proc. of IEEE Int. Conference
on Intteligent computer Communication and Processing, Cluj-Napoca, pag.255-258.
(indexată ISI Proceedings)
Copoţ C., Burlacu A. şi Lazăr C. (2009). Image Moments Based Visual Control
Algorithm for Servoing Systems, Proc. of IEEE International Conference on
Intelligent Computer Communication and Processing, Cluj-Napoca, pag. 157-160.
(indexată ISI Proceedings)
Congresul IFAC
Lazăr C., Burlacu A. și Copoț C., (2011). Predictive Control Architecture for Visual
Servoing of Robot Manipulators, Proc. of 18th
IFAC World Congress, Milano, Italia,
August 2011, pag. 9464-9469.
SCOPUS
Burlacu A., Copoț C., Panainte A., Pascal C. şi Lazar C., (2011). Real-time Image
Based Visual Servoing Arhitecture for Manipulator Robots, Proc. of Int. Conference
on Computer Vision Theory and Applications, Vilamoura, Portugalia, pag. 502-510.
(indexată SCOPUS/SciTePress)
Capitolul 1 – Introducere
6
Conferinţe internaţionale la care se efectuaează recenzia lucrărilor
Copoţ C., Burlacu A., Lazăr C. (2010). An image moment based approach for visual
predictive control, Proc. of 14th
Int. Conference on System Theory and Control
(ICSTC), Sinaia, pag.154-159.
Copoț C., Lazăr C. şi Burlacu A. (2009). Image features detection and analysis for
visual servoing applications, Proc. of 17th
International Conference on Control
Systems and Computer Science, Ed. Politehnica Press, Bucureşti, pag. 467-473.
Capitolul 2. Sisteme servoing vizuale
În acest capitol sunt prezentate mai întâi două detectoare de trăsături vizuale:
operatorul Harris şi detectorul SIFT care sunt folosite pentru extragerea trăsăturilor vizuale de
tip puncte de interes. Apoi este descrisă o metodă de calcul a trăsăturilor vizuale de tip
momente ale imaginii. Pentru a modela ansamblul robot-senzor vizual sunt prezentate două
modele: unul multivariabil de tip ARIMAX şi unul cu observer robust pentru perturbaţii. În
continuare este prezentată arhitectura de control bazată pe poziţie şi cea bazată pe imagine.
Aceste metode din sistemele servoing vizuale prezentate în acest capitol sunt ulterior folosite
pentru dezvoltarea contribuțiilor proprii din cadrul tezei.
O trăsătură vizuală de tip punct de interes este o locaţie din planul imaginii în care
funcţia imagine are variaţii pe cel puţin două direcţii. Aceasta înseamnă că punctul detectat
poate fi un punct de interes și totodată poate fi un punct izolat al unui minim sau maxim local,
terminaţiile unei muchii sau punctul în care curbura unei curbe atinge un maxim local. Un colţ
poate fi definit ca intersecţia a doua muchii. Ca o consecinţă, dacă un singur punct de interes
este detectat, este necesar să se facă o analiză locală pentru a determina punctele de interes
reale.
Operatorul Harris se bazează pe utilizarea funcţiei de auto-corelaţie. Acest algoritm a
fost propus pentru prima dată de Moravec, urmând ca ulterior sa fie dezvoltat de către Harris
(Harris şi Stephens, 1988). Algoritmul Harris de detecție a punctelor de interes este format din
două etape: prima constă în calcularea valorilor funcţiilor de autocorelaţie pentru fiecare pixel
din imagine, iar în cea de-a doua se determină valoarea de maxim local a acestei funcţii intr-o
vecinătate definită de utilizator. Pixelii care sunt asociaţi acestor valori de maxim local sunt
consideraţi puncte de interes (colţuri).
În continuare este prezentat algortimul SIFT propus de Lowe (Lowe, 1999; 2003),
algortim ce se compune din patru etape: Detectarea extremelor în spaţiul scalării, Localizarea
trăsăturilor, Determinarea magnitudinii și a orientării pentru fiecare trăsătură, Crearea
descriptorului. Primele două etape sunt utilizate pentru detecţia extremelor din spaţiul
scalărilor şi localizarea cu acurateţe a trăsăturilor, iar următoarele etape pentru determinarea
descriptorului SIFT. Descriptorul punctelor de interes poate fi reprezentat prin atribuirea unei
orientări și a unei magnitudini calculate pe baza proprietăților locale ale funcției imagine
(Lowe, 1999).
Momentele au un spectru larg de aplicaţii în analiza imaginii, cum ar fi recunoaşterea
formelor, clasificarea obiectelor, estimarea unei poziţii. Un set de momente calculate pentru o
Capitolul 2 – Sisteme servoing vizuale
8
imagine digitală, în general, reprezintă caracteristicile globale ale imaginii, şi furnizează o
mulţime de informaţii despre diferitele tipuri de trăsături geometrice ale imaginii. Având în
vedere o imagine ca o distribuţie a intensităţii bi-dimensionale, momentele imaginii pot
asigura în mod similar informaţii despre aria imaginii, orientarea imaginii, coordonatele
centrului de greutate. Aceste caracteristici pot fi în continuare utilizate pentru a construi
vectorul trăsăturilor vizuale care sunt invariante la mişcări de translaţie, rotaţie şi scalare ce
pot fi folosite cu succes în aplicații servoing.
Pentru a caracteriza un obiect dintr-o imagine, în (Tahri şi Chaumette, 2005) se
propune folosirea unui set de momente ale imaginii definit prin [ , , , , , ]T
m n n nf x y a .
Primele trei componente ale vectorului trăsăturilor mf reprezintă coordonatele centrului de
greutate normalizate şi aria normalizată care sunt folosite pentru a controla componentele
liniare ale vitezei. Ultimele trei componente sunt combinaţii ale momentelor centrate şi sunt
folosite pentru a controla componentele unghiulare ale vitezei.
În general, un sistem servoing bazat pe imagini este compus din următoarele elemete:
un robot manipulator, un senzor vizual, un regulator bazat pe imagine. În Figura 2.1 este
ilustrată o arhitectură bazată pe imagini pentru roboți manipulatori cu 6 grade de libertate.
Robotul
modelat ca
un VCMD - f
Procesarea imaginiei și extragere trăsăturilor
Regulator bazat pe imagine
+
f
c
v e
Modelul
senzorului vizual
Figura 2.1. Sistem visual servoing pentru controlul roboților
Partea fundamentală a arhitecturii, regulatorul bazat pe imagine necesită informații
apriorice despre comportarea sistemului pentru a putea minimiza eroarea dintre o configurație
curentă a unor tăsături vizuale f și o configurație dorită f . Pentru a modela comportarea în
buclă deschisă a sistemului servoing, trebuie analizate separat cele două entități care formează
partea fixată: robotul manipulator și senzorul vizual. Se consideră în continuare o configurație
de tipul eye-in-hand pentru ansamblul robot-senzor vizual.
Un robot poate fi modelat în două moduri: cinematic și dinamic. Dinamica robotului
reprezintă unul din factorii care influențează cel mai mult performanțele unui sistem servoing
vizual. Pentru acest tip de aplicații un robot manipulator poate fi modelat ca un VCMD. În
(Gangloff și De Mathelin, 2003) se propune utilizarea unui model liniarizat pentru VCMD de
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
9
tipul MIMO (multi-input, multi-output). Plecând de la ipoteza că fiecare articulație a robotului
are atașată o buclă de reglare a vitezei, regulatoarele , 1,6iC i corespunzătoare buclelor de
reglare sunt proiectate astfel încât să asigure decuplarea fiecărei articulații, lucru valabil
pentru majoritatea roboților manipulatori.
În cazul sistemelor servoing bazate pe feedback vizual vitezele articulațiilor sunt
controlate individual, iar regulatoarele , 1,6iC i sunt proietate astfel încât să elimine
efectele neliniare generate de perturbații. Modelul discret liniarizat pentru VCMD este descris
de:
1
1 1
2
( )( ) 1 r r
VCMD
J G s JG z z
s
, (2.1)
unde reprezintă transformata z.
În (Gangloff și De Mathelin, 2003) dinamica senzorului vizual este modelată cu
întârzieri pure. Folosind modelul senzorului vizual împreună cu modelul VCMD şi cunoscând
postura iniţială a camerei notată cu 0x , se poate realiza o structura de control din Figura 2.2
care ulterior poate fi aplicată cu succes în aplicații servoing de timp real.
+
_
1qv*1qv
C1
+
_ C6
6qv *6qv
1rJ ZOH
* ( )c kv * ( )c tv *qv
rJ qv
RbI
Modelul
camerei
Extragerea
trăsăturilor
1
s
( )c kx e f
( )f k
0x
_
VCMD
Senzorul visual (2z )
Bucla internă de viteză
cv ( )c tx
Figura 2.2. Structura de control pentru un sistem servoing
O altă metodă ce poate fi folosită pentru a modela dinamica unui robot manipulator
este prezentată în (Fujimoto, 2003). Metoda propusă pentru modelarea VCMD-ului implică
folosirea unui observer bazat pe perturbații (DOB – eng. disturbance observer) pentru a
estima mișcarea obiectului de la o perioadă de eșantionare la următoarea. Pentru a realiza un
sistem decuplat pentru bucla internă de viteză se pornește de la considerația că fiecare
articulaţie este decuplată pentru o frecvenţă mai mică decât frecvenţa de tăiere a DOB.
Considerând regulatorul de viteză ca fiind o matrice diagonală:
Capitolul 2 – Sisteme servoing vizuale
10
{ , , , }v v v vdiag k k kK , (2.2)
și tinând cont că regulatoarele buclelor de reglare sunt de tip proporțional, bucla internă de
viteză a sistemului poate fi modelată în regiunea frecvențelor mai mici decât frecvența de
tăiere. Modelul discret al VCMD-ului este:
1 1 2( ) 1 ( ) /VCMDG z z G s s , (2.3)
În cazul acestei abordări, ca și în cea prezentată anterior, senzorul vizual este modelat
ca un element cu timp mort. Structura de control atașată unui sistem servoing atunci când
dinamica robotului este modelată folosind DOB este ilustrată în Figura 2.3.
+ _
f
RbI Robotul
ca DOB ZOH
* ( )c kv Kv
1rJ
rJ
e * ( )c tv
+
_
*cv
+ _
q
( )f k
0x
*q ( )c tv
VCMD
Modelul
camerei
Extragerea
trăsăturilor
Senzorul visual
1
s
( )c tx ( )c kx
Figura 2.3. Structura de control a unui sistem servoing când robotul este modelat
folosind DOB
Pentru o comportare optimă a sistemului vizual servoing se impune şi o alegere
adecvată a trăsăturilor vizuale utilizate în astfel de aplicaţii. Prima condiţie necesară este să ne
asigurăm că matricea de interacţiune ataşată trăsăturilor vizuale nu este singulară. Sistemele
de control bazate pe feedback vizual sunt neliniare și prezintă dinamică cuplată. Pentru
proiectarea unei arhitecturi de control decuplată, matricea de interacțiune trebuie să fie
diagonală pentru a realiza decuplarea celor 6 componente ale vitezei, (Tahri şi Chaumette,
2005).
Ştiind că viteza unei trăsături punctiforme 2D ( , )Tx yx poate fi scrisă astfel:
c xx L v , (2.4)
unde xL reprezintă matricea de interacţiune raportată la x şi cv viteza spaţială a camerei,
matricea de interacţiune pentru un punct x de coordonate (x, y) este:
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
11
2
2
1/ 0 / (1 )
0 1/ / 1
Z x Z xy x y
Z y Z y xy x
xL , (2.5)
unde Z este adâncimea punctului relativ la cadrul camerei. Pentru un set de momente ale
imaginii [ , , , , , ]Tm n n nf x y a matricea de interacţiune fL se calculează folosind
relaţia:
11 12
21 11
31 32
1 0 0 (1 )
0 1 0 (1 )
0 0 1 0
0 0 0 0
0 0 0 0
0 0 0 1
m
n n n
n n n
f
x y
x y
x y
a e a e y
a e a e x
e e
L (2.6)
Cele mai utilizate metode de a genera semnalul de control pentru roboti este folosirea
controlului proportional (Papanikolopoulous şi Khosla, 1993; Hashimoto et al., 1996). Într-
un sistem servoing vizual viteza camerei rezultă în urma minimizării unei funcţii eroare
definită în planul imaginii (Hafez, și Jawahar, 2007).
Întrucât comanda pentru controlerul robotului este definită de c
v şi dorindu-se o
descreştere exponenţial negativă a erorii de tipul e e , se obţine următoarea lege de
control:
c f e v L , (2.7)
unde 1
T Tf f f f
L L L L este pseudo-inversa matricei fL . Deoarece, în sistemele servoing
vizuale reale, distanţa Z dintre punctele de interes şi sistemul de referinţă ataşat camerei nu
este cunoscută cu exactitate, ea trebuie estimată. În (Chaumette şi Hutchinson, 2006) se
propune următoarea formă a matricei de interacţiune *1
2f f f L L L .
Datorită unor probleme întâlnite în sistemele servoing cum ar fi impunerea unor
restricţii de vizibilitate și în scopul de a îmbunătăți performanțele legilor de control bazate pe
imagine au fost adaptate diferite tehnici avansate de control (Perez-Vidal et al., 2009).
Principala problemă a sistemelor servoing bazate pe controlul predictiv este de a dezvolta un
predictor adecvat, deoarece acest model global neliniar generează dificultăți în dezvoltarea
predictorului. Pentru a elimina aceste probleme, în (Lazăr și Burlacu, 2008; Lazăr și Burlacu,
Capitolul 2 – Sisteme servoing vizuale
12
2009) s-a propus utilizarea unui model local bazat pe relația dintre variația în timp a
trăsăturilor vizuale f și viteza camerei cv pentru a prezice evoluția trăsăturilor vizuale în
planul imaginii.
Acest predictor este folosit în cadrul tezei pentru proiectarea unei arhitecturi bazată pe
controlul predictiv și în același timp constituie baza predictorilor trăsăturilor de tip momente
ale imaginii dezvoltați în Capitolul 5. Acest tip de predictori propuşi în cadrul tezei de
doctorat sunt utilizaţi în proiectarea arhitecturilor de control predictiv bazate pe momente ale
imaginii.
În literatura de specialitate există diferite simulatoare ale arhitecturilor servoing, aceste
simulatoare fiind dezvoltate cu scopul de a simula controlul unui robot manipulator. Un
toolbox pentru sistemele servoing dezvoltat în mediul Matlab (Visual Servoing Toolbox) ce
cuprinde principalele arhitecturi de control a fost realizat la Universitatea Jaume I (Cervera,
2003). Acest simulator permite utilizatorului să proiecteze legi de reglare utilizând trăsături
vizuale de tip punct de interes pentru a controla mişcarea unei camere montate pe braţul
efector al unui robot manipulator, fără a lua în considerare modelul dinamic al robotului.
Trăsăturile vizuale utilizate reprezintă coordonate sintetice în planul imaginii alese de
utilizator. Prima etapă reprezintă setarea unei poziţii şi a orientării de start a camerei. A doua
etapă constă în alegerea numărului de vârfuri ale unui poligon ce va simboliza conturul unui
obiect virtual. Folosind o interfaţă dedicată, denumită vsbrowser, utilizatorul setează
configuraţia dorită. Utilizând simulatorul descris de schema Simulink (Figura 2.4) se pot
calcula componentele vitezei necesare minimizării erorii dintre configuraţia dorită şi
configuraţia curentă a trăsăturilor vizuale de tip punct de interes.
Figura 2.4. Schema simulink pentru IBVS cand modelul robotului este 1
Acest toolbox reprezintă baza simulatoarelor ce au fost dezvoltate în cadrul tezei şi
care vor fi prezentate în Capitolele 4 și 5. Simulatoarele dezvoltate sunt utilizate pentru a
analiza performanțele sistemelor servoing folosind fie trăsături de tip puncte de interes, fie
trăsături de tip momente ale imaginii pentru a legea de reglare.
Capitolul 3. Analiza performanţelor trăsăturilor vizuale utilizate
în aplicaţii servoing
Analiza proprietăţilor obiectelor ce compun o imagine poate fi realizată utilizând
diferitele tipuri de trăsături vizuale ce pot fi extrase în urma procesării imaginii la nivel de
pixel. O importantă aplicaţie a trăsăturilor vizuale o constituie utilizarea lor în sisteme visual
servoing ce permit controlul mişcării roboţilor. Performanțele trăsăturilor vizuale în aplicațiile
de tip servoing sunt relevante în raport cu performanțele sistemelor de control. Deși, în
literatura de specialitate există multiple criterii de evaluare a performanțelor trăsăturilor
vizuale pentru diferite aplicații, pentru aplicațiile de tip servoing criteriile de evaluare sunt
foarte rare (Lazăr și Burlacu, 2007; Schmid et al., 2000). Aceste criterii sunt folosite pentru a
evalua performanțele trăsăturilor de tip punct de interes, în literatura de specialitate neexistând
un criteriu de evaluare a trăsăturilor de tip momente ale imaginii în aplicații servoing. Astfel,
pentru a analiza calitatea momentelor imaginii derivate din puncte de interes utilizate în
aplicații servoing în cadrul tezei de doctorat (Burlacu et al., 2010) s-a propus un nou criteriu
ce poate fi folosit pentru a evalua calitatea trăsăturilor de tip momente ale imaginii în aplicații
servoing.
În acest capitol sunt prezentate implementările operatorilor de detecţie Harris şi SIFT
a trăsăturilor vizuale de tip puncte de interes. În continuare am analizat performanţele acestor
tipuri de trăsături vizuale folosind criteriile de evaluare utilizate în aplicaţiile servoing de tipul
repetabilitate şi gradul de împrăştiere. Pentru evaluarea trăsăturilor vizuale de tip momente ale
imaginii am dezvoltat un nou criteriu de evaluare bazat pe distanţa Hausdorff. Acest criteriu
ce utilizează momente ale imaginii permite atât o analiză cantitativă cât și calitativă a
punctelor de interes detectate, realizându-se astfel o analiză mai complexă a punctelor de
interes ce caracterizează starea unui obiect. Aceste trăsături vizuale sunt utilizate în capitolele
4 şi 5 pentru dezvoltarea arhitecturilor de control.
3.1. Evaluarea trăsăturilor punctiforme
Considerând o secvenţă de imagini reale obţinută cu un sistem servoing real (Figura
3.1), performanţele algoritmilor Harris şi SIFT ce au fost implementați în acest capitol sunt
evaluate folosind un criteriu ce se bazează pe răspândirea trăsăturilor (Lazăr și Burlacu,
2007). Pentru achiziţonarea imaginilor s-a folosit un robot ABB cu 6 grade de libertate având
o configuraţie de tipul eye-in-hand şi un obiect rectangular. Secvenţa de imagini este compusă
Capitolul 3 – Analiza performanțelor trăsăturilor vizuale utilizate în aplicații servoing
14
din 54 de cadre, fiecare cadru având dimensiunea de 640x480, cadrele fiind obţinute prin
eşantionarea semnalului vizual la o perioadă de o secundă. Au fost considerate condiţii
diferite de achiziţionare a cadrelor pe parcursul întregii secvenţe. Astfel sunt prezente
modificări în planul imaginii datorate diferitelor stagii de scalare şi translare ale obiectului.
Figura 3.1. Achiziţia imaginilor folosind robotul ABB
Detectoarele SIFT şi Harris sunt folosite pentru a extrage trăsăturile vizuale din fiecare
imagine din secvenţă. În Figura 3.2 sunt prezentate trei cadre din secvenţa de imagini ce a fost
achiziţionată cu un sistem servoing real.
.... ...
Figura 3.2. Secvenţa de imagini achiziţionată cu sistemul servoing real
Performanţele sunt analizate comparând trăsăturile vizuale din fiecare imagine cu
trăsăturile caracteristice poziţiei dorite, cea de prindere a obiectului ţintă. Prima imagine din
secvenţă reprezintă poziţia de start, iar ultima imagine din secvență reprezintă configurația
dorită. Utilizând criteriul dezvoltat de (Lazăr și Burlacu, 2007), mai întâi se calculează
descriptorii bazaţi pe momente ale imagini, şi apoi se calculează rata de repetabilitate pentru
fiecare descriptor raportat la cadrul dorit.
Pentru descrierea trăsăturilor punctiforme sunt utilizaţi următorii decriptori bazaţi pe
momentul 1m şi pe momentele centrate 2 , 3 şi 4 (Sonka et al., 1998):
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
15
2
2
432/3
2
32
1
2/1
21
)(,
)(,
)(
FF
mF . (3.1)
Cu ajutorul descriptorilor 321 ,, FFF se poate calcula rata de repetabilitate pentru un
cadru j dintr-o secvenţă de imagini cunoscând descriptorul D
iF corespunzător cadrului final
(Lazăr şi Burlacu, 2007):
DjiF
FR
D
j
j
i
i
i ,1,3,1, . (3.2)
O evaluare globală a descriptorilor iF este posibilă dacă sunt grupaţi într-un vector
descriptor:
T
j jjjFFF ],,[ 321 . (3.3)
Analiza convergenţei vectorilor descriptori către d în raport cu diferite condiţii de
achiziţionare a imaginilor poate fi realizată dacă se utilizează distanţa Mahalanobis:
2/11 )]()[(),( dj
T
djdjM Cdj
, (3.4)
unde C este o matrice de covarianţă. Distanţa Mahalanobis este fundamentală pentru analiza
gradului de răspândire a trăsăturilor punctiforme dintr-o secvenţă de imagini raportat la cadru
final şi în diferite condiţii de achiziţionare
Răspunsul gradului de răspândire bazat pe distanţa Mahalanobis se poate vizualiza în
Figura 3.3, iar rata de repetabilitate este prezentată în Figura 3.4.
Figura 3.3. Gradul de împrăștiere
Capitolul 3 – Analiza performanțelor trăsăturilor vizuale utilizate în aplicații servoing
16
Pentru o bună comportare a trăsăturilor punctiforme în aplicaţii servoing, gradul de
împrăștiere trebuie să fie cât mai aproape de 0. După cum se poate observa în Figura 3.3,
trăsăturile extrase cu ajutorul detectorului SIFT sunt mai robuste pentru acest tip de obiect în
comparație cu trăsăturile extrase utilizând operatorul Harris. În cazul unei secvenţe de
imagini, putem spune că un set de trăsături vizuale sunt robuste dacă rata repetabilităţii este
apropiată sau egală cu 1.
Figura 3.4. Rata repetabilităţii pentru descriptorii F1, F2, F3
O analiză a rezultatelor experimentale arată că trăsăturile extrase cu operatorul Harris
au o calitate scăzută pentru aplicaţiile de tip servoing. Aşa cum se poate observa din
experimente, rezulatele obţinute cu detectorul SIFT au un comportament mai bun pentru
aplicaţii servoing chiar dacă apar schimbări ale scalei în secvenţa de imagini. Din Figura 3.4
se poate observa că variaţia descriptorilor este mai mare pentru operatorul Harris în
comparaţie cu detectorul SIFT. În urma testelor efectuate, rezultatele arată ca ambele
detectoate pot fi aplicate în aplicaţii servoing, dar în cazul repetabilităţii detectorul SIFT a
obţinut performanţe mai bune pentru acest tip de obiect.
3.2. Evaluarea trăsăturilor de tip momente ale imaginii
Momentele imaginii reprezintă una dintre metodele cele mai recente utilizate pentru a
descrie forme (obiecte) simple sau complexe. Din literatura de specialitate este cunoscut
faptul că momentele imaginii sunt în primul rând invariante la translaţie, dar de asemenea,
sunt şi momente ce prezintă proprietăti precum invarianţa la transformări de translaţie, rotaţie
şi scalare ale imaginii (Brunelli, 2009). În literatura de specialitate sunt foarte puţine criterii
de evaluare a trăsăturilor vizuale pentru aplicaţii de tip servoing, şi în special de evaluarea a
momentelor.
În cadrul cercetărilor doctorale am dezvoltat un criteriu nou de evaluare a
performanţelor momentelor pentru aplicaţii servoing. Pentru a analiza calitatea momentelor
imaginii derivate din puncte de interes se consideră o secvenţă de imagini achiziţionată pe
parcursul unui task servoing, deci pentru fiecare imagine din secvenţă se extrag punctele de
interes folosind operatorul Harris, iar apoi aceste trăsături punctiforme sunt folosite pentru a
calcula momentele imaginii ( )mf t .
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
17
Fie { ( ) [ , , , , , ] , 1, }Tm n n nX f t x y a t p ansamblul de momente ale imaginii
corespunzător ansamblului punctelor de interes { ( ), 1, }M f t t p , unde p reprezintă
numărul de cadre din secvenţă. Pentru a obţine o măsură de evaluare a momentelor imaginii
similară cu stabilitatea punctelor de interes, se analizează distanţa Hausdorff (Munkres, 1999)
dintre X şi X :
21,1,
max min ( ) ( )j pi p
X i X j
, (3.5)
unde 2
este norma Euclideană, iar X reprezintă un ansamblu de momente ale imaginii
pentru o comportare ideală, adică pentru cazul în care procentajul stabilităţii este 100% .
Trebuie specificat faptul că dacă există două seturi de parametri 1 2 care implică
1 2( ) ( ) , atunci 1 2( ) ( ) . Funcţia ( ) reprezintă variaţia stabilităţii pentru un set
de parametri şi este definită ca:
( ) ( ) ( ) , (3.6)
unde reprezintă un set de parametrii pentru care 100% .
Dacă pentru fiecare cadru din secvenţă se atasează o formă convexă corespunzătoare
punctelor de interes detectate, atunci conţinutul de informaţie se poate analiza din punct de
vedere geometric. Forma convexă ataşată punctelor de interes detectate reprezintă pseudo-
forma obiectului. Într-o aplicaţie servoing pot fi considerate două situaţii: una dintre ele este
atunci când pe parcursul unei secvenţe de imagii dispare un punct de interes care nu aparţine
acoperirii convexe. În acest caz, dacă 1 2( ) ( ) , atunci 1 2( ) ( ) . Cea de-a doua
situaţie întâlnită în aplicaţiile servoing este atunci când dispare un punct ce aparţine acoperirii
convexe. Dacă pentru setul de parametrii 1 dispar puncte ce nu aparţin acoperirii convexe,
iar pentru setul de parametrii 2 dispar puncte ce aparţin acoperirii convexe şi
1 2( ) ( ) , atunci 1 2( ) ( ) .
O evaluare mai bună a calităţii punctelor de interes care descriu obiectul poate fi
obţintă prin șiftarea distanţei Hausdorff corespunzătoare momentelor imaginii. Având o
secvenţă de imagini cu o anumită rată de stabilitate, apoi pentru fiecare cadru t , exceptând
primul şi ultimul cadru se consideră cadrele vecine 1t şi 1t . Aceste trei cadre va forma o
nouă secvenţă pentru care se va calcula distanţa Hausdorff corespunzătoare momentelor
imaginii:
Capitolul 3 – Analiza performanțelor trăsăturilor vizuale utilizate în aplicații servoing
18
21,11,1
( ) max min ( ) ( ) , 2, 1ji
t X t i X t j t p
. (3.7)
Această distanţă permite analiza secvenţei de imaginii şi stabilirea faptului dacă într-
un cadru din secvenţă există puncte care dispar.
Pentru a evalua performanţele momentelor imaginii derivate din puncte de interes
pentru aplicaţii de tip servoing, s-a considerat o configuraţie eye-in-hand. Secvenţa de imagini
a fost achiziţonată folosind un robot ABB cu 6 grade de libertate ce are o camera Sony
montată pe efector. Secvenţa de imagini ce a fost achiziţionată reprezintă mişcarea efectorului
spre o poziţie dorită. Primul cadru din secvenţă reprezintă poziţionarea dorită a camerei faţă
de obiect, în timp ce ultimul cadru reprezintă configuraţia iniţială a camerei. În Figura 3.5
sunt ilustrate (cu cerculeţ roşu) punctele de interes detectate cu operatorul Harris pentru cazul
în care procentajul stabilităţii este de 83%, iar punctele de interes ce dispar sunt atât puncte
din interiorul formei convexe, cât şi puncte ce aparţin formei convexe.
... ...
Figura 3.5. Punctele de interes extrase cu operatorul Harris când 83%
În Figura 3.6 este prezentată distanţa Hausdorff shiftată pentru cazul în care
procentajul stabilităţii este de 83% (linie roşie) şi punctele de interes ce dispar influenţează
geometria obiectului, în timp ce pentru un procentaj al stabilităţii de 66% în care punctele de
interes ce dispar nu influenţează forma ataşată obiectului, distanţa Hausdorff este descrisă
printr-o linie albastră punctată .
1 2 4 6 8 10 12 14 150
5
10
15
20
25
30
35
40
45
cadru
Dis
tan
ta H
au
sd
orf
f sifta
ta
Figura 3.6. Distanţa Hausdorff șiftată corespunzătoare momentelor calculate pentru două
seturi de puncte de interes (două seturi diferite de parametrii, 1 şi 2 )
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
19
Analizând Figura 3.6 se poate observa faptul că, chiar dacă procentajul stabilităţii este
mai mare pentru setul de parametrii 1 ( 83% ) decât în cazul setului de parametrii
2
( 66% ), distanţa Hausdorff este mai mare pentru 83% deoarece punctele de interes ce
dispar în acest caz influenţează geometria obiectului. Un alt experiment a fost realizat
considerând un singur set de parametrii . Dacă variaţia stabilităţii este constantă, atunci
pentru a evalua calitatea punctelor de interes trebuie analizată distanţa Hausdorff (Figura 3.7)
corespunzătoare momentelor imaginii derivate din punctele de interes.
1 2 4 6 8 10 12 14 160
10
20
30
40
50
60
70
80
90
cadru
Dis
tanta
Hausdorf
f
Figura 3.7. Distanţa Hausdorff
Este evident că în al doilea cadru din secvenţă punctele de interes ce dispar sunt
puncte esenţiale, adică influenţează forma geometrică a obiectului. O altă situaţie similară este
prezentă în cadrul 7 din secvenţa de imagini. Ceea ce nu poate fi analizat cu distanţa
Hausdorff este dacă pentru cadrele 3-7 şi 7-16 punctele ce dispar sunt esenţiale sau nu.
Singura soluţie este aceea de a analiza distanţa Hausdorff șiftată corespunzătoare momentelor
imaginii drivate din puncte de interes.
Folosind noul criteriu ce se bazează pe distanţa Hausdorff corespunzătoare
momentelor imaginii derivate din puncte de interes se poate realiza o analiza mai complexă a
punctelor de interes detectate. Acest criteriu ce utilizează momente ale imaginii pentru a
calcula distanţa Hausdorff permite atât analiza cantităţii cât şi a calităţii punctelor de interes
detectate, astfel realizându-se o evaluarea mai eficientă a performanţelor trăsăturilor vizuale
folosite pentru a caracteriză starea unui obiect. În urma implementărilor şi testărilor pe care
le-am realizat rezultă că trăsăturile vizuale bazate pe momente ale imaginii prezintă un
comportament mai robust pentru aplicaţiile servoing decât trăsăturile punctiforme.
Capitolul 4. Legi de control convenţionale
Comportarea sistemelor servoing vizuale este în principal influențată de tipul
trăsăturilor vizuale utilizate pentru a genera legea de control și de forma legii de control.
Deoarece legile de control bazate pe feadback vizual variază în raport cu numărul punctelor
ce descriu obiectul, trăsăturile vizuale utilizate în proiectarea legilor de control trebuie să aibă
proprietăți bine define cum ar fi: stabilitate, robustețe, acuratețe. Aceste proprietăți au fost
analizate folosind criteriile de evaluare din Capitolul 3.
În acest capitol sunt prezentate arhitecturile de control bazate pe feedback vizual ce au
fost proiectate folosind trăsăturile vizuale detectate în capitolul anterior tinînd cont şi de
dinamica robotului manipulator. În literatura de specialitate există diferite metode propuse
pentru a modela dinamica unui manipulator, două dintre aceste metode au fost prezentate în
Capitolul 2. Dintre aceste metode, pentru dezvoltarea unei arhitecturi de control bazată pe
imagine a fost considerat un model dinamic diagonal de tip VCMD. Folosind modelul
dinamic al robotului și o lege de reglare proporțională au fost dezvoltate simulatoare servoing
ce utilizează fie trăsături punctiforme, fie trăsături de tip momente ale imaginii pentru a
controla mișcarea unui robot manipulator. Spre deosebire de legile de reglare proporţionale
existente în literatura de specialitate, legea de reglate utilizată în proiectarea arhitecturilor de
control include şi dinamica robotului. Plecând de la arhitectura de control ce a fost dezvoltată
pentru aceste simulatoare s-a realizat o arhitectură de control propusă pentru a controla
mișcarea unui robot manipulator în timp real. Această arhitectură de timp real folosește
trăsături vizuale de tip punct de interes extrase cu implementarea operatorilor Harris şi SIFT
prezentată în capitolul 3. În acest capitol s-au utilizat atât trăsături de tip punct de interes cât și
trăsături de tip momente ale imaginii pentru proiectarea unor legi de reglare proporționale
bazate feadback vizual.
Considerând viteza de referinţă a camerei c
v ca fiind semnalul de comandă pentru
controller-ul robotului, se obține următoarea lege de control:
1 1( ) ( )c fG z f t f v L . (4.1)
În relația (4.1), f
L este o forma de inversare generalizată ce poată denumirea de
pseudo-inversa matricii fL și este definită astfel:
Capitolul 4 – Legi de control convenționale
22
1
T Tf f f f
L L L L . (4.2)
Dacă trăsăturile vizuale sunt de tip momente ale imaginii, legea de control pentru
regulatorul proporțional bazat pe imagini este:
1 1( ) ( )mc f m mG z f t f v L , (4.3)
unde mf
L este pseudo-inversa matricii mf
L .
În comparaţie cu legile de control proporţionale din literatura de specialitate, legea de
control defintă de relaţiilea (4.1) şi (4.3) include inversa matricei 1( )G z . Această matrice
reprezintă modelul dinamic diagonal de tip VCMD corespunzător robotului manipulator.
Pornind de la toolboxul dezvoltat de Cervera (Cervera, 2003) s-a realizat simulatorul
servoing din Figura 4.1 ce utilizează trăsături punctiforme pentru a proiecta legea de reglare şi
include modelul dinamic al robotului. Spre deosebire de simulatorul dezvoltat de Cervera,
acest simulator include şi dinamica robotului repezentată prin blocul „VCMD‟ din Figura 4.1.
În sistemele servoing, modelul dinamic al unui robot manipulator poate fi definit ca un
VCMD (eng. Virtual Cartesian Motion Device). Prin extinderea simulatorului realizat pentru
trăsături punctiforme s-a realizat nou simulator care permite utilizarea trăsăturilor vizuale de
tip momente ale imaginii şi introduce un model al robotului. Acest simulator are o
funcționalitate similară cu cea a simulatorului dezvoltat pentru puncte de interes, însă, în acest
caz, pentru proiectarea regulatorul proporțional bazat pe imagine s-au luat în considerare
trăsături vizuale de tip momente ale imaginii.
(0)c
bT
Perspective
projection2
Homog1
Homog2
Perspective
projection1
Initial
position
* *
cP Z
cP f
Depth
extraction1
bP *
*
(0)
b
c
c
b
P
P
T
Desired
configuration f
Z
f
L
f
Z
f
L f
f
L
LL
L
( )f f k Camera view
(0)c
bT
(0)
( )
( )
c
b
c
b
c
T
T k
kv
_ +
Proportional
Control Law
VCMD Frame Motion
( )
( )c
e k
kv
LL
( ) ( )c ck kv v
Desired interaction
matrix
Current interaction
matrix
Pseudo-inverse
(0)b
P
cP f
(0)
( )
( )
b
c
c
b
P
P k
T k
cP Z
O. B.
Figura 4.1. Structura de control pentru IBVS ce include modelul robotului
Principala problemă a sistemelor servoing este de a asigura stabilitatea și robustețea
legii de control ținând cont de restricţiile dinamice ale robotului manipulator și în același timp
de configurația mediului de lucru. Implementarea în timp real a unor astfel de structuri de
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
23
control bazate pe feedback vizual este foarte dificilă datorită accesului limitat asupra
componentelor low level ale unui robot manipulator (ex: motoarele articulaților). Datorită
acestui impediment este necesară o metodă pentru extinderea capacității controlerului
robotului. Acestă extindere trebuie realizată luând în considerare și perioadele de timp
necesare pentru comunicare dintre calculator și controlerul robotului, pentru procesarea
imaginii și generarea legii de control.
Pornind de la sistemul de vedere artificială pentru comanda roboţilor, Opti-Master,
existent în laboratorul de Robotică și Inteligență Artificială, în cadrul tezei de doctorat s-a
dezvoltat o arhitectură de control prezentată în Figura 4.2 proiectată pentru a controla în timp
real mișcarea unui robot ABB IRB-2400 cu 6 grade de libertate având o configurație eye-in-
hand. Arhitectura propusă este compusă din trei module diferite: Regulatorul bazat pe imagini
(blocul Image based control), Interfațarea cu robotul (blocul Robor driver interface) și
Controlerul robotului (blocul Robot controller) conectate între ele, dar fiecare cu un alt
obiectiv. Utilizând senzorul vizual montat pe ultima articulație a robotului, imaginile sunt
achiziționate și procesate în timp real, și astfel trăsăturile vizuale tip punct de interes sunt
extrase. Una dintre cele mai frecvente probleme întâlnite în aplicațiile de timp real este
lățimea de bandă limitată pentru comunicarea dintre senzorul vizual și robot, introducând
astfel întârzieri în bucla închisă a sistemului. Cu scopul de a obține o lățime de bandă
suficientă, o extensie a controlerului robotului ABB IRB-2400 (ABB S4CPlus) a fost propusă
în (Blomdell et al., 2005), dar care nu ia în considerare aplicațiile de tip servoing. Folosind
interfața cu robotul dezvoltată în cadrul tezei, capacitățile controlerului ABB S4CPlus sunt
extinse permițând interacțiunea low-level dintre controlerul robotului și un calculator luând în
calcul aplicațiile de tip servoing. Pentru a controla mișcarea unui robot manipulator ABB cu 6
grade de libertate s-au utilizat trăsături vizuale tip puncte de interes extrase cu ajutorul
operatorilor de detecţie Harris şi SIFT prezentaţi în capitolul 2.
Figura 4.2. Arhitectura de control
Pentru a avea o comunicare directă între mediul de lucru Matlab ce implementează
regulatorul bazat pe imagini și controlerul robotului s-a realizat o interfață de comunicare
Capitolul 4 – Legi de control convenționale
24
(RDI – Robot Driver Interface). Rolul acestei interfețe este de a monitoriza ieșirea
algoritmului de control, de a transmite date programului RAPID și de a returna noua postură a
TCP-ului. Interfața RDI încorporează mai multe module: Interfața cu robotul, modulul
Input/Output și Interfața cu utilizatorul. Interfața cu robotul are ca scop gestionarea
comunicării dintre RDI și controlerul robotului S4CPlus. Utilizând această interfață,
controlerul robotului poate interacționa cu mediul exterior printr-un protocol de tipul TCP/IP.
Arhitectura de control bazată pe feedback vizual (Figura 4.2) dezvoltată în cadrul tezei
a fost testată și validată, în continuare fiind prezentate rezultatele experimentale obținute.
Sistemul servoing (Figura 4.3) este compus din: un calculator pe care rulează algoritmul de
control (label 1), controlerul ABB S4CPlus (label 2), un robot manipulator ABB IRB2400 cu
6 grade de libertate (label 3), un senzor vizual montat pe ultima articulație a robotului (label
4) și o masă de lucru (label 5).
Figura 4.3. Sistemul servoing
Legătura dintre senzorul vizual (label 4) și calculator (label 1) se realizează printr-o
interfață IEEE-1394 (FireWire), iar conexiunea dintre calculator și controlerul robotului (label
2) se realizează utilizând o rețea Ethernet. Imaginile sunt achiziționate folosind o cameră
video Sony XCD-V60CR având următori parametrii intrinseci: dimensiunea unui pixel este de
7.4 7.4m m , iar distanța focală a fost setată la 4.5mm. Acest tip de cameră permite
achiziționarea a 90 fps cu o rezoluție de 640 480 , dar în scopul de a minimiza timpul de
calcul necesar pentru extragerea punctelor de interes s-au achizitionat imagini cu o rezoluție
de 320 240 .
În continuare sunt prezentate rezultatele experimentale obţinute folosind trăsăturile
vizuale extrase cu operatorul Harris pentru proiectarea legii de control. Legea de control
utilizată în acestă lucrare este una de tip proporţional definită de relaţia (4.1). Factorul de
proporţionalitate este determinat experimental ţinând cont de stabilitatea algoritmului, dar şi
viteza cu care converge spre un regim staţionar (un factor de proporţionalitate mare poate
duce la oscilaţii şi instabilitate, iar un factor mic duce la creşterea regimului tranzitoriu).
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
25
Pentru realizarea acestui experiment, factorul de proporţionalitate este 0.01 , iar 1( )G z
este:
1 1
1 1
1 1
1
1 1
1 1
1 1
80 1 79 0 0 0 0 0
0 80 1 79 0 0 0 0
0 0 80 1 79 0 0 0( )
0 0 0 80 1 79 0 0
0 0 0 0 80 1 79 0
0 0 0 0 0 80 1 79
z z
z z
z zG z
z z
z z
z z
.
Evoluţia trăsăturilor vizuale în planul imaginii este ilustrată în Figura 4.4, unde, cu
verde sunt plotate coordonate de start ale punctelor de interes, referinţa este reprezentată de
piesa efectivă, în timp ce cu roşu sunt reprezentate coordonatele punctelor de interes ce au
fost detectate la fiecare iteraţie.
Figura 4.4. Evoluţia în timp a trăsăturilor din planul imaginii
Descreşterea exponenţial negativă a erorii este oglindită şi de evoluţia similară a
vitezei camerei prezentată în Figura 4.5. Rezultatele experimentale obţinute ilustrează
diferenţele care apar între forma continua ideală, teoretică şi oscilaţiile ce apar în cazul real în
evoluţia vitezelor efectorului.
Figura 4.5. Evoluţia vitezei camerei
Capitolul 4 – Legi de control convenționale
26
Un alt experiment a fost realizat folosind trăsăturile vizuale extrase cu ajutorul
detectorului SIFT. În continuare sunt analizate performanţele arhitecturii de control în raport
cu factorul de proporţionalitate. Figura 4.6 ilustrează evoluţia trăsăturilor vizuale în planul
imaginii pentru diferite valori ale factorului de proporţionalitate ( 0.05 şi 0.07 ).
Coordonatele punctelor de start sunt reprezentate cu verde, iar configuraţia dorită este plotată
cu pătrate roşii, în timp ce coordonatele punctelor de interes detectate la fiecare iteraţie sunt
ilustrate cu puncte roşii.
(a) (b)
Figura 4.6. Evoluţia în timp a trăsăturilor din planul imaginii pentru: (a) 0.05 ;
(b) 0.07
Analizând Figura 4.6 se poate obseva cum creşterea factorului de proporţionalitate
duce la o scădere mai rapidă a erorii, a cărei evoluţie este ilustrată în Figura 4.7, şi implicit la
o scădere a regimului tranzitoriu.
Figura 4.7. Evoluţia în timp a erorii pentru 0.05 şi 0.07
Rezultatele experimentale obţinute arată faptul că odată cu creşterea factorului de
proporţionalitate, creşte şi viteze cu care sistemul servoing converge spre un regim staţionar.
Pentru 0.05 sunt necesare 140 de iteraţii pentru a ajunge în configuraţia dorită, iar pentru
cazul în care 0.07 sunt necesare mai puţin de 60 de iteraţii. Aceată descreştere
exponenţială a erorii reflectă evoluţia vitezei camerei ilustrată în Figura 4.8.
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
27
(a) (b)
Figura 4.8. Evoluţia vitezei camerei pentru: (a) 0.05 ; (b) 0.07
Pentru a proiecta o arhitectură de control bazată pe feedback vizual, dinamica
robotului a fost modelată ca un VCMD. Într-o primă etapă, performanțele sistemului au fost
analizate folosind un regulator proporțional bazat pe imagine ce utilizează fie trăsături de tip
punct de interes, fie trăsături de tip momente ale imaginii pentru a proiecta legea de reglare.
Implementarea, testarea și validarea algoritmului de control a fost realizată prin dezvoltarea
unui simulator pentru sistemele servoing. Pornind de la acest simulator s-a dezvoltat o
arhitectură de control pentru aplicațiile servoing de timp real. Pentru realizarea acestei
arhitecturi s-au folosit trăsături de tip puncte de interes extrase cu operatorii Harris şi SIFT și
un robot ABB-IRB2400 cu o configurație eye-in-hand. Deşi regulatorul proporţional este cel
mai simplu tip de regulator ce poate fi proiectat, rezultatele experimentale indică faptul că
regulatorul proporţional obţine performanţe satisfăcătoare pentru aplicaţii de tip servoing însă,
pentru a îmbunătăţii performanţele sistemului s-a propus implementarea unor regulatoare mai
complexe, cum ar fi regulatorul predictiv. Aceste tehnici avansate de conduce a unui robot
manipulator sunt prezentate în Capitolul următor.
Capitolul 5. Tehnici de control predictiv pentru sistemele servoing
În acest capitol sunt prezentate tehnici de control predictiv ce folosesc fie trăsături de
tip puncte de interes, fie trăsături de tip momente ale imaginii pentru proiectarea legilor de
control. Majoritatea structurilor de control predictiv utilizează trăsături de tip punct de interes
pentru proiectarea legii de control luând în considerare diferite metode de implementare
(Allibert et al., 2010). O primă abordare a strategiei de control predictiv bazată pe momente
ale imaginii a fost propusă în (Copoț et al., 2010b). În acest caz momentele imaginii sunt
calculate dintr-un set de puncte de interes, iar pentru predicția momentelor imaginii s-a
utilizat o extindere a metodei propusă în (Lazăr și Burlacu, 2008). În (Copoț et al., 2011b) s-a
propus o nouă metodă pentru a proiecta legea de reglare direct în spațiul momentelor. Până în
prezent, în sistemele servoing, traiectoria de referință nu a fost luată în considerare în
proiectarea legilor de control predictiv. O primă metodă ce utilizează traiectoria de referință
pentru a genera legea de control (Lazăr et al., 2011) este prezentată în cadrul tezei de doctorat.
În acest caz trăsăturile vizuale sunt de tip punct de interes. Pornind de la această abordare, în
(Copoț et al., 2011c) s-a propus o metodă de control predictiv bazată pe momente ale imaginii
și o traiectorie de referință pentru proiectarea legii de control. Pentru a analiza performanțele
legilor de control am realizat două simulatoare servoing ce implementează arhitecturile de
control predictiv dezvoltate. Plecând de la arhitectura de control ce a fost dezvoltată pentru
aceste simulatoare am realizat o arhitectură de control pentru a controla mișcarea unui robot
manipulator în timp real. Această arhitectură de timp real folosește fie trăsături de tip punct de
interes, fie trăsături de tip momente ale imaginii în proiectarea legilor de control predictiv
5.1. Algoritmi de control predictiv pentru trăsături punctiforme
Arhitectura unui sistem servoing bazată pe controlul predictiv propusă în cadrul tezei
de doctorat pentru a controla mișcarea unui robot manipulator este prezentată în Figura 5.1.
Arhitectura de control conține un regulator predictiv bazat pe imagine (RPbI), un model al
robotului (blocul VCMD) și un model al senzorului vizual (blocul Senzor vizual). Regulatorul
bazat pe imagini este format dinr-un predictor bazat pe un model local (blocul Predictor bazat
pe model local), un generator de traiectorie de referință (blocul Generator traiectorie de
referință) și o funcție de cost ce este minimizată utilizând blocul de optimizare (Lazăr et al.,
2011).
Capitolul 5 – Tehnici de control predictive pentru sistemele servoing
30
Generator
traiectorie de
referinţă
*f Bloc de
optimizare
Senzor
vizual
Predictor
bazat pe
model local
w(k+i|k)
e(k+i|k)
* ( | )c k kv ( )c kv ( )f k
RPbI
f(k+i|k)
restricţii
+ -
VCMD
* ( | )c k i kv
Figura 5.1. Arhitectura unui sistem servoing bazată pe controlul predictiv
Datorită faptului că sistemele servoing conțin atât un model al robotului cât și un
model al senzorului vizual, modelul pentru un astfel de sistem este unul global neliniar.
Principala problemă a sistemelor servoing bazate pe controlul predictiv este de a dezvolta un
predictor adecvat, deoarece acest model global neliniar generează dificultăți în dezvoltarea
predictorului. Pentru a elimina aceste probleme, în (Lazăr și Burlacu, 2008; 2009) s-a propus
utilizarea unui model local bazat pe relația dintre variația în timp a trăsăturilor vizuale f și
viteza camerei cv pentru a prezice evoluția trăsăturilor vizuale în planul imaginii. La fiecare
perioadă de eșantionare sT , senzorul vizual împreună cu un detector de puncte de interes
generează un set de trăsături vizuale ( )f k în planul imaginii. Plecând de la variaţia
trăsăturilor vizuale şi folosind modelul discret al VCMD-ului, se obține predicția pe un pas a
evoluției trăsăturilor vizuale:
1
( )( 1| ) ( ) ( ) ( | )s f k cf k k f k T G z k k L v . (5.1)
În (5.1), notația ( 1| )f k k indică faptul că predicția este calculată la momentul k .
Utilizând (5.1) și un algoritm recursiv se obțin predictorii pentru următorii hp pași:
1
( 1)
1
( 1)
( 2 | ) ( 1| ) ( ) ( 1| )
..............................................................
( | ) ( 1| ) ( ) ( 1| )
..............................................
s f k c
s f k i c
f k k f k k T G z k k
f k i k f k i k T G z k i k
L v
L v
1
( 1)
...............
( | ) ( 1| ) ( ) ( 1| )s f k hp cf k hp k f k hp k T G z k hp k
L v
. (5.2)
În cazul sistemelor servoing bazate pe feedback vizual, referința este definită de
configurația dorită f a trăsăturilor vizuale. Pornind de la o configurație curentă ( )f k a
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
31
trăsăturilor vizuale, se defineşte traiectoria de referință ce va genera evoluția dorită a lui
( | )f k i k în cadrul orizontului de predicție.
În literatura de specialitate există diverse metode propuse pentru a genera traiectoria
punctelor în planul imaginii într-un sistem eye-in-hand. Pentru generarea traiectoriei de
referință într-un sistem servoing s-a ales planificarea mișcării propusă în (Allotta și
Fioravanti, 2005). Plecând de la ipoteza că ( )f k reprezintă trăsăturile vizuale
corespunzătoare imaginii inițiale kI , f trăsăturile vizuale pentru imaginea finală k hpI și
luând în considerare că obiectul este static și descris de un set de 4 puncte coplanare,
traiectoria de referință variază treptat de la ( )f k calculat la momentul st kT până la f de
la momentul ( ) st k hp T . Fie matricea G reprezentând proiecția homografică dintre
imaginea inițială kI și cea dorită k hpI . Atunci, coordonatele omogene ale trăsăturilor vizuale
, ,1 , 1,T
i iif u v i n
din imaginea dorită pot fi exprimate în raport cu coordonatele
omogene ale trăsăturilor vizuale ( ) ( ), ( ),1T
i iif k u k v k din imaginea inițială.
Pentru a obține evoluția trăsăturile curente ( )f k de la momentul 0t kT până la
trăsăturile dorite f de la momentul ( ) hpt k hp T t , se poate proiecta o secvanță de
matrici G corelată cu o funcție de timp. Acestă secvență poate fi obținută folosind:
1( ) ( )d dq q G KH K , (5.3)
unde ( )q q este o funcție monotonă variind de la (0)q la (1)q , iar matricea ( )d qH trebuie
să indeplinească condițiile: (0)d q H I și (1)d q H H .
În funcție de orizontul de predicție, predictorul aproximează vectorii vitezelor de la
momentul 1k până la momentul k hp . Funcția de cost are o formă pătratică și este
definită de:
1
1 0
1( | ) ( | ) ( | ) ( | )
2
hp huT T
c c
i i
J e k i k e k i k k i k k i k
Q v Wv , (5.4)
unde Q și W sunt matricele de pondere pozitiv definite și simetrice, e reprezintă eroarea, iar
hu orizontul de control. Această funcție este minimizată folosind blocul de Optimizare din
Figura 5.1 și este compusă din erori definite în planul imaginii.
Pentru a asigura existența permanentă a trăsăturilor vizuale în planul imaginii sunt
introduse restricții de vizibilitate asociate dimensiunii imaginii. Aceste restricții sunt introduse
în funcția de cost garantând astfel soluția strategiei de control predictiv. Comanda se obține
Capitolul 5 – Tehnici de control predictive pentru sistemele servoing
32
prin minimizarea funcției de cost definită de relația (5.4). Folosind funcția fmincon din mediul
de lucru Matlab și tinând cont de restricțiile introduse se generează comanda c
v .
Pentru a analiza performanțele strategiei de control predictiv bazate pe puncte de
interes într-o aplicație de tip servoing s-a realizat simulatorul servoing din Figura 5.2 folosind
arhitectura de control (Figura 5.1) prezentată anterior. Acest simulator a fost implementat în
mediul de lucru Matlab plecând de la simulatorul dezvoltat de Cervera (Cervera, 2003). Spre
deosebire de simulatoarele prezentate în Capitolul anterior, simulatorul din Figura 5.2
utilizează un regulator predictiv dezvoltat în cadrul tezei de doctorat pentru a controla
mișcarea unui robot manipulator cu 6 grade de libertate. Regulatorul predictiv bazat pe
imagini este compus dintr-un predictor (blocul ‟Predictor‟), un generator de traiectorie de
referinţă (blocul ‟Reference trajectory‟) şi o funcţie de cost ce este minimizată cu ajutorul
unui bloc de optimizare (blocul ‟Optimization block‟).
(0)c
bT
Camera view
Perspective
projection2
Depth
extraction2
Homog2
Homog1 Perspective
projection1
* ( )f f k
Initial
position
* *
cP z
* *
cP f
Depth
extraction1
( )k
z
L
f k
*
*
*
z
L
f
cP z
(0)bP
bP
cP f (0)
( )
( )
b
cc
b
PP k
T k
*
*
(0)
b
cc
b
P
P
T
Desired
configuration
_
+
*( | )
( )
fw k i k
f k
*
k
k
L
LL
Constraints
Frame Motion
(0)
( )( )
c
bc
b
c
T
T kv k
(0)c
bT
( ) ( )c cv k v k
VCMD
( | ) ( )ce k i k v k
Predictor
Reference
trajectory
Optimization
block
IbPC
Cost
function
( ) ( | )
( | )
k
c
Lf k f k i k
v k i k
Figura 5.2. Simulator control predictiv – puncte de interes
Analizând Figurile 5.3, 5.4 și 5.5 se pot evalua rezultatele obținute prin utilizarea
simulatorului dezvoltat pe baza strategiei de control predictive propuse. În cazul regulatorului
proporțional bazat pe imagine, taskul servoing nu este îndeplinit (nu poate converge către
configurația dorită) deoarece o parte din punctele ce definesc obiectul părăsesc planul
imaginii și astfel algoritmul de control este oprit (Figua 5.3). Datorită restricțiilor de
vizibilitate introduse, chiar dacă nu este impusă o referință a traiectoriei, regulatorul predictiv
este capabil să încheie cu succes taskul servoing (Figura 5.4).
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
33
(a) (b)
Figura 5.3. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul
proporțional
(a) (b)
Figura 5.4. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul
predictiv
(a) (b)
Figura 5.5. Traiectoria în planul imaginii (a) și viteza camerei (b) pentru regulatorul
predictiv folosind traiectoria de referință
Capitolul 5 – Tehnici de control predictive pentru sistemele servoing
34
Din Figura 5.3 se poate observa comportarea oscilatorie a sistemului servoing atunci
când traiectoria referinței nu este luată în calcul. Această comportare oscilatorie necesită și un
efort de reglare mai mare, lucru nedorit în cazul unei structuri de control. O comportare mult
mai lină se obține când se impune o referință a traiectoriei (Figura 5.5). Chiar dacă sunt
necesare mai multe iterații pentru a converge către configurația dorită, datorită comportării
sale, acestă arhitectură de control poate fi aplicată cu succes și în aplicațiile de timp real ale
sistemelor servoing.
5.2. Algoritmi de control predictiv pentru momente ale imaginii
În continuare sunt prezentate două metode dezvoltate în cadrul tezei de doctorat pentru
a calcula predicțiile trăsăturilor vizuale de tip momente ale imaginii. Dacă prima abordare
pentru calcul predicției momentelor imaginii folosește predictorul bazat pe puncte de interes
(Copoț et al., 2010b), cea de-a doua abordare calculează predicția momentelor imaginii direct
în spațiul momentelor utilizând un predictor bazat pe momente ale imaginii (Copoț et al.,
2011a; 2011b; 2011c).
Pornind de la predictorul bazat pe puncte de interes descris de ecuația (5.1) și folosind
transformarea care calculează momentele imaginii din puncte de interes, predicția
momentelor imaginii se poate calcula astfel:
ˆ ( | ) ( | ) , 1,mf k i k f k i k i hp , (5.5)
unde ( | )f k i k reprezintă predicția punctelor de interes pentru i paşi de la momentul
k calculată cu ecuațiile (5.1)-(5.2). Ținând cont de structura predictorului bazat pe puncte de
interes și folosind ecuația (5.5) se obține predictorul pentru momente ale imaginii bazat pe
puncte de interes.
Pentru ca legea de reglare să fie descrisă direct în spațiul momentelor imaginii este
necesar dezvoltarea unui predictor bazat pe momente ale imaginii (Copoț et al., 2011c).
Variația în timp a unui set de momente ale imaginii mf în raport cu viteza camerei este dată
de:
mm f cf L v , (5.6)
unde mf
L este matricea de interacțiune corespunzătoare lui mf . Discretizând (5.6) obținem:
( )( 1) ( ) ( )mm m s f k cf k f k T k L v . (5.7)
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
35
Folosind modelul discret al VCMD-ului împreună cu ecuația (5.7) se obține
predictorul pentru momente ale imaginii descris de următoare relație:
1
( )( 1| ) ( ) ( ) ( | )mm m s f k cf k k f k T G z k k L v . (5.8)
Pentru a proiecta un regulator predictiv bazat pe imaginii este necesar realizarea unui
predictor multi-step. Datorită elemntelor ce formează matricea de interacțiune mf
L și a
faptului că momentele imaginii sunt calculate din puncte de interes, apar probleme în calculul
predicției matricei de interacțiune. O posibilitate de a elimina aceste probleme este de a
considera constantă matricea de interacțiune mf
L peste un orizont de predicție hp , plecând de
la ipoteza că mf
L este o matrice parțial decuplată având schimbări mici în jurul configurației
dorite (Tahri și Chaumette, 2005). Aplicând o metodă recursivă realției (5.8), se obțin
predictorii pentru următorii hp pași:
1
( )
1
( )
( 2 | ) ( 1| ) ( ) ( 1| )
..............................................................
( | ) ( 1| ) ( ) ( 1| )
..............................................
m
m
m m s f k c
m m s f k c
f k k f k k T G z k k
f k i k f k i k T G z k i k
L v
L v
1
( )
...............
( | ) ( 1| ) ( ) ( 1| )mm m s f k cf k hp k f k hp k T G z k hp k L v
, (5.9)
și astfel, predictorul multi-step bazat pe momente ale imaginii este descris de:
1
( )
1
( | ) ( ) ( ) ( | )m
i
m m s f k c
j
f k i k f k T G z k j k
L v . (5.10)
Dacă luăm în considerare și traiectoria de referință, atunci arhitectura de control a
sistemului servoing este descrisă în Figura 5.6.
Generator
traiectorie de
referință
f
VCMD Bloc de
optimizare
Senzor
vizual
Predictor
momente ale
imaginii
w(k+i|k)
e3(k+i|k)
* ( | )c k kv ( )c kv ( )f k
RPbI
fm(k+i|k)
restricţii
+
_
( )mf k
wm(k+i|k)
Predictor bazat pe model local
* ( | )c k i kv
Figura 5.6. Arhitectura de control folosind predictorul bazat pe momente ale imaginii
și traiectoria de referință
Capitolul 5 – Tehnici de control predictive pentru sistemele servoing
36
În cazul momentelor imaginii este imposibil de a genera o traiectorie de referință
direct în spațiul momentelor și de aceea, se utilizează traiectoria de referință corespunzătoare
punctelor de interes, împreună cu transforarea . Astfel, aplicând transformata traiectoriei
de referință ( | )w k i k generată pentru puncte de ineteres, se obține traiectoria de referință
( | )mw k i k în spațiul momentelor imaginii:
Funcția de cost ce trebuie minimizată de blocul de optimizare este defintă de:
1
1 0
1( | ) ( | ) ( | ) ( | ),
2
hp huT T
c c
i i
J e k i k e k i k k i k k i k
Q v Wv (5.11)
și are aceeași formă ca funcția de cost definită pentru cazul în care se folosesc trăsături
vizuale de tip punct de interes pentru a genera legea de reglare.
În cazul în care pentru predicția momentelor imaginii se utilizează predictorul pentru
puncte de interes definit de ecuația (5.5), eroarea este măsurată ca diferența dintre momentele
imaginii predictate ˆ ( | )mf k i k și configurația dorită mf :
1ˆ( | ) ( | ) , 1,m me k i k f k i k f i hp . (5.12)
Dacă pentru a calcula predicția momentelor imaginii se folosește predictorul bazat pe
momente ale imaginii descris de relația (5.10), iar în proiectarea arhitecturi de control nu se
ține cont de traiectoria de referință, atunci eroarea este definită astfel:
2( | ) ( | ) , 1,m me k i k f k i k f i hp . (5.13)
Folosind predictorul bazat pe momente ale imaginii și traiectoria de referință descrisă
în proiectarea arhitecturii de control, eroarea este definită ca:
3( | ) ( | ) ( | ), 1,m me k i k f k i k w k i k i hp . (5.14)
Pornind de la simulatorul dezvoltat pentru puncte de interes și folosind arhitectura de
control descrisă în Figura 5.6 s-a realizat simulatorul servoing din Figura 5.7 pentru momente
ale imaginii . Acest simulator utilizează un regulator predictiv (Copoț et al., 2011c) pentru a
controla mișcarea unui robot manipulator, iar ca trăsături vizuale utilizează un set de momente
ale imaginii [ , , , , , ]Tm n n nf x y a . Ca și celelate simulatoare prezentate anterior, acest
simulator a fost dezvoltat folosind mediul de lucru Matlab.
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
37
(0)c
bT Perspective
projection2
Homog1
Homog2
Perspective
projection1
Initial
position
* *
c ZP
c p
P f
Depth
extraction1
b
P *
*
(0)
b
c
c
b
P
P
T
Desired
configuration
m
p
Z
fL
f
m
p
p m
Z
fL
f
f f
m
m
k
f
f
L
L
L
Reference
trajectory
Predictor
( ) ( | )
( | )
k
m m
c
k k i k
k i k
L
f f
v
_ +
IbPC
Desired_moments
Current_moments
( | )m k i kw
Constraints
Optimization
block
VCMD
Frame Motion
( | ) ( )ck i k ke v ( ) ( )c ck kv v ( | )
( )
p
p
p
k i k
k
f
w
f
(0)
( )
( )
b
c
c
b
k
k
P
P
T
(0)bP
Visual Sensor
c pP f
Cost
function (0)c
bT
(0)
( )
( )
c
b
c
b
c
k
k
T
T
v
( )p p kf f Camera view
O. B.
Figura 5.7. Simulator control predictiv – momente ale imaginii
5.3. Implementarea în timp real a regulatorului predictiv
În continuare este prezentată o structură de control (Figura 5.8) bazată pe feedback
vizual dezvoltată în cadrul tezei de doctorat pentru a controla în timp real mișcarea unui robot
manipulator FANUC ArcMate120 cu 6 grade de libertate și o configurație eye-in-hand
folosind un regulator predictiv bazat pe imagini. Sistemul servoing pe care a fost testată
această arhitectură se alfă în departamentul de Inteligență artificială și Robotică de la
Universitatea Jaume I din Spania.
Figura 5.8. Arhitectura de control pentru sistemul în timp real
Arhitectura de control predictiv propusă în cadrul tezei de doctorat este compusă din
trei module diferite: Strategia de control bazată pe imagine (blocul Image based control
strategy), Interfațarea cu robotul (blocul Robot communication interface) și Controlerul
robotului (blocul Robot controller) conectate între ele, dar fiecare având un timp de execuție
diferit și un alt obiectiv.
Regulatorul predictiv bazat pe imagini are ca intrare configurația dorită a trăsăturilor
vizuale extrase din imaginea de referință și configurația curentă a trăsăturilor vizuale. Ieșirea
regulatorului bazat pe imagini reprezintă viteza de referintă a camerei c
v obținută prin
Capitolul 5 – Tehnici de control predictive pentru sistemele servoing
38
minimizarea erorii dintre configurația dorită și cea curentă a trăsăturilor vizuale. Integrând
viteza de referintă se obține noua postură dorită a camerei notată cu ( )c tx , iar apoi utilizând
transformările omogene se obține matricea omogenă c
bT care reprezintă diferența dintre
postura curentă a camerei ( )c
bT t și postura dorită a acesteia. Matricea de transformare
omogenă c
bT care reprezintă intrarea în modelul cinematic invers se obține prin produsul
dintre c
bT și ( )c
bT t . Soluția modelului cinematic invers este q care reprezintă noua
configurație a articulatiilor robotului. Această informație este scrisă într-un fișier de date care
este citit prin intermediul unei interfețe utilizator și apoi este transmisă către controlerul
robotului.
Pentru a exista o comunicare directă între strategia de control bazată pe imagini
implementată în mediul de lucru Matlab și controlerul robotului R-J3IB se utilizează o
interfață de comunicare cu robotul (modulul Robot communication interface (RCI)). Acestă
interfață de comunicare cu robotul a fost dezvoltată în cadrul departamentului de Inteligență
artificială și Robotică de la Universitatea Jaume I din Spania. Aceasta permite controlerului
robotului să interacționeze cu mediul exterior printr-un protocol de tipul TCP/IP, iar
comunicarea propriu-zisă este realizată prin intermediul librăriilor PC Developer‟s Kit
(PCDK) şi a programului Robot Server. Rolul modulului RCI în arhitectura de control este de
a analiza ieșirea strategiei de control implemetată în Matlab, de a transfera date către
controlerul robotului și de a citi noua configurație a articulațiilor robotului.
Arhitectura de control (Figura 5.8) este folosită pentru a controla în timp real mișcarea
unui robot manipulator FANUC. Această arhitectura de control a fost implementată, testată și
validată, iar în urma rezultatelor experimentale efectuate au rezultat performanțe mai ridicate
atunci când se utilizează un regulator predictiv bazat pe imagini în comparație cu regulatorul
proporțional bazat pe imagini. Sistemul servoing (Figura 5.9) pe care s-au realizat
experimentele este compus din: un calculator (label 1) pe care rulează algortimul de control,
un robot manipulator FANUC ArcMate120 (label 2), o cameră montată pe ultima articulație a
robotului (label 3) și o masă de lucru (label4).
Figura 5.9. Sistemul servoing
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
39
Conexiunea dintre calculator și controlerul robotului se realizează printr-o rețea
Ethernet, iar legătura dintre calculator și cameră se realizează printr-o interfață IEEE-1394
(FireWire). Imaginile sunt achiziționate folosind o cameră video Foculus FO124TC. Acest tip
de cameră video are o interfață de comunicare serială IEEE-1394a ce folosește un conector cu
6 pini și are o rată de transfer de 400 Mbits/sec. Imaginile achiziționate sunt monocrome cu o
rezoluție de 640 480 . Pentru procesul de calibrare a camerei s-a folosit Calibration Toolbox
din mediul de lucru Matlab.
Rezultatele experimentale au fost obţinute luând în considerare faptul că, atât poziția inițială,
cât și poziția dorită a camerei este paralelă cu planul obiectului. Distanța dorită dintre planul
obiectului și cameră este 0.3Z m , iar distanța inițială este 0.21Z m . Performanțele
arhitecturii de control au fost analizate folosind atât un regulator proporțional, cât și un
regulator predictiv ce utilizează fie trăsături de tip punct de interes, fie trăsături de tip
momente ale imaginii calculate din puncte de interes. În Figura 5.10 sunt prezentate trăsăturile
de tip punct de interes extrase din imaginea inițială și din imaginea dorită folosind operatorul
Harris.
Figura 5.10. Trăsăturile vizuale extrase cu operatorul Harris pentru: (a) imaginea
inițială; (b) imaginea dorită
Sistemul servoing converge cu succes către configurația dorită pentru ambele tipuri de
legi de reglare (proporțional și predictiv) folosite. În Figura 5.11 este ilustrată viteza camerei
pentru cazul regulatorului proporțonal bazat pe imagine. Analizând Figura 5.11 se observă
faptul că legea de reglare proporțională bazată pe trăsături de tip punct de interes tinde spre o
comportare oscilatorie (Figura 5.11(a)), numărul iterațiilor necesare pentru a finaliza taskul
servoing finnd egal cu 200. Dacă legea de reglare proporțională este proiectată folosind
trăsături de tip momente ale imaginii (Figura 5.11(b)), sistemul servoing prezintă o
comportare mai lină, iar numărul iterațiilor necesare pentru a finaliza taskul este mult mai
mic.
Capitolul 5 – Tehnici de control predictive pentru sistemele servoing
40
(a) (b)
Figura 5.11. Viteza camerei folosind regulatorul proporțional: (a) bazat pe puncte de
interes; (b) bazat pe momente ale imaginii
Pentru a îmbunătății performanțele sistemului servoing se folosește un regulator
predictiv bazat pe imagine (Figura 5.12). În Figura 5.12(a) este ilustrată viteza camerei pentru
cazul în care trăsăturile vizuale sunt de tip punct de interes. După cum se poate observa,
sistemul servoing are o rată de convergență mai mare decât în cazul regulatorului
proporțional, dar prezintă aceeași comportare oscilatorie. Performanțele cele mai ridicare se
obțin pentru regulatorul predictiv bazat pe momente ale imaginii (Figura 5.12(b)). În acest
caz, sistemul servoing prezintă o comportare lină și are o rată de convergență ridicată,
numărul de iterații necesare pentru a finaliza taskul servoing fiind mai mic de 50.
(a) (b)
Figura 5.12. Viteza camerei folosind regulatorul predictiv: (a) bazat pe puncte de
interes; (b) bazat pe momente ale imaginii
Pentru a proiecta o arhitectură de control bazată pe feedback vizual, dinamica
robotului a fost modelată ca un VCMD. Implementarea algoritmului de control a fost realizată
prin dezvoltarea unui simulator pentru sistemele servoing.
Pentru a predicta mișcarea trăsăturilor în planul imaginii s-a utilizat un predictor bazat
pe modelul local al sistemului servoing vizual. Utilizarea trăsăturilor vizuale de tip momente
ale imaginii în controlul predictiv implică dezvoltarea unui predictor pentru momente ale
imaginii. În literatura de specialitate nu există acest tip de predictor, astfel pentru a calcula
predicţia momentelor imagnii au fost propuse două metode noi. Pe baza predictorului
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
41
dezvoltat s-a realizat un simulator care a fost implementat, testat și validat, iar rezultatele
experimentale au relevat performanțe foarte bune atât pentru punctelor de interes, cât și pentru
momente ale imaginii. În cazul strategiei de control predictiv s-a dezvoltat o nouă arhitectură
de control predictiv pentru sistemele servoing care, pentru prima dată, utilizează o traiectorie
de referiță pentru proiectarea legilor de control bazate pe imagine. Rezultatele experimentale
obținute au evidențiat faptul că structura de control ce conține un regulator predictiv împreună
cu o traiectorie de referință a relevat performanțe mult mai bune decât în cazul unei arhitecturi
de control ce nu ia în considerare traiectoria de referință.
Pornind de la structura de control a simulatoarelor servoing s-a dezvoltat o arhitectură
de control predictiv pentru a controla în timp real mișcarea unui robot manipulator FANUC
ArcMate120. Pentru generarea legii de control s-a folosit fie trăsături de tip puncte de interes,
fie trăsături de tip momente ale imaginii. Rezultatele experimentale obținute când se utilizează
regulatorul redictiv bazat pe imagine indică o creștere a performanțelor sistemului servoing în
raport cu rezultatele obținute folosind regulatorul proporțional bazat pe imagine.
Capitolul 6. Concluzii şi direcţii viitoare
În acest capitol sunt prezentate concluziile finale şi principalele contribuţii din cadrul
tezei. Cercetările doctorale au pornit de la stadiul actual al cunoaşterii în domeniu (capitolul
2) unde au fost prezentate aspectele fundamentale ale sistemelor servoing vizuale.
Performanţele sistemului servoing sunt relevante în raport cu performanţele trăsăturilor
vizuale utilizate pentru proiectarea legii de control. În cadrul tezei s-a folosit două tipuri de
trăsături vizuale: trăsături de tip puncte de interes şi trăsături de tip momente ale imaginii.
Pentru extragerea trăsăturilor de tip puncte de interes s-au implementat doi algoritmi de
detecţie: operatorul Harris şi descriptorul SIFT prezentaţi în capitolul 3. Performanţelor
trăsăturilor punctiforme au fost analizate folosind criteriile de evaluare bazate pe rata de
repetabilitate şi gradul de împrăştiere. Întrucât, pentru trăsăturile de tip momente ale imaginii
nu există un criteriu de evaluare a trăsăturilor în aplicaţii servoing s-a introdus un nou criteriu
bazat pe distanţa Hausdorff. Acest criteriu poate fi utilizat atât pentru momente ale imaginii
cât şi pentru trăsături punctiforme.
În capitolul 4 a fost prezentată o nouă lege de reglare de tip proporţional care include
şi modelul dinamic al robotului manipulator. Pentru a analiza performanțele unui sistem
servoing compus dintr-un robot manipulator cu 6 grade de libertate având o cameră montată
pe efectorul robotului s-a dezvoltat două simulatoare servoing: unul pentru trăsături
punctiforme şi unul pentru trăsături de tip momente ale imaginii. Pentru ambele simulatoare
servoing dinamica robotului a fost modelată ca un VCMD. Pornind de la acest simulator s-a
dezvoltat o arhitectură de control pentru aplicațiile servoing de timp real. În verderea realizării
acestei arhitecturi au fost utilizate trăsături punctiforme extrase cu operatorii Harris şi SIFT și
un robot ABB-IRB2400 cu o configurație eye-in-hand. Cu toate că regulatorul proporţional
este cel mai simplu tip de regulator ce poate fi proiectat, rezultatele experimentale indică
faptul că regulatorul proporţional obţine performanţe satisfăcătoare pentru aplicaţii de tip
servoing însă, pentru a îmbunătăţii performanţele sistemului s-a propus implementarea unor
regulatoare mai complexe, cum ar fi regulatorul predictiv. Aceste tehnici avansate de conduce
a unui robot manipulator au fost prezentate în capitolul 5.
În cadrul strategiei de control predictiv s-a dezvoltat o nouă arhitectură de control
predictiv pentru sistemele servoing care, pentru prima dată, utilizează o traiectorie de referință
pentru generarea dinamicii (vitezei de răspuns) sistemului de control. Pentru a predicta
mișcarea trăsăturilor în planul imaginii s-a utilizat un predictor bazat pe modelul local al
sistemului servoing vizual. Pentru calculul trăsăturilor de tip momente ale imaginii, în
Capitolul 6 – Concluzii
44
literatura de specialitate nu există un astfel de predictor, fapt pentru care s-a dezvoltat două
metode ce pot fi folosite pentru a predicta mişcarea momentelor în planul imaginii. Pentru a
testa și valida teoria propusă s-au dezvoltat simulatoare servoing ce se bazează pe controlul
predictiv. Simulatoarele servoing folosesc fie trăsături punctiforme, fie trăsături de tip
momente ale imaginii pentru a proiecta legea de control predictiv ce include şi modelul
dinamic diagonal de tip VCMD al robotului.Folosind teoria propusă s-a realizat un sistem
servoing pentru controlul în timp real a unui robot manipulator FANUC cu 6 grade de
libertate.
În continuare sunt prezentate contribuţiile principale din cadrul tezei şi direcţiile
viitoare de cercetare.
6.1. Contribuții
Principalele contribuții din cadrul tezei de doctorat sunt:
- Implementarea operatorilor Harris și SIFT de detecție a trăsăturilor de tip punct de
interes.
- Evaluarea performanțelor pentru aplicații de tip servoing a trăsăturilor vizuale
detectate cu operatorii Harris și SIFT. Pentru analiza calității trăsăturilor vizuale s-au
utilizat criteriile de evaluare. Unul dintre aceste criterii este rata de repetabilitate
calculată cu ajutorul descriptorilor bazați pe momente ale imaginii. Cel de-al doilea
criteriu utilizat pentru a analiza performanțele trăsăturilor vizuale este gradul de
împrăștiere calculat cu distanța Mahalanobis.
- Introducerea unui nou criteriu bazat pe distanța Hausdorff pentru a analiza
performanțele trăsăturilor de tip momente ale imaginii. În aplicațiile servoing nu
există un criteriu de evaluarea a trăsăturilor de tip momente, astfel pentru a obține o
măsură de evaluare a momentelor imaginii similară cu stabiltatea punctelor de
interes se utilizează distanța Hausdorff dintre două seturi de momente ale imaginii.
- Evaluarea performanțelor pentru trăsăturile de tip momente ale imaginii în aplicații
servoing. În baza noului criteriu bazat pe distanța Hausdorff s-au analizat
performanțele trăsăturilor de tip momente în secvențe de imagini. Momentele
imaginii sunt calculate din puncte de interes. Prin utilizarea acestui criteriu se poate
realiza o analiză mai complexă a punctelor de interes permițând atât o analiză
cantitativă cât și calitativă a punctelor de interes detectate.
- Proiectarea unui regulator proporțional ce include modelul dinamic al VCMD. Pentru
majoritatea simulatoarelor servoing, dimanica unui robot este considerată egală cu 1.
Arhitectura de control dezvoltată în acest capitol implică utilizarea unui regulator
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
45
proporţional bazat pe imagine, iar pentru proiectarea acestei arhitecturi de control,
dinamica robotului a fost modelată ca un VCMD.
- Dezvoltarea a două simulatoare servoing ce utilizează un regulator proporțional bazat
pe trăsături de tip punct de intres și de tip momente ale imaginii. Faţă de
simulatoarele servoing existente în literatura de specialitate, aceste simulatoare sunt
proiectate ţinând cont de dinamica robotului manipulator care este modelată ca un
VCMD.
- Implementarea unui sistem servoing cu regulator proporțional pentru conducerea în
timp real a unui robot ABB cu 6 grade de libertate. Pentru a controla mişcarea
robotului în timp real s-au utilizat trăsături vizuale de tip puncte de interes extrase cu
operatorii Harris şi SIFT. Comunicarea dintre robot şi calculatorul ce implemnetează
algoritmul de control se realizează prin interfaţa de comunicare prezentată în
paragraful 4.4.2.
- Dezvoltarea unui generator de traiectorii de referință. Pentru a genera evoluția dorită a
trăsăturilor vizuale în cadrul orizontului de predicție se definește traiectoria de
referință.
- Dezvoltarea predictorilor pentru trăsături vizuale de tip momente ale imaginii.
Utilizarea trăsăturilor vizuale de tip momente în aplicații servoing au relevat
performanțe mai bune pentru sistemele servoing. Astfel, pentru proiectarea unei
arhitecturi de control predictiv au fost propuse două metode pentru a calcula
predicția trăsăturilor de tip momente în cadrul orizontului de predicție.
- Dezvoltarea unei structuri de control predictiv pentru puncte de interes și pentru
momente ale imaginii ce integrează predictorii și generatorul de traiectorii de
referință.
- Dezvoltarea unor simulatoare servoing pentru structura de control predictiv.
- Dezvoltarea unui sistem servoing cu regulator predictiv bazat pe imagini pentru
controlul în timp real al robotului FANUC.
6.2. Direcții viitoare
- Adaptarea arhitecturilor de control bazate pe imagine pentru celule de fabricaţie
existente.
- Creşterea vitezei de răspuns pentru aplicaţiile servoing de timp real.
- Acordarea automată a parametrilor regulatorului predictiv bazat pe imagini pentru
îmbunătăţirea performanţelor sistemului servoing vizual.
Capitolul 6 – Concluzii
46
- Descrierea restricţiilor de vizibilitate şi a restricţiilor de mişcare a camerei direct în
spaţiul momentelor imaginii.
BIBLIOGRAFIE
Allibert G., Courtial E. și Chaumette F., (2010). Visual servoing via nonlinear predictive
control, in Chesi, G., and Hashimoto, K. (Eds.): Visual servoing via Advan. Numer.
Methods, Springer Press, pag. 375-393.
Allibert G., Courtial E. și Toure Y., (2008). Visual Predictive Control for Manipulators with
Catadioptric Camera, Proc. of IEEE Int. Conf. on Robotics and Automation, Pasadena,
pag. 510-515.
Allotta B., și Fioravanti D., (2005). 3D Motion Planning for Image-Based Visual Servoing
Tasks, Proc. of IEEE Int. Conf. on Robotics and Automation, Barcelona, Spain, pag.
2173-2178.
Blomdell A., Bolmsj G., Brogrdh T., Cederberg P., Isaksson M., Johansson R., Haage M.,
Nilsson K., Olsson M., Olsson T., Robertsson A. și Wang J., (2005). Extending an
industrial robot controller implementation and applications of a fast open sensor
interface, IEEE Robotics and Automation Magazine, 12(3), pag. 85–94.
Brown M. şi Lowe D., (2002). Invariant features from interest point groups, British Machine
Vision Conference, pag. 656-665.
Brunelli R., (2009). Template matching techniques in computer vision, Wiley.
Burlacu A., Copoț C., Panainte A., Pascal C. şi Lazar C., (2011a). Real-time Image Based
Visual Servoing Arhitecture for Manipulator Robots, Proc. of Int. Conference on
Computer Vision Theory and Applications, Vilamoura, Portugalia, pag. 502-510.
Burlacu A., Copoț C., Cervera E. și Lazăr C., (2011b). Real-Time Visual Predictive Control
of Manipulation Systems, Proc. of. IEEE 15th
International Conference on Advanced
Robotics, ICAR‟15, Tallin, Estonia, pag. 383 – 388.
Burlacu A., Copoţ C., Lazăr C., (2010). An Hausdorff distance based approach for evaluation
of image moments in servoing applications, Proc. of IEEE Int. Conference on
Intteligent computer Communication and Processing, Cluj-Napoca, pag. 255-258.
Burlacu A., Copoţ C., Lazăr C., (2007). SIFT Based Algorithm for Point Feature Tracking,
The Annals of “Dunarea de Jos” University of Galati, Fascicle III, pag. 59-64.
Cederberg P., Olsson M., și Bolmsj G., (2002). Remote control of a standard abb robot system
in real time using the robot application protocol (rap), In Proceedings of the
International Symposium on Robotics, ISR2002, Stockholm.
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
49
Cervera E., (2003). “Visual Servoing Toolbox”, Jaume I University, Castello,
http://sourceforge.net/projects/vstoolbox/.
Cervera E., del Pobil A., Berry F., Martinet P., (2003). Improving image-based visual
servoing with three-dimensional features, International Journal of Robotics Research,
22(10-11), pag. 821–840.
Chaumette F. și Hutchinson S., (2008). Handbook of Robotics, Springer.
Chaumette F. şi Hutchinson S., (2006). Visual Servo Control Part I: Basic Approaches, IEEE
Robotics & Automation Magazine, 13(4), pag. 82-90.
Chaumette F., (2002). A first step toward visual servoing using image moments, Proc. of
IEEE/RSJ IROS’00, pag. 378-383.
Chaumette F., Hutchinson S., (2007). Visual servo control, part II : Advanced approaches.
IEEE Robotics and Automation Magazine, 14(1), pag. 109–118.
Chaumette F., (2004). Image moments: a general and useful set of features for visual
servoing, IEEE Trans. on Robotics, 20(4), pag. 713-723.
Chaumette F., (1998). Potential problems of stability and convergence in image-based and
position-based visual servoing. The Confluence of Vision and Control, editor D.
Kriegman, G . Hager, A.S. Morse, Springer-Verlag, pag. 66–78.
Chaumette F., Rives P. şi Espiau B., (1991). Positioning a robot with respect to an object,
tracking it and estimating its velocity by visual servoing, Proc. of the IEEE International
Conference on Robotics and Automation, pag. 2248–2253.
Chesi G., Vicino A., (2004). Visual servoing for large camera displacements. IEEE
Transactions on Robotics, 20(4), pag. 724–735.
Collewet C. şi Chaumette F., (2000). A contour approach for image based control of objects
with complex shape, Proc. of IEEE/RSJ IROS’00, pag. 751-756.
Comport A, Pressigout M., Marchand E., Chaumette F., (2003). A Visual Control Law that is
Robust to image Outliers, Proc. of Int. Conference on Intelligent Robots and Systems,
pag. 492–497.
Copoț C., Burlacu A. și Lazăr C., (2011a). Image Moments based Predictive Control for Eye-
in-Hand Servoing Systems, Buletinul Instititului Politechnica din Iasi, Automatic
Control and Computer Science Section, Fasc. 1, pag. 23-37.
Copoț C., Burlacu A. și Lazăr C., (2011b). Visual Predictive Control Architecture based on
Image Moments for Manipulators Robots, Proc. of 20th
IEEE Int. Symposium on
Industrial Electronics, Gdansk, Polonia, pag. 963 – 968.
Copoț C., Lazăr C. și Burlacu A., (2011c). Predictive Control of Nonlinear Visual Servoing
Systems using Image Moments, IET Control Theory and Applications, accepted with
revisions.
Copoț C., Lazăr C. şi Burlacu A., (2011d). Nonlinear Model based Predictive Control of
Visual Servoing Systems using Image Moments, Proc. of 18th
International
Bibliografie
50
Conference on Control Systems and Computer Science, Ed. Politehnica Press,
Bucureşti, pag. 321-326.
Copoţ C., Burlacu A. și Lazăr C., (2010a). Visual Control Architecture of Servoing Systems
Based on Image Moments, Proc. of 12th International Conference on Optimization of
Electrical and Electronic Equipment, OPTIM, pag. 801-806.
Copoţ C., Burlacu A., Lazăr C., (2010b). An image moment based approach for visual
predictive control, Proc. of 14th
Int. Conference on System Theory and Control
(ICSTC), Sinaia, pag.154-159.
Copoț C., Lazăr C. şi Burlacu A., (2009a). Image features detection and analysis for visual
servoing applications, Proc. of 17th
International Conference on Control Systems and
Computer Science, Ed. Politehnica Press, Bucureşti, pag. 467-473.
Copoţ C., Burlacu A. şi Lazăr C., (2009b). Image Moments Based Visual Control Algorithm
for Servoing Systems, Proc. of IEEE International Conference on Intelligent
Computer Communication and Processing, Cluj-Napoca, pag. 157-160.
Corke P., (2008). A Robotics Toolbox for Matlab, IEEE Robotics and Automation Magazine.
Corke P., Hutchinson S., (2001). A new partitioned approach to imagebased visual servo
control. IEEE Transactions on Robotics and Automation, 17(4), pag. 507–515.
Corke P., (2005). Machine Vision Toolbox, IEEE Robotics and Automation Magazine, pag.
16-25.
Corke P., Spindler F., Chaumette F., (2009). Combining cartesian and polar coordinates in
IBVS, Proc. of IEEE/RSJ International Conference on Intelligent Robots and Systems,
IROS’09, St. Louis, USA, pag. 5962–5967.
Deguchi K., (2000). A direct interpretation of Dynamic Image with Camera and Object
Motions for Vision Guided Robot Control, Int. Journal of Computer Vision, pag. 7-20.
Deng L., Wilson W., Janabi-Sharifi F., (2003). Dynamic performance of the position-based
visual servoing method in the cartesian and image spaces, Proc of IEEE/RSJ
International Conference on Intelligent Robots and Systems, IROS’03, vol. 1, pag. 510–
515.
Dombre E., Khalil W., (2007). Robot Manipulator Modeling, performance analysis and
control, ISTE, Cambridge.
Espiau B., Chaumette F., Rives P., (1992). A new approach to visual servoing in robotics,
IEEE Trans. on Robotics and Automation, 8(3), pag. 313–326.
Fujimoto H., (2003). Visual Servoing of 6 Dof Manipulator by Multirate Control with Depth
Identification, Proc. of 42nd IEEE Conference on Decision and Control, Hawaii, pag.
5408- 5413.
Gangloff J.A. și de Mathelin M.F. (2003). High speed visual servoing of a 6 dof manipulator
using multivariable predictive control, Advances Robotics, 21(10), pag. 993–1021.
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
51
Gans N., Hutchinson S., Corke P., (2003). Performance tests for visual servo control systems,
with application to partitioned approaches to visual servo control. International Journal
of Robotics Research, 22(10-11), pag. 955–981.
Gans N., Hutchinson S., (2007). Stable visual servoing through hybrid switched-systems
contro. IEEE Transactions on Robotics, 23(3), pag. 530–540.
Hadj-Abdelkader H., Mezouar Y., Martinet P., (2007). Decoupled Visual Servoing from a set
of points imaged by an omnidirectional camera, Proc of IEEE International Conference
on Robotics and Automation, ICRA’07, Roma, Italy, pag. 1697–1697.
Hafez A., Jawahar C., (2007). Visual servoing by optimization of a 2D/3D hybrid objective
function. Proc. of IEEE International Conference on Robotics and Automation,
ICRA’07, Roma, Italy, pag. 1691 –1696.
Hager G., Chang W. şi Morse A., (1995). Robot hand-eye coordination based on stereo
vision, IEEE Control Systems Magazine, vol. 15, pag. 30–39.
Harris C. și Stephens M., (1988). A combined corner and edge detector, in proc. 4th
Alrey
Vision Conference, Manchester, pag.147-151.
Hashimoto K., Ebine T. şi Kimura H., (1996). Visual servoing with hand–eye manipulator–
optimal control approach, IEEE Transactions on Robotics and Automation, vol. 12, pag.
766–774.
Hu M.K., (1962). Visual pattern recognition by moment invariants, IRE. Trans. Inf. Theory,
pag. 179–187.
Hutchinson S., Hager G., Corke P., (1996). A tutorial on visual servo control, IEEE
Transactions on Robotics and Automation, 12(5), pag. 651–670.
Janabi-Sharifi F., Wilson W., (1997). Automatic selection of image features for visual
servoing, IEEE Transactions on Robotics and Automation, 13(6), pag. 890–903.
Kyrki, V., Kragic, D., Christensen, H., (2004). New shortest-path approaches to visual
servoing, Proc. of 2004 IEEE/RSJ International Conference on Intelligent Robots and
Systems, Sendai, Japan.
Lazăr C. şi Burlacu A., (2008). Modeling of visual servo open-loop for robot manipulators,
Proc. of IEEE International Symposium on Industrial Electronics, Cambridge.
Lazăr C. și Burlacu A., (2009). Visual Servoing of Robot Manipulators using Model-Based
Predictive Control, 7th IEEE Int. Conference on Industrial Informatics, Cardiff, UK,
pag. 690-695.
Lazăr C., Burlacu A. și Copoț C., (2011). Predictive Control Architecture for Visual Servoing
of Robot Manipulators, Proc. of 18th
IFAC World Congress, Milano, Italia, pag. 9464-
9469.
Lazăr, C. şi Burlacu A., (2007). Performance Evaluation of Point Feature Detectors for Eye-
in-Hand Visual Servoing. Proc. of 5th
IEEE International Conference of Industrial
Informatics, pag. 497-502.
Bibliografie
52
Lindeberg T., (1998). Feature detection with automatic scale selection, International Journal
of Computer Vision, pag. 79–116.
Lindeberg T., (1994). Scale-space theory: A basic tool for analyzing structures at different
scales, Journal of Applied Statistics, pag. 224-270.
Lowe D., (2003). Distinctive image features from scale-invariant keypoints, International
Journal of Computer Vision, pag. 91- 110.
Lowe D., (2001). Local features view for 3D object recognition, Proc. of IEEE Conference on
Computer Vision and Pattern Recognition, pag. 682-688.
Lowe D., (1999). Object recognition from local scale–invariant features, Proc. of Proceedings
of the International Conference on Computer Vision, pag. 1150–1157.
Lowe D., (2004). Distinctive image features from scale-invariant keypoints, International
Journal of Computer Vision, 60(2), pag. 91-110.
Ma Y., Soatto S., Kosecko J. şi Sasky S.S., (2005). An invitation to 3-D Vision fromImages to
Geometric Models, Springer.
Mahony, R., Corke, P., Chaumette, F., (2002). Choice of image features for depth-axis control
in image based visual servo control, Proc. of In IEEE/RSJ International Conference on
Intelligent Robots and Systems, Lausanne, Switzerland, pag. 390-395.
Malis E., Chaumette F. şi Boudet S., (1998). Positioning a coarse-calibrated camera with
respect to an unknown object by 2D 1/2 visual servoing, Proc. of the IEEE International
Conference on Robotics and Automation, vol. 1, pag. 1352–1359.
Malis E., (2004). Improving vision-based control using efficient secondorder minimization
techniques, Proc. of IEEE International Conference on Robotics and Automation,
ICRA‟04, vol. 2, New Orleans, pag. 1843–1848.
Marchand E. și Chaumette F., (2005). Feature tracking for visual purposes, In Robotics and
Systems, 52(1), pag. 53-70.
Marchand E., Spindler F. şi Chaumette F., (2005). ViSP for visual servoing a generic software
platform with a wide class of robot control skills, IEEE Robotics and Automation
Magazine, pag. 40-52.
Marques de Sa J.P, (2001). Pattern Recognition concepts, Methods and Applications,
Springer.
Mezouar Y., Chaumette C., (2002). Path planning for robust image-based control, IEEE
Transactions on Robotics and Automation, 18(4), pag. 534 – 549.
Mikolajczyk K. şi Schmid C., (2004). Scale & affine invariant interest point detectors,
International Journal of Computer Vision, pag. 63–86.
Munkres J., (1999). Topology, Ed. Massachusetts Institute of Technology.
Nixon M. şi Aguado A., (2008). Feature Extraction and Image Processing, 2nd
ed., Elsevier.
Papanikolopoulous N. şi Khosla P., (1993). Adaptive robotic visual tracking: Theory and
experiments, IEEE Transactions on Automatic Control, pag. 429–445.
Cosmin Copoț – Universitatea Tehnică “Gheorghe Asachi”, Iași
53
Perez-Vidal C., Garcia L., Garcia N. și Cervera E., (2009). Visual Control of Robots with
Delayed Images, Advanced Robotics, pag. 725-745.
Ponce F., (2003). Computer Vision – A Modern Approach, Prentice Hall.
R. Mebarki, A. Krupa, F. Chaumette, (2010). 2D ultrasound probecomplete guidance by
visual servoing using image moments, IEEE Transactions on Robotics, 26(2), pag. 296
–306.
Schmid C., Mohr R. Şi Bauckhage C., (2000). Evaluation of interest point detectors,
International Journal of Computer Vision, vol. 37, pag. 151–172.
Shapiro L. , Stockman G., (2000). Computer Vision, Prentice Hall.
Siciliano B., Sciavicco L., Villani L., și Oriolo G., (2009). Robotics, Modelling, Planning and
Control, Springer Press.
Sim T.P., Hong G.S. și Lim K.B., (2002). Multirate predictor control scheme for visual servo
control, IEE Proceedings - Control Theory and Applications, 149(2), pag. 117-124.
Sonka, M., V. Hlavac and R. Boyle, (1998). Image processing, Analysis and Machine Vision,
Published by PWS.
Spong M., Hutchinson S., Vidyasagar M., (2006). Robot modeling and control, Wiley New
Jersey.
Stoll J., Novotny P., Howe R. și Dupont P., (2006). Real-time 3d ultrasound-based servoing
of a surgical instrument, In Proceedings of the 2006 IEEE International Conference on
Robotics and Automation, Orlando, Florida, pag. 613–618.
Tahri O. și Chaumette F., (2003). Application of moment invariants to visual servoing, In
IEEE Int. Conference on Robotics and Automation, pag. 4276-4281.
Tahri O. și Chaumette F., (2005). Point-based and region-based image moments for visual
servoing of planar objects, IEEE Trans. on Robotics, 21(6), pag. 1116-1127.
Tamadazte B., Arnould T., Dembele S., Lefort-Piat N. și Marchand E., (2009). Real-time
vision-based microassembly of 3d memss, In IEEE/ASME Int. Conf. on Advanced
Intelligent Mechatronics, AIM 2009, Singapore, pag. 88–93.
Tatsambon Fomena R., Chaumette F., (2009). Improvements on visual servoing from
spherical targets using a spherical projection model, IEEE Transactions on Robotics,
25(4), pag. 874–886.
Tissainayagam P. şi Suter D., (2004). Assessing the performance of corner detectors forpoint
feature tracking applications, Image and Vision Computing, 22(8), pag. 663-679.
Walin A. şi Kubler O., (1995). Complete sets of complex Zernike moments invariants and the
role of the pseudo-invariants, IEEE Trans. on PAMI, pag. 1106-1110.
Weiss L. E., (1984). Dynamic Visual Servo Control of Robots: An Adaptive Image-Based
Approach, Phd. Thesis, Carnegi-Mellon University, Pittsburgh.
Bibliografie
54
Wilson W., Hulls C. şi Janabi-Sharifi F., (2000). Robust image processing and position–based
visual servoing, Proc. of Robust Vision for Manipulation, pag. 163–220.
Wilson W., Hulls C., Bell G., (1996). Relative end-effector control using cartesian position-
based visual servoing, IEEE Transactions on Robotics and Automation, 12(5), pag. 684–
696.