View
5
Download
0
Category
Preview:
Citation preview
DII – Universita di Siena
Studio della Geometria Epipolareper la Stima di Traiettorie Planariin Problemi di Robotica Mobile
Relatore Tesi di laurea di
Chiar.mo Prof. Ing. Domenico Prattichizzo Gian Luca Mariottini
Correlatori
Chiar.mo Prof. Ing. Antonio Vicino
Ing. Jacopo Piazzi
A.A. 2001/2002 - Sessione Autunnale
DII - UNIVERSITA DI SIENA
Obiettivo principale della tesi
Progetto di algoritmi di Visual Servoing
per robot mobili con tecniche avanzate
di Geometria Epipolare.
robot in posizione attuale
robot in posizione desiderata
telecamera
P1
P2
S
S
1
2 Scopo :Utilizzo delle informazioni visive
(features) per controllare il moto di un
robot mobile dotato di telecamera da
una posizione iniziale (o attuale) verso
una posizione f inale o desiderata).
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Telecamera: il modello pin-hole
PROIEZIONE PROSPETTICA
f Y
Z
f
X;Y;ZT( )=X
Z
Y
centro dellacamera
centro immagine
Π '
v
O
(punto principale)
v = f YZ
u = f XZ
PUNTO PRINCIPALE
y
x
pp xcam
ycam
f px f
py
(X, Y, Z)T
7→
(
fX
Z+ px, f
Y
Z+ py
)
Km ,
f 0 px
0 f py
0 0 1
ROTAZIONE e TRASLAZIONE
P = K[R|t]
CCD: K ,
α 0 x0
0 α y0
0 0 1
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
La Geometria Epipolare: definizioni
La Geometria Epipolare e definita a partire dalle immagini estratte da due telecamere.
O
l
u
R t;
O
l
u'
'
'
C C'
I I '
X
π
e e'
u'u
baseline
BaselineLa baseline e quella linea che unisce i
centri delle due telecamere.
Epipolo
L’epipolo e (e′
) e quel punto che ∈ I(I′
) di intersezione tra la baseline ed il
piano immagine.
Punti corrispondenti
I punti corrispondenti u ed u′
sono
le proiezioni, su due differenti piani
immagine, di uno stesso punto X.Piano EpipolareIl piano epipolare e quel piano contenente la baseline.
Linea Epipolare
La linea epipolare lu (l′
u′ ) e l’intersezione del piano epipolare con il piano immagine I (I ′
).
Rappresentazione algebrica della Geometria Epipolare ≡ Matrice Fondamentale F
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
La Geometria Epipolare: Matrice Fondamentale
z
e
e
z
Centro dirotazione
u
u
1
2'
'
X
R Rt
+
θ R
I
I '
C
C2
1
O
Asse dirotazione
robot in posizione attuale
robot inposizione desiderata
θ
RR
Rt
O
ex
e'x
Ipotesi di lavoro1. Moto planare del robot
2. Gli assi ottici si incontrano in un punto O
Proprieta. (Legge delle Corrispondenze)
Se u e u′
sono punti corrispondenti allora vale la seguente uguaglianza: u′T
Fu = 0
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Parametrizzazione degli epipoli: Rt 6= 0
a
e
d
R R
c
f
b
I
θ
x
z
y2
2
2
he
I
ϕR t
x1
y1
z1
'
Se K 6= I ⇒ e′
x = −αxγ
β+ u0
a
m
R R
c
f
b
θ
x
z
y2
2
2
he
I
R t
x1
y1
z1
ψ
Se K 6= I ⇒ ex = −αxγ
γ sin θ−β cos θ+ u0
ove γ, sin θ, β, 1/p − cos θ, e p = (R + Rt)/R
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Parametrizzazione degli epipoli
L’epipolo assume lo stesso valore per due angoli θi e θj differenti.
θ1
θ2
θ3
e2e1=
O1
O2
O3
e3
O
θ1
R
R
Rt
O
ex
θ2
θ1exθ2
=
S
PROBLEMA INTRINSECO DELLA PARAMETRIZZAZIONE!
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Parametrizzazione:duplice soluzione
Scopo: Trovare θj t.c. e(θi) = e(θj)
In generale
θj , θi + S
S = 2 arctan(
p cos θi−1
p sin θi
)
da cui e possibile ricavare una
“zona di lavoro”...
θ ∈ (0, 3] ∪ [15, 90)deg.
p = 1.075
S
S
θi
e
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Parametrizzazione di F: nuovo approccio
F = K′−T
EK−1 ove E = [t]×R inoltre K ,
αx 0 x0
0 αy y0
0 0 1
F =
1αx
0 0
0 1αy
0
− u0αx
− v0αy
1
0 −β 0
β cos θ − γ sin θ 0 γ cos θ + β sin θ
0 −γ 0
1αx
0 − u0αx
0 1αy
− v0αy
0 0 1
ove
γ , sin θ
β , 1
p− cos θ
ν ,β
αx
η ,γ
αx
si ha:
F =
0 −ν v0ν
ν cos θ − η sin θ 0 [αxη − u0ν] cos θ + [u0η + αxν] sin θ
v0[η sin θ − ν cos θ] u0ν − αxη v0[u0ν − αxη][cos θ − 1] − v0 sin θ[u0η + αxν]
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Stima della Matrice Fondamentale F
Legge di controlloStima dellamatrice F
Epipoli
• Metodo lineare dei minimi quadrati:
minF
∑ni=1
(u′
i
TFui)
2
In teoria: 7 corrispondenze necessarie.
Nuova parametrizzazione: soli 2 punti.
Utilizzare i contorni ? (2 punti di tangenza)
• Metodo non lineare (Distanze Euclidee):
minF
n∑
i=1
(
1
(Fui)12 + (Fui)2
2+
1
(FT u′
i)12
+ (FT u′
i)22
)
(u′
i
TFui)
2
• Metodo non lineare (Gradiente):
minF
n∑
i=1
(u′
i
TFui)
2
(Fui)12
+ (Fui)22
+ (FT u′
i)12
+ (FT u′
i)22
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Nuovo approccio alla stima della matrice F
Stima lineare (classica) della F 7 punti corrispondenti
necessari.
Stima della F(p,θ)Solo 2 punti corrispondenti
necessari.
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Stima di F: i contorni apparenti
θ
Puntofrontiera
Xf
Γ
γ
Generatore dicontorno
ContornoApparente
CC '
p
r
Superficie M
R,t
Punti corrispondenti
Contorni apparenti
R , t Epipoli
La Geometria Epipolare aiuta a stimare gli epipoli dai contorni apparenti!!
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
La Geometria Epipolare con curve nello spazio 3D
θ
Puntofrontiera
Xf
Γ
γ
Generatore dicontorno
ContornoApparente
CC
u
1 γ21
2
Tangente
epipolare
e1 e2
Epipolo
Superficie M
f uf'
La Geometria Epipolare aiuta (tan-
genti al contorno) a trovare le
proiezioni del punto frontiera (punti
corrispondenti):
u′
f
T
Fuf = 0
1. p = p0 e θ = θ0 (initial guess)
2. Si calcolano e(p, θ),e′
(p, θ).
3. Si calcolano i punti u e u′
in cui si appoggia la tangente epipolare.
4. Avendo quindi u,u′
e F(p, θ) si calcola di(p, θ) (che e nullo per i valori veri).
5. Aggiorna i valori di p e θ.
6. Ripartire dal punto 1.
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Stima di F dai contorni apparenti
Scopo: ∃! minF
∑
i(di)2 ove di , u
′
i
TFui
ATTENZIONE:u e u′
cambiano a seconda di dove si appoggia la tangente
2
1
2
1
1
2
u
u Ma allora:
di(p, θ,O,O′
) , u′
i(p, θ,O′
)TF(p, θ)ui(p, θ,O)
Si studia l’ESISTENZA ed UNICITA della soluzione parametrizzando
il contorno apparente
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Stima di F dai contorni apparenti
Oggetto 3D ≡ SFERA ⇒ Proietta in ellissi
t
f
r t
Immagine Immagine Attuale Desiderata
origine origine
e
ϕtangenteui
a
ui = ra cosϕi
vi = ra sinϕi
,ove ϕi = arccos
(
α√α2+β2
)
+ arccos
(
− γ√α2+β2
)
,ove
α , ex − tx;
β , −ty ;
γ , −ra;
. di(p, θ) , u′
i(p, θ)TF(p, θ)ui(p, θ)
Se di(pstim, θmin) e minimo ⇒pstim = pvero
θstim = θvero
⇒ Posizione relativa delle telecamere.
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Stima di F dai contorni apparenti
d1 d2+θ(p , ) θ(p , )
θ
p
Stima di p
θ
d1 d2+θ(p , ) θ( , )vero p
vero
Stima di θ
I minimi esistono unici !
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Risultati sperimentali (1 oggetto)
A
R Rt+
R
Β
θ
pvero = R+Rt
R= 1;
θvero = 36◦;
Funzionale Lineare Funzionale Non Lineare
(Dist Geom.)
Funzionale Non Lineare
(Grad.)
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Risultati sperimentali (2 oggetti)
pvero = R+Rt
R= 0.98;
θvero = 10◦;
Funzionale Lineare Funzionale Non Lineare (Dist
Geom.)Funzionale Non Lineare (Grad.)
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Visual Servoing per robot olonomo
Robot Olonomo ⇒ nessun vincolo cinematicoDinamica :
Xa = ux
Ya = uy
αa = ω
Xa
Ya
zc
xc
<b> X
Y
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Visual Servoing per robot olonomo
Ca
Ca'R
R
Cd
θ
Ο
R
t Ci
Cd
θ
Ο
ϕd
ϕa
ψ
C '
R0R −R0
Ο
• 1◦ Passo TraslazioneCa → C′
a
Rt(t) = λeu(t), λ > 0 ove eu(t) =1
feax
+1
fedx
• 2◦ Passo Rotazione daC′
a aCd
˙ψ(t) = −λaes(t) λa > 0 ove es(t) =1
feax
− 1
fedx
10
20
30
40
50
60
2030
4050
60
202
Tel.Desiderata
Caso di moto rotatorio per diverse stime iniziali di R
Tel. Attuale
L=4
L=3
L=2 L=1
L=0.1=0.01
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Visual Servoing per Robot Anolonomo
Modello Cinematico
x
y
θ
=
− sin θ 0
cos θ 0
0 1
u
ω
• 1◦ Passo: Spostamento
da C a Ci
• 2◦ Passo: Traslazione da
Ci a Cd
θ
πa
πd
C
Ci
Cd
πi
eaed
e
Traiettoria
anolonoma
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Visual Servoing per Robot Anolonomo: 1◦ PassoSistema MIMO
⇓
x = −v sin θ
y = v cos θ
θ = ω
y1 = eax
y2 = edx
Linearizzazione Ingresso-Uscita
⇓
Trasformare dinamiche sist. non
lineare in lineari: convergenza uscita
(epipoli) a zero!
Matrice E(x) di disaccoppiamento: y(r) 7→ u
f [− sin(θ(t))β + cos(θ)γ] fα
f[
Y (t) sin(θ(t))−X(t) cos(θ(t))Y 2(t)
]
0
Non singolare!
Ingresso Linearizzante
u = E−1(x)
ν1
ν2
︸ ︷︷ ︸
ν(t)
ove
ν(t) = yd(t) − Ke(t) ed
e =
ea(t) − edes
a (t)
ed(t) − edesd
(t)
da cui
˙e(t) + Ke(t) = 0
Il controllo dipende anche da X!
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Visual Servoing per Robot Anolonomo: 2◦ Passo
Idea:Si usano direttamente i perimetri dei contorni estratti!Schema del V.S.
Uniciclo πi
Calcolo
perimetro
L:d:C:v
vCCD i
πd
CCDd
ω
ω
p
p
πi
πd
Idea
Legge di Controllo
ω = 0
v = λ(pπd − pπi), λ > 0
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Sviluppi futuri
Progetto di un controllo IBVS basato sui contorni
apparenti nel caso tridimensionale.
Studio del Tensore Trifocale T per la sintesi di algo-
ritmi di Visual Servoing robusti da tre immagini di una
medesima scena 3D.
Studio ed utilizzo della Geometria Epipolare Estesa per
il visual servoing di un Team di Robot.
Utilizzo delle tecniche epipolari per la ricostruzione
virtuale di ambienti e oggetti reali.
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
DII - UNIVERSITA DI SIENA
Conclusioni
Lavoro svolto:
X Parametrizzazione a due gradi di liberta della matrice F (caso K generale)
X Studio delle proprieta dei contorni apparenti per stimare la geometria
epipolare
X Innovativa parametrizzazione del contorno apparente, forma esplicita del
funzionale di costo e studio dell’esistenza ed unicita della soluzione del
problema di stima della Matrice Fondamentale.
X Realizzazione della Legge di Controllo IBVS per veicoli olonomi.
X Studio della dinamica degli epipoli per la sintesi di una Legge di Controllo IBVS
per veicoli anolonomi.
“Studio della Geometria Epipolare per la Stima di Traiettorie Planari in Problemi di Robotica Mobile”
Recommended