1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et...
71
1 « Navigation d’un véhicule intelligent à l’aide d’un capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001 Travaux dirigés par : El Mustapha Mouaddib, Professeur à l’Université de Picardie Jules Verne (France) Joaquim Salvi, Maître de Conférences à l’Université de Girona (España)
1 « Navigation dun véhicule intelligent à laide dun capteur de vision en lumière structurée et codée » thèse présentée par David Fofi le 18 septembre 2001
1 Navigation dun vhicule intelligent laide dun capteur de
vision en lumire structure et code thse prsente par David Fofi le
18 septembre 2001 Travaux dirigs par : El Mustapha Mouaddib,
Professeur lUniversit de Picardie Jules Verne (France) Joaquim
Salvi, Matre de Confrences lUniversit de Girona (Espaa)
Page 2
2 0. sommaire 1. introduction gnrale 2. la vision en lumire
structure 3. segmentation et dcodage 4. reconstruction
tri-dimensionnelle 5. fonctions visuelles pour la navigation 6.
conclusions et perspectives
Page 3
3 1. introduction gnrale Problmatique Comment tirer parti de la
vision en lumire structure pour la perception dun robot mobile ?
Quels sont les avantages et les inconvnients que lon peut tirer dun
tel capteur pour la navigation dun robot ? Points tudis Dcodage du
motif structurant. Segmentation des images codes. Autocalibration
du capteur de vision. Mthode de dtection dobstacles et de
construction dune carte de lespace libre. Mthode destimation du
dplacement du robot par mise en correspondance des plans qui
composent la scne.
Page 4
4 2. la vision en lumire structure 2.1 dfinition 2.2
classification et codage 2.3 applications
Page 5
5 2.1 dfinition Une lumire structure est une source lumineuse
module dans l'espace, le temps, l'intensit et/ou la couleur. La
vision en lumire structure consiste projeter une telle source
lumineuse sur l'environnement, lui-mme observ par une ou plusieurs
camras CCD ; il s'agit en fait de remplacer, dans un systme
stroscopique classique, une camra par un projecteur de lumire.
Page 6
6 2.1 dfinition Point de surbrillance : Pas de problme de mise
en correspondance. Balayage suivant les deux axes. Plan de lumire :
Correspondance entre points de la ligne projete ? Balayage suivant
un axe. Multi-plans : Correspondance entre les plans ? Pas de
balayage. Motif structurant : Problme de mise en correspondance.
Pas de balayage.
Page 7
7 2.2 classification et codage classification La dpendance
temporelle (statique ou dynamique) La nature de la lumire mise
(binaire, niveaux de gris ou couleurs) La dpendance aux
discontinuits (priodique ou absolu) 3 critres lis classification
propose par Batlle, Mouaddib et Salvi.
Page 8
8 2.2 classification et codage exemples de codage Posdamer et
Altschuler Statique Binaire Absolu
Page 9
9 2.2 classification et codage exemples de codage Le Moigne et
Waxman Dynamique Binaire Absolu
Page 10
10 2.2 classification et codage exemples de codage Carrihill et
Hummel Statique Niveaux de gris Absolu
Page 11
11 2.2 classification et codage exemples de codage Vuylsteke et
Oosterlinck Dynamique Binaire Absolu
Page 12
12 2.2 classification et codage exemples de codage Boyer et Kak
Dynamique Couleurs Priodique
Page 13
13 2.2 classification et codage exemples de codage Tajima et
Iwakawa Statique Couleurs Absolu
Page 14
14 2.2 classification et codage exemples de codage Griffin,
Narasimhan et Yee Dynamique Couleurs Absolu
Page 15
15 2.2 classification et codage notre choix PLAN IMAGE PLAN
PROJECTEUR
Page 16
16 2.3 applications mtrologie Laser Camra linaire Plaque
mtallique Garcia, Garcia, Obeso et Fernandez Projecteur Verre dpoli
Camra Profil analys Mouaddib, Brassart et Fofi Profilomtrie pour
des plaques mtalliques. Une camra linaire observe un point de
surbrillance projet sur la surface de la plaque mtallique.
Profilomtrie pour des plaques de verre. Le verre est illumin par un
motif binaire, la dformation du motif se projette sur du verre
dpoli observ par la camra.
Page 17
17 2.3 applications anthropomtrie Plan de base Plan de rfrence
Plan image Diapositive Sotoca, Buendia, Iesta Mesure des
dformations pathologiques du dos. Une grille code est projete sur
le dos des patients. La calibration consiste projeter cette grille
sur un plan de rfrence et sur un plan de base. Par des calculs,
bass sur la similarit des triangles, une image de profondeur est
obtenue partir des donnes de l image.
Page 18
18 2.3 applications robotique Robotique sous-marine. Le capteur
est enferm dans un caisson en plexiglass. La ligne de vue est
diffracte deux fois. La ligne de base nest plus constante.
Robotique extra-terrestre : Pathfinder. Deux lasers sont diffracts
en quinze faisceaux coplanaires et observs par les camras. camra
laser Matthies, Balch, Wilcox camra miroir rayon laser Plexiglass
Air Eau ligne de base ligne de base effective Chantier, Clark et
Umasuthan
Page 19
19 3. segmentation et dcodage 3.1 lments de colorimtrie 3.2
segmentation de limage 3.3 dcodage du motif 3.4 rsultats
exprimentaux
Page 20
20 3.1 lments de colorimtrie La colorimtrie, ou mtrique des
couleurs, est la science qui permet de chiffrer et mesurer les
couleurs. Trois paramtres dfinissent la couleur : La teinte Le degr
de puret (saturation) Le facteur de clart (luminance) quest-ce que
la couleur ? Le principe de la trivariance visuelle pose que le
mlange de trois radiations indpendantes permet de reproduire toutes
les impressions colores. Les couleurs de base sont appels couleurs
primaires ; celles qui, mlanges aux primaires, donnent du blanc,
couleurs secondaires.
Page 21
21 3.1 lments de colorimtrie espace de couleurs Un espace des
couleurs est une reprsentation gomtrique des couleurs dans un
espace gnralement tri-dimensionnel. Un espace chromaticit constante
est un espace au sein duquel les distances reprsentent
approximativement les diffrences de couleur perues par loeil Loi de
Weber-Fechner
Page 22
22 3.2 segmentation de limage Image en Lumire Structure
Couleurs RGB Image en Lumire Structure Couleurs Lab Image de
Luminance (L) Image de Chromaticit (a, b) Traitements Bas-Niveau
Dcodage du Patron de Lumire Image Segmente et Dcode Points
d'Intersection Segments Horizontaux et Verticaux schma gnral 1.
Traitements bas-niveau 2. Points dintersection 3. Dcodage
Page 23
23 3.2 segmentation de limage traitements bas-niveau
originalegalisation binarisation squelettisationHough
Page 24
24 3.2 segmentation de limage points dintersection Calcul de
lintersection entre horizontales et verticales Si t=0 : droites
parallles Sinon, le point dintersection est x/t, y/t.
26 3.3 dcodage du motif mesures dans ab 1 Les classes sont bien
discrimines. 2 Elles sont loignes des mesures thoriques. 3 Elles
semblent se rapprocher du point dachromatisme. 4 Le positionnement
relatif des six classes est respect. Utiliser un algorithme de
coalescence pour partitionner les mesures en six classes. Utiliser
le positionnement relatif des classes pour initialiser
lalgorithme.
Page 27
27 3.3 dcodage du motif algorithme de coalescence 1 Choisir n
centres de classe (n = 6) 2... Crer une nouvelle partition en
affectant chaque vecteur au centre de la classe qui est la plus
proche (au sens de lcart chromatique : ) 3 Calculer les centres de
gravit des classes ainsi obtenues. 4 Rpter les tapes 2 et 3 jusqu'
stabilisation.
Page 28
28 1 Calculer le centre de gravit de tous les points mesurs
dans lespace ab. 2 Extraire le point dont la composante b est la
plus leve (suppos jaune). 3 Calculer lcart chromatique d entre ces
deux points. 4 Initialiser le centre de la classe i : 3.3 dcodage
du motif initialisation de lalgorithme
Page 29
29 3.4 rsultats exprimentaux segmentation
Page 30
30 3.4 rsultats exprimentaux segmentation
Page 31
31 3.4 rsultats exprimentaux segmentation
Page 32
32 3.4 rsultats exprimentaux analyse quantitative
Page 33
33 3.4 rsultats exprimentaux dcodage
Page 34
34 4. reconstruction tri-dimensionnelle 4.1 modlisation et
calibration 4.2 proprits du capteur 4.3 auto-calibration du capteur
4.4 rsultats exprimentaux
Page 35
35 4.1 modlisation et calibration Axe optique Repre du monde
Repre de la camra Repre rtinien Repre image x x y y z z (u 0, v 0 )
Calibrer, cest estimer la matrice de passage dun point 3D exprim
dans le repre du monde son image exprime en pixels dans le repre
image. principe
Page 36
36 4.1 modlisation et calibration camra YwYw XwXw ZwZw OwOw Un
mouvement rigide Une projection 3-D / 2-D Un changement de
coordonnes
Page 37
37 4.1 modlisation et calibration projecteur Un projecteur de
lumire peut tre vu comme une camra oprant lenvers, en inversant le
sens de la ligne de vue. Gomtriquement, il ny a aucune diffrence
entre une camra et un projecteur. Lun et lautre peuvent donc tre
modliss de la mme manire. Pour calibrer le projecteur, une solution
consiste relever les coordonnes des traces lumineuses projetes la
surface dune mire de calibration.
Page 38
38 4.2 proprits du capteur test de colinarit spatiale S R Q P
Les birapports du motif et de limage sont gaux si les 4 points sont
colinaires.
Page 39
39 4.2 proprits du capteur test de coplanarit p o'p' q'r' s' o
qr s {o;p,q,r,s}={o';p',q',r'} Les birapports du motif et de limage
sont gaux si les 5 points sont coplanaires.
Page 40
40 4.2 proprits du capteur stabilit du birapport Erreur sur les
birapports - bruit de 0 0.5d (d est la distance entre 2 points
successifs) Nota : pour comparer les birapports, une distance
projective est ncessaire. Mthode des birapports alatoires [ K.
Astrm, L. Morin, "Random cross-ratios", Research Report nrt 88
imag-14, LIFIA, 1992].
Page 41
41 4.2 proprits du capteur validit du modle affine m n m' n'
Valide si 0 projection affine
Page 42
42 4.3 autocalibration du capteur autocalibration : tat de lart
Les quations de Kruppa [Faugeras, Maybank, Luong, Hartley]
Stratification des gomtries : - paramtres intrinsques constants
[Hartley, Heyden, Astrm] - contraintes Euclidiennes [Boufama, Mohr,
Veillon]
Page 43
43 4.3 autocalibration du capteur autocalibration : tat de lart
+ = MOUVEMENT DU PROJECTEUR MOUVEMENT DES POINTS 3D LE MOTIF GLISSE
SUR LES OBJETS RECONSTRUCTION A PARTIR DUNE VUE ET DUNE PROJECTION
CAMERA + PROJECTEUR CAPTEUR HETEROGENE LES PARAMETRES INTRINSEQUES
NE PEUVENT ETRE CONSTANTS Reconstruction projective + contraintes
Euclidiennes
Page 44
44 4.3 autocalibration du capteur reconstruction projective n
images composes de m points... m ij : point image P j : matrice de
projection M j : point objet (U ij, V ij ) : coord. pixels
Page 45
45 Une solution unique ne peut pas tre calcule puisque... W
matrice 4x4 inversible : une colination de lespace 3-D 4x4 - 1
(chelle) = 15 degrs de liberts, donc... 5 points objets sont
choisis comme base projective. On leur affecte les coordonnes de la
base canonique. RECONSTRUCTION PROJECTIVE (distances, angles et
parallelisme ne sont pas conservs) 4.3 autocalibration du capteur
reconstruction projective
Page 46
46 4.3 autocalibration du capteur contraintes euclidiennes Les
transformations Euclidiennes forment un sous-groupe des
transformations projectives : Il existe une colination W qui
redresse la reconstruction projective en reconstruction Euclidienne
TRADUIRE DES CONNAISSANCES EUCLIDIENNES SUR LES POINTS 3-D EN
CONTRAINTES SUR LES ELEMENTS DE W. Apparier 5 points projectifs
avec leur correspondant Euclidiens ? OUI, MAIS... Les coordonnes
Euclidiennes des points sont rarement disponibles sils le sont :
les points dintersection du motif doivent se projeter prcisment sur
les points connus.
Page 47
47 4.3 autocalibration du capteur contraintes du paralllogramme
CARRE PROJETE SUR UNE SURFACE PLANE IMAGE OBTENUE A B C D On prend
lhypothse que le capteur a un comportement affine.
Page 48
48 4.3 autocalibration du capteur contraintes dalignement Motif
Plan vert. Plan horiz. Points appartenant des plans verticaux ou
horizontaux. Distance arbitraire entre 2 plans de mme orientation.
Un point dintersection choisi comme origine.
Page 49
49 4.3 autocalibration du capteur contraintes dorthogonalit Si
la condition n est pas vrifie Contrainte dorthogonalit rduite :
A'B' A'C' = (x A' - x B' )(x A' - x C' )+ (y A' - y B' )(y A' - y
C' )+ (z A' - z B' )(z A' -z C' ) = 0 (x A' - x B' )(x A' - x C' )+
(y A' - y B' )(y A' - y C' ) = 0 Traces lumineuses Plans de lumire
Lignes projetes Surfaces planes A C B A' B' C'
Page 50
50 4.3 autocalibration du capteur exemple Une contrainte
dalignement : x A' = x B' (relation entre 2 points Euclidiens
inconnus) On a : [x A' ; y A' ; z A' ; t A' ] T = W [x A ; y A ; z
A ; t A ] T [x B' ; y B' ; z B' ; t B' ] T = W [x B ; y B ; z B ; t
B ] T Alors : W 1i x A = W 1i x B (relation entre 2 points
projectifs connus) Le systme dquations est rsolu par Levenberg-
Marquardt. 15 contraintes indpendantes sont ncessaires (W est
dfinie un facteur dchelle prs)
Page 51
51 4.4 rsultats exprimentaux test de colinarit Birapport
thorique (motif) = 1.3333 Birapport mesur (image) = 1.3287 Erreur
projective =6.9 10 -4 Dcision = les points sont colinaires
Birapport thorique (motif) = 1.3333 Birapport mesur (image) =
1.3782 Erreur projective =6.2 10 -3 Dcision = les points ne sont
pas colinaires
Page 52
52 4.4 rsultats exprimentaux test de coplanarit Birapport
thorique (motif) = 2 Birapport mesur (image) = 1.96 Erreur
projective =2.2 10 -3 Dcision = les points sont coplanaires
Birapport thorique (motif) = 2 Birapport mesur (image) = 2.186
Erreur projective =5.9 10 -3 Dcision = les points ne sont pas
coplanaires
Page 53
53 4.4 rsultats exprimentaux simulations retro-projection des
points 3D points sur les plans images (cercles : points
synthtiques, croix : retro-projections)
Page 54
54 4.4 rsultats exprimentaux scnes relles
Page 55
55 5. fonctions visuelles pour la navigation 5.1 dtection
dobstacles 5.2 dtection du mouvement 5.3 estimation du mouvement
5.4 rsultats exprimentaux
Page 56
56 5.1 dtection dobstacles Quasi-verticale dans l'image
Obstacle principe Le systme de vision est plac de manire ce quune
verticale du motif projete sur une paroi verticale donne une
verticale dans limage. Alors la dtection dune quasi-verticale dans
limage quivaut la dtection dun obstacle dans la scne.
Page 57
57 5.1 dtection dobstacles carte de lespace libre 1 On attribue
chaque lment vertical du motif une tiquette E i [1 ; 29]. 2 On
projette les points reconstruits sur le plan du sol sous la
contrainte : 3 Pour un ensemble de points ayant la mme tiquette, on
ne garde que celui dont la distance au robot est la plus courte
:
Page 58
58 5.1 dtection dobstacles rsultats
Page 59
59 5.1 dtection dobstacles rsultats
Page 60
60 5.2 dtection du mouvement mouvement apparent En vision en
lumire structure, on appellera mouvement apparent le dplacement
d'un mme lment de motif (gnralement, les lments de motif considrs
sont les points d'intersection) d'une image sur l'autre aprs un
dplacement du capteur.
Page 61
61 mouvements singuliers Projecteur Camra Projecteur Camra
mouvement perpendiculaire la normale dun plan mouvement de rotation
autour de laxe de rvolution LE MOUVEMENT APPARENT EST NUL 5.2
dtection du mouvement
Page 62
62 effet de bord Translation du projecteur 5.2 dtection du
mouvement Le motif est projet sur une surface. Le mouvement du
capteur fait quun lment de motif passe brusquement dune surface une
autre.
Page 63
63 5.3 estimation du mouvement objectif (R, t) O' c OcOc
Estimer le dplacement du capteur dans un environnement statique.
Reprer les mouvements aberrants pour dtecter la prsence dobstacles
mobiles.
Page 64
64 5.3 estimation du mouvement dplacement des plans Perte des
points 3D, donc les plans sont utiliss comme primitives. On a : En
combinant :
Page 65
65 quations des plans 5.3 estimation du mouvement Avec 3 points
: Avec n points : La plus petite valeur propre associe la matrice
semi-dfinie positive :
Page 66
66 mise en correspondance 5.3 estimation du mouvement 1 Ecart
angulaire : 2 Si : (Ne dpend que des paramtres de rotation) (Dpend
des paramtres de rotation et de translation)
Page 67
67 extraction des paramtres 5.3 estimation du mouvement
Reprsentation RPY (Roll, Pitch, Yaw)
Page 68
68 5.3 rsultats exprimentaux description H Un cube de 100mm
darte, dont le dplacement est donn par la matrice H Cest partir des
6 plans du cube quon ralisera la mise en correspondance et
lestimation du dplacement.
Page 69
69 5.3 rsultats exprimentaux simulations : MeC = 0.05 Paramtres
fixs : Rsultats (50 mesures pour chaque niveau de bruit, pour les 6
plans du cube) : bruit = 4 mm
Page 70
70 5.3 rsultats exprimentaux simulations : dplacement bruit =
1mm Translation de 100mm suivant z : Rotation de /4 autour de z
:
Page 71
71 6. conclusions et perspectives Mise en correspondance fiable
et rapide. Traitements simplifis par rapport la vision classique.
Les outils fondamentaux utiles la navigation (autocalibration,
obstacles, mouvement) sont applicables la vision en lumire
structure. La projection dun motif structurant permet un bon
compromis entre les mthodes robotiques bases sur les lumires
structures mono- dimensionnelles et la strovision. Dpendance
vis--vis de la luminosit ambiante. Surfaces de couleurs peu satures
privilgies. Amlioration des algorithmes proposs...