1T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificación
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
2T2. Visión Estereoscópica
Correspondencia = hallar pares de elementos homólogos
Uno de los problemas más difíciles de visión por computador:• Necesidad de restringir la búsqueda
Restricciones• Geométricas: epipolar, unicidad, orden• De consistencia: continuidad, jerárquicas
El problema de la correspondenciaEl problema de la correspondencia
3T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• ...
El problema de la correspondenciaRestricciones
Restricciones geométricasRestricciones de consistencia
• Métodos de correspondenciaMétodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
4T2. Visión Estereoscópica
Restricción epipolar:• Debida a la proyección perspectiva• Reduce el espacio de búsqueda de 2D a 1D
Restricciones geométricasRestricciones geométricas
5T2. Visión Estereoscópica
Restricción epipolar en geometría paralela (o imágenes rectificadas):• El elemento homólogo está en la misma fila de la
otra imagen.
Restricciones geométricasRestricciones geométricas
⎥⎦
⎤⎢⎣
⎡=⎥
⎦
⎤⎢⎣
⎡=
vu
mvu
m 22
11 ,
21 uud −=Disparidad:
m1 m2
6T2. Visión Estereoscópica
Restricción de unicidad:• El número de elementos homólogos es ≤ 1
Restricciones geométricasRestricciones geométricas
A
a
¿a’?
b
b’
B
b tiene homólogo b’;a no tiene homólogo,
debido a una oclusión
Excepción: trasparencias
7T2. Visión Estereoscópica
Restricción de orden:• Los homólogos a’,b’ de dos elementos a,b están
en el mismo orden
Restricciones geométricasRestricciones geométricas
A
a a’b b’
B
8T2. Visión Estereoscópica
Restricción de continuidad:• Basada en la propiedad de cohesión de la materia• Numerosas versiones
Límite en el gradiente de disparidad
Restricciones de consistenciaRestricciones de consistencia
disp
arid
ad
u
disp
arid
ad
u
9T2. Visión Estereoscópica
Restricción de continuidad:• Basada en la propiedad de cohesión de la materia• Numerosas versiones
Límite en el gradiente de disparidadGradiente de disparidad en bordes conectados
Restricciones de consistenciaRestricciones de consistencia
10T2. Visión Estereoscópica
Otras restricciones• Restricciones jerárquicas:
Basadas en jerarquía de primitivasEjemplo:
- Correspondencia de esquinas- Correspondencia de bordes
• Más de dos cámaras: más restricciones geométricas
3 cámaras: el tensor trifocal
Restricciones de consistenciaRestricciones de consistencia
11T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• ...
El problema de la correspondencia• Restricciones
Restricciones geométricasRestricciones de continuidad
Métodos de correspondenciaMétodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
12T2. Visión Estereoscópica
Métodos de correspondencia:
• Métodos basados en áreas / intensidadExplotan la intensidad de los pixeles (uso de ventanas)
• Métodos basados en primitivas / característicasExplotan las primitivas de alto nivel de la imagen, con atributos distintivos
El problema de la correspondenciaEl problema de la correspondencia
13T2. Visión Estereoscópica
Correspondencia basada en correlación:• Similitud de intensidades entre el vecindario del
pixel y el vecindario de cada candidato
El problema de la correspondenciaEl problema de la correspondencia
dmax dmin
I1 I2
14T2. Visión Estereoscópica
Correspondencia basada en correlación:• Similitud de intensidades entre el vecindario del
pixel y el vecindario de cada candidato
El problema de la correspondenciaEl problema de la correspondencia
dmax dmin
I1 I2
15T2. Visión Estereoscópica
Correspondencia basada en correlación:• Similitud de intensidades entre el vecindario del
pixel y el vecindario de cada candidato
El problema de la correspondenciaEl problema de la correspondencia
dmax dmin
I1 I2
16T2. Visión Estereoscópica
Correspondencia basada en correlación:• Similitud de intensidades entre el vecindario del
pixel y el vecindario de cada candidato
El problema de la correspondenciaEl problema de la correspondencia
dmax dmin
I1 I2
17T2. Visión Estereoscópica
Correspondencia basada en correlación:• Métodos basado en áreas / intensidad
• Correlación: Mide similitud entre vecindarios
• Métodos de correlaciónBasados en SSD (sumas de cuadrados de diferencias)Basados en CC (correlación cruzada)
El problema de la correspondenciaEl problema de la correspondencia
18T2. Visión Estereoscópica
Correspondencia basada en correlación:• Ventana de correlación
El problema de la correspondenciaEl problema de la correspondencia
( )∑ ∑+
−=
+
−=
2/
2/
2/
2/
1
1
1
1
...nu
nui
mv
mvjI1
mn xTamaño
(u1,v1)
u1-n/2 u1+n/2i
j
v1+m/2
v1-m/2
19T2. Visión Estereoscópica
Métodos de correlación:• SSD: suma de diferencias
• CC: coseno del ángulo de 2 vectores
El problema de la correspondenciaEl problema de la correspondencia
( )∑ ∑+
−=
+
−=
+−=2/
2/
2/
2/
22111
1
1
1
1
),(),(1),,(nu
nui
mv
mvjSSD jdiIjiI
nmdvuC
∑ ∑+
−=
+
−=
+=2/
2/
2/
2/2111
1
1
1
1
),(),(1),,(nu
nui
mv
mvjCC jdiIjiI
nmdvuC
20T2. Visión Estereoscópica
Dependencia de la iluminación
El problema de la correspondenciaEl problema de la correspondencia
I1 I2
dmax dmin
21T2. Visión Estereoscópica
Correlación normalizada:• ZNSSD: suma de diferencias al cuadrado
• ZNCC: coseno del ángulo de 2 vectores
El problema de la correspondenciaEl problema de la correspondencia
( ) ( )( )∑∑ ++−+−−
=i j
ZNSSD vduvuvduIjdiIvuIjiI
nmdvuC
),(),(),(),(),(),(1),,(
112111
211221111
11 σσ
( )( )∑∑ ++−+−
=i j
ZNCC vduvuvduIjdiIvuIjiI
nmdvuC
),(),(),(),(),(),(1),,(
112111
1122111111 σσ
),,(0 11 dvuCZNSSD≤¡minimizar!
1),,(1 11 ≤≤− dvuCZNCC
¡maximizar!22T2. Visión Estereoscópica
Resumen de métodos de correlación:• SSD• ZSSD = SSD + restar medias
• ZNSSD = ZSSD + dividir por σ1 σ2
• CC: es inestable
• ZNCC = CC + restar medias + dividir por σ1 σ2
Características• Requiere imágenes rectificadas
• Coste elevado, O(NMnmD)
El problema de la correspondenciaEl problema de la correspondencia
23T2. Visión Estereoscópica
Ventajas• Mapa de disparidades denso• Fácil de implementar por hardware• Fácil de paralelizar• Precisión subpixel
Desventajas• Dificultad en áreas poco texturadas• Asume disparidad constante → dificultad en
oclusiones y discontinuidades en la profundidad
El problema de la correspondenciaEl problema de la correspondencia
sim
ilitu
d
dmin dmax
24T2. Visión Estereoscópica
Dificultad en áreas poco texturadas
El problema de la correspondenciaEl problema de la correspondencia
25T2. Visión Estereoscópica
Dificultad en áreas poco texturadas
El problema de la correspondenciaEl problema de la correspondencia
26T2. Visión Estereoscópica
Dificultad en oclusiones y discontinuidades en la profundidad
El problema de la correspondenciaEl problema de la correspondencia
27T2. Visión Estereoscópica
Dificultad en oclusiones y discontinuidades en la profundidad
El problema de la correspondenciaEl problema de la correspondencia
28T2. Visión Estereoscópica
Influencia del tamaño de la ventana• A mayor tamaño
Superficie/disparidad más suave (menor precisión)Más dificultad en oclusiones y discontinuidadesMenos probabilidad de errores (‘artifacts’)
Maximizar es una decisión local → Necesidad de aumentar la consistencia
El problema de la correspondenciaEl problema de la correspondencia
29T2. Visión Estereoscópica
Incrementar la consistencia• Niveles de resolución
El problema de la correspondenciaEl problema de la correspondencia
sim
ilitu
d
dmin dmax
sim
ilitu
d
dmin dmax
30T2. Visión Estereoscópica
Evitar problemas en las oclusiones y disc. prof.• Ventana adaptativa
El problema de la correspondenciaEl problema de la correspondencia
31T2. Visión Estereoscópica
Evitar problemas en las oclusiones y disc. prof.• Ventana adaptativa• Ventana múltiple
El problema de la correspondenciaEl problema de la correspondencia
Se toma el resultado de la mejor de las 9 ventanas
5x5
32T2. Visión Estereoscópica
Evitar problemas en las oclusiones y disc. prof.• Ventana adaptativa• Ventana múltiple• Ventana con máscara (a partir de información de
bordes)
El problema de la correspondenciaEl problema de la correspondencia
33T2. Visión Estereoscópica
Métodos basados en programación dinámica
El problema de la correspondenciaEl problema de la correspondencia
u’
u
u u’
a’b’c’...
a b c ...34T2. Visión Estereoscópica
Métodos basados en programación dinámica• Calcular el camino de mínimo coste• Espacio de búsqueda:
El problema de la correspondenciaEl problema de la correspondencia
u’
ua’b’c’...
a b c ...
d
udmin
dmax
a b c ...Coordenadas absolutas Coordenadas relativas
(disparidades)
35T2. Visión Estereoscópica
Métodos basados en programación dinámica• Calcular el camino de mínimo coste• Espacio de búsqueda• Considera todos los posibles caminos:
El problema de la correspondenciaEl problema de la correspondencia
u’
u
La probabilidad de (u, u’) depende de (u-1, y), donde y∈{0..u’-1}
Camino creciente
36T2. Visión Estereoscópica
Métodos basados en programación dinámica• Calcular el camino de mínimo coste• Espacio de búsqueda• Considera todos los posibles caminos:
El problema de la correspondenciaEl problema de la correspondencia
u’
u
Coste de (u, u’) + mínimo {coste camino hasta (u-1, y) + salto de (u-1, y) a (u, u’)},
y∈[0..u’-1]
Programación dinámica
37T2. Visión Estereoscópica
Métodos basados en programación dinámica• Calcular el camino de mínimo coste• Espacio de búsqueda• Considera todos los posibles caminos
• Coste computacional: O ( N2D2 )
El problema de la correspondenciaEl problema de la correspondencia
D
38T2. Visión Estereoscópica
Métodos basados en programación dinámica• Representación de las oclusiones
El problema de la correspondenciaEl problema de la correspondencia
39T2. Visión Estereoscópica
Métodos basados en programación dinámica• Representación de las oclusiones
Permite modelar las oclusiones como parte del problemaCompromiso entre detección de oclusiones y restricción de continuidadSensibilidad al coste de las oclusiones
• Mapa de disparidades denso• Eficiencia de la programación dinámica• Consistencia global a lo largo de cada línea
epipolar¿Consistencia entre líneas epipolares adyacentes?
El problema de la correspondenciaEl problema de la correspondencia
40T2. Visión Estereoscópica
Métodos basados en programación dinámica
El problema de la correspondenciaEl problema de la correspondencia
41T2. Visión Estereoscópica
Métodos basados en programación dinámica
El problema de la correspondenciaEl problema de la correspondencia
42T2. Visión Estereoscópica
Métodos basados en corte de flujo máximo en un grafo dirigido:
El problema de la correspondenciaEl problema de la correspondencia
[Boykov-Veksler-Zahib, 1999]
43T2. Visión Estereoscópica
Métodos basados en corte de flujo máximo en un grafo dirigido:• Óptimo global: problema intratable• Óptimo local
Es posible encontrar un óptimo local con ciertas garantías de calidadMétodo de búsqueda: minimización de energía
- Simulated annealing- Algoritmo “expansion move”
El problema de la correspondenciaEl problema de la correspondencia
Mínimo local
Mínimo global44T2. Visión Estereoscópica
Métodos basados en corte de flujo máximo en un grafo dirigido:
El problema de la correspondenciaEl problema de la correspondencia
Con programación
dinámica
Con cortes de máximo flujo de un grafo
45T2. Visión Estereoscópica
Métodos cooperativos o volumétricos: • Volumen 3D + relajación probabilística
El problema de la correspondenciaEl problema de la correspondencia
[Zitnik-Kanade, 2000]
d
xy
46T2. Visión Estereoscópica
Métodos cooperativos o volumétricos: • Valores iniciales: correlación• Difusión anisotrópica (diferente en cada dirección):
Difundir soporte entre ciertos vecinosInhibir soporte entre vecinos de la misma línea de vista
El problema de la correspondenciaEl problema de la correspondencia
47T2. Visión Estereoscópica
Métodos cooperativos o volumétricos:
El problema de la correspondenciaEl problema de la correspondencia
Coope-rativo
Progr. dinám.
Groundtruth
48T2. Visión Estereoscópica
Métodos cooperativos o volumétricos:
El problema de la correspondenciaEl problema de la correspondencia
Coope-rativo
Flujo máx.
Groundtruth
49T2. Visión Estereoscópica
Métodos cooperativos o volumétricos: • Difusión / Inhibición de soporte entre todos los
pares posibles• Coste espacial O(N2D) y temporal O(N2DI), I=nº
iteraciones• Fundamentos y metodología son muy heurísticos• Mapa de disparidades denso• Se pueden obtener las oclusiones
El problema de la correspondenciaEl problema de la correspondencia
50T2. Visión Estereoscópica
Métodos basados en primitivas
El problema de la correspondenciaEl problema de la correspondencia
• regiones ↑ contenido semántico• “junctions” ↓ no. primitivas/imagen• segm. curvos ↑ dispersión• segm. lineales ↑ dificultad de extracción• ptos. de bordes ↑ robustez
Métodos jerárquicos
Primitivas Características
51T2. Visión Estereoscópica
Métodos basados en primitivas• Similitud de atributos xi entre dos primitivas
El problema de la correspondenciaEl problema de la correspondencia
wi ( xi – x’i )Σi
Diferencia de valor del atributo i-ésimo
Peso del atributo i -ésimo
d(m , m’)=
Distancia entre 2 primitivas
52T2. Visión Estereoscópica
Métodos basados en áreas• Mapa de disparidades denso • Precisión subpixel• Problemas en presencia de discontinuidades y
oclusionesMétodos basados en características• Mapa de disparidades disperso• Resultados robustos • Eficiencia (menos elementos)
El problema de la correspondenciaEl problema de la correspondencia
53T2. Visión Estereoscópica
Métodos basados en grafos
El problema de la correspondenciaEl problema de la correspondencia
a b c 1 2 3d
b, 2b, 3
c, 2
c, 3
a, 2a, 3
a, 1
d, 2d, 3
?
54T2. Visión Estereoscópica
Métodos basados en grafos
El problema de la correspondenciaEl problema de la correspondencia
a b c 1 2 3d
b, 2b, 3
c, 2
c, 3
a, 2a, 3
a, 1
d, 2d, 3
?
55T2. Visión Estereoscópica
Métodos basados en grafos
El problema de la correspondenciaEl problema de la correspondencia
a b c 1 2 3d
b, 2b, 3
c, 2
c, 3
a, 2a, 3
a, 1
d, 2d, 3
56T2. Visión Estereoscópica
Métodos basados en grafos
El problema de la correspondenciaEl problema de la correspondencia
a b c 1 2 3d
b, 2b, 3
c, 2
c, 3
a, 2b, 1
a, 1
d, 2d, 3
57T2. Visión Estereoscópica
Métodos basados en grafos • Para deshacer ambigüedades
Añadir pesos en los nodos (similitud)Añadir pesos en los arcos (compatibilidad)Método de relajación para difundir soporte entre nodos más probables
El problema de la correspondenciaEl problema de la correspondencia
b, 2b, 3
c, 2
c, 3
a, 2b, 1
a, 1
d, 2d, 3
[Horaud-Skordas, 1989] 58T2. Visión Estereoscópica
Métodos basados en grafos • Para deshacer ambigüedades
Añadir pesos en los nodos (similitud)Añadir pesos en los arcos (compatibilidad)Método de relajación para difundir soporte entre nodos más probables
• Principal desventaja:Búsqueda del clique máximo más grande: problema NP-duro
• Mapa de disparidades disperso
El problema de la correspondenciaEl problema de la correspondencia
59T2. Visión Estereoscópica
Métodos basados en relajación probabilística
El problema de la correspondenciaEl problema de la correspondencia
a b c 1 2 3d
a
b
c
d
1 2
1 2 3
2 3
2 360T2. Visión Estereoscópica
Métodos basados en relajación probabilística
El problema de la correspondenciaEl problema de la correspondencia
a b c 1 2 3d
a
b
c
d
1 2
1 2 3
2 3
2 3
Incompati-bilidades
(debidas a restricciones)
61T2. Visión Estereoscópica
Métodos basados en relajación probabilística
El problema de la correspondenciaEl problema de la correspondencia
a
b
c
d
1 2
1 2 3
2 3
2 3
Correspondencia estéreo Problema de etiquetado
λ
λ
λ
λ
N objetos M+1 etiquetas
62T2. Visión Estereoscópica
Métodos basados en relajación probabilística• Problema de etiquetado
• Sistema de probabilidades pijMejor candidato compatibleProbabilidad de no tener homólogo
El problema de la correspondenciaEl problema de la correspondencia
a
b
c
d
1 2
1 2 3
2 3
2 3
λ
λ
λ
λ
Suman 1
63T2. Visión Estereoscópica
Métodos basados en relajación probabilística• Problema de etiquetado
• Sistema de probabilidades pijMejor candidato compatibleProbabilidad de no tener homólogo
• Algoritmo iterativoRegla de Bayes
pij(n+1) se modifica en función de la pij
(n) de
los nodos conectados al nodo (i,j) y su compatibilidad con ellos
El problema de la correspondenciaEl problema de la correspondencia
64T2. Visión Estereoscópica
Métodos basados en relajación probabilística• Aplicación a correspondencia de carreteras (road
mapping)
El problema de la correspondenciaEl problema de la correspondencia
65T2. Visión Estereoscópica
Métodos basados en relajación probabilística• Búsqueda del mejor candidato compatible• Coste polinomial • Fundamentos y metodología son muy heurísticos• Basados en primitivas• ¿Oclusiones?
El problema de la correspondenciaEl problema de la correspondencia
66T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificació
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
Mapa de disparidades, oclusiones, consistenciaConclusiones
67T2. Visión Estereoscópica
Los métodos de correspondencia se diferencian en• Tipo de elemento (áreas / primitivas)• Espacio de búsqueda y restricciones• Estrategia de búsqueda
Características importantes• Mapa de disparidades denso• Consistencia en la correspondencia• Detección de oclusiones y discontinuidades en la
profundidad
El problema de la correspondenciaEl problema de la correspondencia
68T2. Visión Estereoscópica
Métodos basados en características:• Mapa de disparidades disperso
Métodos jerárquicos• Post-proceso para obtener estructura 3D
Descriptores a partir de los datos dispersos- Interpolación de datos 3D- Tener en cuenta las discontinuidades
El problema de la correspondenciaEl problema de la correspondencia
2D
69T2. Visión Estereoscópica
Métodos basados en áreas:• Mapa de disparidades denso
Consistencia elevada• Post-proceso para obtener estructura 3D
Segmentación de datos de rango- Agrupamiento de datos 3D- Tener en cuenta las discontinuidades
El problema de la correspondenciaEl problema de la correspondencia
2D 70T2. Visión Estereoscópica
Consistencia:• Decisiones locales
Métodos basados en correlación• Incrementar la consistencia
Optimización global de una función objetivo- Problema NP-duro- Coste elevado
Optimización local con garantías de calidad- Sensibles a la estimación inicial- Técnicas multinivel
- Reduce sensibilidad - Acelera convergencia
El problema de la correspondenciaEl problema de la correspondencia
71T2. Visión Estereoscópica
Oclusiones y discontinuidades:• Métodos basados en características
Elementos sin correspondencia debido a :- Oclusiones, ruido, limitaciones de
algoritmos de extracción- ⇒ Dificultad en modelado de oclusiones
Post-proceso para obtener estructura 3D (interpolación) ⇒ método capaz de detectar discontinuidades
El problema de la correspondenciaEl problema de la correspondencia
72T2. Visión Estereoscópica
Oclusiones y discontinuidades:• Métodos basados en áreas
Suposición de superficie contínua (correlación)Preservación de discontinuidades
- Métodos cooperativos Detección explícita de oclusiones y disc.
- Métodos basados en programación dinámica y flujo máximo
El problema de la correspondenciaEl problema de la correspondencia
73T2. Visión Estereoscópica
ÍndiceÍndice
Introducción• ¿Qué es la visión estereoscópica?
Geometría de un sistema binocular• Geometría de la proyección• Geometría binocular. Matriz fundamental• Rectificació
El problema de la correspondencia• Restricciones• Métodos de correspondencia
Métodos basados en áreasMétodos basados en primitivas
• Mapa de disparidades, oclusiones, consistenciaConclusiones
74T2. Visión Estereoscópica
Visión estereoscópica: uno de los problemas más difíciles de la visión por computador
Muchos métodos, muy diversas características
Numerosas líneas abiertas de investigación
ConclusionesConclusiones
75T2. Visión Estereoscópica
BibliografíaBibliografía
Revisión de técnicas stereo:• Brown and Hager; Advances in computational
stereo. IEEE Trans. on PAMI, vol. 25, nº 8, pp. 993-1007, 2003
Métodos basados en correlación• Devernay and Faugeras; Computing differential
properties of 3-D shapes from stereoscopic images without 3-D models, Proc. IEEE conf. CVPR, pp. 208-213, 1994
• Kanade et al, A stereo machine for video-rate dense depth mapping and its new applications, IEEE Int. Conf on CVPR.
76T2. Visión Estereoscópica
BibliografíaBibliografía
Métodos basados en programación dinámica:• Geiger, Ladendorf and Yuille; Occlusions and
binocular stereo, IJCV, pp. 221-226, 1995• Bobick and Intille; Large Occlusion Stereo, IJCV,
1999.Métodos basados en grafos y flujo máximo• Boykov, Veksler and Zahib, A new algorithm for
energy minimization with discontinuities, Energy Minimization Methods in CVPR, pp. 205-220, 1999
Métodos basados en grafos y cliques máximos• Horaud and Skordas, Stereo correspondence
through feature grouping and maximal cliques, IEEE Trans. on PAMI, pp. 1168-1989, 1989
77T2. Visión Estereoscópica
BibliografíaBibliografía
Métodos cooperativos o volumétricos:• Marr and Poggio; Cooperative computation of
stereo disparity, Science, 194, pp. 283-287, 1976• Zitnick and Kanade; A cooperative algorithm for
stereo matching and occlusion detection, PAMI, vol 22, Nº 7, pp. 675-684, 2000.
Métodos basados relajación probabilística• Christmas, Kittler and Petrou; Structural matching
in computer vision using probabilistic relaxation, PAMI, vol 17, Nº 8, pp. 749-764, 1995