Embed Size (px)
Citation preview
7
Estéreo estático
Marr propuso la detección de variaciones en la intensidad de la imagen (bordes)como bosquejo primordial. Se observa que corresponde a un cruce por cero de lasegunda derivada en casi todas las direcciones(excepto la dirección del borde).Además los operadores direccionales deforman las fronteras de los objetos de ahíla aplicación de un operador no direccional como el Laplaciano (el que de todasformas tiene efectos de desplazamiento indeseables).
Derivadas segundas obtenidas en direcciones distintas sobre el mismo borde
8
Estéreo estático
La detección se aplica sobre una imagensuavizada para disminuir los efectos del ruido, alque son muy sensibles los operadores derivada
Función Gausiana debanda limitada
Operador Laplaciano
El bosquejo primordial es el cruce por cero de la función
Por la regla de la cadena de la convolución
El operador tiene la forma que se aprecia en lafigura (usualmente se presenta su opuesto en lostextos)
9
Estéreo estático
10
Estéreo estático
El cálculo de las correspondencias se beneficia delas restricciones
•Unicidad: cada item se puede asociar a no más deun valor de disparidad
•Continuidad: la disparidad varía de forma suave
El número de falsos emparejamientos esproporcional al rango de valores de disparidadconsiderado y a la escala del bosquejo primordial.
Sea wc el rango de disparidades en el bosquejo basto, wf enel bosquejo fino.Se puede considerar un rango de disparidades mayor para elbosquejo más basto (coarse) (wc>wf ). De esta formadisparidades que no se pueden detectar en el bosquejo másfino (debido al alto número de falsos emparejamientos)(izqda), se pueden detectar en el bosquejo basto.Las estimaciones de disparidad en el bosquejo basto sirvenpara alinear las imágenes y calcular la disparidad fina, yaque los pasos por cero estarán ahora en el rango dedisparidades más fino (derecha).
ALGORITMO MARR-POGGIO
•Detecta cambios de intensidad a diferentes resoluciones
•El emparejamiento de descripciones bastas controla lavergencia de los ojos, hasta alcanzar el emparejamiento
•Emparejamientos parciales se guardan en memoria deforma independiente
Las disparidades se calculan sobre el eje x (filas)
11
Estéreo estático
Implementación de Grimson
Se extraen ventanas de proceso (retinas o fóveas)sobre las que se calcula el Bosquejo Primordial adistintas resoluciones (4)Se calcula el emparejamiento comenzando por lasresoluciones más bastas.Las disparidades se calculan sobre los contornosdados por los cruces por cero.
1- Fijar las posiciones de los ojos2- Localizar los cruces por cero de una imagen3- Dividir la región en torno al pto correspondienteen la segunda imagen en 3 areas (pool), convergencia positiva, nula y negativa.4- Asignar un emparejamiento de los cruces por ceroen base a los emparejamientos potenciales en losgrupos5- Deshacer ambiguedades6- Guardar los valores de disparidad
12
Estéreo estáticoImágenes filtradas con filtros Laplacianos dediámetros 36, 18,9,4
13
Estéreo estáticoCruces por cero de las imágenes filtradas
14
Estéreo estáticoMapas de disparidades resultantes
15
Estéreo estático
Cámaras no coplanaresImágenes con ejes Y paralelos, esto es filas coplanares.baseline distancia b entre los centros ópticos OL y OR.2θ es el ángulo entre los dos ejes ópticosDsitancia focal f.
XYZ se transforma en XLYLZL mediante una rotaciónen torno al eje Y y una traslación en el eje X.
Proyección central en los planos imagende un punto (XYZ) en coordenadas dela cámara
16
Estéreo estático
Dados puntos correspondientes en las dos imágenes se pueden recuperar las coordenadas 3D en el sistema de la cámara
Reescrito como:
Triangularización
Cuando el ángulo entre los ejes ópticos es nulo (paralelos), se reduce a las ecuaciones vistas para cámaras coplanares
17
Estéreo estático
Restricciones y asunciones
• Facilitan el cálculo de correspondencias
• Dependen de las condiciones de captación– Restricción epipolar
– Unicidad, compatibilidad y similaridad
– Continuidad de las disparidades
– Compatibilidad de las características
– Limitaciones en la magnitud de la disparidad
– Ordenación de los puntos proyectados en el plano imagen
18
Estéreo estático
Restricción epipolarEl plano epipolar se define por un punto P enel espacio y los dos centros ópticos OL y OR .Las líneas que lo definen son la línea deloscentros ópticos al punto y la línea base queune los centros ópticos
Una línea epipolar es la intersección del planoimagen con el plano epipolar.
Los epipolos son las intersecciones de losplanos imagen con la línea base.
Las líneas epipolares en cámaras coplanaresson las filas de la imagen
Un punto pL en la imagen izquierda solo puedecorresponder a uno pR en la línea epipolar en laimagen derecha
19
Estéreo estático
Unicidad, compatibilidad y similaridad
Unicidad: todo pixel en una de las imágenes estéreo sólo puedecorresponder a otro pixel en otra de las imágenes
Excepción: varios puntos en una línea 3D perpenticular a unode los planos imagen
Compatibilidad de intensidades (compatibilidadfotométrica diferencial): vecinos en una de lasimágenes estéreo sólo pueden ser correspondientesa vecinos en la otra imagen si las intensidades sonsimilares y la diferencia también lo es
Similaridad geométrica: dos lineas en imágenes estéreo soncorrespondientes si su longitud y orientación es similar (su diferenciaestá por debajo de un umbral de decisión)
20
Estéreo estático
Continuidad de las disparidades
Suavidad y continuidad de las disparidades : puntos vecinos tendrándisparidades similares.
Continuidad de las disparidades a lo largo de los bordes (restricción decontinuidad en las figuras): dados puntos correspondientes sobrebordes definidos en las imágenes estéreo, los puntos vecinos sobre losbordes son correspondientes si las disparidades son similares
21
Estéreo estático
Compatibilidad de las característicasLas características extraidas sólo debencorresponderse si tienen el mismo origen físico en laescena. No son fiables los bordes que no tienen unorigen físico perceptible por ambas cámaras
Tipos de bordes:
•Bordes debidos a la orientación delassuperficies en la imagen
•Bordes de reflectacia debidos a loscambios de caracteristicas de reflectanciaen la superficie
•Bordes de iluminación debidos a efectosde iluminación
•Bordes de reflejos debidos aespecularidades de la superficie (no fiable)
•Bordes de oclusión debidos a las siluetasde los objetos frente al fondo (no fiable)
22
Estéreo estático
Límites en las disparidades
Límite de la disparidad: máximo valor de disparidad perceptible(computacionalmente sirve para limitar la búsqueda de correspondencias)
Implica la asunción de una distancia mínima de los objetos a la cámara
El gradiente de la disparidad es la variabilidad de las disparidades entre puntoscercanos. Esta variabilidad se establece en relación a la separación ciclópea dcs (ladistancia entre los puntos que veríamos con un ojo colocado entre los dos ojos). Seestablece también un límite para este gradiente que restringe la búsqueda decorrespondencias.
23
Estéreo estático
Gradiente de las disparidades
Limite en el gradiente de la disparidad
Separación ciclópea
24
Estéreo estático
Ordenación en el plano imagen
Restricción de ordenación: lospuntos que caen en una lineaepipolar en una imagenestéreo se proyectan en lalinea epipolar correspondienteen la otra imagen enexactamente el mismo orden
Esta restricción implica quetodos los objetos están auna distancia similar
25
Estéreo estático
Análisis de correspondencias basadoen la intensidad
Se extiende la restricción fotométrica abloques de la imagen (area basedstereo) que pueden corresponder apixels normales como a pixelsdetectados mediante algoritmos deextracción de caracteristicas.
Método basado en el emparejamiento de bloques.(MPEG)La imagen se divide en bloques del mismo tamaño, secalcula la correspondencia entre bloques mediantecorrelación. El proceso admite refinamientosdisminuyendo el tamaño de los bloques.
26
Estéreo estático
La medida de similitud entre bloques puede ser un error cuadrático medio. (cámaras coplanares)
Si consideramoscorrespondencias entre bloquesadyacentes no solapados ladisparidad d debe ser múltiplodel tamaño de la imagen m.
El tamaño delbloque depende delos tamaños de losobjetos, laimagen, lastexturas,etc.
Refinamientoa nivel de pixel
Restriccióndecontinuidad
27
Estéreo estático
28
Estéreo estático
Emparejamiento de líneas epipolares(asume geometría estéreo estándar (ssg) por lo que las lineas epipolares son las filasde la imagen )
Error de emparejamiento sobre lalinea epipolar para la disparidad
Perfil epipolar: las disparidadessobre una linea epipolar
Restricción de ordenación
Funcional de disimilitud acumulada dado un vector de disparidades d
El problema de determinar las disparidades se puede formular como la búsqueda delvector de disparidades minimización del funcional de disimilitud acumulada, con larestricción de ordenación.
29
Estéreo estático
Las disparidades están acotadas
Restricción de unicidad: todopixel tiene su correspondiente
La restricción de ordenación queda como
función parcial de disimilitud acumulada que se define inductivamente
30
Estéreo estático
inicialización
Cálculo de lasdisimilitudesparcialesacumulativas
Minimo global
Recuperacióndel vector dedisparidades
31
Estéreo estático
Emparejamiento de bloques enimágenes color
La constancia del color introduce robusted en el cálculo de las correspondencias.La restricción física se reescribe “puntos cercanos de la superficie tendrán coloressimilares”
RGB normalizado
Distancias aplicables
Espacio HSI
32
Estéreo estático
Error de emparejamiento de bloques,sobre el espacio RGB normalizado
El algoritmo basado en el emparejamientode bloques será el mismo que en el caso delas imágenes monócromas. Elrefinamiento para obtener el mapa densode disparidades se realizará usando ladistancia en el espacio de color
33
Estéreo estático
Análisis de correspondenciasbasados en características
(Feature based correspondence analysis)
Dos fases:
•Extracción de las características: bordes, etc
•Emparejamiento de pixeles pertenecientes a las características
Ventajas
•Se reducen las ambigüedades al disminuir el número de candidatos
•Es menos sensible a las variaciones fotométricas ( si lascaracterísticas son robustas)
•Las disparidades pueden determinarse de forma más precisa
Desventaja: el mapa de disparidades es disperso (no denso)
34
Estéreo estático
Algoritmo básicoEl punto de partida son la imágen de cruces por cero detectada sobre la imagenizquierda. Los pixels de los bordes detectados sonel punto de partida para la búsqueda del pixel correspondiente.
La determinación de las correspondencias se hace examinando el error cuadráticonormalizado como medida de similitud
35
Estéreo estático
36
Estéreo estático
37
Estéreo estático
Análisis basado en las estadísticas de losvectores de cruce por cero
Las caracteristicas son los cruces por cero de la convolución con el Laplacianode la Gausiana a distintas escalas σ1, σ2, σ3,…
Un vector de cruces por cero eσ(i,j) se define como un vector unitariobidimensional a lo largo de los cruces por cero vecinos comenzando en (i,j)
Si no es un cruce por cero
Con Ex(i,j), Ey(i,j) gradientes en (i,j)
38
Estéreo estático
Para puntos correspondientes
sino
Un par de vectores eLσ y eR
σ establecen un par de candidatos correspondientes si ladiferencia angular es menor que un cierto umbral
Sea ∆ la disparidad, se pueden definir las funciones de asignación binarias
La tabla de frecuencias de las disparidades nos da el histograma global dedisparidades (para la imagen izquierda, idem para la derecha)
El histograma global de disparidades contiene muchas disparidades incorrectas.Se puede asumir que los picos en el histograma especifican correspondencias correctas
39
Estéreo estático
Un candidato multi-intervalo de disparidad viene dada por un umbral aplicado alhistograma global de disparidades. Se considera que estas disparidades son válidasy son las que pueden ser aceptadas. Sea Hσ el máximo global del histograma
El proceso global puede servir para definir candidatos para el cálculo detalladode las correspondencias. Para esto el análisis se repite a nivel local
40
Estéreo estático
La ventana
La ventana local en torno al punto p
El histograma local de las disparidadeses la tabla de frecuencias de lasdisparidades dentro de las ventanas enlas imágenes dcha e izda en la mismaposición, para las disparidades dentrodel multi-intervalo candidato
La dimensión de la ventanaestá relacionada con el filtroLoG utilizado (con la varianza)
41
Estéreo estático
Los histogramas locales pueden variar mucho,dependiendo de condiciones locales como la existencia de un borde sólo en unade las imágenes, pero en general son similares. Los histogramas locales secalculan para distintos valores de la varianza, esto es, varias resoluciones.
Mejor resolución : la que tiene la mayor diferencia entre el máximo y elsegundo máximo del histograma local.
Asume que es el maximo valor para la resolución para ladisparidad y es el segundo mayor valor del histograma localpara Esto especifica un valor diferencia (analogamente para la dcha)
Una asignación se acepta sólo si L(r,s) y R(r,s) superan un cierto umbral ysi y son muy similares. La disparidad finalmente es de la forma
42
Estéreo estático
43
Estéreo estático
Estéreo con tres cámaras
Configuraciones de las cámaras:
•Coplanares: extensión de lageometría estéreo standard. Laslineas epipolares son las lineashorizontales (imágenes colineales)o las horizontales y verticales (enángulo recto)
•Arbitrarias. Las lineas epipolaresno coinciden con las de la imagen
Estrategias de asignación de puntos
•Sólo se consideran puntos con correspondencias en las tres imágenes. Menos puntos asignados
•Se consideran puntos con correspondencias al menos en dos imágenes. (Para soslayar oclusiones)
44
Estéreo estático
O1, O2, O3 son los centros de proyección
P, R son puntos en el espacio 3D
p1, p2, p3 son las proyecciones del punto P.
Las lineas epipolares para el punto P son l1, l2 en lasimágenes de las camaras 1 y 2 (plano O1 O1 P).
La linea l3 es la proyección de la linea O1P en el planode imagen de la cámara 3 (plano O1 O3 P).
La linea m3 es la proyección de la linea O2P en el planode imagen de la cámara 3 (plano O2 O3 P).
Un punto correspondiente en las tres imágenes caerá enlas intersecciones de los líneas epipolares definidas porlos correspondientes planos epipolares.
45
Estéreo estático
Se determinadirectamente laposición en 3D comointersección de losplanos epipolares
El punto de partidason los bordescalculados con LoG
Determina lascorrespondencias enlas otras dosimagenes
Determina lascorespondeniciastriples comointersecciones de laslineas epipolares
46
Estéreo estático
Algunas referencias
• Grimson, From Images to surfaces, MITPress 1981
• Klette, Schluns, Koschan, Computer vision.Three-Dimensional data from images,Springer Verlag
