Upload
sens-sigala
View
216
Download
0
Embed Size (px)
Citation preview
Segmentación de secuencias de video en tiempo real utilizando
una WebCam
V Taller de Procesamiento de Imágenes (PI 2008)
Presenta: Francisco Javier Hernández López
Asesor: Dr. Mariano José Juan Rivera Meraz
CIMAT, Agosto/2008
Problema
• Dado una secuencia de imágenes de video, segmentar el Primer Plano (Foreground) del Fondo (Background).
Secuencia de Video Nuevo Fondo
Ilustramos nuestros resultados mediante la sustitución del fondo.
Problema
Espacio Caso I Caso II Caso III Caso IV
Primer
Plano
Móvil Móvil Estático Estático
Fondo Estático Móvil Móvil Estático
• Podemos observar que existen diferentes casos que se pueden presentar durante la secuencia de video:
Tabla 1. Casos del Problema
Utilización
• Videoconferencia
• Video vigilancia
Propuesta
WebCam
Tomamos N imágenes y calculamos μ(x)
Leemos la siguiente imagen IS(x)
Calculamos Verosimilitudde ser Fondo VB
Segmentamos con QMPFy sustituimos el Fondo.
Propuesta• Verosimilitud de ser Fondo xVB
2
2 )(2
1exp
)(2
1xxI
xxxV SB
Inicialmente probamos con una distribución gaussiana:
(1) 2exp xxIxV SB
Dado que el video es adquirido a través de un formato MPG4 (comprimido), la estimación de la varianza no es robusta, por lo que usamos simplemente:
Distribución Gaussiana Distribución Exponencial
Propuesta• Segmentación con el método QMPF.
,),()()()()(1)()(2
1)(
,
222
x yx
BF yxWyPxPxdxPxdxPxPU
. )()(
,
, )(log
, )(1log
2yIxI
yxW
xVxd
xVxd
SS
BB
BF
Siguiendo el método QMPF tenemos el siguiente funcional:
(2)
donde:
Resolviendo (2) para P(x) tenemos:
yxBF
yxB
yxWxdxd
yxWyPxd
xP
,
,
),()()(
),()()(
)(
Utilizando Gauss - SeidelCon )(1)(0 xVxP B
Propuesta• Sustitución del Fondo
• Si P(x)>Umbral entonces
• de lo contrario xIxI SSEG 2
xFNxI SEG
Donde: Umbral=0.5
• Al realizar los experimentos observamos los siguientes problemas:
Cambio de Intensidad en la escena.
Semejanza del color
Modificación de la Intensidad
Corrección de semejanzadel color
Propuesta
• Modificación de la intensidad
• restringida al área donde estamos seguros que es fondo, donde
xIxxDiv s/ UmbralxantP _
• Calculamos μRGB de los elementos de Div(x).
RGBSS xIxI •
• Finalmente calculamos la verosimilitud de ser fondo con la ecuación (1).
Propuesta
• Corrección de semejanza del color
• Calculamos el Flujo Óptico, obtenemos d(x).
• Si UmbralxVUmbralxdxantP B AND )(_
)(_12 xdxantPxVB
• de lo contrario
xVxV BB 2
• Finalmente
xVxV BB 2
Propuesta
Diagrama de Flujo Principal del Método
N imágenes I(x),FN(x),
IS2 (x) IS (x)
Ban ≤ C Ban Ban+1
Calculamos VB (x)
Segmentación con QMPF,Obtenemos P(x)
P_ant(x) P(x)
Cambiamos FondoISEG (x)
SiCon P_ant(x)
Calculamos Div(x)Calculamos µR GB IS (x) IS (x) µR GB
Calculamos VB (x)
Calculamos F.O.Calculamos VB2 (x)VB (x) VB2 (x)
Ban 0Calculamos µ(x)
Siguiente imagen IS (x)
No
1ra. Parte
2da. Parte
3ra. Parte
ExperimentosMétodo Propuesto
Método de Creative
Conclusión
Hemos presentado un método que sustituye automáticamente el fondo de una secuencia de video en tiempo real, y que además como vimos en los experimentos, es robusto a cambios de iluminación y semejanza entre el color del fondo y lo que se está moviendo.
Trabajo a Futuro
Como trabajo a futuro queremos resolver también los casos II y III (Tabla 1) del problema general, aquí necesitamos que el método tenga conocimiento de profundidad en la escena, para esto hemos pensado en colocar otra WebCam para formar un par stereo.
Preguntas …