View
49
Download
0
Category
Preview:
DESCRIPTION
Manteniendo el foco: control de seguimiento y vergencia en un sistema de atención visual. Pilar Bachiller y Pablo Bustos. Departamento de Tecnología de los Computadores y de las Comunicaciones. UNIVERSIDAD DE EXTREMADURA. Introducción Sistema de seguimiento 3D Experimentos Conclusiones. - PowerPoint PPT Presentation
Citation preview
Manteniendo el foco: control de seguimiento yvergencia en un sistema de atención visual
Pilar Bachiller y Pablo Bustos
Departamento de Tecnología de los Computadores y de las Comunicaciones UNIVERSIDAD DE EXTREMADURA
Índice
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Pilar Bachiller y Pablo Bustos Manteniendo el foco
1. Introducción
2. Sistema de seguimiento 3D
• Control de seguimiento• Control de vergencia
3. Experimentos
• La plataforma robótica• Resultados experimentales
4. Conclusiones
Introducción
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Pilar Bachiller y Pablo Bustos Manteniendo el foco
SISTEMA DE ATENCIÓN VISUAL
Detección de regiones de interés
Harris-Laplace
Selección de un objetivo visual
Integración bottom-up y top-down
Seguimiento binocular del objetivo
Respuesta motora
Introducción
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Separación del control
Cámara de vergencia
Cámara dominante Control monocularde seguimiento
Control asimétricode vergencia
Configuraciónmaestro-esclavo
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de seguimiento
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
Objetivo Imagen PirámidePrisma
Seguimiento monocular del objetivo Falsos positivos
Búsqueda de correspondencias
Problema: aparición de falsos positivos
Maximización del coeficiente de correlación
Solución: Búsqueda en el espacio de escala
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de seguimiento
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
Pirámide[0]Prisma[0]
cCorrel
iCorrel
iCorrel cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H)
listMax LocalMaximaTh(iCorrel,W,H,Correl, maxCorrel)
l 0
while listMax.length()>1 l<nLevels do Análisis de la ratio l l+1 if l < nLevels then Cálculo de correlación endifendwhile
if listMax.length() = 1 then tracked TRUE xTracked listMax[0].x yTracked listMax[0].yelse tracker FALSEendif
Control de seguimiento monocular
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de seguimiento
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
LocalMaximaTh
iCorrel
listMax
Correl
maxCorrel
(x,y)correl
iCorrel cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H)
listMax LocalMaximaTh(iCorrel,W,H,Correl, maxCorrel)
l 0
while listMax.length()>1 l<nLevels do Análisis de la ratio l l+1 if l < nLevels then Cálculo de correlación endifendwhile
if listMax.length() = 1 then tracked TRUE xTracked listMax[0].x yTracked listMax[0].yelse tracker FALSEendif
Control de seguimiento monocular
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de seguimiento
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
listMax
l
iCorrel cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H)
listMax LocalMaximaTh(iCorrel,W,H,Correl, maxCorrel)
l 0
while listMax.length()>1 l<nLevels do Análisis de la ratio l l+1 if l < nLevels then Cálculo de correlación endifendwhile
if listMax.length() = 1 then tracked TRUE xTracked listMax[0].x yTracked listMax[0].yelse tracker FALSEendif
Control de seguimiento monocular
iCorrel cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H)
listMax LocalMaximaTh(iCorrel,W,H,Correl, maxCorrel)
l 0
while listMax.length()>1 l<nLevels do Análisis de la ratio l l+1 if l < nLevels then Cálculo de correlación endifendwhile
if listMax.length() = 1 then tracked TRUE xTracked listMax[0].x yTracked listMax[0].yelse tracker FALSEendif
Control de seguimiento monocular
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de seguimiento
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
for p=0 to listMax.length() -1 do
if listMax[p].correl/maxCorrel < Ratio then
listMax.delete(p)
else
p p+1
endif
endfor
Análisis de la ratio
listMax
/
maxCorrel
correl
p
Ratio
>
No
Sí
l
iCorrel cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H)
listMax LocalMaximaTh(iCorrel,W,H,Correl, maxCorrel)
l 0
while listMax.length()>1 l<nLevels do Análisis de la ratio l l+1 if l < nLevels then Cálculo de correlación endifendwhile
if listMax.length() = 1 then tracked TRUE xTracked listMax[0].x yTracked listMax[0].yelse tracker FALSEendif
Control de seguimiento monocular
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de seguimiento
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
maxCorrel 0
for p=0 to listMax.length() -1 do
xC (listMax[p].x)*sl
yC (listMax[p].y)*sl
correl sCorrel(prisma[l], wE/2, hE/2, wE,
hE, piramide[l], xC, yC, wE, hE)
listMax[p].correl correl
if correl > maxCorrel then
maxCorrel correl
endif
endfor
Cálculo de correlación
listMax
sCorrel
maxCorrel
>
p
l
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de seguimiento
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
listMax
l
l
l
iCorrel cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H)
listMax LocalMaximaTh(iCorrel,W,H,Correl, maxCorrel)
l 0
while listMax.length()>1 l<nLevels do Análisis de la ratio l l+1 if l < nLevels then Cálculo de correlación endifendwhile
if listMax.length() = 1 then tracked TRUE xTracked listMax[0].x yTracked listMax[0].yelse tracker FALSEendif
Control de seguimiento monocular
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de vergencia
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
Extensión de la zona de vergencia
Cámara Dominante (CD) Cámara de Vergencia (CV)
Vergencia asimétrica
Búsqueda de la ventana central de CD en CV
Maximización del coeficiente de correlación
¿Extensión de la zona de vergencia?
Prisma (CD) Pirámide (CV)
Búsqueda descendente en el espacio de escala
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de vergencia
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
hS hWin wS w xS w/2 yS h/2maxCorrel 0for l = nLevels-1 downto 0 do iCorrel cCorrel(prisma[l], r/2, r/2, r, r,
piramide[l], xS, yS, wS, hS) correlLevel maximumXY(iCorrel, xS,
yS, wS, hS, xMax, yMax,) if correlLevel < Correl correlLevel>maxCorrel then maxCorrel correlLevel xS xMax/s yS yMax/s wS wEnv else xS xS/s yS yS/s wS wS/s endifendfor
xVerg xS*syVerg yS*s
Control asimétrico de vergencia
wS
PirámidePrisma
0
1
nLevels-1 hS(xS, yS)
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de vergencia
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
hS hWin wS w xS w/2 yS h/2maxCorrel 0for l = nLevels-1 downto 0 do iCorrel cCorrel(prisma[l], r/2, r/2, r, r,
piramide[l], xS, yS, wS, hS) correlLevel maximumXY(iCorrel, xS,
yS, wS, hS, xMax, yMax,) if correlLevel < Correl correlLevel>maxCorrel then maxCorrel correlLevel xS xMax/s yS yMax/s wS wEnv else xS xS/s yS yS/s wS wS/s endifendfor
xVerg xS*syVerg yS*s
Control asimétrico de vergenciaPirámidePrisma
l
iCorrel
cCorrel
correlLevel
maximumXY
(xMax, yMax)
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de vergencia
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
hS hWin wS w xS w/2 yS h/2maxCorrel 0for l = nLevels-1 downto 0 do iCorrel cCorrel(prisma[l], r/2, r/2, r, r,
piramide[l], xS, yS, wS, hS) correlLevel maximumXY(iCorrel, xS,
yS, wS, hS, xMax, yMax,) if correlLevel > Correl correlLevel > maxCorrel then maxCorrel correlLevel xS xMax/s yS yMax/s wS wEnv else xS xS/s yS yS/s wS wS/s endifendfor
xVerg xS*syVerg yS*s
Control asimétrico de vergenciaPirámidePrisma
l
l+1
correlLevelcorrel
<
maxCorrel
>
y
SÍ
NO
?
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Control de vergencia
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Control de seguimientoControl de vergencia
hS hWin wS w xS w/2 yS h/2maxCorrel 0for l = nLevels-1 downto 0 do iCorrel cCorrel(prisma[l], r/2, r/2, r, r,
piramide[l], xS, yS, wS, hS) correlLevel maximumXY(iCorrel, xS,
yS, wS, hS, xMax, yMax,) if correlLevel > Correl correlLevel > maxCorrel then maxCorrel correlLevel xS xMax/s yS yMax/s wS wEnv else xS xS/s yS yS/s wS wS/s endifendfor
xVerg xS*syVerg yS*s
Control asimétrico de vergenciaPirámidePrisma
l
l
l
(xVerg, yVerg)
Pilar Bachiller y Pablo Bustos Manteniendo el foco
La plataforma robótica
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
La plataforma robóticaResultados experimentales
Robot móvil con visión estéreo
Torreta estéreo
Base móvil 3 grados de libertad
2 grados de libertad
Experimentos
Control de seguimiento
Seguimiento durante una tarea de navegación
Control de vergencia
Favorable
Sin textura
Sin correspondencia
Control conjunto
Seguimiento binocular de un objetivo en
movimiento
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Resultados experimentales
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
La plataforma robóticaResultados experimentales
Seguimiento de una región en una secuencia de avance
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Resultados experimentales
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
La plataforma robóticaResultados experimentales
Vergencia en una situación favorable
Cámara Dominante Cámara de Vergencia
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Resultados experimentales
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
La plataforma robóticaResultados experimentales
Vergencia en una zona sin textura
Cámara Dominante Cámara de Vergencia
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Resultados experimentales
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
La plataforma robóticaResultados experimentales
Zona de vergencia fuera del campo de visión
Cámara Dominante Cámara de Vergencia
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Resultados experimentales
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
La plataforma robóticaResultados experimentales
Control conjunto de seguimiento y vergencia
Fijación inicial sobre el objetivo
Avances en línea recta
Respuestas inmediatas en el control
Vergencia posterior al seguimiento
Variaciones de aspecto producidas por cambio de trayectoria
Captura continua de cambios en el objetivo
Pilar Bachiller y Pablo Bustos Manteniendo el foco
Conclusiones
IntroducciónSistema de seguimiento 3D
ExperimentosConclusiones
Sistema de seguimiento binocular
• Separación del control: seguimiento monocular y vergencia asimétrica
• Búsqueda en el espacio de escala
• Seguimiento mediante localización ascendente
• Vergencia mediante correspondencia descendente
• Experimentos reales
Líneas futuras
• Interacción con un sistema conceptual de categorización
• Anticipación como medio de sincronización de los dos controladores
Recommended