Manteniendo el foco: control de seguimiento y vergencia en un sistema de atención visual Pilar Bachiller y Pablo Bustos Departamento de Tecnología de los

Manteniendo el foco: control de seguimiento yvergencia en un sistema de atención visual

Pilar Bachiller y Pablo Bustos

Departamento de Tecnología de los Computadores y de las Comunicaciones UNIVERSIDAD DE EXTREMADURA

Índice

IntroducciónSistema de seguimiento 3D

ExperimentosConclusiones

Pilar Bachiller y Pablo Bustos Manteniendo el foco

1. Introducción

2. Sistema de seguimiento 3D

• Control de seguimiento• Control de vergencia

3. Experimentos

• La plataforma robótica• Resultados experimentales

4. Conclusiones

Introducción




SISTEMA DE ATENCIÓN VISUALSISTEMA DE ATENCIÓN VISUAL

Detección de regiones de interésDetección de regiones de interés

Harris-Laplace

Selección de un objetivo visualSelección de un objetivo visual

Integración bottom-up y top-down

Seguimiento binocular del objetivoSeguimiento binocular del objetivo

Respuesta motora

Introducción




Separación del control

Cámara de vergencia

Cámara dominanteControl monocular

de seguimiento

Control asimétricode vergencia

Configuraciónmaestro-esclavo


Control de seguimiento



Control de seguimientoControl de vergencia

Objetivo Imagen PirámidePrisma

Seguimiento monocular del objetivoSeguimiento monocular del objetivo Falsos positivosFalsos positivos

Búsqueda de correspondencias

Problema: aparición de falsos positivos

Maximización del coeficiente de correlación

Solución: Búsqueda en el espacio de escala






Pirámide[0]Prisma[0]

cCorrelcCorrel

iCorrel

iCorrel cCorrel(prisma[0],wE/2,hE/2,wE, hE,piramide[0], W/2, H/2, W, H)

listMax LocalMaximaTh(iCorrel,W,H,Correl, maxCorrel)

l 0

while listMax.length()>1 l<nLevels do Análisis de la ratio l l+1 if l < nLevels then Cálculo de correlación endifendwhile

if listMax.length() = 1 then tracked TRUE xTracked listMax[0].x yTracked listMax[0].yelse tracker FALSEendif



l 0



Control de seguimiento monocularControl de seguimiento monocular






LocalMaximaThLocalMaximaTh

iCorrel

listMax

Correl

maxCorrel

(x,y)correl



l 0





l 0









listMax

l



l 0





l 0






l 0





l 0









for p=0 to listMax.length() -1 do

if listMax[p].correl/maxCorrel < Ratio then

listMax.delete(p)

else

p p+1

endif

endfor


if listMax[p].correl/maxCorrel < Ratio then

listMax.delete(p)

else

p p+1

endif

endfor

Análisis de la ratioAnálisis de la ratio

listMax

/

maxCorrel

correl

p

Ratio

>

No

Sí

l



l 0





l 0









maxCorrel 0


xC (listMax[p].x)*sl

yC (listMax[p].y)*sl

correl sCorrel(prisma[l], wE/2, hE/2, wE,

hE, piramide[l], xC, yC, wE, hE)

listMax[p].correl correl

if correl > maxCorrel then

maxCorrel correl

endif

endfor

maxCorrel 0


xC (listMax[p].x)*sl

yC (listMax[p].y)*sl

correl sCorrel(prisma[l], wE/2, hE/2, wE,

hE, piramide[l], xC, yC, wE, hE)

listMax[p].correl correl

if correl > maxCorrel then

maxCorrel correl

endif

endfor

Cálculo de correlaciónCálculo de correlación

listMax

sCorrelsCorrel

maxCorrel

>

p

l






listMax

l

l

l



l 0





l 0





Control de vergencia




Extensión de la zona de vergenciaExtensión de la zona de vergencia

Cámara Dominante (CD) Cámara de Vergencia (CV)

Vergencia asimétricaVergencia asimétrica

Búsqueda de la ventana central de CD en CV

Maximización del coeficiente de correlación

¿Extensión de la zona de vergencia?

Prisma (CD) Pirámide (CV)

Búsqueda descendente en el espacio de escala






hS hWin wS w xS w/2 yS h/2maxCorrel 0for l = nLevels-1 downto 0 do iCorrel cCorrel(prisma[l], r/2, r/2, r, r,

piramide[l], xS, yS, wS, hS) correlLevel maximumXY(iCorrel, xS,

yS, wS, hS, xMax, yMax,) if correlLevel < Correl correlLevel>maxCorrel then maxCorrel correlLevel xS xMax/s yS yMax/s wS wEnv else xS xS/s yS yS/s wS wS/s endifendfor

xVerg xS*syVerg yS*s





Control asimétrico de vergenciaControl asimétrico de vergencia

wS

PirámidePrisma

0

1

nLevels-1 hS(xS, yS)














Control asimétrico de vergenciaControl asimétrico de vergenciaPirámidePrisma

l

iCorrel

cCorrelcCorrel

correlLevel

maximumXYmaximumXY

(xMax, yMax)








yS, wS, hS, xMax, yMax,) if correlLevel > Correl correlLevel > maxCorrel then maxCorrel correlLevel xS xMax/s yS yMax/s wS wEnv else xS xS/s yS yS/s wS wS/s endifendfor







l

l+1

correlLevelcorrel

<

maxCorrel

>

y

SÍ

NO

?















l

l

l

(xVerg, yVerg)


La plataforma robótica



La plataforma robóticaResultados experimentales

Robot móvil con visión estéreo

Torreta estéreo

Base móvil 3 grados de libertad

2 grados de libertad

Experimentos


Seguimiento durante una tarea de navegación


Favorable

Sin textura

Sin correspondencia

Control conjunto

Seguimiento binocular de un objetivo en

movimiento


Resultados experimentales




Seguimiento de una región en una secuencia de avance






Vergencia en una situación favorable

Cámara Dominante Cámara de Vergencia






Vergencia en una zona sin textura







Zona de vergencia fuera del campo de visión







Control conjunto de seguimiento y vergencia

Fijación inicial sobre el objetivo

Avances en línea recta

Respuestas inmediatas en el control

Vergencia posterior al seguimiento

Variaciones de aspecto producidas por cambio de trayectoria

Captura continua de cambios en el objetivo


Conclusiones



Sistema de seguimiento binocular

• Separación del control: seguimiento monocular y vergencia asimétrica

• Búsqueda en el espacio de escala

• Seguimiento mediante localización ascendente

• Vergencia mediante correspondencia descendente

• Experimentos reales

Líneas futuras

• Interacción con un sistema conceptual de categorización

• Anticipación como medio de sincronización de los dos controladores

Documents

Manteniendo el foco: control de seguimiento y vergencia en un sistema de atención visual Pilar Bachiller y Pablo Bustos Departamento de Tecnología de los