Fabio Cuzzolin - Dipartimento di Elettronica e Informatica - Università di Padova

DATA ASSOCIATION E TEORIA DELL’EVIDENZA

Data association

• Data association = ricerca delle corrispondenze tra punti di due immagini consecutive che rappresentano uno stesso punto di una scena 3D

Tracking di markers

• esempio: tracking di feature-points corrispondenti a marcatori disposti su un corpo in movimento

marker

ginocchio dxginocchio sx

anca sxanca dx

Principali problemi

• ricostruzione della posizione 3D di punti da immagini stereo

• occlusione di markers nascosti da parti del corpo nel corso del movimento

• etichettatura di marcatori che riappaiono dopo una fase di occlusione

• imperfezione dei metodi di estrazione delle feature problema delle false feature

• sensibilità ai movimenti rapidi degli inseguitori

• difficoltà a distinguere punti che vengono ad avvicinarsi

Una soluzione : la probabilistic data association

• il principio

• l’approccio matematico

• alcuni dettagli: distribuzioni, matrice, ecc

• riferimenti bibliografici

Svantaggi della PDA

• complessità di calcolo, dovuta al tener conto di tutte le possibili associazioni

• l’assenza di info probabilistiche all’istante iniziale implica una etichettatura manuale dei punti della prima immagine

• track coalescence: quando i punti tracciati si avvicinano la JPDA non riesce a dare indicazioni valide

• le occlusioni non vengono gestite in maniera naturale

• non può sfruttare le informazioni sul modello del corpo in moto, che spesso sono di carattere qualitativo

Obiettivi• Cerchiamo un metodo che:

– sfrutti le informazioni probabilistiche fornite da un filtro inseguitore (ad esempio un filtro di Kalman) che generi delle d.d.p. attorno a predizioni delle future posizioni dei markers

– integri questi dati con vincoli topologici e di moto rigido estratti da un modello stilizzato del corpo (vedi diapositiva no 3)

– non richieda assunzioni a priori o interventi ad-hoc nella fase transitoria iniziale

– sia poco sensibile a occlusioni o false feature maggiore robustezza– abbia una complessità computazionale non alta – permetta deduzioni di tipo logico per ridurre l’incertezza

sull’associazione corretta

La teoria dell’evidenza• il concetto di belief function

• regola di Dempster: la somma ortogonale di due funzioni è una funzione i cui elementi focali sono tutte le possibili intersezioni tra gli e.f. delle funzioni da combinare, e la cui massa è data da:

Esempio di combinazione di b.f.

• S1:

– m({a1})=0.7

– m({a1 ,a2})=0.3

• S2:– m()=0.1

– m({a2 ,a3 ,a4})=0.9

• S1 S2:

– m({a1})=0.19

– m({a2})=0.73

– m({a1 ,a2})=0.08

Refinings e raffinamento minimo• Esistono infinite descrizioni di uno stesso fenomeno, dipendenti dal grado

di raffinatezza della nostra conoscenza

• Il raffinamento comune minimo è il più piccolo spazio comune in cui è possibile combinare funzioni definite su due diversi frames

Scrittura dei vincoli

• vincoli belief function nello spazio delle possibili associazioni

• tipi di vincoli: – a-priori : traducono le dd.p. delle

predizioni prodotte dal filtro

– ordinali: statistica dell’ordinamento dei punti lungo una direzione privilegiata

– metrico-topologici: basati sulla relazione di adiacenza tra coppie di punti nel modello

– di occlusione: esprimono la possibilità di occlusione

– di moto rigido: sfruttano la rigidità del moto di almeno una parte del corpo

– di esclusione: vincoli di impenetrabilità delle diverse parti del corpo

– di dispersione: misurano l’addensarsi delle features (possibili arti)

– strutturali: informazioni qualitative sul modello (uguaglianza o parallelismo tra segmenti)

Costruzione di belief da d.d.p.

• metodi di costruzione delle belief functions: – Bayesiano: traduzione diretta delle densità prodotte dal filtro in un

b.f. Bayesiana

– consonante: si impongono le condizioni di consonanza e di conservazione delle plausibilità relative

– tramite discounting

Esempio: vincolo di moto rigido• supponendo di conoscere l’associazione passata, è possibile controllare la

rigidità del moto di una coppia di punti tra due istanti di tempo

• fissato un livello di confidenza, si testa la congruenza di ogni segmento misurato con quello formato da una data coppia di punti del modello in t-1

• il risultato si può esprimere come un b.f. su un frame costituito da tutte le coppie di punti misurati, più un elemento che segnala l’occlusione di almeno uno dei due punti del segmento considerato del modello

coppie che superano il test

occlusione

probabile errore dei test

• Il livello di confidenza del test costituisce una evidenza in favore dell’impossibilità di trarre conclusioni, ed è perciò attribuito a

Esempio: vincolo di moto rigido

• si ottiene così una famiglia di FOD jk per tutti links del modello

• questi FOD sono tutti coarsenings dello spazio delle possibili associazioni, su cui le rispettive funzioni vengono combinate

12

jk n-1 n

Spazio delle associazioni

Inizializzazione

• si vuole evitare il ricorso alla etichettatura manuale in t=0 completa automazione

• all’istante iniziale molti vincoli non sono formulabili

• vincoli validi in t=0: strutturali, di dispersione

• essi generano un insieme di possibili associazioni

• l’incertezza si propaga in avanti fino ad essere risolta all’arrivo di successive informazioni di carattere dinamico

• informazioni parziali sullo stato iniziale possono essere sfruttate per ridurre l’incertezza

Informazioni condizionate

• Classificazione dei vincoli:– dipendenti dalla associazione passata (metrico-topologici, di moto

rigido)

– dipendenti dalle misure (predizioni, occlusioni)

– istantanei, cioè applicabili direttamente allo spazio delle associazioni (esclusione, dispersione, strutturali)

• l’associazione passata spesso non è nota con certezza (es: fase transitoria iniziale)

• le informazioni dipendenti dalla storia passata si esprimono in termini di belief condizionate

Evidenza totale• I vincoli condizionati definiti sui vari (sti) vengono

combinati per formare una unica b.f. (evidenza totale)

Am-1 (associazioni passate)

= Am-1 m-1

m (associazioni passate e presenti)

(st1)

st1

Architettura generale del sistema

• tutte le informazioni vengono integrate sul raffinamento comune

• proiezione del risultato sugli spazi delle associazioni passate e future

Am-1 (associazioni modello - misure passate)

Am-1

(st1)

st1

= Am-1 m-1

m (raff. comune)

Am (associazioni modello - misure

correnti)

Am

m-1m

m-1m (associazioni tra misure passate e correnti)

Processo di stima

• la stima corrente dell’associazione tra punti del modello e misure è rappresentata dalla belief function su A

m

• ad ogni istante la combinazione della stima passata con le nuove evidenze espresse in forma di b.f. riduce l’incertezza sulla stima

• la nuova stima può anche essere propagata all’indietro per ricostruire con un nuovo grado di precisione l’evoluzione del corpo fino a quel momento

• dalla b.f corrente si può estrarre una stima puntuale – calcolando le plausibilità delle singole associazioni possibili, o

– approssimando la funzione con una b.f. consonante

Occlusioni e false feature

• La presenza di occlusioni non altera il funzionamento del sistema: il punto del modello viene ignorato, modificando di conseguenza i vincoli

• quando un marker riappare può essere etichettato in base ai vincoli di modello, pur non avendo una traccia di inseguimento

• le false feature vengono facilmente scartate applicando i vincoli

• quando più punti si trovano vicini (coalescence) l’analisi del moto rigido o della struttura aiuta a distinguerli

Conclusioni• Principali vantaggi dello schema di inseguimento e stima

basato sulla teoria dell’evidenza:– non è necessaria una etichettatura manuale in t=0

– non sono necessarie assunzioni a priori

– integra informazioni di tipo quantitativo (d.d.p.) con altre di tipo logico aumento robustezza

es: compensazione di movimenti rapidi

– reagisce in modo naturale a eventuali occlusioni o mancanze di informazioni in qualsiasi istante

– è aperto all’integrazione di altre fonti di informazione

– scarta a priori le eventualità non supportate da alcuna evidenza bassa complessità di calcolo