7 Luglio, 2005 Verona, 4° incontro LIMA 3D 1
Laboratory of Image Analysis
and Vision
Università degli Studi di Milano
Dipartimento di Scienze dell’Informazione
Quarto incontro LIMA 3D
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 2
Due Approcci per la ricostruzione 3D di volti
• Modello semantico del volto • Mesh sparsa i cui vertici hanno una semantica
nota• Permette di calcolare misure biometriche significative• maggiore semplicità
• Stereo matching denso• Mesh densa del volto, ricostruito con maggiore
dettaglio e precisione
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 3
Modello semantico del volto
•Modello 3D di un volto generico•Deformato per adattarlo al volto di uno specifico individuo
Modello di CANDIDE:mesh avente
114 triangoli e 64 vertici
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 4
• Primo passo: • ricostruzione 3D di 15 punti caratteristici del volto,
determinati su tre immagini stereo dello stesso individuo
• i vertici del modello 3D corrispondenti ai punti caratteristici sono i punti di controllo usati per deformare la mesh
Modello semantico del volto
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 5
I due passi di deformazione del modello
• Allineamento globale:• Trasformazione affine per ottenere un sistema di
riferimento unico
• Adattamento locale:• Spostamento dei punti di controllo
• In modo che coincidano coi 15 punti caratteristici ricostruiti
• Spostamento degli altri vertici del modello• in funzione dello spostamento dei punti di controllo• ogni punto di controllo ha una regione di influenza
sulla mesh di Candide
Modello semantico del volto
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 6
• Il modello di Candide è formato da un basso numero di triangoli ed è quindi:• Facilmente implementabile• Velocemente deformabile
MA • La semplicità del modello non permette di
ottenere significative deformazioni • Le ricostruzioni di volti diversi appaiono simili
Necessità di un modello più preciso
Modello semantico del volto
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 7
• Modello 3D creato per ogni individuo sulla base di:• 15 punti caratteristici localizzati nelle immagini
stereo del volto• 72 vertici aggiuntivi:
• 22 vertici inferiti sulla immagine frontale• 25 vertici inferiti per ognuna delle immagini laterali• Per ciascuno di questi vertici si cerca la
corrispondenza
• Modello finale con 156 triangoli• Problema: determinare corrispondenze precise dei
72 punti
Il nuovo modello
Modello semantico del volto
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 8
Modello semantico del volto
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 9
• Per ogni cammino viene cercato il cammino corrispondente nell’immagine di ricerca
Modello semantico del volto
Ricerca delle corrispondenze• Si definiscono tre cammini che partono da un punto
caratteristico (.) e terminano nel punto (X) di cui si cerca il corrispondente
• Il mediano tra i tre corrispondenti trovati per il punto X è il corrispondente del punto X stesso.
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 10
Risultati
Corrispondenze trovate
Modello ricostruito
Modello semantico del volto
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 11
Integrazione dei due modelli
Modello semantico del volto
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 12
Stereo Matching Denso
• Ricerca di corrispondenze dense su immagini stereo, mediante l’utilizzo di misure di similarità, al fine di definire una mesh densa
• Vincoli• Esistenza ed Unicità delle corrispondenze
• Continuità e “Smoothness” della superficie 3D
• Vincolo di Ordinamento
• Vincolo Epipolare
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 13
• Metodi Locali vs. Globali • Metodi locali: corrispondenze non accurate in
regioni a basso gradiente• Metodi globali: spesso con programmazione
dinamica che non permette controllo dell’algoritmo
• Risoluzione delle immagini• Bassa risoluzione: consente solo una
ricostruzione grossolana• Alta risoluzione: caratterizzata da un basso
rapporto segnale-rumore
• Disparità delle immagini• Bassa disparità: il problema di ricostruzione è più
sensibile agli errori• Alta disparità: distorsione prospettica maggiore
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 14
Algoritmi sperimentati1. A.Fusiello, V.Roberto, E.Trucco “Efficient Stereo with
Multiple Windowing” CVPR 97
2. C.L. Zitnick, T. Kanade “A Cooperative Algorithm for Stereo Matching and Occlusion Detection” PAMI 2000
3. K. Jonsson “Shader-based stereo matching with local algorithms”Master thesis in Lund University 2003
4. C. Sun “Fast Stereo Matching using Rectangular Subregioning and 3D Maximum-Surface Techniques” Int. Journal of Comp. Vision 2002
5. S. Huq, B. Abidi, A. Goshtasby, M. Abidi “Stereo Matching with Energy Minimizing Snake Grid for 3D face modeling” SPIE 2004
Stereo matching denso
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 15
“Stereo Matching with Energy Minimizing Snake Grid for 3D face
modeling”
• “Snake grid”• Ricerca della corrispondenza dei vertici di una coppia di
griglie
• Deformazione locale e iterativa di una griglia in modo da minimizzare globalmente:
• Eint tende a mantenere la forma regolare
• Eext corrisponde alla funzione di correlazione
• Inizializzazione della griglia con scanner laser
• Raffinamento “coarse to fine”
Stereo matching denso
Huq, Abidi, Goshtasby, Abidi
extjiEjiEjiE ,,, int
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 16
Metodo da noi proposto
• Tecnica basata sugli “snake grid”:
Stereo matching denso
•Multi-risoluzione •Coarse-to-fine•Multi-window
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 17
L’algoritmo di stereo matching denso
• Spostamento dei vertici di una griglia per minimizzare la funzione energia:
• Eint non tiene conto solo dello spostamento laterale ma anche di quello verticale
• Eext viene calcolato con un metodo multi-window
Stereo matching denso
extjiEjiEjiE ,,, int
0 1-1
Eint
0 1-1
Eext
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 18
Spostamento di un nodo della griglia
0 1-1
10%
Edt
dEtot
• Spostamento “simultaneo” dei nodi della griglia• Simulazione di tale spostamento simultaneo tramite
un’evoluzione iterativa
• Minimizzazione dell’energia totale Etot della griglia
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 19
L’evoluzione degli snake grids
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 20
L’evoluzione degli snake grids
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 21
Sviluppi futuri
• Miglioramenti di entrambi gli approcci• Definizione di una mesh sparsa più dettagliata• Ottimizzazione del metodo di stereo matching
denso
• Integrazione dei modelli• Unione dei due modelli al fine di avere un
modello ben dettagliato con semantica
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 22
“Efficient Stereo with Multiple Windowing”
• “Area-based algorithm”: • adotta la SSD come misura di similarità
• “Multiple Windows”:• IDEA: mantenere quella a massima similarità• Utilizza 9 diverse finestre
• “Left-Right Consistency constraint”:• Riconosce e gestisce le occlusioni
• “Uncertainty Estimate”:• Stima l’affidabilità delle disparità calcolate
• Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura
Stereo matching denso
Fusiello, Roberto, Trucco
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 23
“A Cooperative Algorithm for Stereo Matching and Occlusion Detection”
• Vincoli di unicità e continuità• Si basa su:
• Template adattativo• Volume 3D di correlazione• Aggiornamento iterativo delle corrispondenze
• Occlusioni:• Rilevate tramite sogliatura dei valori di corrispondenza
• Problema: tecnica locale non ottimale per i volti che presentano regioni con scarsa tessitura
Stereo matching denso
Zitnick, Kanade
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 24
“Shader-based stereo matching with local algorithms”
• Input: immagini rettificate• Costruzione delle piramidi multi-risoluzione• Ricerca delle corrispondenze al livello più alto
(Inizializzazione della disparity map)• Per ogni livello
• Inizializza la disparity map interpolando quella del livello superiore
• Raffinamento delle corrispondenze usando la SSD
• Problemi: • È molto sensibile all’inizializzazione• Non sfrutta i vincoli di ordinamento e di smoothness
Stereo matching denso
Jonsson
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 25
“Fast Stereo Matching using Rectangular Sub-regioning and 3D Maximum-Surface
Techniques”
• Vincoli: di continuità ed epipolare• Algoritmo:
• Suddivisione delle immagini in sotto regioni per il calcolo veloce della similarità (RSR)
• Costruzione di un volume 3D di correlazione• Utilizzo di una tecnica di programmazione dinamica
per la ricerca nel volume 3D della superficie di somma massima (TSDP)
• Problemi: • la convergenza non è uniforme• Non c’è controllo sull’algoritmo
Stereo matching denso
Sun
7 Luglio, 2005 Verona, 4° incontro LIMA 3D 26
Corrispondenze tra cammini
• La ricerca del cammino corrispondente parte dal punto caratteristico• Per ogni punto del cammino
• si estrae un template centrato nel punto stesso;• si cerca il corrispondente nell’intorno rettangolare
centrato nel punto precedentemente trovato; la misura di similarità usata è la Zero Normalized Cross Correlation (ZNCC)
Trovare le corrispondenze
Punti caratteristici corrispondenti
Torna