Rappresentazione intermedia Da 2-D a 3-D. Rappresentazione intermedia E’ un livello ipotizzato dell’elaborazione visiva E’ calcolata da processi basati

Embed Size (px)

Text of Rappresentazione intermedia Da 2-D a 3-D. Rappresentazione intermedia E’ un livello ipotizzato...

  • Slide 1
  • Rappresentazione intermedia Da 2-D a 3-D
  • Slide 2
  • Rappresentazione intermedia E un livello ipotizzato dellelaborazione visiva E calcolata da processi basati sullosservatore Rappresenta il mondo in modo generale: identificazione di superfici e oggetti (no riconoscimento) loro orientamento e distanza dallosservatore Sembra essere richiesta per alcuni processi percezione del movimento forme di stereopsi Il primo livello dellelaborazione i cui risultati sono accessibili a livello della coscienza (attenzione)
  • Slide 3
  • Kanizsa (1979)
  • Slide 4
  • Il cubo di Kanizsa (da Necker)
  • Slide 5
  • Intermedia VS Alto livello Rotazione degli oggetti
  • Slide 6
  • Estrazione dellinformazione a 3-D Tre fasi dellestrazione: segmentazione della scena in oggetti distinti determinare la posizione e lorientamento di ogni oggetto in relazione allosservatore determinare la forma di ogni oggetto
  • Slide 7
  • 1. Segmentazione organizzazione della matrice di pixel in regioni che corrispondono a entit nella scena semanticamente significative output dello stadio iniziale della visione lo schema primario: individuazione (tramite i contorni) delle aree principali di diversa intensit contorni non rilevati a causa del basso contrasto contorni dovuti a rumore o ombre occorre mettere assieme gli elementi di un singolo oggetto in modo da poterlo confrontare con i modelli in memoria (riconoscimento) o da conoscerne la forma (presa)
  • Slide 8
  • 2. Posizione e orientamento la posa delloggetto rispetto allosservatore (utile per manipolazione e navigazione) Z Y X P (X, Y, Z) P (x, y) O P n X Y Z
  • Slide 9
  • 3. Forma La forma di un oggetto si mantiene anche quando la distanza e lorientamento di un oggetto cambiano a causa del movimento relativo osservatore/oggetto Definizione di forma: ci che rimane invariato rispetto a un qualche gruppo di trasformazioni (es. rotazioni, traslazioni) Forma di un oggetto e forma di una superficie rispetto al movimento Forma fondamentale per la presa di un oggetto e per il riconoscimento
  • Slide 10
  • Questione fondamentale Dato che nella proiezione prospettiva tutti i punti lungo una stessa direzione nel mondo a 3-D sono stati appiattiti in un unico punto dellimmagine, come si fa a recuperare linformazione sulle 3-D? Si possono consultare degli indizi: profondit (stereopsi binoculare) tessitura movimento ombre contorni
  • Slide 11
  • La profondit Stereopsi binoculare
  • Slide 12
  • La stereopsi (visione stereoscopica) Differenti posizioni di osservazione risultano in viste 2D differenti della stessa scena a 3D. Esperimento dei pollici Immagine sinistra Immagine destra Oggetto percepito
  • Slide 13
  • Il punto di fissazione cade sempre al centro di ciascuna retina, dove la massima densit di recettori. Gli altri punti proiettano su entrambe le retine: distanza e direzione dal centro sono determinate dai punti stessi. La profondit relativa di un punto si ricava con la trigonometria. Immagine del punto lontano Immagine del punto di fissazione Immagine del punto vicino Punto vicino P0P0 P Punto lontano La disparit binoculare Punto di fissazione
  • Slide 14
  • Immagine del punto lontano Immagine del punto di fissazione Immagine del punto vicino Punto di fissazione Punto vicino Punto di fissazione P 0 : punto in cui gli assi ottici dei due occhi si intersecano Calcolo della disparit: disparit angolare in radianti - a P 0 0 - a P la disparit tra P L e P R, = /2 + /2 tan( /2) = b / 2 Z per angoli piccoli tan( )= /2 = b / 2 Z e, derivando rispetto a Z, /2 Z = -b/Z 2 P0P0 P Z b Punto lontano Z /2 PLPL PRPR La trigonometria b /2
  • Slide 15
  • Dati numerici i possono fare delle assunzioni plausibili sul funzionamento della geometria (della visione) si conosce lorientamento relativo degli occhi (presenza dei muscoli oculari comandati dal cervello) anche per le telecamere questo possibile negli umani, b=6 cm Per Z=100cm il pi piccolo rilevabile 2.42 x 10 -5 radianti ci corrisponde a Z di circa 0.4 mm Per Z=30 cm si arriva a un Z di circa 0.036 mm
  • Slide 16
  • Il problema della corrispondenza Come si fa a mettere in corrispondenza (matching ) le proiezioni che nelle due immagini visive corrispondono a uno stesso punto della scena? si matchano le stesse posizioni sulle due retine (o immagini della telecamera): non utile a causa della disparit tra le due immagini processi top-down e bottom up
  • Slide 17
  • Top-down e bottom -up top-down si identificano gli oggetti nella scena e si matchano le medesime parti degli oggetti nelle due immagini circolo vizioso: la visione stereoscopica serve a identificare la profondit e lorientamento delle superfici per poi identificare gli oggetti bottom-up si matchano i valori di intensit delle due matrici problema: le intensit dei punti corrispondenti possono essere diverse per i due occhi (esperimento lente affumicata davanti a un solo occhio)
  • Slide 18
  • Come si fa? il problema top-down o bottom-up o entrambi nasce quando si desidera assegnare una struttura a dei dati secondo qualche principio top-down: si usano i principi per predire i dettagli dei dati (struttura degli oggetti per predire le disparit retiniche) bottom-up: si usano i dati per predire le strutture a livello pi alto (disparit retiniche per struttura oggetti) differenti modalit di predizione: qual la migliore? le sole considerazioni computazionali non permettono di decidere quale modalit adotta un sistema cognitivo necessit di prove empiriche bottom-up: il sistema funziona senza conoscenze di alto livello top-down: il sistema funziona quando i dati sono degradati
  • Slide 19
  • Stereogrammi: evidenza per bottom-up stereoscopio: strumento che presenta agli occhi separatamente due immagini di una stessa scena stereogrammi su pagine opposte specchi uniti insieme
  • Slide 20
  • il sistema visivo fonde le due immagini: losservatore vede una scena unica con una forte impressione di profondit Stereogrammi con figure geometriche (800)
  • Slide 21
  • Stereogrammi a punti casuali di Julesz (anni 60)
  • Slide 22
  • Autostereogrammi (1979)
  • Slide 23
  • Implicazioni di Julesz la visione stereoscopica pu funzionare bottom-up non si possono vedere le immagini senza la stereopsi le conoscenze di alto livello non aiutano la stereopsi Frisby, Clatworthy: dire alle persone che cosa si dovrebbe vedere non rende pi veloce la percezione La visione stereoscopica potrebbe essere ampiamente indipendente da altri processi visivi essere un modulo separato del sistema visivo stesso
  • Slide 24
  • Vincoli al matching stereoscopico due fatti relativi al mondo e cablati nel cervello che guidano il processo di matching vincolo di unicit: una cosa non pu essere allo stesso tempo in due posti diversi un punto di una immagine pu essere matchato con uno e un solo punto dellaltra immagine vincolo di continuit: poich le superfici degli oggetti sono di solito opache e lisce, la loro profondit varia lungo un continuum (non a balzi) punti adiacenti di unimmagine tenderanno a rappresentare punti della scena con profondit simile
  • Slide 25
  • Vincoli di unicit e continuit un osservatore guarda un oggetto si considerano 3 punti adiacenti le linee ottiche si incrociano in 9 punti i 9 punti sono potenzialmente effettivi ma quali sono i 3 genuini?
  • Slide 26
  • vincolo di unicit: non pi di un punto si trova su una linea ottica Profondit Possibile Profondit Non possibile Profondit Possibile
  • Slide 27
  • Profondit Non possibile Profondit Possibile Profondit Possibile vincolo di continuit: le superfici degli oggetti variano gradualmente
  • Slide 28
  • Implementazione dei vincoli punti di fusione rappresentati da una matrice mentale di processori (un processore per fusione) con grado di attivit = probabilit di fusione rappresentazione dei vincoli = collegamento adeguato dei processori vincolo di unicit: legami inibitori tra processori sulla stessa linea di vista ogni volta che un processore indica una possibile fusione, gli altri processori sulla stessa linea vengono inibiti vincolo di continuit: legami eccitatori tra processori alla stessa profondit rispetto allosservatore ogni volta che un processore indica una possibile fusione, gli altri processori alla stessa profondit vengono eccitati
  • Slide 29
  • legami eccitatori legami inibitori Implementazione dei vincoli
  • Slide 30
  • Stereogrammi a punti casuali: un programma programma per la visione stereoscopica basato su i vincoli di unicit e continuit (Marr e Poggio) funziona direttamente su elementi che rappresentano i punti casuali come si mettono in relazione i punti quando le profondit sono diverse (a causa della disparit) frammento di una riga della matrice sinistra frammento di una riga della matrice destra
  • Slide 31
  • Il programma vasta matrice di processori che operano in parallelo (operazioni locali tra processori vicini) comportamento simile alle reti connessioniste cicli di attivit fino a valori stabili (rilassamento) operazione di rilassamento input iniziale: righe dalla coppia di stereogrammi la matrice elabora le fusioni possibili output: processori attivi (punto di fusi