Upload
nyssa-newman
View
37
Download
2
Embed Size (px)
DESCRIPTION
Část 1 Přehled a úvod. Rekonstrukce z obrázků – Základní problém. Vstup : Odpovídající “ rysy ” v několika perspektivních obrázcích . Výstup : Pozice kamery , kalibrace , reprezentace scény. Aplikace – Autonomní dálniční vozidla. Rate: 10Hz; Accuracy: 5cm, 4 o. - PowerPoint PPT Presentation
Citation preview
MASKS © 2004
Rekonstrukce z obrázků – Základní problém
Vstup: Odpovídající “rysy” v několika perspektivních obrázcích.Výstup: Pozice kamery, kalibrace, reprezentace scény.
MASKS © 2004
Aplikace – Bezposádkové letecké prostředky (UAVs)
Courtesy of Berkeley Robotics Lab
Rate: 10Hz; Accuracy: 5cm, 4o
MASKS © 2004 Invitation to 3D vision
Aplikace – Real-Time virtuální vkládání objektů
UCLA Vision Lab
MASKS © 2004 Invitation to 3D vision
Aplikace – Real-Time Sportovní pokrytí
Princeton Video Image, Inc.
First-down line and virtual advertising
MASKS © 2004 Invitation to 3D vision
Aplikace – Modelování a vykreslování na základě obrázků
Image courtesy of Paul Debevec
MASKS © 2004 Invitation to 3D vision
Geometrické modely kamer• Model Pinhole kamery
Přehled značení
Skutečné parametry kamery• Z metrických k obrázkovým souřadnicím
3-D Euklidovský prostor & pohyb pevných objektů• Souřadnice a souřadnicové rámce• Pohyb pevných objektů a homogenní souřadnice
Přehled
MASKS © 2004 Invitation to 3D vision
3-D Eiklidovský prostor- Kartézský souřadnicový systém
Standardní bázové vektory:
Souřadnice bodu v prostoru:
MASKS © 2004 Invitation to 3D vision
3-D Euklidovský prostor- Vektory
“Volný” vektor je definován pomocí dvojice bodů:
Souřadnice vektoru:
MASKS © 2004 Invitation to 3D vision
3-D Euklidovský prostor– Skalární a vektorový součin
Skalární součin dvou vektorů:
Vektorový součin dvou vektorů:
MASKS © 2004 Invitation to 3D vision
RIGID-BODY MOTION – Homogenní souřadnice
3-D souřadnice jsou dány vztahem:
Homogenní souřadnice:
Homogenní souřadnice/rychlost jsou tedy popsány:
MASKS © 2004 Invitation to 3D vision
IMAGE FORMATION – Perspektivní zobrazení
Image courtesy of C. Taylor
“The Scholar of Athens,” Raphael, 1518
MASKS © 2004 Invitation to 3D vision
Tvorba obrazu– Pinhole Camera Model
2-D souřadnice
Homogenní souřadnice
MASKS © 2004 Invitation to 3D vision
pixelovésouřadnice
Lineární transformace
Parametry kamery– Pixelové souřadnice
prostorovésouřadnice
MASKS © 2004 Invitation to 3D vision
Parametry kamery– Kalibrační matice a model kamery
Pinhole camera Pixelové souřadnice
Kalibrační matice(skutečné parametry)
Matice projekce
Model kamery
MASKS © 2004 Invitation to 3D vision
Homogenní souřadnice prostorového bodu
Homogenní souřadnice jeho 2-D obrazu
IMAGE FORMATION – Obraz bodu
Zobrazení prostorového bodu do roviny obrazu:
MASKS © 2004 Invitation to 3D vision
Homogenní reprezentace prostorové úsečky
Tvorba obrazu– Obraz úsečky
Homogenní reprezentace jejího 2-D obrazu
Projekce prostorové úsečky do roviny obrázku
MASKS © 2004 Invitation to 3D vision
Obecné zadání
Jsou dány dva obrazy scény,úkolem je určit vzájemnou polohu kamer a prostorovou strukturu scény
MASKS © 2004 Invitation to 3D vision
Model Pinhole kamery
• 3D body
• Obrazové body
• Perspektivní projekce
• Pohyb pevných objektů
• Pohyb pevných objektů a perspektivní projekce
MASKS © 2004 Invitation to 3D vision
3D Struktura and rozpoznání pohybu
neznáméMěřené hodnoty
Euklidovksá transformace
Hledáme takovou rotaci, posunutí a hloubku takové aby chyba projekce byla minimální
Dva obrazy ~ 200 bodů6 neznámých – Pohyb 3 Rotace, 3 Posunutí - Struktura 200x3 souřadnic - (-) universální váha
Obtížný optimalizační problém
MASKS © 2004 Invitation to 3D vision
Epipolární geometrie
• Algebraická eliminace hloubky [Longuet-Higgins ’81]:
Obrazovákorespondence
• Essentiální matice
MASKS © 2004 Invitation to 3D vision
Epipolární geometrie
Obrazovákorespondence
• Epipolar lines
• Epipoles
MASKS © 2004 Invitation to 3D vision
Charakterizace esentiální matice
Theorem 1a (Essential Matrix Characterization)A non-zero matrix is an essential matrix iff its SVD: satisfies: with and
and
• Essentiální matice speciální 3x3 matrix
MASKS © 2004 Invitation to 3D vision
Odhadnutí essentiální matice
• Odhad essentiální matice
• Dekompozice essentiální matice na
• Prostor všech essentiálních matic je 5 dimensionální• 3 stupně volnosti– rotace• 2 stupně volnosti – posunutí (až na váhu)
• Je dáno n odpovídajících si bodů:
•Hledáme rotaci and posunutí takové, že epipolární chyba je minimální
MASKS © 2004 Invitation to 3D vision
Určení relativní polohy z essentiální matice
Essentiální matice
Theorem 1a (Určení polohy) Existují dvě relativní polohy ,kde aodpovídající nenulové essentiální matici.
MASKS © 2004 Invitation to 3D vision
Odhad essentiální matice
• Označme
• Dosazením
• Dosazením všech bodů získáme
MASKS © 2004 Invitation to 3D vision
Odhad essentiální matice
Řešení • Vlastní vektpor odpovídající nejmenšímu vlastnímu číslu• když degenerovaná configurace
Theorem 2a (Project to Essential Manifold)If the SVD of a matrix is given by then the essential matrix which minimizes the Frobenius distance is given bywith
Projekce do essentiálního prostoruProjekce do essentiálního prostoru
MASKS © 2004 Invitation to 3D vision
Lineární algoritmus pro dva obrazy
• Řešení lieárního LLSE problému:
• bodový lineární algoritmus
Následovaný projekcí
E is 5 diml. sub. mnfld. in SVD:
• Projekce do essentiálního prosotru:
• Určení neznámé polohy:
MASKS © 2004 Invitation to 3D vision
• Existují právě dvě dvojice odpovídající každé essentiální matici .
• Posunutí je nenulové
• Body jsou v obecné poloze - degenerovaný stav– komplanární body - kvadratická plocha• Lineární 8-bodový algoritmus• Nonlineární 5-bodový algoritmus přináší až 10 řešení
Rekonstrukce polohy
MASKS © 2004 Invitation to 3D vision
3D rozpoznání struktury
• odstranění jedné váhy
• Řešení soustavy
Pokud je konfigurace nekritická, může být euklidovská struktura bodů a pohyb kamery rekonstruována až na univerzální konstantu
MASKS © 2004 Invitation to 3D vision
Příklad – epipolární geometrie
Pozice kamerya umístění bodů v prostoru
MASKS © 2004 Invitation to 3D vision
Epipolární geometrie – Rovinná úloha
Lineární zobrazení určující vztah mezi dvěma odpovídajícími body
Obrazovákorespondence
• Rovina v souřadnicovém rámci první kamery
MASKS © 2004 Invitation to 3D vision
Rozložení H
Algebraická eliminace hloubky může být odhadnuta lineárně Úprava matice Rozložení H na 4 řešení