Upload
krzysztof-wegner
View
47
Download
5
Embed Size (px)
Citation preview
1
Wyznaczenie map głębi
z jednoczesną estymacją przysłonięć
Seminarium Doktoranckie, maj 2011
Krzysztof Wegner
Katedra Telekomunikacji Multimedialnej i Mikroelektroniki
Politechnika Poznańska
Mapy głębi Informacja o strukturze przestrzennej sceny
Im jaśniejszy kolor tym bliższy obiekt
2
3
Wyznaczenie mapy głębi Do wyznaczenie mapy głębi
wykorzystuje się rozbieżność stereoskopową
4
Wyznaczenie mapy głębi Rozbieżność wyszukuje się za pomocą
pasowania bloków (lub innej bardziej zaawansowanej
techniki)
d
5
Wyznaczenie mapy głębi Rozbieżność wyszukuje się za pomocą
pasowania bloków (lub innej bardziej zaawansowanej
techniki)
d
dd
6
Problem zasłaniania Nie wszystkie punkty są widoczne
w sąsiednim obrazie
d????
7
Rozwiązanie Do wyznaczenie mapy głębi
wykorzystuje się nie dwa a trzy obrazy
d???? d
8
Problem wyboru kierunku
Jak wyznaczyć którą rozbieżność wybrać??
Standardowo wybiera się tą wartość która lepiej pasuje (min sel) np. DERS
d???? d
9
Problem wyboru kierunku
Jednak w niektórych przypadkach niewłaściwa rozbieżność jest wybierana
d2 d1
Problem wyboru kierunku
Rozmywanie krawędzi w macie głębi
10
Pomysł Wybór kierunku na podstawie
przewidywanej widoczności punktu w sąsiednich widokach
11
Wybór kierunku Z aktualnie wyliczonej mapy głębi
(może niedoskonałej) zsyntezuj mapy głębi widoków sąsiednich.
12
Wybór kierunku
Sprawdź czy punkt jest widoczny w sąsiednim widoku (Z-Test)
Jeśli jest widoczna tylko w jednym widoku wybierz ten widok
Jeśli w obu uśrednij koszty pasowania.13
d2
d1
Wyniki
14DERSDERS - OCC
Wyniki
15
Wyniki
16
Podsumowanie Zaproponowano nową metodę wyboru
obrazu odniesienia bazującą na wykrywaniu widoczności punktu
Zaproponowana metoda poprawia otrzymywanie mapy głębi średnio o 2db
Zaproponowana metoda nie ingeruje w sposób wyznaczania map głębi a jedynie w sposób wyboru obrazu odniesienia
17
Dziękuje za uwagę Pytania?
18
Telewizja swobodnego punktu widzenia
Widz może wybrać z którego miejsca chce oglądać scenę.
Nie tylko z miejsca z którego fizycznie rejestrowaliśmy scenę
19
Synteza widoku wirtualnego
Ma na celu stworzenie obrazu z wirtualnej kamery Na podstawie obrazów referencyjnych Renderowanie
20
Synteza widoku wirtualnego
1. Rekonstrukcja modelu w przestrzeni 3D obrazy referencyjne mapy głebi
21
Synteza widoku wirtualnego
2. Model w przestrzeni 3D poprawki modelu
22
Synteza widoku wirtualnego
3. Renderowanie nowego widoku rzutowanie modelu do nowego widoku
23
Synteza widoku wirtualnego
Problemy Nie dokładności w mapie głębi Różnice w oświetleniu Półprzeźroczystości Nawigowanie Czas syntezy
24
Czas Renderowanie – złożone obliczeniowo
Obliczenie pozycji w przestrzeni Każdy punkt opisany 7 liczbami
3 współrzędne 4 składowe koloru
Obliczenie położenia wymaga rozwiązania równania z macierzami 4x4
25
11
ZYX
RAyx
d
Czas - rozwiązanie Renderowanie
26
Renderowanie – Homografia
Czas - rozwiązanie Renderowanie – Homografia
Przesuwanie punktów Obliczenie położenia wymaga rozwiązania
równania z macierzami 3x3 (256 szczególnych przypadków)
27
11YX
Hyx
d
Czas - rozwiązanie Renderowanie – Homografia
Implementacja na karcie graficznej GPGPU Ogromne zrównoleglenie – specjalny
algorytm
28
Schemat zaproponowanego rozwiązania
29
Poznań Street - Rotacja
30
Poznań Street - Zoom
31
WynikiGPU – ATI Radeon Procek - Core
i7VSRS - Ref
Czas przetwarzania
25 fps – 40 ms 0.5 fps – 2s 0.25 fps – 4 s
32
Wyniki jakości subiektywnej – praca w toku