Wyznaczenie map głębi z jednoczesną estymacją przysłonięć

1

Wyznaczenie map głębi

z jednoczesną estymacją przysłonięć

Seminarium Doktoranckie, maj 2011

Krzysztof Wegner

Katedra Telekomunikacji Multimedialnej i Mikroelektroniki

Politechnika Poznańska

Mapy głębi Informacja o strukturze przestrzennej sceny

Im jaśniejszy kolor tym bliższy obiekt

2

3

Wyznaczenie mapy głębi Do wyznaczenie mapy głębi

wykorzystuje się rozbieżność stereoskopową

4

Wyznaczenie mapy głębi Rozbieżność wyszukuje się za pomocą

pasowania bloków (lub innej bardziej zaawansowanej

techniki)

d

5

Wyznaczenie mapy głębi Rozbieżność wyszukuje się za pomocą

pasowania bloków (lub innej bardziej zaawansowanej

techniki)

d

dd

6

Problem zasłaniania Nie wszystkie punkty są widoczne

w sąsiednim obrazie

d????

7

Rozwiązanie Do wyznaczenie mapy głębi

wykorzystuje się nie dwa a trzy obrazy

d???? d

8

Problem wyboru kierunku

Jak wyznaczyć którą rozbieżność wybrać??

Standardowo wybiera się tą wartość która lepiej pasuje (min sel) np. DERS

d???? d

9

Problem wyboru kierunku

Jednak w niektórych przypadkach niewłaściwa rozbieżność jest wybierana

d2 d1

Problem wyboru kierunku

Rozmywanie krawędzi w macie głębi

10

Pomysł Wybór kierunku na podstawie

przewidywanej widoczności punktu w sąsiednich widokach

11

Wybór kierunku Z aktualnie wyliczonej mapy głębi

(może niedoskonałej) zsyntezuj mapy głębi widoków sąsiednich.

12

Wybór kierunku

Sprawdź czy punkt jest widoczny w sąsiednim widoku (Z-Test)

Jeśli jest widoczna tylko w jednym widoku wybierz ten widok

Jeśli w obu uśrednij koszty pasowania.13

d2

d1

Wyniki

14DERSDERS - OCC

Wyniki

15

Wyniki

16

Podsumowanie Zaproponowano nową metodę wyboru

obrazu odniesienia bazującą na wykrywaniu widoczności punktu

Zaproponowana metoda poprawia otrzymywanie mapy głębi średnio o 2db

Zaproponowana metoda nie ingeruje w sposób wyznaczania map głębi a jedynie w sposób wyboru obrazu odniesienia

17

Dziękuje za uwagę Pytania?

18

Telewizja swobodnego punktu widzenia

Widz może wybrać z którego miejsca chce oglądać scenę.

Nie tylko z miejsca z którego fizycznie rejestrowaliśmy scenę

19

Synteza widoku wirtualnego

Ma na celu stworzenie obrazu z wirtualnej kamery Na podstawie obrazów referencyjnych Renderowanie

20

Synteza widoku wirtualnego

1. Rekonstrukcja modelu w przestrzeni 3D obrazy referencyjne mapy głebi

21

Synteza widoku wirtualnego

2. Model w przestrzeni 3D poprawki modelu

22

Synteza widoku wirtualnego

3. Renderowanie nowego widoku rzutowanie modelu do nowego widoku

23

Synteza widoku wirtualnego

Problemy Nie dokładności w mapie głębi Różnice w oświetleniu Półprzeźroczystości Nawigowanie Czas syntezy

24

Czas Renderowanie – złożone obliczeniowo

Obliczenie pozycji w przestrzeni Każdy punkt opisany 7 liczbami

3 współrzędne 4 składowe koloru

Obliczenie położenia wymaga rozwiązania równania z macierzami 4x4

25

11

ZYX

RAyx

d

Czas - rozwiązanie Renderowanie

26

Renderowanie – Homografia

Czas - rozwiązanie Renderowanie – Homografia

Przesuwanie punktów Obliczenie położenia wymaga rozwiązania

równania z macierzami 3x3 (256 szczególnych przypadków)

27

11YX

Hyx

d

Czas - rozwiązanie Renderowanie – Homografia

Implementacja na karcie graficznej GPGPU Ogromne zrównoleglenie – specjalny

algorytm

28

Schemat zaproponowanego rozwiązania

29

Poznań Street - Rotacja

30

Poznań Street - Zoom

31

WynikiGPU – ATI Radeon Procek - Core

i7VSRS - Ref

Czas przetwarzania

25 fps – 40 ms 0.5 fps – 2s 0.25 fps – 4 s

32

Wyniki jakości subiektywnej – praca w toku