Cele, teza i przegląd rozprawy doktorskiej

Krzysztof WegnerPolitechnika Poznańska

Tło tematyczne rozprawy

Rejestracja Obrazu Wielowidokowego

Estymacja Głębi Synteza Obrazu

Obraz wielowidokowy

Koder Wielowidokowy

Mapy głębi

Dekoder Wielowidokowy

Mapy głębi

Obraz wielowidokowy

Strumień bitowy

Transmisja Obrazy Wielowidokowego wraz z Mapami Głębi

Widok Wirtualny

Żądana pozycja

Swobodna nawigacja

Obszar tematyczny rozprawy

Rejestracja Obrazu Wielowidokowego

Estymacja Głębi Synteza Obrazu

Obraz wielowidokowy

Koder Wielowidokowy

Mapy głębi

Dekoder Wielowidokowy

Mapy głębi

Obraz wielowidokowy

Strumień bitowy

Transmisja Obrazy Wielowidokowego wraz z Mapami Głębi

Widok Wirtualny

Żądana pozycja

Swobodna nawigacja

Metodologia

View Synthesis Reference Software

Koder MVC Dekoder MVC

Mapy głębi

Obraz wielowidokowy

Dwa strumienie bitowe

Transmisja Obrazu Wielowidokowego wraz z Mapami Głębi

Widok Wirtualny

Żądana pozycja

Ocena SubiektywnaUznany zbiór sekwencji wielowidokowych

Koder MVC Dekoder MVC

Poznan Street Poznan Hall 2

Undo DancerGhost Town Fly

Balloons Newspaper

Kendo Lovebird

Mapy głębi

Obraz wielowidokowy

PSNR

BD-Rate

PSNRWidok WirtualnyObraz z kamery

Synteza Obrazu

Synteza widoku Synteza widoku

Łączenie obrazu

Wypełnianie dziur

Scena otoczona wielowidokowym systemem akwizycji

Żądana pozycja

Widok Wirtualny

Schemat blokowy procesu syntezy widoku wirtualnego

Synteza Obrazu - usprawnienia

Synteza widoku Synteza widoku

Łączenie obrazu

Wypełnianie dziur

• Redukcja liczby operacji arytmetycznych• Łączenie obrazu zgodnie z

wartością głębi• Redukcja zniekształceń na

krawędziach obiektów

Schemat blokowy procesu syntezy widoku wirtualnego

Synteza widoku Synteza widoku

Łączenie obrazu

Wypełnianie dziur

Redukcja liczby operacji arytmetycznych • Jedną z najkosztowniejszych operacji w procesie syntezy jest transformacja

położenia punku z przestrzeni widoku wejściowego do przestrzeni widoku wirtualnego

[𝑧𝑤 ∙𝑢𝑤

𝑧𝑤 ∙𝑣𝑤𝑧𝑤1

]=[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44

] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]

[h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44

]=𝐾𝑤 ∙𝑅𝑡𝑤 ∙𝑅𝑡−1 ∙𝐾 −1

[𝑢 𝑣 ]𝑇

[𝑢𝑤 𝑣𝑤 ]𝑇

𝐾𝑤 ,𝐾 Macierz parametrów wewnętrznych

𝑅𝑡𝑤 ,𝑅𝑡 Macierz parametrów zewnętrznych

d

𝑑𝑤

𝑧=1

𝑑255

∙( 1𝑧𝑛𝑒𝑎𝑟

− 1𝑧 𝑓𝑎𝑟 )+ 1

𝑧 𝑓𝑎𝑟

Transformacja położenia punktów

Analiza liczby operacji Mnożenia Dodawania Dzielenia Opis

1·W·H 1·W·H 1·W·H Denormalizacja

2·W·H 0 0 Konstrukcja m

16·W·H 12·W·H 0 Transformacja

0 0 3·W·H Normalizacja m

1·W·H 1·W·H 1·W·H Normalizacja d

Suma 20·W·H 14·W·H 5·W·H

Redukcja liczby operacji arytmetycznych • Rozłożenie obliczeń na etapy

[𝑧𝑤 ∙𝑢𝑤

𝑧𝑤 ∙𝑣𝑤𝑧𝑤1

]=[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44

] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]

𝑧=1

𝑑255

∙( 1𝑧𝑛𝑒𝑎𝑟

− 1𝑧 𝑓𝑎𝑟 )+ 1

𝑧 𝑓𝑎𝑟

[ h11 h12 h13 h14h21 h22 h23 h24h31 h32 h33 h34h41 h42 h43 h44

] ∙ [𝑧 ∙𝑢𝑧 ∙𝑣𝑧1 ]

=

∼h1𝑇 ∙𝑢+h2𝑇 ∙𝑣+h3

𝑇 ∙1+h4𝑇 ∙ 1𝑧

⟹ 1𝑧=

𝑑255

∙( 1𝑧𝑛𝑒𝑎𝑟

− 1𝑧 𝑓𝑎𝑟 )+

1𝑧 𝑓𝑎𝑟

¿𝑑 ∙𝑎+𝑏

Szybka transformacja położenia punktów

Analiza liczby operacji Mnożenia Dodawania Dzielenia Opis

4·H 4·H 0 Akumulacja v

4·W·H 4·W·H 0 Akumulacja u

1·W·H 1·W·H 0 Wyznaczanie invz

4·W·H 4·W·H 0 Akumulacja invz

0 0 3·W·H Normalizacja m

1·W·H 1·W·H 1·W·H Normalizacja d

Suma (6·W+4)·H (6·W+4)·H 3·W·H

20·W·H 14·W·H 5·W·H Poprzednio

Szybka transformacja położenia punktów• Zaproponowany algorytm wymaga zaledwie 30% mnożneń, 47% dodawań i 60%

najkosztowniejszych obliczeniowo dzieleń.• Czyli przeszło 3 razy mniej mnożeń, ponad 2 razy mniej dodawań i 1.6 razy mniej

najkosztowniejszych obliczeniowo dzieleń.

Łączenie obrazu• Problem przysłonięć

Fragment obrazu widoku wirtualnego

Redukcja zniekształceń na krawędziach obiektów• Błędy w mapach głębi• Dodatkowa obwódka

Jakość Obrazu Widoku SyntezowanegoSekwencja Book Arrival widok 5

Jakość Obrazu Widoku SyntezowanegoWartości uśrednione po wszystkich sekwencjach i wszystkich widokach

Szybka synteza widoków

• Mapy głębi• Płaszczyzny• Oddzielone krawędziami

Sposób syntezy obrazu• Typowo punkt po punkcie• Dla bloku NxN

wymaga N2 operacji• Pojawiają się dziury

• Przybliżyć mapę głębi płaszczyzną• Dla bloku NxN

wymaga 4 operacji• Ciągły obszar brak dziur

Przyspieszenie syntezy obrazu• Redukcja liczby obliczeń R dla blocku NxN• Zamiast transformacji N2 punktów• Tylko 4 narożniki wymagają transformacji

R=𝑁2

4

Modelowanie głębi• Mapa głębi składa się z płaskich, gładkich

obszarów, rozdzielonych krawędziami• Modelowane płaszczyzną• Modelowanie wprowadza błąd reprezentacji

• Rozwiązanie• Adaptacyjny podział mapy głębi na bloki• Maksymalizacja stopnia redukcji liczby transformacji• Minimalizacja błędów reprezentacji

Fragmentmapy głębiN2 Transformacji

Model fragmentu mapy głębi16 bloków64 Transformacji𝐾𝑜𝑠𝑧𝑡=𝜆∙𝐸+𝑅

𝐸=∑𝑥=0

𝑁−1

∑𝑦=0

𝑁− 1

(𝑀𝑜𝑑𝑒𝑙 (𝑥 , 𝑦 )−𝑑 (𝑥 , 𝑦 ) )2

𝑀𝑜𝑑𝑒𝑙 (𝑥 , 𝑦 )=𝑎 ∙ 𝑥+𝑏 ∙ 𝑦+𝑐

Modelowanie głębi• Oryginalna Mapa Głębi Podział na bloki

Metodologia

Przyśpieszenie procesu syntezy

Przyśpieszenie procesu syntezy

Przyśpieszenie procesu syntezy

Przyśpieszenie procesu syntezy

Szybka synteza obrazu - Podsumowanie• Modelowanie mapy głębi zbiorem płaszczyzn• Umożliwia 16 krotną redukcje liczby obliczeń• Dla skompresowanego obrazu do 64 razy szybciej

Kodowanie obszarów odsłoniętych• 95% treści obrazu powtórzone w więcej niż jednym widoku• Przesyłać tylko raz

Sekwencja Procent powierzchni obrazu

Poznan Street 95%

Poznan Hall 2 94%Dancer 95%Balloons 96%Kendo 96%Newspaper 92%Average 95%

Kodowanie obszarów odsłoniętych

Schemat opracowanego kodera

Metodologia

View Synthesis Reference Software

Koder Wielowidokowy

Dekoder Wielowidokowy

Mapy głębi

Obraz wielowidokowy

Strumienie bitowe

Transmisja Obrazu Wielowidokowego wraz z Mapami Głębi

Widok Wirtualny

Żądana pozycja

Ocena SubiektywnaUznany zbiór sekwencji wielowidokowych

Poznan Street Poznan Hall 2

Undo DancerGhost Town Fly

Balloons Newspaper

Kendo Lovebird

Mapy głębi

Obraz wielowidokowy

PSNR

BD-Rate

PSNRWidok WirtualnyObraz z kamery

Ocena jakości kompresji

Ocena jakości kompresji

Ocena jakości kompresji

Redukcja wymaganej prędkości bitowej - PSNR

Redukcja wymaganej prędkości bitowej - MOS

Podsumowanie• Przesyłanie obszarów odsłoniętych pozwala na:• 45% redukcję wymaganej prędkości bitowej przy zachowaniu tej samej jakości

obiektywnej• 61% redukcję wymaganej prędkości bitowej przy zachowaniu tej samej jakości

subiektywnej