3D-HEVC Test Model

3D-HEVC Test Model

Krzysztof Wegner

Cel i obszar użycia

• Zastosowania– wydajne przesłyłanie obrazu ruchomego na

potrzeby monitorów autostereoskopowych– przesyłanie obrazu stereoskopowego

• Kodowanie obrazu 3D w formacie MVD– sekwencje wizyjne– mapy głębi

Nomenklatura

• Tekstura• Mapa głębi• Wektor rozbieżności• Widok• CTC• disparity-compensated prediction (DCP), • motion-compensated prediction (MCP). • Access Unit – jednostka dostepu swobodnego

• Tekstura przez Głębią

Schemat kodera

Kodowanie widoku bazowego

• Widok bazowy kodowany zgodnie ze specyfikacją HEVC

• Strumień zgodny z HEVC

Kodowanie dodatkowych widoków

• Predykcja z kompensacją rozbieżności• Międzywidokowa predykcja wektorów ruchu• Międzywidokowa predykcja wektorów

rozbieżności• Międzywidokowa predykcja sygnału

resztkowego

• Nie zależy od kodowanej głębi

Predykcja z kompensacją rozbieżności


• Ograniczone tylko do bieżącej chwili czasowej (ta sama jednostka dostępu swobodnego)

• Obrazy z sąsiednich widoków wstawiane na koniec listy referencyjnej


• Możliwość zmiany kolejności obrazów na listach referencyjnych

• Wykorzystanie odpowiedniej składni HEVC(reference picture list modification )

Predykcja wektorów

• Wektory rozbieżności przewidywane tylko z bloków kodowanych z wykorzystaniem kompensacji rozbieżności

• Wektory ruchu przewidywane są tylko z bloków kodowanych z wykorzystaniem kompensacji ruchu

Predykcja wektorów

• Wykorzystanie istniejących mechanizmów– Zawansowany mechanizm predykcji wektorów

ruchu (AMVP)– Mechanizm dziedziczenia ruchu z sąsiednich

bloków (Merge Candidate)

Między-widokowa predykcjawektorów ruchu

Między-widokowa predykcjawektorów rozbieżności

• Cztery metody predykcji– Predykcja na podstawie zakodowanej mapy głębi– Predykcja na podstawie zgrubnej mapy głębi

estymowanej na podstawie zakodowanych wektorów ruchu i rozbieżności (depth map generator)

– Predykcja z sąsiadujących bloków

Predykcja na podstawiezakodowanej mapy głębi

• Mapa głębi wcześniej zakodowanych widoków jest przerzutowana (syntezowana) do bieżącego widoku

• Odsłonięcia uzupełniane informacją z tła – algorytmem wypełniania dziur / odsłonięć

• Maksymalna wartość głębi w danym bloku przeliczana jest na rozbieżność

Predykcja na podstawie zgrubnej mapy głębi

• Koder i dekoder tworzą mapę głębi na podstawie przesłanych wcześniej wektorów ruchu i rozbieżności.

• Zgrubna mapa głębi jest 4 razy mniejsza niż obraz (blokowa natura pola ruchu/rozbieżności)

• Zgrubna mapa głębi wykorzystywana jest następnie do predykcji wektora rozbieżnościw aktualnie kodowanym obrazie głębi




Predykcja z sąsiadujących bloków

• Predykcja przestrzenna• Predykcja czasowa


• Predykcja przestrzenna– Sąsiadujące bloki zgodnie z specyfikacją HEVC


• Predykcja czasowa– Bloki co-located zgodnie z specyfikacją HEVC– Zarówno z obrazów z innych chwil czasowych, jak i

innych widoków


• Predykcja wektorów ruchu z bloków kodowanych z kompensacją rozbieżności.(nested prediction)

V0 (independent view) V1 (dependent view)


• Predykcja wektorów rozbieżności z bloków kodowanych z kompensacją ruchu.

• ????????????????????

Między-widokowa predykcjasygnału resztkowego

• Błąd predykcji jest przewidywany na podstawie błędu predykcji widoku bazowego

• Kompensację rozbieżności dokonuje się na podstawie mapy głębi (kodowanej lub przewidywanej)

Kodowanie map głębi

• Kompensacja ruchu z dokładnością punktową• Brak filtru usuwającego efekt blokowy

(deblokującego)• Brak filtru wienera (ALF)• Brak filtru SAO• Dodatkowe trybu kodowana oparte

o modelowanie bloku• Dziedziczenie wektorów ruchu i rozbieżności

z obrazu

Kodowanie map głębi

• Pomiar zniekształcenia mapy głębi na podstawie zniekształcenia syntezowanej mapy głębi (VSO)

• Ograniczenie podziału bloku na podstawie podziału obrazu (QuadTree limitation)

• Optional Encoder Control for Renderable Regions in Dependent Views

Tryby modelowania bloku głębi

• Głębia posiada ostre krawędzie i płaskie obszary które powinny zostać zachowane

• Podział bloku na 2 obszary o stałej wartości głębi• Różne sposoby sygnalizowania podziału bloku

– Wedgelet– Contourlet– Łańcuchowe kodowanie krawędzi

• Predykcja intra

Wedgelet

• Podział pliku na 2 części prostą linią• 8 trybów odpowiadających 8 możliwością

podziału bloku

Wedgelet

• Bezpośrednie sygnalizowanie trybu i położenia linii xs ye d

• Predykcja linii podziału z otaczających bloków

Wedgelet

• Predykcja trybu za pomocą segmentacji obrazu

Contourlet

• Predykcja podziału na podstawie segmentacji obrazu (progiem jest wartość średnia)

Łańcuchowe kodowanie krawędzi

• W bloku wykrywane są krawędzie które są większe niż próg, jeśli blok posiada tylko 1 taką krawędź tryb jest stosowany

: previous traverse : current traverse : reconstructed edge

0 ̊ 45 ̊ -45 ̊

135 ̊-90 ̊90 ̊ -135 ̊

Wartość głębi w segmentach

• Wartość głębi w segmentach Wedgelet’u i Contourlet’u jest kodowana predykcyjnie

• Liniowa kwantyzacja (krok uzależniony od QP)

Dziedziczenie wektorów ruchu i rozbieżności z obrazu

• Predykcja wektorów ruchu z odpowiadającego bloku obrazu.

• Dziedziczenie także podziałów jednostek kodowania• Wykorzystanie mechanizmu Merge

Pomiar zniekształcenia

• Zniekształcenie mapy głębi mierzone jest jako wartość SAD obrazu zsyntezowanego


• Zamiast syntezować obraz dla każdego bloku• Zastosowanie przybliżenia w postaci

sD – oryginalny blok głębis᷉D – zrekonstruowany blok głębisT – zrekonstruowany blok obrazu


• Ważona suma zniekształcenia mierzonego klasycznie i zniekształcenia obrazu syntezowanego

• Proporcje 10:1

Ograniczenie podziału drzewa

• Obraz zawiera więcej szczegółów niż odpowiadająca mu mapa głębi.

• Blok głębi nie powinien być podzielony bardziej niż odpowiadający mu blok obrazu

• Dziękuje za uwagę

Education

3D-HEVC Test Model