Spracovanie digitálneho obrazového signálu

TT cvičenie 3TT cvičenie 3

2006/072006/07

Model digitálneho obrazu a obrazovej sekvenciematice M x N bodov (pixelov)úroveň jasu: 8 bit/pixel (ČB obraz)

3 x 8 bit /pixel - dig. vyjadrenie farby (napr. RGB)

obrazová sekvencia =

(n snímok / sec.) čas,

t.j. obrovské množstvo dát

M

N

2

celkový objem dát: M x N x 8 x n x počet sekúnd (dosť... )

- zašumený obraz

-škvrny a čiary v obraze

3

Poškodenie digitálneho obrazu

Spracovanie = filtrácia – všeobecne:

operácia s hodnotami vzoriek „bežiaceho“ filtračného okna

4

- pre farebné obrazy – zložkové (každý zložkový obraz R,G,B sa spracuje zvlášť) a vektorové filtre (farba = vektor vo farebnom priestore)- vektorové filtre zachovávajú fareb.odtieň a fareb. hrany

Filtre pre dynam. obrazové sekvencie

dvojsmerové štruktúry

- psychovizuálne hľadiská pri návrhu (časová a priestorová frekvenčná obmedzenosť oka, dôležitý vertikálny a horizontálny smer)

- veľká rozmanitosť pri návrhu štruktúry a algoritmu – nie všetko je však výhodné – dôraz na detaily v snímkach aj na zachovanie a kvalitu pohybu

jednosmerové štruktúry filtra

W1

5

Číselné kritériá kvality obrazu a videa

mM

mi

mN

mjjiji oy

mNmMMSE

1 1

2,,22

1

mM

mi

mN

mjjiji oy

mNmMMAE

1 1,,22

1- pre obraz: - pre sekvenciu:

lF

lnnseq MAE

lFMAE

12

1

mM

mi

mN

mjjiji

mM

mi

mN

mjji

oy

y

1 1

2,,

1 1

2,

10log10SNR dB MSE

yPSNR

2max

10log10

Pomer signál / šum: Vrcholový pomer signál / šum:

- farebný rozdiel: zložitá postupná transformácia: lin.RGB XYZ u’, v’, u’n, v’n L*u*v* 222 **** vuLE uv

- zachovanie, resp. chyba pohybu v sekvenciách – zmena medzi- snímkovej korelácie ΔR;

1

11 1

1,,,,

1

nn

nn

M

i

N

jnjinji

n

yyMN

R

6

Kritérium kvality korelujúce s jej vyhodnotením pomocou HVS (Human Visual System)

nutnosť hľadania nového číselného kritéria – nie MSE, MAE apod. (automatizácia vyhodnocovania)

• založené na štrukturálnej podobnosti obrazov

Originál a zmenené obrazy s rovnakou MSE

- ITU-T P.910 (štandard pre posudzovanie kvality videa pomocou skupiny ľudí) – náročné na ľudí aj na techn. podmienky

(skupina VQEG a iní)

2.

1.

3.

7

Kritérium kvality SSIM - definícia

2222

4..,

yxyx

xyyxsclyxS

2

221

22

21 22,

CC

CCyxSSIM

yxyx

xyyx

C1=(K1L)2, C2=(K2L)2 , L = 255

(rozsah jasu), K1, K2 10-2 od používateľa

,2

,22yx

yxyxl

yx

xy

yx,s ,2

22yx

yx

yx,c

- Využitie štatist. parametrov obrazu a snímok: μ, σ, σx,y

- nové koef. podobnosti:

- prakticky: bloky obrazu – SSIMij – priemerný SSIM (MSSIM) pre každý bod obrazu (mapa kvality), alebo pre vybrané bloky obrazu- pre farby- po zložkách Cr

ijCrCbijCb

YijYij SSIMWSSIMWSSIMWSSIM

- pre sekvencie - úspora výpočtov: náh. výber blokov – ich váhy podľa jasu – váhy snímok podľa miery pohybu (využitie BM alebo Rn):

F

jj

F

jjj

v

W

QW

Q

1

1

8

Kritérium kvality SSIM- experiment

Porovnanie SSIM a MSE: c.obrazu MSE Subjektívne hodnotenie

MSSIM

1. 226.36 1,9 0.943 4. 226.23 2,47 0.786 3. 225.92 5,14 0.745 2. 225.23 5,24 0.741 5. 224.62 5,43 0.59

čierno-biely impulzový šum

multiplikatívny šum

4. 5.

9

známka od 1 do 5, určená nezávislými ľuďmi