Odsek za računarsku tehniku i računarske komunikacije 2021

Osnovi algoritama i

struktura DSP 2

Diskretna obrada signala slike i videa

• Signali slike (2D) i njihovi parametri

• Format slika u boji

• Signali videa (3D)

• 2D sistemi

• 2D konvolucija

Digitalna slika je predstava dvodimenzionalne slike kao konačan

skup digitalnih vrednosti koje nazivamo tačke ili pikseli

Slika je vizualna predstava u obliku funkcije f (x,y) gdje se

f odnosi na osvetljenje (ili boju) u tački (x,y)

Digitalna slika je aproksimacija stvarne slike

Digitalna slika je 2D signal sa I mogućih vrednosti

110 ,...,,),( ISSShvs (v,h) : jedna tačka ili piksel

sa(v,h)

h

v

v

• obično je I=2B, gde je B broj bita po pikselu

• celobrojne vrednosti: Sn=n gde je n=0,1,...,I-1

• normalizovane vrednosti: 0 < Sn < 1

• binarna slika I=2: S0=0 i S1=1

Obrada slike ciljevi:

Poboljšanje vizuelne informacije u cilju boljeg razumevanja

slike od strane ljudi

Obrada slike u cilju skladištenja, prenosa, i predstavljanja u

cilju percepcije slike od strane računarskog programa

Hubble teleskop - izobličenje

zbog greške ogledala

Nakon primene digitalne

obrade slike

Primer primena u industriji

kontrola

Primene - policija

Primer primene – zamućivanje lica u cilju zaštite privatnosti

Primer obrade slike – prepoznavanje vizuelnih oznaka

kolona h k

vrsta v

n

susedi

rastojanje

22 )()(),(,, khnvknhvd

)1,1(),1()1,1(

)1,()1,(

)1,1(),1()1,1(

hvshvshvs

hvshvs

hvshvshvs

tekstura

pozadina

ivice

objekat

Elementi slike

h

v

linije

korneri

•Veće i složenije strukture se

takodje mogu definisati i

koristiti

za opis delova slike, kao što je

linija, korner, kontura,

stepenica, češalj, itd.

k

Topološke osobine slike

Histogram slike

• Histogram slike predstavlja frekvenciju pojavljivanja različitih osvetljaja.

• Verovatnoća pojavljivanja određene vrednosti piksela.

v=1,...,V i h=1,...,H

HVnhI

n

1

0

)(

1)()(

)(1

0

I

n

npHV

nhnp

1),(),( hvshhvsh

)8(2550: BS

h(S)V

(258)

H (258)

Primer primene – izoštravanje slike

Format slike u boji

• sve boje mogu se razložiti na tri komponente (baza boja)

• najčešće se koristi RGB

• svaki piksel je definisan sa tri komponente boja

),(),,(),,(),( hvBhvGhvRhvs

• najčešći format boja u televiziji je YUV

Y je luminiscentni signal i definiše crno-belu sliku (osvetljaj)

U i V su hrominentne komponente koje definišu boje

• transformacija formata iz RGB u YUV i obrnuto se definiše pomoću matrica

615.0615.0

436.0436.0

10

012798.21

38059.021482.01

28033.101

10

10

10

05639.051.0615.0

436.028886.014714.0

114.0587.0299.0

11

V

U

Y

T

V

U

Y

T

B

G

R

B

G

R

T

B

G

R

T

V

U

Y

Transformacija formata slike

Video signali (3D)

h

v

t

),,(: hvtstframe

),,1(:1 hvtstframe

• vektor pomeraja

21

2

1

11

tttt

httvtt

hhvvm

ihhivvm

m

),( tt hv

),( 11 tt hv

2D sistemi: ),(),( hvXfhvY

f{.}X(v,h) Y(v,h)

Primer – korekcija osvetljaja aXY

2D konvolucija – linearni, vremenski nepromenjivi sistem

h – 2D impulsni odziv sistema

hX(v,h) Y(v,h)

1

0

1

0

),(),(),(N

n

K

k

khnvXknhhvY

(v,h)

(v-N+1,h-K+1)

Primer: Gausov impulsni odziv2

2

2

2

2

)2/(

2

)2/(

),( hv

KkNn

eknh

Primer konvolucije: zamućenje

slike primenom NF filtra

Impulsni odziv filtra

Primer konvolucije: izoštravanje

slike primenom VF filtra

Impulsni odziv filtra

Detekcija ivica – Sobel operator

Vertikalni gradient

101

202

101

4

1),( hvhv

Horizontalni gradient

121

000

121

4

1),( hvhv

2

0

2

0

)1,1(),(),(n k

horvhorv khnvXknhhvG

Globalni gradient ),(),(),( 22 hvGhvGhvG hv

Binarni gradient

thhvG

thhvGhvG

),(1

),(0),(

h

3D sistemi: detekcija pokreta primenom “block matching” algoritma

h

v

t

),,( hvts

),,1( hvts

• razlika za pomeraj m=(x,y)

• određivanje vektora pomeraja za blok N x N piksela

• pretraživanje svih mogućih pomeraja u regionu K x K

• pomeraj za koji je minimalna razlika

N

N

blok

region

K

K

2/)1(

2/)1(

2/)1(

2/)1(

2),,1(),,(),(

N

Nn

N

Nk

kxhnyvtsxhyvtsxyD

• vektor pomeraja

mm

• veličina bloka u praksi NxN = 4x4 ili 8x8

• veličina regiona pretraživanja u praksi KxK = 31x31

2/)1(,...,2/)1(2/)1(,...,2/)1(

),(min,),(

KKyKKx

mmmm xyDxyDakoxym

3D sistemi – primer: N x N = 3 x 3 K x K = 3 x 3

Analiza slike/videa

• Važne odlike (features) slike za

analizu:

– Lokalni:

• Ivice

• Tekstura

– Globalni:

• Objekti (detalji)

• Osvetljenost

• Boja

• Oštrina (kontrast)

• Šum

Analiza slike u video nadzoru

• detekcija ivica

• detekcija objekata (konture)

• detekcija vektora pomeraja

• predikcija kretanja

Treba zapamtiti:

• Digitalna slika je 2D signal (prostorna struktura – vertikalna i horizontalna dimenzija) veličine VxH

tačaka (pixel). Za svaku tačku je određen intenzitet slike sa jednom od 2B vrednosti ako se koristi B

bita po tački. Najmanja vrednost 0 odgovara crnoj boji a najveća 2B -1 odgovara beloj boji.

• Elementi slike su pozadina i objekti definisani sa ivicama i unutrašnjom teksturom. Oni se bliže

definišu sa topološkim osobinama slike kao što su ivice, korneri, stepenice, češljevi itd.

• Histogram slike se definiše kao skup učestanosti pojavljivanja svake od 2B vrednosti u slici.

• Digitalna slika u boji se sastoji od tri vrednosti (osnovne boje R-crvena, G-zelena, B-plava) za svaku

tačku u RGB formatu. Drugi format slike u boji je YUV, gde je Y luminiscentna komponenta a U i V

su dve kolor komponente. Veza između RGB i YUV formata je definisana transformacionom

matricom T 3x3: YUV=TxRGB.

• Video signal je 3D signal (vreme + prostor) u kojem se ređaju slike (frames) sa pomeranjem u

vremenu. Između susednih slika u vremenu se mogu odrediti vektori pomeraja za svaku tačku.

• 2D sistemi opisuju obradu jedne digitalne slike. Linearni 2D sistemi opisuju 2D konvoluciju

(filtriranje) u kojoj se vrednost slike u jednoj tački na izlazu izračunava kao linearna kombinacija

vrednosti slike na ulazu u okolnim tačkama. Koeficijenti linearne kombinacije definišu 2D impulsni

odziv takvog filtra.

• Detekcija ivica (Sobelov operator) je jedan 2D VF filter baziran na izračunavanju razlike osvetljaja u

susednim tačkama. Obično se primenjuje samo na luminiscentnu komponentu mirne slike.

• Block matching je metoda određivanja vektora pomeraja u video signalu na osnovu minimalne srednje

razlike u jednom bloku oko posmatrane tačke u slici.

• Analiza slike uključuje više lokalnih (ivice, tekstura) i globalnih (objekti, oštrina, osvetljenost)

parametara. U analizi videa dodatno se analiziraju i dinamički parametri (pomeraj, trajektorije).