Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

3. Szűrés képtérben

Kató Zoltán

Képfeldolgozás és Számítógépes Grafika tanszék

SZTE

(http://www.inf.u-szeged.hu/~kato/teaching/)

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Kép transzformációk típusai

• Kép értékkészletének (radiometriai információ)

átalakítása:

• Kép értelmezési tartományának geometriai

transzformációja (warping):

• Mind az értékkészlet mind pedig az értelmezési

tartomány átalakítása:

2

)),(,(),( jiIfjiJ

)),(),,((),( jitjitIjiJ ji

))),(),,((,(),( jitjitIfjiJ ji

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Értékkészlet transzformációk

• Lokális: Az új pixelérték a kiindulási pixel adott méretű S környezetének pixelértékeitől függ pl. konvolúció adott méretű maszkkal

Ha függ a pozíciótól is, akkor lokálisan adaptív

• Globális: Ha S=teljes kép

• Pont operáció: ha S egyetlen pixelből áll.

3

i

j

i

j

S(i.j)

lokális környezet

(i,j) körül

J(x,y) = f ({I(u,v) | (u,v) є S(i,j)})

Lokális operáció (pl. szűrőzés):

Input: I=[I(i,j)] Output: J =[J(i,j)]

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Szenzor zaj

• Tipikusan (additív) Poisson

Becsapódó fotonok/elektronok/… számától (k) és átlagától (λ)

függő

• Nagyszámú foton (additív) Gauss zaj

• Speckle zaj radar/ultrahang képeken: multiplikatív

Gauss zaj

4

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Képi zaj

• só/bors

• Gauss

• Poisson

5

Zajmentes kép

Gauss zaj (σ=15)

Só/bors zaj

Poisson

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Gauss zaj szűrése

• Hogyan tudjuk a zaj mértékét

megbecsülni és az ideális

intenzitásértéket helyreállítani?

Ha több kép áll rendelkezésünkre,

akkor minden pixelhez több “mérés”

áll rendelkezésünkre

Mivel az additív zaj középértéke 0,

ezért egyszerű átlagolással kaphatunk

a várható értékre (ideális

intenzitásérték) vonatkozó becslést.

6

),0(),(),(' NjiIjiI

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Gauss zaj szűrése átlagoló szűrővel

• A gyakorlatban csak egyetlen kép áll rendelkezésünkre.

• Átlagoljuk a pixelek egy kis környezetét

Feltételezzük, hogy a kép lokálisan homogén és

a zaj pixelenként független (korrelálatlan).

• Megvalósíthatjuk kereszt korreláció () vagy

konvolúció () segítségével.

7

Átlagoló szűrő

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Mozgó átlag

8

Source: S. Seitz

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Mozgó átlag

9

Source: S. Seitz

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 10

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Mozgó átlag

10

Source: S. Seitz

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 10 20

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Mozgó átlag

11

Source: S. Seitz

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 10 20 30

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Mozgó átlag

12

Source: S. Seitz

0 10 20 30 30

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Mozgó átlag

13

Source: S. Seitz

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 10 20 30 30 30 20 10

0 20 40 60 60 60 40 20

0 30 60 90 90 90 60 30

0 30 50 80 80 90 60 30

0 30 50 80 80 90 60 30

0 20 30 50 50 60 40 20

10 20 30 30 30 30 20 10

10 10 10 0 0 0 0 0

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Az átlagoló szűrő tulajdonságai

• Simítás: a képpontok közelebb kerülnek környezetük

átlagához, azaz a kép „simább” lesz,

• a szűrt kép intenzitásértékei a kiindulási kép

intenzitástartományában maradnak,

• lineáris operátor

• Csökkenti a zajt, DE

Elmossa az éleket, homályossá teszi a képet.

Átlagoló szűrő

1 1 1

1 1 1

1 1 1

14

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

• Szűrés során minden pixel értéket a szomszédainak

lineáris kombinációjával cserélünk le.

• A H(u,v) szűrő mag (kernel) vagy maszk adja meg a

szomszédság méretét és a súlyokat.

Korrelációs szűrők

15

Átlagoló szűrő

1 1 1

1 1 1

1 1 1

),(),(),( jiJvuHjiI

U

Uu

V

Vv

vjuiIvuHjiJ ),(),(),(

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Konvolúciós szűrők

• Tükrözzük a maszkot, majd számoljunk kereszt

korrelációt

• Képfeldolgozásban a szűrő tipikusan szimmetrikus

Nincs különbség a korreláció és konvolúció között

16

U

Uu

V

Vv

vjuiIvuFjiJ ),(),(),(

),(),(),( jiIvuFjiJ

F

I

kus)(szimmetri ),(),(

és )(négyzetes )12()12( ),(

es- ),(

vuFvuF

KKvuFF

NMjiII

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Példa

17

1/10 1/10 1/10

1/10 1/5 1/10

1/10 1/10 1/10

1

1 1

1

1

1

1 1

0

0

0

0

0

0 2

2

2

2

2

3

3 3

3 3

4

4

4

4

4

4

8

5

5

5

5

5 6

6

6

6

6

6

7 7

7

7

8

8

8

8

8

8

8

9

9

9 9

9 3

2

10

9

Az F maszk

mérete:

3x3 (K=1)

6

A J=F*I konvolvált

kép adott pontjának

számítása:

1·1/10+3·1/10+ 6·1/10+

8·1/10+10·1/5+ 2·1/10+

9·1/10+4·1/10+ 7·1/10=

6

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

'')'(

)()()(

)()(

)()()(

gfgfgf

hfgfhgf

hgfhgf

gafgfagfa

fggf

A konvolúció tulajdonságai

18

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Gauss szűrő

• Egyenlő súly helyett célszerűbb a közelebbi pixeleket

nagyobb súllyal számolni

19

0 0 0 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 90 0 90 90 90 0 0

0 0 0 90 90 90 90 90 0 0

0 0 0 0 0 0 0 0 0 0

0 0 90 0 0 0 0 0 0 0

0 0 0 0 0 0 0 0 0 0

1 2 1

2 4 2

1 2 1

2 változós, 0 középértékű Gauss függvény közelítése:

Source: S. Seitz

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Gauss szűrő

20

σ = 2, 30 x 30 kernel σ = 5, 30 x 30 kernel

• A szűrő paraméterei:

σ: a Gauss függvény szórása megadja, hogy a középponttól

távolodva milyen gyorsan csökkennek a súlyok.

Maszk mérete: a Gauss függvény a teljes síkon értelmezett és

>0. A maszk véges csak a nagyobb súlyú környezet

megtartása a maszkban.

Nagy σ kicsi maszkmérettel közel átlagoló szűrő

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Nagyobb zaj N

agyobb sim

ító m

asz

k

Gauss simítás

21

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Átlagoló és Gauss szűrő hatása

22

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Szeparálható szűrők

• Ha egy 2D szűrőt felbonthatunk két 1D szűrőre, akkor a

szűrőt szeparálhatónak nevezzük

Jelentős komplexitás-beli nyereség

A Gauss szűrő szeparálható

• Ugyanannak az nxn konvolúciónak a műveletigénye

Szeparált szűrő esetén:

2D szűrő esetén:

23

2D konvolúció:

1 2 1 előbb majd

1

2

1

1 2 1 ekvivalens:

1

2

1

1

2

1

1

2

1

2

4

2

21nO

12 nO

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

I

h h

h h

I

h h

h h

I

h h

h h

full same valid

Source: S. Lazebnik

Mi történik a kép szélén?

• Mekkora lesz az eredmény kép?

• MATLAB: filter2(h, I, shape)

shape = „full‟: I és h együttes mérete

shape = „same‟: megegyezik I méretével

shape = „valid‟: I és h méretének különbsége

24

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Mi történik a kép szélén?

• A szűrő kilóg a kép szélén

Hiányzó pixelértékeket extrapolálni kell

• Lehetséges módszerek:

Kilógó szűrő levágása (a hatás

megegyezik egy megfelelő

méretű fekete szegély

hozzáadásával)

A kép széleinek összeillesztése

(gyűrűvé transzformálás)

A képszélek másolása a

kilógó rész alá

Tükrözés a kép széleire

Source: S. Marschner

25

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Medián szűrő

• Az a1, a2, …, a2n+1 számok mediánja: a nagyság szerint rendezett számsorozat középső, (n+1)-dik

eleme,

jelölés: med{a1, a2, …, a2n+1}

• A medián tulajdonságai: min{ai} ≤ med{ai}≤ max{ai}

nem lineáris, de

– med{ai+c} = med{ai}+c,

– med{c·ai} = c·med{ai}

• Medián szűrés:

A mediánszűrés eredményét az S környezet mérete (és alakja)

határozza meg.

26

SvuvjuiIjiJ ),( | ),(med),(

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

a képpont új intenzitása

egy képpont

3x3-as

környezete

a rendezett

környezet

a medián

Medián szűrés

27

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Medián szűrő

Só/bors zaj szűrése medián szűrővel

• Só/bors zaj eltüntetésére ideális a medián szűrő

Eltünteti a kis méretű kiugró értékeket

Nem változnak az intenzitásértékek

Éleket jobban megtartja, mint az átlagoló vagy a Gauss szűrő

28

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Élesítés

• Élesítő hatású szűrő:

Kielemli a környezeti átlagtól való eltérést

29

Source: D. Lowe

Original

1 1 1 1 1 1 1 1 1

0 0 0 0 2 0 0 0 0

-

Élesítő szűrő

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Élesítés

30

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Morfológiai szűrők

• min-max szűrők

Az S környezettől is függ az eredmény!

Általában kör alakú környezet

• Nemlineáris morfológiai operátorok:

min: erózió

max: dilatáció

31

)},({ max),(

)},({ min),(

),(max

),(min

vyuxIyxJ

vyuxIyxJ

Svu

Svu

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Erózió

32

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Dilatáció

33

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Morfológiai szűrés

• Ugyanazon környezettel az alábbi 4-elemű műveletlánc

végrehajtása:

1. erózió

2. dilatáció

3. dilatáció

4. erózió

• Tipikusan bináris képeken (pl. szegmentálás

eredményén) környezettől függő mértékben

Kis foltok eltüntetése

Kis lyukak betömése

34

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Morfológiai szűrés példa

35

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Morfológiai szűrés példa

36

Kató

Zo

ltá

n:

Dig

itáli

s K

ép

feld

olg

ozás (

Teh

ets

ég

go

nd

ozó

pro

gra

m)

Felhasznált anyagok

• Palágyi Kálmán: Digitális Képfeldolgozás

/pub/Digitalis_kepfeldolgozas

• Trevor Darrell: C280, Computer Vision

http://www.cs.cmu.edu/afs/cs/academic/class/15385-

s06/lectures/ppts/

• Richard Alan Peters: EECE/CS 253 Image Processing

http://www.archive.org/details/Lectures_on_Image_Processing

• További források az egyes diákon megjelölve

37