segmentacija i klasifikacija neprozirnih i poluprozirnih regija na

SVEUCILIŠTE U SPLITU

FAKULTET ELEKTROTEHNIKE, STROJARSTVA I BRODOGRADNJE

Maja Braovic

SEGMENTACIJA I KLASIFIKACIJANEPROZIRNIH I POLUPROZIRNIH REGIJA

NA SLIKAMA PRIRODNOG KRAJOLIKA

DOKTORSKA DISERTACIJA

Split, 2015.

IMPRESUM/BIBLIOGRAFSKI PODATCI

Doktorska disertacija je izradena na Katedri za modeliranje i inteligentne racunalne sustavepri Zavodu za elektroniku i racunarstvo Fakulteta elektrotehnike, strojarstva i brodogradnje uSplitu.

Mentor: Prof. dr. sc. Darko Stipanicev

Rad br.

ii

PODATCI O OCJENI I OBRANI DISERTACIJE

Povjerenstvo za ocjenu doktorske disertacije:

1. Prof. dr. sc. Vladan Papic – Fakultet elektrotehnike, strojarstva i brodogradnje, Sveucilišteu Splitu, Split

2. Prof. dr. sc. Darko Stipanicev – Fakultet elektrotehnike, strojarstva i brodogradnje, Sveucil-ište u Splitu, Split

3. Prof. dr. sc. Sven Loncaric – Fakultet elektrotehnike i racunarstva, Sveucilište u Zagrebu,Zagreb

4. Doc. dr. sc. Saša Mladenovic – Prirodoslovno-matematicki fakultet, Sveucilište u Splitu,Split

5. Doc. dr. sc. Damir Krstinic – Fakultet elektrotehnike, strojarstva i brodogradnje, Sveucilišteu Splitu, Split

Povjerenstvo za obranu doktorske disertacije:

1. Prof. dr. sc. Vladan Papic – Fakultet elektrotehnike, strojarstva i brodogradnje, Sveucilišteu Splitu, Split

2. Prof. dr. sc. Darko Stipanicev – Fakultet elektrotehnike, strojarstva i brodogradnje, Sveucil-ište u Splitu, Split

3. Prof. dr. sc. Sven Loncaric – Fakultet elektrotehnike i racunarstva, Sveucilište u Zagrebu,Zagreb

4. Doc. dr. sc. Saša Mladenovic – Prirodoslovno-matematicki fakultet, Sveucilište u Splitu,Split

5. Doc. dr. sc. Damir Krstinic – Fakultet elektrotehnike, strojarstva i brodogradnje, Sveucilišteu Splitu, Split

Disertacija obranjena dana: 9. prosinca 2015.

iii

SEGMENTACIJA I KLASIFIKACIJA NEPROZIRNIH I POLUPROZIRNIH REGIJANA SLIKAMA PRIRODNOG KRAJOLIKA

Sažetak: U ovoj je doktorskoj disertaciji predstavljeno istraživanje o automatskoj seg-mentaciji i klasifikaciji regija (od kojih regija može biti i velicine samo jednog piksela) koje semogu pronaci na slikama prirodnog mediteranskog krajolika. Istraživanje obuhvaca potragu zaoptimalnim prostorima boja za klasifikaciju pojedinih klasa mediteranskog krajolika, potraguza optimalnim lokalnim i globalnim znacajkama slike prilikom takve klasifikacije, prijedlognovog klasifikatora slika mediteranskog krajolika, prijedlog FESB MLID (engl. Mediterranean

Landscape Image Dataset) baze slika, te potragu za onim promjenama koje dim uzrokuje kadase pojavi na slici a koje bi mogle pripomoci u njegovoj detekciji u video sekvencama.

U ovoj je doktorskoj disertaciji dan pregled teorija koje nastoje objasniti ljudsku vizualnupercepciju, te pregled metoda koje se koriste u umjetnoj vizualnoj percepciji (poput analizeboje, teksture, oblika, te lokalnih i globalnih znacajki slike). Predstavljena je FESB MLIDbaza slika prirodnog mediteranskog krajolika koja se sastoji od 400 slika mediteranskog kra-jolika i još 400 slika rucnih segmentacija tih slika, te koja je dostupna na Internetu kako bidrugim istraživacima što se bave automatskom segmentacijom i klasifikacijom slika mogla bitiod koristi. Nadalje, dana je evaluacija razlicitih prostora boja te su odredeni oni prostori bojakoje bi bilo optimalno koristiti prilikom klasifikacije unaprijed definiranih klasa koje se mogupronaci u prirodnom mediteranskom krajoliku. Odredene su i optimalne lokalne i globalneznacajke slike koje bi bilo optimalno koristiti prilikom klasifikacije unaprijed definiranih klasakoje se mogu pronaci u prirodnom mediteranskom krajoliku. Dan je prijedlog novog klasi-fikatora za klasifikaciju slika mediteranskog krajolika. Predloženi klasifikator usporeden je sanekoliko razlicitih, poznatih klasifikatora koji se cesto koriste u obradi i analizi digitalne slike.Iako su njegovi rezultati usporedivi sa rezultatima ostalih klasifikatora (od nekih je tocniji, odnekih lošiji, a nekima je približno jednak), pokazalo se je da je brži od svih ostalih usporedenihklasifikatora. Dana je analiza utjecaja pojave dima na pozadinu slika mediteranskog krajolika,te su pronadene promjene koje dim uzrokuje kada se pojavi na slici. Te su promjene zapisane uobliku pravila koja bi mogla pripomoci u ispravnijoj detekciji dima u video sekvencama. Na-posljetku je donesen zakljucak, ukratko su opisani doprinosi doktorske disertacije, i opisana suneka od mogucih daljnjih istraživanja.

Kljucne rijeci: klasifikacija slika mediteranskog krajolika, prostori boja, lokalne i globalneznacajke slike.

iv

SEGMENTATION AND CLASSIFICATION OF NON-TRANSPARENT ANDSEMI-TRANSPARENT REGIONS ON NATURAL LANDSCAPE IMAGES

Abstract: This doctoral dissertation presents research on automatic segmentation and clas-sification of regions (that can be as small as 1 pixel) that can be found in images of naturalMediterranean landscape. This research encompasses the following: the search for optimalcolor spaces, optimal local image features and optimal global image features for the classi-fication of individual Mediterranean landscape classes, proposition of a novel classifier forthe classification of Mediterranean landscape images, proposition of the FESB MediterraneanLandscape Image Dataset (FESB MLID), and the search for the changes that smoke causeswhen it appears in the image and that could possibly improve automatic smoke detection invideo sequences.

This doctoral dissertation consists of a number of steps. First, it reviews the theories thatseek to explain human visual perception, and it also gives a review of methods used in artificialvisual perception (such as the analysis of color, texture, shape, and local and global features ofthe image). Second, it presents the FESB MLID dataset. This dataset consists of 400 images ofnatural Mediterranean landscape and another 400 images of their manual segmentations, andit is also available on the Internet so that it could be of use to other researchers that deal withthe automatic segmentation and classification of images. Third, an evaluation of different colorspaces and the selection of those optimal for the classification of predefined classes that canbe found in the natural Mediterranean landscape is presented. Fourth, the optimal local andglobal image features for the classification of predefined classes that can be found in naturalMediterranean landscape are determined. Fifth, a proposition of a novel classifier that can beused for the classification of natural Mediterranean landscape images is given and comparedwith different classifiers often used in image processing. Although the classification resultsobtained by its use are sometimes better than those obtained for other classifiers, sometimesapproximately the same and sometimes worse, its execution time is always lower. Sixth, ananalysis revolving around the impact of the appearance of smoke on the Mediterranean land-scape image background is given, and the changes that smoke causes when it appears in theimage are discovered. These changes are given as a set of rules that could help in the moreaccurate detection of smoke in video sequences. Finally, a conclusion that briefly discusses thecontributions of this doctoral dissertation and possible further research are given.

Keywords: Mediterranean landscape image classification, color spaces, local and globalimage features.

v

Zahvale

Prije svega, zahvalila bih se svome mentoru prof. dr. sc. Darku

Stipanicevu na svom strpljenju, savjetima i pomoci koje mi je pružio

prilikom izrade ove doktorske disertacije. Cak i nakon svih ovih

godina, on ostaje nepresušno vrelo entuzijazma i energije te golema

inspiracija.

Zahvaljujem se i svojim kolegama i kolegicama sa Katedre za mod-

eliranje i inteligentne racunalne sustave na FESB-u, a ponajviše

Damiru Krstinicu (koji je uvijek uspijevao pripomoci i razvedriti

svojim savjetima), Ljiljani Šeric (koja je bila neumorna podrška

te vrelo korisnih informacija) i Maji Štuli (koja je, osim pružanja

pravih savjeta u pravo vrijeme, pripomogla i u prikupljanju slika za

FESB MLID bazu slika).

Zahvalu su takoder zaslužili i Marin Bugaric, Toni Jakovcevic, Ivan

Milatic i Aljoša Mircevski, koji su pružili veliku pomoc u prikupl-

janju slika za FESB MLID bazu slika i/ili video sekvenci koje su

korištene u ovoj doktorskoj disertaciji.

Naposljetku, zahvaljujem se svojoj obitelji i prijateljima koji su os-

tali kontinuirana podrška kroz sve ove godine.

Autorica

vii

Sadržaj

1 Uvod 1

1.1 Motivacija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Hipoteza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 Terminologija . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.4 Pregled poglavlja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

2 Ljudska vizualna percepcija 4

2.1 Teorije vizualne percepcije . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1.1 Gestalt pristup percepciji . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.1.2 Ekološki (direktni) pristup percepciji . . . . . . . . . . . . . . . . . . 5

2.1.3 Konstruktivisticki pristup percepciji . . . . . . . . . . . . . . . . . . . 5

2.1.4 Racunalni pristup percepciji . . . . . . . . . . . . . . . . . . . . . . . 7

3 Umjetna vizualna percepcija 9

3.1 Analiza boje na slici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.1.1 Histogram boja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1.2 Korelogram boja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1.3 Koherentni vektor boja . . . . . . . . . . . . . . . . . . . . . . . . . . 10

3.1.4 Momenti boja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2 Analiza teksture na slici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2.1 Statisticke metode . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.2.2 Geometrijske metode . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.2.3 Metode utemeljene na modelima . . . . . . . . . . . . . . . . . . . . . 14

3.2.4 Metode utemeljene na obradi signala . . . . . . . . . . . . . . . . . . 15

3.3 Analiza oblika na slici . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.4 Lokalne znacajke slike . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.4.1 Pregled metoda za detekciju lokalnih znacajki slike . . . . . . . . . . . 18

3.4.1.1 Moravecov interesni operator . . . . . . . . . . . . . . . . . 18

3.4.1.2 Harrisov detektor . . . . . . . . . . . . . . . . . . . . . . . 19

viii

3.4.1.3 Hessian detektor . . . . . . . . . . . . . . . . . . . . . . . . 20

3.4.1.4 Laplacian Gaussiana . . . . . . . . . . . . . . . . . . . . . . 21

3.4.1.5 Razlika Gaussiana . . . . . . . . . . . . . . . . . . . . . . . 21

3.4.1.6 Istaknute regije . . . . . . . . . . . . . . . . . . . . . . . . 22

3.4.1.7 SUSAN detektor . . . . . . . . . . . . . . . . . . . . . . . . 23

3.5 Globalne znacajke slike . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

3.6 Klasifikatori . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

4 Baza slika mediteranskog krajolika 26

5 Odredivanje optimalnih prostora boja 30

5.1 Prostori boja . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

5.1.1 Pregled razlicitih prostora boja . . . . . . . . . . . . . . . . . . . . . . 35

5.2 Klasifikacija po boji . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.3 Analiza rezultata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

6 Odredivanje optimalnih znacajki slike 57

6.1 Optimalne globalne znacajke slike . . . . . . . . . . . . . . . . . . . . . . . . 57

6.1.1 Magnituda gradijenta i orijentacija gradijenta . . . . . . . . . . . . . . 57

6.1.2 Globalni histogrami boje . . . . . . . . . . . . . . . . . . . . . . . . . 64

6.1.3 Dobiveni rezultati . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

6.2 Optimalne lokalne znacajke slike . . . . . . . . . . . . . . . . . . . . . . . . . 67

7 Prijedlog novog klasifikatora za klasifikaciju slika mediteranskog krajolika 80

7.1 Usporedba predloženog klasifikatora sa drugim klasifikatorima . . . . . . . . . 86

8 Analiza utjecaja pojave dima na pozadinu slike 92

9 Zakljucak 100

9.1 Doprinosi disertacije . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

9.2 Daljnje istraživanje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Literatura 102

Prilog A 112

ix

Prilog B 119

Prilog C 123

Prilog D 127

x

Popis tablica

2.1 Gestalt principi vizualne percepcije. . . . . . . . . . . . . . . . . . . . . . . . 6

4.1 Distribucija klasa u GT slikama u FESB MLID bazi slika. . . . . . . . . . . . . 28

5.1 Usporedba normalnog Bayesovog klasifikatora i klasifikatora utemeljenog na

konfabulaciji za klasifikaciju slike na blokovima dimenzija 1x1 piksel. . . . . . 42


konfabulaciji za klasifikaciju slike na blokovima dimenzija 5x5 piksela. . . . . . 42


konfabulaciji za klasifikaciju slike na blokovima dimenzija 11x11 piksela. . . . 43


konfabulaciji za klasifikaciju slike na blokovima dimenzija 25x25 piksela. . . . 43

5.5 Vremena izvršavanja za klasifikaciju pomocu normalnog Bayesovog klasifika-

tora i klasifikatora utemeljenog na konfabulaciji za klasifikaciju slike na blokovima

dimenzija 1x1, 5x5, 11x11 i 25x25 piksel. Vremena su dana u sekundama. . . . 44

5.6 Primjer matrice konfuzije. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

5.7 Primjer idealne matrice konfuzije. . . . . . . . . . . . . . . . . . . . . . . . . 45

5.8 Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu, probabilis-

ticku klasifikaciju slika koja je napravljena u HSV prostoru boja. . . . . . . . . 47

5.9 Pregled optimalnih prostora boja po razlicitim klasama mediteranskog krajo-

lika i po razlicitim kriterijima. Ovi su rezultati dobiveni za 200 testnih slika iz

FESB MLID baze slika. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

5.10 Pregled optimalnih prostora boja po F1-mjeri za pojedine klase mediteranskog

krajolika, na temelju razlicitih skupina slika. . . . . . . . . . . . . . . . . . . . 52

5.11 Odabir optimalnog prostora boja za klasu dim. . . . . . . . . . . . . . . . . . 52

5.12 Odabir optimalnog prostora boja za klasu oblaci i magla. . . . . . . . . . . . . 52

5.13 Odabir optimalnog prostora boja za klasu sunce i svjetlosni efekti. . . . . . . . 53

5.14 Odabir optimalnog prostora boja za klasu nebo. . . . . . . . . . . . . . . . . . 53

5.15 Odabir optimalnog prostora boja za klasu more. . . . . . . . . . . . . . . . . . 53

5.16 Odabir optimalnog prostora boja za klasu udaljeni krajolik. . . . . . . . . . . 53

5.17 Odabir optimalnog prostora boja za klasu kamen. . . . . . . . . . . . . . . . . 53

5.18 Odabir optimalnog prostora boja za klasu udaljena vegetacija. . . . . . . . . . 53

5.19 Odabir optimalnog prostora boja za klasu bliska vegetacija. . . . . . . . . . . 54

5.20 Odabir optimalnog prostora boja za klasu nisko raslinje i poljoprivredne površine. 54

xi

5.21 Odabir optimalnog prostora boja za klasu gradevine i umjetni objekti. . . . . . 54

5.22 Optimalni prostori boja za klase mediteranskog krajolika. . . . . . . . . . . . . 54

5.23 Prosjecna preciznost, odziv, F1-mjera, F2-mjera, i F0.5-mjera za klasifikaciju u

razlicitim prostorima boja i u kombinaciji razlicitih prostora boja. . . . . . . . 55

5.24 Vremena izvršavanja faza treniranja i testiranja klasifikacije po boji. Vremena

su dana u obliku sati:minute:sekunde. . . . . . . . . . . . . . . . . . . . . . . 56

6.1 Prosjecne mjere preciznosti, odziva, F1-mjera, F2-mjera i F0.5-mjera prilikom

racunanja razlicitih vrsta udaljenosti. Posljednji redak tablice prikazuje pros-

jecne vrijednosti tih mjera po razlicitim vrstama udaljenosti (i za magnitudu

gradijenta i za orijentaciju gradijenta). . . . . . . . . . . . . . . . . . . . . . 61

6.2 Optimalne globalne znacajke za klasifikaciju slika mediteranskog krajolika. . . 68

6.3 Popis korištenih lokalnih znacajki (1. dio). . . . . . . . . . . . . . . . . . . . . 70




6.7 Usporedba vrijednosti preciznosti i odziva klasifikacije pomocu razlicitih vari-

janti AdaBoost algoritma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

6.8 Vrijednosti preciznosti i odziva (za blokove dimenzija 11x11 i 25x25 piksela) za

svaku od klasa mediteranskog krajolika dobivenih prilikom klasifikacije odgo-

varajucim istreniranim AdaBoost klasifikatorom. . . . . . . . . . . . . . . . . 76

6.9 Vremena izvršavanja faza treniranja i testiranja AdaBoost klasifikatora za klasu

bliska vegetacija. Vremena su dana u obliku sati:minute:sekunde. . . . . . . . 76

6.10 Prvih pet najznacajnijih znacajki po klasama mediteranskog krajolika (do-

biveni AdaBoost klasifikacijom na blokovima dimenzija 11x11). . . . . . . . . 77

6.11 Prvih pet najznacajnijih znacajki po klasama mediteranskog krajolika (do-

biveni AdaBoost klasifikacijom na blokovima dimenzija 25x25). . . . . . . . . 78

7.1 Vjerojatnosti s kojima se pojedine klase mediteranskog krajolika pojavljuju u

razlicitim dijelovima slika mediteranskog krajolika. . . . . . . . . . . . . . . . 82

7.2 Usporedba performansi predloženog klasifikatora s performansama nekoliko

drugih, poznatih klasifikatora. . . . . . . . . . . . . . . . . . . . . . . . . . . 87

8.1 Opis sekvenci slika. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

8.2 Analiza kretanja vrijednosti histograma koji prikazuju kako se, u pojedinim

kanalima boje, prosjecna boja promatrane regije mijenja sa pojavom dima na

slici (1. dio). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

xii

8.3 Analiza kretanja vrijednosti histograma koji prikazuju kako se, u pojedinim

kanalima boje, prosjecna boja promatrane regije mijenja sa pojavom dima na

slici (2. dio). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

8.4 Skup pravila koja bi trebala biti zadovoljena ako regija predstavlja dim požara

raslinja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

8.5 Reprezentativna stanja histograma za sekvence slika za testiranje (1. dio). . . . 99

8.6 Reprezentativna stanja histograma za sekvence slika za testiranje (2. dio). . . . 99

A.1 Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu, prob-

abilisticku klasifikaciju slika koja je napravljena u RGB prostoru boja. . . . . . 112


abilisticku klasifikaciju slika koja je napravljena u CIE-XYZ prostoru boja. . . 113


abilisticku klasifikaciju slika koja je napravljena u Ohta prostoru boja. . . . . . 113


abilisticku klasifikaciju slika koja je napravljena u HSV prostoru boja. . . . . . 113


abilisticku klasifikaciju slika koja je napravljena u HLS prostoru boja. . . . . . 114


abilisticku klasifikaciju slika koja je napravljena u CIE L*a*b* prostoru boja. . 114


abilisticku klasifikaciju slika koja je napravljena u CIE L*u*v* prostoru boja. . 114


abilisticku klasifikaciju slika koja je napravljena u YCgCr prostoru boja. . . . . 115


abilisticku klasifikaciju slika koja je napravljena u YCbCr prostoru boja. . . . . 115

A.10 Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu, probabilis-

ticku klasifikaciju slika koja je napravljena u RGB prostoru boja. . . . . . . . . 115


ticku klasifikaciju slika koja je napravljena u CIE-XYZ prostoru boja. . . . . . 116


ticku klasifikaciju slika koja je napravljena u Ohta prostoru boja. . . . . . . . . 116


ticku klasifikaciju slika koja je napravljena u HSV prostoru boja. . . . . . . . . 116


ticku klasifikaciju slika koja je napravljena u HLS prostoru boja. . . . . . . . . 117

xiii


ticku klasifikaciju slika koja je napravljena u CIE L*a*b* prostoru boja. . . . . 117


ticku klasifikaciju slika koja je napravljena u CIE L*u*v* prostoru boja. . . . . 117


ticku klasifikaciju slika koja je napravljena u YCgCr prostoru boja. . . . . . . . 118


ticku klasifikaciju slika koja je napravljena u YCbCr prostoru boja. . . . . . . . 118

B.1 Podaci o tocnosti globalne klasifikacije slike na temelju magnitude gradijenta

i prilikom korištenja L1 udaljenosti. . . . . . . . . . . . . . . . . . . . . . . . 119




i prilikom korištenja L∞ udaljenosti. . . . . . . . . . . . . . . . . . . . . . . . 120

B.4 Podaci o tocnosti globalne klasifikacije slike na temelju orijentacije gradijenta





i prilikom korištenja L∞ udaljenosti. . . . . . . . . . . . . . . . . . . . . . . . 122

C.1 Informacije o rezultatima globalne klasifikacije po boji u kanalima RGB pros-

tora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

C.2 Informacije o rezultatima globalne klasifikacije po boji u kanalima CIE-XYZ

prostora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

C.3 Informacije o rezultatima globalne klasifikacije po boji u kanalima Ohta pros-

tora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

C.4 Informacije o rezultatima globalne klasifikacije po boji u kanalima HSV pros-

tora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

C.5 Informacije o rezultatima globalne klasifikacije po boji u kanalima HLS pros-

tora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

C.6 Informacije o rezultatima globalne klasifikacije po boji u kanalima CIE L*a*b*

prostora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

C.7 Informacije o rezultatima globalne klasifikacije po boji u kanalima CIE L*u*v*

prostora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

xiv

C.8 Informacije o rezultatima globalne klasifikacije po boji u kanalima YCgCr

prostora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

C.9 Informacije o rezultatima globalne klasifikacije po boji u kanalima YCbCr

prostora boja. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

D.1 Pregled znacajnosti lokalnih znacajki prilikom klasifikacije klasa mediteran-

skog krajolika i uz korištenje blokova slike dimenzija 11x11 piksela (1. dio). . . 128















xv

Popis ilustracija

4.1 Primjer slike iz FESB MLID baze slika (lijevo) i njezine odgovarajuce GT

slike (desno). Razlicite razine sive boje segmentiranih regija na desnoj slici

oznacavaju razlicite klase. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.2 Razine sive boje koje se koriste prilikom rucne segmentacije slika, njihov RGB

kod, te pripadajuca klasa. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

4.3 Primjeri razlicitih klasa na slici iz FESB MLID baze slika. . . . . . . . . . . . 28

5.1 Shematski prikaz procesa za odredivanje optimalnih prostora boja za 11 klasa

mediteranskog krajolika. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

5.2 Primjer slike mediteranskog krajolika prikazane (pomocu RGB reprezentacije)

u razlicitim prostorima boja. Prvi redak sadrži slike (redom) u RGB, CIE-XYZ,

Ohta, HSV i HLS prostorima boja, a drugi redak sadrži slike (redom) u CIE

L*a*b*, CIE L*u*v*, YCgCr i YCbCr prostorima boja. . . . . . . . . . . . . . 34

5.3 Primjeri histograma vjerojatnosti boje za dvije razlicite klase mediteranskog

krajolika. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

5.4 Shematski prikaz nacina na koji se racunaju histogrami boje. . . . . . . . . . . 38

5.5 Primjeri jednostavne klasifikacije po boji za slike prikazane na slici 5.2. Prvi

redak sadrži rezultate klasifikacije slika (redom) u RGB, CIE-XYZ, Ohta, HSV i

HLS prostorima boja, a drugi redak sadrži rezultate klasifikacije slika (redom)

u CIE L*a*b*, CIE L*u*v*, YCgCr i YCbCr prostorima boja. . . . . . . . . . 40

5.6 Boje koje se koriste prilikom klasifikacije slike, njihov RGB kod, te pripadajuca

klasa. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

5.7 Primjer racunanja preciznosti i odziva. Za slucaj na slici, preciznost bi bila

50% a odziv 67%. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

5.8 Vizualna reprezentacija matrice konfuzije prikazane u tablici 5.8. . . . . . . . . 48

5.9 Vizualna reprezentacija matrica preciznosti. Prvi redak prikazuje vizualne

reprezentacije matrica konfuzije za RGB, CIE-XYZ i Ohta prostore boja, drugi

redak za HSV, HLS i CIE L*a*b* prostore boja, i treci redak za CIE L*u*v*,

YCgCr i YCbCr prostore boja, respektivno. . . . . . . . . . . . . . . . . . . . 48

5.10 Vizualna reprezentacija matrica odziva. Prvi redak prikazuje vizualne reprezentacije

matrica konfuzije za RGB, CIE-XYZ i Ohta prostore boja, drugi redak za HSV,

HLS i CIE L*a*b* prostore boja, i treci redak za CIE L*u*v*, YCgCr i YCbCr

prostore boja, respektivno. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

xvi

6.1 Gornji redak: slika iz FESB MLID baze slika, njezina zamucena reprezentacija,

te zamucena reprezentacija prikazana u razinama sive boje. Donji redak: mag-

nituda gradijenta i orijentacija gradijenta. . . . . . . . . . . . . . . . . . . . . 58

6.2 Usporedba primjene Scharr i Sobel filtera dimenzija 3x3 u svrhu racunanja

magnitude gradijenta. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

6.3 Shematski prikaz racunanja globalnih opisnika slike pomocu magnitude gradi-

jenta i orijentacije gradijenta. . . . . . . . . . . . . . . . . . . . . . . . . . . 62

6.4 Shematski prikaz odredivanja optimalne vrste udaljenosti izmedu globalnih

histograma magnitude gradijenta i orijentacije gradijenta. . . . . . . . . . . . 63

6.5 Shematski prikaz racunanja globalnih opisnika slike pomocu histograma boja. . 65

6.6 Shematski prikaz odredivanja optimalne vrste udaljenosti izmedu globalnih

histograma boje. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

6.7 Histogrami vjerojatnosti boje plavoga kanala RGB prostora boja, prikazani za

sve klase mediteranskoga krajolika. . . . . . . . . . . . . . . . . . . . . . . . 79

7.1 Shematski prikaz prikupljanja podataka koji se koriste u radu predloženog

klasifikatora. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

7.2 Shematski prikaz rada predloženog klasifikatora. . . . . . . . . . . . . . . . . 81

7.3 Shematski prikaz faze predloženog klasifikatora u kojoj se klasificiraju pikseli

koji nisu bili klasificiriani u prvome koraku. . . . . . . . . . . . . . . . . . . . 85

7.4 Vizualne reprezentacije matrica konfuzije preciznosti i odziva za klasifikaciju

K-NN klasifikatorom (za K = 1). . . . . . . . . . . . . . . . . . . . . . . . . . 88








normalnim Bayesovim klasifikatorom. . . . . . . . . . . . . . . . . . . . . . . 90


SVM-om (za C = 10−10 i linearni kernel). . . . . . . . . . . . . . . . . . . . . 90


SVM-om (za C = 10−10, γ = 0.50625 i RBF kernel). . . . . . . . . . . . . . . . 91


predloženim klasifikatorom. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

xvii

8.1 Primjeri histograma koji prikazuju kako se mijenja prosjecna osvijetljenost

promatrane regije prilikom pojave dima na slici. . . . . . . . . . . . . . . . . . 95

8.2 Nacin odredivanja kretanja vrijednosti promatranog histograma. Konstanta

0.5 koja se na slici može vidjeti upotrebljava se da bi se zanemarili pretjerano

mali padovi ili skokovi u vrijednostima stupaca histograma. . . . . . . . . . . . 95

xviii

Popis oznaka i kratica

2D – 2-Dimensional

3D – 3-Dimensional

AI – Artificial Intelligence

DoG – Difference of Gaussians

FESB – Fakultet elektrotehnike, strojarstva i brodogradnje

FN – False Negatives

FP – False Positives

HLS – Hue Lightness Saturation

HSV – Hue Saturation Value

GT – Ground Truth

IPNAS – Inteligentni protupožarni nadzorni sustav

KaMIS – Katedre za modeliranje i inteligentne racunalne sustave

kB – Kilobyte

K-NN – K-Nearest Neighbors

LoG – Laplacian of Gaussians

MB – Megabyte

MIT – Massachusetts Institute of Technology

MLID – Mediterranian Landscape Image Dataset

MRF – Markov Random Fields

OpenCV – Open Source Computer Vision

RBF – Radial basis function

RGB – Red Green Blue

SIFT – Scale-Invariant Feature Transform

SURF – Speeded-Up Robust Features

SVM – Support Vector Machines

TP – True Positives

XML – EXtensible Markup Language

xix

1 Uvod

Automatska segmentacija i klasifikacija objekata na digitalnim slikama predstavljaju neke odnajvecih izazova sa kojima se trenutno suocava podrucje racunalnog vida. Postojeci algoritmii metode vezane uz to podrucje uglavnom su orijentirani na automatsku detekciju i/ili pre-poznavanje jednog ili ogranicenog skupa objekata ili klasa, dok algoritam koji bi bio u stanjudetektirati i prepoznavati proizvoljne ili opcenite objekte i/ili klase ne postoji. Za potrebe ovedoktorske disertacije provedeno je istraživanje kojim se je nastojalo odrediti koje metode ipravila bi bilo optimalno koristiti prilikom klasifikacije (i, kao posljedice toga, takoder i seg-mentacije) slika prirodnog krajolika, tako da se kao rezultat dobije što ispravnija klasifikacijaslike.

1.1 Motivacija

Zadatak segmentacije i klasifikacije regija na slikama važan je postupak na koji se nadovezujunapredne metode razumijevanja sadržaja slike. Vecina dosadašnjih istraživanja na problematicisegmentacije i klasifikacije regija odnosila se je na slike umjetnog okružja, vrlo cesto interijeraili urbana krajolika, a najviše zbog toga što su zadaci razumijevanja slike bili uglavnom vezaniuz mobilnu robotiku ili autonomna vozila. Razumijevanje slika prirodnog krajolika bilo jepovezano jedino uz istraživanja naprednih postupaka traženja slika ili uz istraživanja vezana uzautomatsku analizu satelitskih slika. Medutim, u posljednje se vrijeme interes sve više okrecei prema zadacima klasifikacije regija na slikama prirodnog krajolika snimljenog sa zemlje kojese po izgledu bitno razlikuju od satelitskih slika. Ovaj je interes ponajprije potaknut pojavomautomatskih sustava za nadzor prirodnog okoliša i prepoznavanja prirodnih katastrofa u njemu,a posebno požara raslinja koji se danas nastoje detektirati i prepoznati pomocu automatskihprotupožarnih nadzornih sustava.

Osnovna motivacija za ovaj rad jest cinjenica da je podrucje segmentacije i klasifikacijeslika prirodnog krajolika još nedovoljno istraženo. Koliko je nama poznato, trenutno ne pos-toji niti jedan efikasni sustav za segmentaciju i klasifikaciju regija slike prirodnog krajolika(gdje regije slike mogu biti i velicine samo jednog piksela) koji bi, uz klasifikaciju neprozirnihdijelova slike (poput vegetacije, mora ili kamena), klasificirao i poluprozirne dijelove poputoblaka, magle ili dima i to na samo jednoj statickoj, pojedinacnoj slici, bez korištenja vre-menske detekcije promjena. Koliko je autorici ove doktorske disertacije poznato, vecina se dosada predloženih sustava za detekciju poluprozirnih dijelova slike (kao npr. sustavi za detekcijudima u automatskim protupožarnim nadzornim sustavima) prvenstveno oslanja na detekcijupromjena na uzastopnom vremenskom slijedu pojedinacnih slika izvucenih iz video signala, patek ukoliko se promjena uoci provodu se i ostale analize boje, teksture i slicno. S druge strane,

1

kada ljudi rade kao motritelji požara raslinja, oni vec u prvom (statickom) pogledu na krajolikuocavaju i prepoznaju neprozirne i poluprozirne regije (npr. dim požara raslinja). Vremenskaim informacija tek nakon toga služi za potvrdu pocetne klasifikacije. Ljudi uspješno prepoz-naju i klasificiraju i neprozirne i prozirne regije na statickim slikama, pa je to bila i osnovnainspiracija ovog istraživanja kojemu je osnovni cilj predložiti nove, efikasne metode kojimabi se na razini pojedinacnih slika provela uspješna segmentacija i klasifikacija neprozirnih ipoluprozirnih regija na slikama prirodnog krajolika.

1.2 Hipoteza

Klasifikacija slike uglavnom se temelji na analizi boje, teksture, oblika, lokalnih znacajki,globalnih znacajki i/ili konteksta, kao što se može zakljuciti iz pregleda znanstvene litera-ture. Medutim, problem se ocituje u tome što postoji mnoštvo razlicitih metoda za odredivanjesvih tih svojstava na slici, a istraživanja još nisu u dovoljnoj mjeri pokazala koje su od su odtih metoda optimalne za korištenje pri klasifikaciji razlicitih klasa u razlicitim tipovima slika.Posebno je slabo istražen zadatak klasifikacije regija na slikama prirodnog krajolika na kojimase uz neprozirne javljaju i poluprozirne regije. Za ovakve slike za sada ne postoji niti jednareferentna baza slika na kojoj bi se razlicite metode mogle kvantitativno usporediti.

Osnovni cilj ovog istraživanja je nadopuniti ove praznine, definirati referentnu bazu slikaprirodnog krajolika te pronaci metodu ili kombinacije metoda kojima bi se regije na slikamaprirodnog krajolika s neprozirnim i poluprozirnim regijama uspješno klasificirale. Pri tomecemo se posebno koncentrirati na slike koje sadrže, kao jednu od regija, dim i/ili vatru uzroko-vanu požarima raslinja, kako bi uz pomoc ispravno klasificiranih regija unaprijedili i postojecealgoritme za automatsku ranu detekciju požara raslinja.

Temeljna hipoteza ovog istraživanja jest da postoje takvi prostori boja i druga svojstva regijana slikama prirodnog krajolika koji ce omoguciti optimalno razdvajanje razlicitih klasa, te dapostoji i odgovarajuci klasifikator kojim je moguce napraviti, po tocnosti prihvatljivu i primjen-jivu, klasifikaciju regija na slikama prirodnog krajolika ukljucujuci neprozirne i poluprozirneregije.

1.3 Terminologija

U literaturi vezanoj uz klasifikaciju slika ili sastavnih dijelova jedne slike (piksela i regija),cesto se miješaju pojmovi kategorizacija (engl. categorization) i klasifikacija (engl. classifica-

tion), a oni se donekle razlikuju. Prema definicijama iz [1], kod klasifikacije klase se medu-sobno iskljucuju i ne preklapaju, te imaju cvrste (engl. fixed) granice, dok kod kategorizacijepripadnost nekoj grupi nije obvezujuca, a granice takvih grupa su nejasne (engl. fuzzy). Pred-loženo istraživanje bavi se neprozirnim regijama koje imaju cvrste granice i poluprozirnim regi-

2

jama koje imaju nejasne ili neizrazite granice, ali se i za ove poluprozirne regije odreduju cvrstegranice te svaki od piksela na slici može pripadati samo jednoj odredenoj klasi (npr. nebu ilidimu), pa se zbog toga koristi samo naziv klasifikacija regija na slikama. Pri tome naglašavamoda se u ovom radu pretpostavlja da regija može biti i velicine samo jednog piksela.

1.4 Pregled poglavlja

U drugom poglavlju ovog rada dan je pregled teorija koje nastoje objasniti ljudsku vizualnu per-cepciju. U trecem poglavlju dan je pregled metoda koje se tradicionalno koriste za automatskudetekciju i prepoznavanje objekata na digitalnim slikama (poput analize boje, teksture, oblika,te lokalnih i globalnih znacajki slike), te koje se vecinom spominju u teorijama ljudske vizualnepercepcije. U cetvrtom poglavlju predstavljena je FESB MLID baza slika mediteranskog kra-jolika. U petom poglavlju dana je evaluacija razlicitih prostora boja te su odredeni oni prostoriboja koje bi bilo optimalno koristiti prilikom klasifikacije unaprijed definiranih klasa koje semogu pronaci u prirodnom mediteranskom krajoliku. U šestom poglavlju dan je pregled is-traživanja cija je svrha bila odredivanje onih lokalnih i globalnih znacajki slike koje bi bilooptimalno koristiti prilikom klasifikacije unaprijed definiranih klasa koje se mogu pronaci uprirodnom mediteranskom krajoliku. U sedmom poglavlju dan je prijedlog novog klasifikatoraza slike mediteranskog krajolika. U osmom poglavlju dana je analiza utjecaja pojave dima napozadinu slike mediteranskog krajolika. U devetom poglavlju donesen je zakljucak.

3

2 Ljudska vizualna percepcija

Vizualna percepcija se može definirati kao proces interpretacije i organizacije vizualnih infor-macija [2]. Ljudi ovaj proces obavljaju nesvjesno, i u njemu su toliko dobri da se je godinamasmatralo kako taj proces sam po sebi zasigurno ne može biti složen. Složenost ovog problemapostala je ocita 1966. godine, kada su znanstvenici na MIT-u (engl. Massachusetts Institute

of Technology) svoje ljetne radnike zaposlili na projektu ciji je cilj bio preko ljeta racunalnoimplementirati znacajan dio ljudskog vizualnog sustava. Prijedlog projekta opisan je u [3], asloženi problemi na koje se je naišlo prilikom pokušaja implementacije zauvijek su promijenilinacin na koji se danas razmišlja o ljudskom vizualnom sustavu. Godina 1966. oznacila je poce-tak razvoja racunalnog vida, no racunalna implementacija vizualnog sustava još uvijek (gotovo50 godina kasnije) ne postoji.

U posljednjih pedesetak godina došlo je do napretka i u znanosti o ljudskoj vizualnoj per-cepciji i u pokušaju njezine racunalne implementacije. Danas se smatra da se prepoznavanjeobjekata u ljudskom mozgu vrši putem niza refleksivnih i vecinom unaprijednih proracuna kojikulminiraju snažnom neuronskom reprezentacijom, no algoritam koji vodi do nje je slabo poz-nat [4], a teorija koja bi ga objasnila još uvijek nastavlja predstavljati izazov [5]. Da bi se stvarijoš više zakomplicirale, u racunarstvu su automatsko prepoznavanje svih objekata na nekojproizvoljnoj slici i razumijevanje onoga što ta slika prikazuje proglašeni AI-potpunim (engl.AI-complete) problemima. Rješavanje jednog takvog problema zahtijevalo bi ili bi omogucilorješavanje svih ostalih AI-potpunih problema, tj. dovelo bi do rješavanja središnjeg problemacitave umjetne inteligencije, a to je izrada racunala koje bi moglo imati ili nadmašiti ljudskuinteligenciju.

2.1 Teorije vizualne percepcije

Unatoc razlicitim projekcijama koje 3D objekti iz stvarnoga svijeta mogu imati na 2D površinislike, te unatoc eventualnom zaklanjanju objekata drugim objektima, promjenama u osvjetl-jenju scene ili neuobicajenom kontekstu unutar kojeg se objekti nalaze, ljudi ih opcenito mogudetektirati i prepoznati bez vecih poteškoca, a znanstvenici još uvijek nastoje objasniti kako imto uspijeva.

Tijekom povijesti, znanstvenici su probleme cesto nastojali riješiti pokušavajuci otkritinacin na koji ih rješava priroda. Bilo da se radi o promatranju leta ptica u svrhu izuma zrako-plova, ili o proucavanju ljudskog vida u svrhu izuma fotografskih aparata, priroda cesto nudinajbolja rješenja. Ovakav nacin razmišljanja preuzet je i u ovom radu, te se za rješavanje prob-lema automatske detekcije i prepoznavanja objekata na digitalnim slikama proucavaju teorijeljudske percepcije koje nastoje objasniti nacin na koji ljudi razumijevaju scene koje vide.

4

Iako još uvijek ne postoji teorija koja bi na zadovoljavajuci nacin objasnila vizualnu percep-ciju, u nastavku teksta objašnjene su one teorije vizualne percepcije koje su se tijekom vremenaizdvojile od ostalih. Prve tri teorije spadaju u skupinu kognitivnih teorija vizualne percepcije,dok je posljednja racunalna teorija vizualne percepcije.

2.1.1 Gestalt pristup percepciji

Gestalt psihologiju osnovala su 1910. godine tri njemacka psihologa: Max Wertheimer, KurtKoffka i Wolfgang Köhler [6]. Njemacku rijec Gestalt nije lako prevesti, ali otprilike znaciforma ili konfiguracija [7]. Po Gestalt psihologiji, dijelovi se u percepciji ne tretiraju kaoodvojeni i izolirani entiteti [7], vec se grupiraju u cjeline (tzv. Gestalte). Pravila po kojimaljudski vizualni sustav vrši ova grupiranja nazivaju se principi ili zakoni grupiranja u Gestaltpsihologiji, a sam proces grupiranja naziva se percepcijsko grupiranje (engl. perceptual group-

ing).

Neki od najcešce korištenih principa grupiranja u vizualnoj percepciji prikazani su u tablici2.1. Iz tablice 2.1 može se primijetiti da ljudi cesto nadopunjavaju stimulanse koji im dolazedo ociju i mozga dodatnim informacijama, što za posljedicu ima to da cesto vide nešto što ustvarnosti ne postoji.

2.1.2 Ekološki (direktni) pristup percepciji

Americki psiholog James Gibson (1904–1979) [7] zagovarao je teoriju poznatu pod nazivomekološki ili direktni pristup percepciji. Po Gibsonu, percepcija objekta ne ukljucuje samo per-cepciju njegovih vizualnih znacajki, vec i percepciju svega što taj objekt pruža (engl. affor-

dances) [16], odnosno interakcija koje se mogu postici njegovim korištenjem.

Prema [16], Gibson je naglašavao cinjenicu da promatraci u stvarnome svijetu nisu staticni,vec da neprestalno pomicu svoje oci, glavu ili tijelo. Kao posljedica tih pomaka i slike naretinama njihovih ociju se neprestalno mijenjaju. Unatoc tim promjenama, informacije na reti-nama ociju ostaju konstantne. Gibson je tu staticnost objasnio invarijantnim znacajkama (engl.invariant features) slike, tj. odredenim svojstvima slike koja su invarijantna na transformacijeslike ili na promjene u njezinom osvjetljenju. Primjeri takvih znacajki ukljucuju ravne linije,tocke, proporcije, gradijente teksture, itd.

Gibsonov znanstveni rad, cesto kontroverzan, imao je dubok utjecaj na današnju znanost.

2.1.3 Konstruktivisticki pristup percepciji

Po konstruktivistickom pristupu percepciji, percepcija je mnogo složenija no što je to pret-postavio Gibson [17] u svom ekološkom pristupu percepciji. U kriticne dijelove percepcijespadaju ocekivanja koja ljudi imaju, znanje, motivacije i osjecaji (tj. kontekst) [17], a ne samo

5

Tablica 2.1: Gestalt principi vizualne percepcije.

Princip OpisPrincip slicnosti (engl.principle of similarity)

Elementi koji imaju slicne znacajke biti ce percipirani kao cjelina odvo-jena od onih koji imaju manje slicne znacajke [8]. Znacajke koje se pritome promatraju su: boja, velicina, orijentacija [9], oblik i tekstura [10].

Princip blizine (engl.principle of proximity)

Elementi koji se prostorno ili vremenski nalaze u blizini jedni drugihpercepcijski ce biti povezani [11], odnosno biti ce grupirani zajedno.

Princip zajednicke sud-bine (engl. principle ofcommon fate)

Elementi koji se istovremeno pomicu u istom smjeru i koji pritom imajuistu brzinu imaju tendenciju da budu grupirani zajedno [12].

Princip dobre kontinuira-nosti (engl. principle ofgood continuation)

Ovo je princip prostorne organizacije koji kaže da se susjedne vizualneznacajke imaju tendenciju grupirati i formirati produženu konturu kadasu prostorno uskladene [13].

Princip zatvorenosti(engl. principle ofclosure)

Ako je to moguce, objekti ce percepcijski izgledati kao jednostavnezatvorene figure, a ne kao nedovršene figure [14]. Na primjer, ljudimace neki 2D objekt sastavljen od isprekidanih linija izgledati kao cjelina,a ne kao skup isprekidanih linija.

Princip površine (engl.principle of area, princi-ple of figure/ground seg-regation)

Ako se dvije površine preklapaju, manja ce percepcijski izgledati kaoda je u prvome planu dok ce veca u tome slucaju predstavljati pozadinu[14].

Prägnanz ili princip do-brog izgleda (engl. goodfigure)

Naziva se još i zakon jednostavnosti, te kaže da ce slike biti percipiranena takav nacin da su im strukture što je moguce jednostavnije [15].

stimulansi koje dolaze do njihovih ociju i mozga. Za percepciju je dakle potrebno nešto višeod onoga što je predstavljeno u ekološkom pristupu percepciji.

Percepcija i inteligencija su u filozofiji i znanosti tradicionalno bile odvojene [18], no unovije vrijeme granica izmedu njih se je pocela brisati. Jedna od novijih (i kontroverznih)ideja koja prkosi tradicionalnom mišljenju jest da percepcija zahtijeva inteligentno rješavanjeproblema utemeljeno na znanju [18].

Britanski psiholog Richard Gregory (1923–2010) bio je zagovornik teorije ljudske percep-cije u kojoj nije važno samo ono što covjek trenutno vidi (tj. stimulansi koji dolaze do njegovihociju i mozga), vec i znanje koje je prikupio u prošlosti. Svojom se je teorijom nadovezaona rad Hermanna von Helmholtza (koji se je zagovarao za to da je ljudima potrebno znanje osvijetu da bi mogli razumijeti signale koji im dolaze do ociju [18]), te se usprotivio onoj kojuje predložio James Gibson. Smatrao je da je Gibson nijekao fenomene optickih iluzija te dapo njegovoj teoriji nije jasno kako ljudi mogu prepoznati nove objekte bez prethodnog znanja[18].

Gregory je, prilikom pokušaja razjašnjavanja nacina na koji ljudi vide, u [18] opisao dvatipa ljudske ’inteligencije’. Prvi tip takve inteligencije nazvao je potencijalna inteligencija,

6

i ona se odnosi na znanje koje je covjek prikupio u prošlosti. Drugi tip takve inteligencijenazvao je kineticka inteligencija, i ona se odnosi na aktivnu obradu informacija. Što covjekposjeduje više znanja, tj. što mu je potencijalna inteligencija viša, za rješavanje problemapotrebno mu je manje kineticke inteligencije. U situacijama u kojima covjek posjeduje gotovopotpune odgovore na probleme, potencijalna inteligencija postaje dominantna. Tada proceszakljucivanja kod kojega se od cjeline zakljucuje o dijelovima (tzv. pristup odozgo premadolje) (engl. top-bottom approach) postaje dominantan nad pristupom kod kojeg se na temeljudijelova zakljucuje o cjelini (tzv. pristup odozdo prema gore) (engl. bottom-up approach), štoje možda upravo ono što se dogada i u ljudskom vidu.

Gregory je u svom znanstvenom radu veliku pažnju poklonio i pogreškama u percepciji (tzv.optickim iluzijama ili varkama). U [18] je objasnio da do takvih pogrešaka može doci kadaje znanje koje covjek posjeduje neprimjereno ili primijenjeno na pogrešan nacin. Detaljnijeinformacije o optickim iluzijama mogu se pronaci u [18, 19].

2.1.4 Racunalni pristup percepciji

David Marr (1945–1980) bio je zagovornik racunalnog pristupa vizualnoj percepciji. Navizualnu je percepciju uglavnom gledao kao na problem koji se nalazi unutar podrucja obradeinformacija, te koji zapocinje sa velikim nizom intenziteta sive boje koji aproksimira sliku kojugledatelj vidi, a završava opisom koji ovisi o tom nizu i o svrsi koju mu pridoda gledatelj [20].

Algoritam za dobivanje opisa slike (tj. opisa niza intenziteta sive boje) koji bi bio pogodanza prepoznavanje 3D oblika Marr je opisao u [20]. Njegov se algoritam sastoji od tri koraka:prvobitne skice (engl. primal sketch), 21

2 -dimenzionalne skice (engl. 212 -sketch) i 3D modela.

Prema [20], scena i crtež te scene jako slicni, cak i unatoc potpuno razlicitim slikama urazinama sive boje koje na temelju njih mogu nastati. Ovo znaci da simboli na crtežu koje jeumjetnik nacrtao na neki nacin odgovaraju simbolima u stvarnome svijetu koje gledatelj vididok gleda scenu na temelju koje je crtež nacrtan. Marr je na temelju toga predložio da bi se uprvobitnoj skici slika trebala transformirati u primitivan, ali bogat, opis nacina na koji se inten-ziteti mijenjaju unutar vidnog polja. Prvobitna se skica ne bi trebala racunati za sve tocke, vecbi se mogla racunati za samo odredene tocke (npr. tocke lokalno niskog ili visokog intenziteta).U racunalu bi prvobitna skica trebala predstavljati niz brojeva koji bi sadržavali informacijeo smjeru, velicini i prostornim razmjerima promjena intenziteta na slici. Uz ove informacije,trebala bi se zapamtiti i lokalna geometrija slike, odnosno polažaja tocaka za koje je izracunataprvobitna skica te njihov raspored medu neposrednim susjednim tockama. Nadalje, informa-cije koje se dobiju iz stereo vida (engl. stereopsis), pokreta (ako se analizira niz slika), kontura,teksture, boje i sjena na slici kombiniraju se u tzv. 21

2 -dimenzionalnu skicu koja predstavljakonture površinskih diskontinuiteta, te informacije o orijentaciji i dubini površina na slici. No,unatoc svim ovim informacijama, iz položaja, velicine i orijentacije nekog oblika ne može se

7

mnogo toga saznati o njegovoj 3D strukturi. Marr je stoga predložio da se za oblike koji dopuš-taju prirodan rastav na sastavne dijelove koji se mogu opisati pomocu svoga položaja, velicinei orijentacije, taj rastav i obavi. Tada bi relativni prostorni raspored tih dijelova mogao pripo-moci prepoznavanju oblika. Dodatne informacije o Marrovom racunalnom pristupu vizualnojpercepciji mogu se pronaci u [20, 21, 22], a o prepoznavanju objekata na temelju sastavnihdijelova od kojih se sastoje u [23].

8

3 Umjetna vizualna percepcija

Pokušaj racunalne imitacije ljudske vizualne percepcije naziva se umjetna vizualna percepcija.Iako trenutno ne postoji racunalni sustav koji bi u potpunosti imitirao ljudsku vizualnu per-cepciju, postoje sustavi koji implementiraju neke njezine dijelove (npr. sustavi za detekcijuspecificnih objekata, sustavi za prepoznavanje klase kojoj scena na slici pripada i sl.). Takvisustavi kao ulaz primaju digitalnu sliku (ili niz digitalnih slika), i obicno se zasnivaju na analiziboje, teksture i oblika regija te slike, te na detekciji i analizi lokalnih i/ili globalnih znacajki teslike.

U posljednje se vrijeme sve više briše granica izmedu metoda za klasifikaciju regija naslikama i metoda za globalnu klasifikaciju slika, a ponajviše zbog toga što se sve cešce metodeglobalne klasifikacije temelje u prvom dijelu na analizi svojstava boje, teksture i oblika manjihdijelova slike (regija ili objekata na slici), pa im se tek nakon toga dodaje još jedan koraku kojemu se sve informacije iz prvog dijela analize fuziraju, pa se kao konacni rezultat cijelaslika svrstava u neku od klasa. Primjeri znanstvenih radova u kojima se upotrebljavaju i lokalnei globalne metode mogu se pronaci u [24] i [25].

U nastavku teksta dan je pregled metoda za analizu boje, teksture, oblika, lokalnih znacajkii globalnih znacajki slike i/ili njezinih sastavnih dijelova, te kratak pregled klasifikatora koji senajcešce koriste prilikom klasifikacije slike.

3.1 Analiza boje na slici

Ljudsko oko osjetljivo je na boje, a znacajke boje jedan su od najvažnijih elemenata kojiomogucavaju ljudima da prepoznaju slike [26].

Postoji više razlicitih nacina kako iz slike i/ili njezinih sastavnih dijelova izvuci informa-cije o boji, a neki od najcešce korištenih su odredivanje vrijednosti osvijetljenosti piksela pokanalima prostora boja koji se koristi (ili koriste, ako ih je više), te histogrami boje. Moždajoš važniji problem od odabira nacina na koji ce se iz slike dobiti informacije o boji jest odabirprostora boja koji ce se pri tome koristiti. U [27] se RGB (engl. Red Green Blue) prostor bojakoristi zbog brzine izvodenja programa, zato što nije potrebno pretvarati sliku iz jednog pros-tora boja u drugi, ali puno se istraživaca odlucuje i za druge prostore boja. U [28] se uz RGBprostor boja koriste i HLS (engl. Hue Lightness Saturation) i CIE Lab* prostori boja, te autoridaju informacije o tome koji je kanal (u kombinaciji sa znacajkama teksture) najpogodniji zaprepoznavanje odredenih klasa (iako autori umjesto naziva klase koriste naziv objekti). U [29]je dan pregled literature vezane za klasifikaciju scena, te popis prostora boja koji se u takvojliteraturi koriste. U [30] je dan izvrstan i detaljan pregled sustava za prepoznavanje prirodnihobjekata u vanjskim scenama, kao i, izmedu ostalog, pregled prostora boja, karakteristika ob-

9

jekata, vrsta objekata koji se trebaju prepoznati i metoda segmentacije koje se upotrebljavaju utakvim sustavima.

Boja se obicno predstavlja pomocu histograma boja (engl. color histogram), korelogramaboja (engl. color correlogram), koherentnog vektora boja (engl. color coherence vector) imomenta boja (engl. color moment) pod odredenim prostorom boja [31].

3.1.1 Histogram boja

Prema [32] histogrami boja opisuju globalnu distribuciju boja na slici. Lako ih je izracunatii nisu osjetljivi na male promjene u gledištu, medutim nedostatak im je taj što ne ukljucujuprostorne informacije.

Nadalje, prema [33] histogrami boja invarijantni su na rotaciju, translaciju i skaliranje. Akodvije slike imaju slicne histograme boje, te slike svejedno mogu izgledati vrlo razlicito. Ovaj seproblem javlja zbog toga što se prilikom racunanja histograma boja zanemaruju lokacije regijaboja na slici.

3.1.2 Korelogram boja

Huang et al. su u [32] predstavili novu znacajku za indeksiranje i dohvacanje slika koju sunazvali korelogram boje. Prema [32], korelogram boje se može upotrijebiti za opis globalnedistribucije lokalne prostorne korelacije boja, jednostavno ga je izracunati, prilicno je maleni, za razliku od histograma boja, ukljucuje prostornu korelaciju boja. Dakle, korelogram bojadaje informacije o tome kako se prostorna korelacija parova boja mijenja sa udaljenošcu.

Korelogram boja je, dakle, tablica indeksirana parovima boja, gdje k-ti element (engl. entry)za (ci,c j) specificira vjerojatnost pronalaska piksela boje c j na udaljenosti k od piksela boje ci

na slici [34].

3.1.3 Koherentni vektor boja

Pass i Zabih su u [35] opisali tehniku za usporedivanje slika koja se naziva rafiniranje his-tograma (engl. histogram refinement). Prema [35], tom se tehnikom pikseli u odredenomstupcu (engl. bucket) dijele na više klasa, u ovisnosti o nekome lokalnom svojstvu (npr. teksturi,orijentaciji, udaljenosti od najbližeg ruba, itd.). Metoda koherentnih vektora boja je profinjenijioblik rafiniranja histograma u kojemu se svaki stupac histograma dijeli se na temelju prostornekoherentnosti. Piksel se naziva koherentnim pikselom (engl. coherent pixel) ako je dio povecesusjedne regije (tj. ako pripada velikoj skupini piksela jednake boje), a nekoherentnim pik-selom (engl. incoherent pixel) ako nije. Za odredenu diskretiziranu boju, neki ce pikseli bitikoherentni, a neki nekoherentni. Ako za j-tu diskretiziranu boju postoji α j koherentnih pik-sela i β j nekoherentnih piksela, onda ce ukupni broj piksela te boje biti α j +β j. Koherentni

10

vektor boja slike može se izraziti kao {(α1,β1), ...,(αn,βn)}, a histogram boja slike ce glasiti{α1 +β1, ...,αn +βn}.

U odnosu na histograme boja, koherentni vektori boja funkcioniraju mnogo bolje [36].

3.1.4 Momenti boja

Prema [37], momenti boja su mjere koje se mogu upotrijebiti za razlikovanje slika na temeljunjihovih znacajki koje su vezane uz boju. Temelji ovoga pristupa nalaze se u pretpostavci dase distribucija boje na slici može interpretirati kao vjerojatnosna distribucija (engl. probability

distribution). Vjerojatnosne distribucije su karakterizirane brojem jedinstvenih momenata (npr.normalne distribucije se razlikuju putem njihove sredine (engl. mean) i varijance). Dakle, akoboja na slici slijedi odredenu vjerojatnosnu distribuciju, onda se momenti te distribucije mogukoristiti kao znacajke na temelju kojih se ta slika može identificirati na temelju boje.

3.2 Analiza teksture na slici

Petrou i Sevilla su u [38] teksturu definirali kao varijaciju u podacima koja se dogada na skalikoja je manja od skale interesa, te nadodali da je tekstura važna zbog dva razloga:

• može predstavljati smetnju u automatskim vizualnim sustavima (npr. algoritmi za detek-ciju objekata na temelju oblika bili bi zbunjeni postojanjem dodatnih linija koje teksturauzrokuje),

• može predstavljati važnu znacajku prilikom prepoznavanja objekata, jer sadrži neke in-formacije o materijalu od kojega je objekt napravljen.

Tuceryan i Jain su u [39] metode za analizu teksture podijelili na statisticke metode, ge-ometrijske metode, metode utemeljene na modelima (engl. model based methods) i metodeutemeljene na obradi signala (engl. signal processing methods).

Dodatne informacije o razlicitim metodama za analizu teksture mogu se pronaci u [39, 40,41].

3.2.1 Statisticke metode

Statistickim metodama za analizu teksture mjeri se prostorna distribucija vrijednosti piksela[41]. Primjeri tehnika koje pripadaju ovoj skupini metoda su histogrami drugoga reda (engl.co-occurrence matrices) i autokorelacijske znacajke (engl. autocorrelation features) [39].

Prema [38], histogrami drugoga reda predstavljaju jako bogate reprezentacije slike teprenose informacije o istovremenom pojavljivanju dviju vrijednosti u odredenoj relativnoj pozi-ciji. Tekstura se uz pomoc histograma drugoga reda može prepoznati racunanjem njegovih

11

odredenih znacajki, a od takvih su znacajki najpoznatije energija (engl. energy), entropija(engl. entropy), kontrast (engl. contrast), korelacija (engl. correlation) i homogenost (engl.homogeneity). Prije racunanja tih znacajki pretpostavlja se da je histogram drugoga reda nor-maliziran na nacin da se svi njegovi elementi podijele sa ukupnim brojem parova piksela kojise uzimaju u obzir. Formule 3.1, 3.2, 3.3, 3.4 (ukljucujuci i formule 3.5, 3.6, 3.7 i 3.8) i 3.9koje se koriste za racunanje znacajki histograma drugoga reda i koje su dane u nastavku tekstapreuzete su iz [38].

Energija:

G−1

∑m=0

G−1

∑n=0

p(m,n)2 (3.1)

gdje je [38]:

p(m,n) – normalizirani element histograma drugoga reda,

G – ukupan broj razina sive koje se koriste (npr. za 8-bitnu sliku G = 256).

Entropija:

G−1

∑m=0

G−1

∑n=0

p(m,n) log p(m,n) (3.2)

Kontrast:

1(G−1)2

G−1

∑m=0

G−1

∑n=0

(m−n)2 p(m,n) (3.3)

Korelacija:

G−1∑

m=0

G−1∑

n=0mnp(m,n)−µxµy

σxσy(3.4)

gdje je:

µx =G−1

∑m=0

mG−1

∑n=0

p(m,n) (3.5)

µy =G−1

∑n=0

nG−1

∑m=0

p(m,n) (3.6)

σx =G−1

∑m=0

(m−µx)2

G−1

∑n=0

p(m,n) (3.7)

12

σy =G−1

∑n=0

(n−µy)2

G−1

∑m=0

p(m,n) (3.8)

Homogenost:

G−1

∑m=0

G−1

∑n=0

p(m,n)1+ |m−n|

(3.9)

S druge strane, autokorelacijska funkcija definira se pomocu formule 3.10 [38], i kao takvase može koristiti za karakteriziranje teksture na tri nacina: kao potpis teksture kojoj pripada,zakljucivanjem o periodicnosti teksture, te izvlacenjem parametarskih znacajki iz nje [38].

ρ(x,y) =1

(Ni−|x|)(N j−|y|)∑i ∑ j I(i, j)I(i+ x, j+ y)

1NiN j

Ni∑

i=1

N j

∑j=1

I(i, j)2

(3.10)

gdje je [38]:

ρ(x,y) – autokorelacijska funkcija,

I(i, j) – razina sive koja se nalazi na koordinatama (i, j),

x,y – pomaci,

Ni×N j – dimenzije slike.

3.2.2 Geometrijske metode

Tuceryan i Jain su u [39] naveli da geometrijske metode za analizu teksture karakterizira nji-hova definicija teksture po kojoj je tekstura sastavljena od "elemenata teksture" ili primitiva(engl. primitives). Takve metode analize obicno ovise o geometrijskim svojstvima takvih ele-menata teksture, i mogu se podijeliti u dvije skupine: one pomocu kojih se racunaju statistickasvojstva pronadenih elemenata teksture i upotrebljava ih se kao znacajke teksture, te one kojepokušavaju pronaci tzv. pravilo rasporedivanja (engl. placement rule) koje opisuje teksturu[39]. Primjeri geometrijskih metoda koji su navedeni u [39] su znacajke dobivene pomocuVoronoijevog mozaika (engl. Voronoi tessellation features), te strukturalne metode.

Obicni Voronoijev dijagram (engl. ordinary Voronoi diagram) skupa tocaka P =

{p1, p2, ..., pn} (P je u R2) je mozaiciranje (engl. tessellation) prostora gdje je Voronoijevacelija (engl. cell) VC(pi) skup lokacija bližih pi nego p j, i 6= j [42]. Detaljne informacije osegmentaciji teksture pomocu Voronoijevog mozaika mogu se pronaci u [43] i [39].

Strukturalni model teksture pretpostavlja da se tekstura sastoji od primitiva teksture, te daje tekstura proizvedena rasporedivanjem tih primitiva pomocu odredenih pravila rasporedivanja[39].

13

3.2.3 Metode utemeljene na modelima

Tuceryan i Jain su u [39] opisali metode za analizu teksture koje su utemeljene na modelima, tenaveli da se takve metode temelje na izgradnji modela slika koji bi se mogli koristiti ne samoza opis teksture, vec i za njezinu sintezu. Primjeri metoda koji spadaju u ovu skupinu i koji sunavedeni u [39] su metode nasumicnih polja (engl. random field models) i fraktali.

Fraktal je oblik koji ima jednaku strukturu na svim skalama i koji se, izmedu ostalog, možekarakterizirati fraktalnom dimenzijom [38]. Fraktalna dimenzija daje mjeru hrapavosti (engl.roughness) neke površine (što je fraktalna dimenzija veca, površina je hrapavija) [39]. Frak-talna dimenzija teksture može poslužiti kao znacajka koja tu teksturu karakterizira [38], pa semože koristiti za analizu teksture u obradi i analizi digitalne slike.

Prema [44], fraktalna dimenzija sadrži informacije o geometrijskoj strukturi fraktala, nomože se koristiti i za ne-fraktale. Ona predstavlja mjeru pomocu koje se kvantizira komplek-snost geometrijskih objekata. Postoji mnoštvo metoda za procjenu fraktalne dimenzije slike,a najpopularnije metode su Hausdorffova dimenzija (engl. Hausdorff dimension), dimenzijaprebrojavanja blokova (engl. box-counting dimension, doslovan prijevod bi bio "dimenzijaprebrojavanja kutija"), dimenzija samoslicnosti (engl. self-similarity dimension) i dimenzijakorelacije (engl. correlation dimension).

Jedna od najcešce korištenih metoda za odredivanje fraktalne dimenzije je metoda prebro-javanja blokova. Po ovoj metodi, oblik za koji se želi izracunati fraktalna dimenzija prekrije seblokovima (engl. boxes) velicine 1

2n , gdje n poprima vrijednosti 0, 1, 2, ..., a zatim se svaki putbroji broj blokova N(n) te velicine potrebnih da bi se oblik prekrio [38]. Fraktalna dimenzijaje tada dana formulom 3.11 [38]:

D = limn→∞

ln N(n)ln 2n (3.11)

gdje je:

D – fraktalna dimenzija,n – cijeli broj (poprima vrijednosti 0, 1, 2, ...),N(n) – broj blokova velicine 1

2n potrebnih da bi se prekrio oblik za kojega se racunafraktalna dimenzija.

Petrou i Sevilla su u [38] objasnili da fraktalna dimenzija nije dobar opisnik teksture iz višerazloga:

• slike nisu stvarno fraktali i ne pokazuju jednaku strukturu na svim skalama;

• razlicite teksture mogu imati jednaku fraktalnu dimenziju;

• procjena fraktalne dimenzije ovisi o skali i o metodi koja se za tu procjenu koristi.

14

Markovljeva nasumicna polja (engl. Markov random fields, MRF) su bila popularna metodaza modeliranje slika [39].

Prema [45], MRF modeli temelje se na pretpostavci da je distribucija intenziteta pikselauvjetno ovisna samo o lokalnom susjedstvu, i neovisna o ostatku slike. MRF nastoji obuhvatitiove statistike lokalnog susjedstva, i predstaviti ih unutar modela. Opceniti MRF model segradi od slika homogenih tekstura, tako da se ukljuci samo informacija o teksturi, a ne i ne-teksturalne informacije kao što su pozadinske informacije.

3.2.4 Metode utemeljene na obradi signala

U metode za analizu teksture koje se temelje na obradi signala spadaju filteri prostorne domene(engl. spatial domain filters), filtriranje u Fourierovoj domeni (engl. Fourier domain filtering),Gaborovi modeli (engl. Gabor models) i modeli valica (engl. wavelet models) [39].

Materka i Strzelecki su u [46] naveli prednosti i/ili nedostatke raznih transformacijskihmetoda anlize teksture. Prema [46], transformacijske metode analize teksture, kao što suFourierova i Gaborova transformacija te transformacija uz pomoc valica, sliku prikazuju uprostoru ciji koordinatni sustav ima interpretaciju blisku znacajkama teksture (npr. frekvencijeili velicine). Metode koje se temelje na Fourierovoj transformaciji loše funkcioniraju u praksi,zbog nedostatka informacija o prostornoj lokalizaciji. Gaborovi filteri omogucavaju bolju pros-tornu lokalizaciju, ali buduci da obicno ne postoji jedna rezolucija filtera pomocu koje se moželokalizirati prostorna struktura u prirodnim teksturama, njihova je korisnost ogranicena. Uodnosu na Gaborovu transformaciju, transformacije koje se temelje na valicima nude neko-liko prednosti: mijenjanjem prostorne rezolucije tekstura se može predstaviti na najpovoljnijojskali, a velik izbor funkcija valica omogucava odabir onih valica koji su najpovoljniji za analizuteksture u odredenoj aplikaciji.

3.3 Analiza oblika na slici

Loncaric je u [47] oblik objekta definirao kao binarnu sliku koja prikazuje njegov opseg (engl.extent), te nadodao da se oblik može zamisliti kao silueta objekta dobivena, na primjer, osv-jetljivanjem objekta pomocu beskonacno udaljenog izvora svjetlosti.

Prema [48], oblik je važna vizualna znacajka i spada u temeljne znacajke koje se koriste zaopis sadržaja slike. Medutim, reprezentacija i opis oblika je težak zadatak jer se projekcijom3D objekta iz stvarnoga svijeta na 2D ravninu slike gubi jedna dimenzija informacije o objektu.Nadalje, na oblik cesto utjecu i razlicite smetnje na slici (npr. šum i okluzije).

Prema [47], metode za reprezentaciju oblika rezultiraju ne-numerickom reprezentacijom(npr. grafom) originalnog oblika, a opis oblika se odnosi na metode koje rezultiraju numerickimopisnikom oblika.

15

U znanstvenoj literaturi postoji više metoda za analizu oblika na slici, a neke od tih podjelasu na:

• algoritme koji se usredotocavaju samo na obrub (engl. boundary) objekta i zanemarujunjegovu unutrašnjost, te na algoritme koji u obzir uzimaju i tocke koje se nalaze u un-utrašnjosti [49] objekta. Ove se metode nazivaju metode utemeljene na konturi (engl.contour-based methods) i metode utemeljene na regiji (engl. region-based methods) [48],

• tehnike koje cuvaju informacije (engl. information preserving) i tehnike koje ne cuvajuinformacije (engl. information nonpreserving) [49]. Ove tehnike ovise o tome da li je izopisnika objekata moguce rekonstruirati razumnu aproksimaciju slike ili ne [49],

• tehnike koje daju numericke rezultate analize i tehnike koje daju ne-numericke rezultateanalize (npr. sliku) [47].

Prema [48], metode za reprezentaciju i opis oblika na slici podijeljene na one koje suutemeljene na konturi te na one koje su utemeljene na regiji. Te se metode nadalje mogupodijeliti na strukturalne i globalne pristupe. U usporedbi sa globalnim pristupima, strukturalnipristupi su presloženi za implementaciju.

Prema [48], metode za reprezentaciju i opis oblika utemeljene na konturi podijeljene naglobalne (kontinuirane) i strukturalne (diskretne) pristupe. U globalnom pristupu oblik se nedijeli na manje dijelove, vec se iz sastavne granice (engl. integral boundary) racuna vektorznacajki koji se koristi za opis oblika. Strukturalnim pristupom se, pomocu odredenog kriterija,granica oblika razbija na segmente (tj. primitive), a konacna reprezentacija oblika je obicno niz,graf ili stablo.

Prema [48], metode za reprezentaciju i opis oblika utemeljene na regiji podijeljene na glob-alne i strukturalne. Globalnim metodama oblik se tretira kao cjelina, a konacna reprezentacijaje numericki vektor znacajki koji se može koristiti za opis oblika. Strukturalnim metodama seregija oblika dijeli na dijelove koji se onda koriste za reprezentaciju i opis oblika.

Prema [48] metode za reprezentaciju i opis oblika utemeljene na konturi u literaturi popu-larnije od onih koje su utemeljene na regiji. Uzrok ove popularnosti je taj što se misli da ljudioblike uglavnom razlikuju po znacajkama njihovih kontura, te što je u mnogim aplikacijamakoje koriste oblik važna samo njegova kontura, a ne i unutrašnjost. S druge strane, metode zareprezentaciju i opis oblika utemeljene na regiji su robusnije jer koriste sve dostupne informa-cije vezane uz oblik, a ne samo one koje su vezane uz njegovu konturu. Uz to, opcenito daju itocniji dohvat, a njihova implementacija nije nužno složenija od one koja je potrebna za metodeutemeljene na konturi.

Detaljniji pregled metoda za analizu oblika na slici može se pronaci u [47], [48] i [50].

16

3.4 Lokalne znacajke slike

Lokalne znacajke (engl. local features) neke slike su manji dijelovi te slike (npr. tocke, rubovi,kutovi ili regije) koji se, na temelju odredenih svojstava, razlikuju od svoje okoline. Obicnose povezuju sa promjenama intenziteta, boje i teksture, iako se ne moraju nužno nalaziti namjestima na slici na kojima je došlo do tih promjena [51].

Razlozi zbog kojih se lokalne znacajke koriste u obradi i analizi digitalne slike su mnogob-rojni, a u nastavku teksta su nabrojani neki od njih [51]:

• lokalne znacajke mogu imati odredenu semanticku interpretaciju u ogranicenom kon-tekstu neke aplikacije (npr. na slikama snimljenima iz zraka detektirani rubovi cestopredstavljaju ceste);

• lokalne znacajke pružaju ograniceni set stabilnih tocaka (engl. anchor points) koje sudobro lokalizirane i koje se mogu individualno identificirati. Primjeri ovakvih znacajkimogu se pronaci u vecini aplikacija za podudaranje (engl. matching) ili pracenje (engl.tracking);

• skup lokalnih znacajki može na robustan nacin predstavljati tu sliku, što može omogucitiprepoznavanje objekata ili scena bez potrebe za segmentacijom.

Detaljnije informacije o odabiru i pracenju znacajki na slikama mogu se pronaci u [52], adetaljnije informacije o lokalnim znacajkama i kalibraciji kamere mogu se pronaci u [53].

Može se zakljuciti da razlicite vrste lokalnih znacajki nece jednako dobro funkcionirati u svimkontekstima, te da njihov izbor treba biti utemeljen na vrsti aplikacije u kojoj ce se koristiti.Na primjer, ako se aplikacijom nastoji riješiti problem kalibracije kamere ili 3D rekonstrukcijenekog objekta, lokalne znacajke ce obicno biti tocke interesa (engl. interest points) kod kojihje važna samo njihova lokacija (ponekad odredena i na razini tocnosti podpiksela (engl. sub-

pixel)) [51]. S druge strane, ako je cilj aplikacije prepoznavanje, detekcija ili klasifikacijaobjekata na nekoj slici ili sekvenci slika, tocke interesa se nece promatrati zasebno vec ce sepromatrati i njihova okolina, tj. kontekst unutar kojega se nalaze. Tada se obicno više ne govorio tockama interesa vec o regijama [51] interesa.

Dobre znacajke trebale bi imati slijedeca svojstva [51]:

• ponovljivost (engl. repeatability) – ako postoje dvije slike istoga objekta ili scene, uzetepod razlicitim uvjetima gledanja, visok postotak znacajki pronadenih na dijelu scene kojije vidljiv na obje slike bi se trebao pronaci i na jednoj i na drugoj slici,

• posebnost ili informativnost (engl. distinctivness or informativeness) – uzorci intenzitetaispod znacajki trebali bi pokazivati mnogo varijacije, tako da znacajke mogu biti razliko-vane i podudarane,

17

• lokalitet (engl. locality) – znacajke trebaju biti lokalne (npr. da se smanji vjerojatnostokluzija (tj. zaklanjanja) objekata),

• kvantitet (engl. quantity) – dovoljan broj znacajki bi se trebao pronaci cak i za maleneobjekte na slici,

• preciznost (engl. accuracy) – lokaciju znacajki je potrebno biti u mogucnosti preciznoodrediti,

• ucinkovitost (engl. efficiency) – detekcija znacajki na novoj slici trebala bi se moci ko-ristiti i u vremenski kriticnim aplikacijama.

Prema [51], ponovljivost se može postici pomocu nepromjenjivosti (engl. invariance) (akose ocekuju vece deformacije slike) ili robusnosti (ako se ocekuju relativno male deformacijeslike). Ako se koristi nepromjenjivosti onda se, ako je to moguce, matematicki modelirajudeformacije koje se ocekuju na slici, te se razviju metode za detekciju znacajki koje su invar-ijantne na te matematicke transformacije. S druge strane, ako se koristi robusnost najcešce jedovoljno metode za detekciju znacajki uciniti manje osjetljivima na relativno male deforma-cije (npr. zamucenje slike, šum na slici, efekti diskretizacije, itd.). Ovo znaci da ce rezultatidetekcije dobiveni metodama koje se oslanjaju na robusnost možda biti nešto (ali ne drasticno)lošiji.

Prema [51], važnost opisanih svojstava znacajki ovisi o stvarnoj aplikaciji i okruženju, temora doci do nekakvog kompromisa. U praksi su navedena svojstva znacajki medusobno is-prepletena (npr. s povecanjem nepromjenjivosti smanjuje se posebnost, posebnost i lokalitet sene mogu ispuniti istovremeno, itd.).

Da bi se u praksi mogle koristiti, lokalne se znacajke trebaju numericki opisati pomocuopisnika ili deskriptora (engl. descriptors). Primjeri metoda pomocu kojih se može posticidetekcija i opis tocaka interesa su SIFT (engl. Scale-Invariant Feature Transform) [54] i SURF(engl. Speeded-Up Robust Features) [55].

3.4.1 Pregled metoda za detekciju lokalnih znacajki slike

U nastavku teksta dan je pregled metoda za detekciju lokalnih znacajki slike.

3.4.1.1 Moravecov interesni operator

Najraniji detektor kutova na slici bio je Moravecov interesni operator [56]. Temelji Morave-covog interesnog operatora su u tome da se regija W (koja je obicno prozor dimenzija N x N)neke slike može nedvosmisleno pronaci na nekoj drugoj slici jedino u slucajevima kada se taregija dovoljno razlikuje od svih preklapajucih susjednih regija [56]. Ako se regija ne razlikuje

18

od susjednih regija, onda se nalazi u monotonom podrucju slike u kojemu ne dolazi do vecihpromjena u osvijetljenosti piksela.

Slicnost regije sa središtem u (u,v) i njezine susjedne regije cije je središte pomaknuto za(δu,δv) definirano je formulom 3.12 [56], i racuna se za pomake u osam kardinalnih smjerova((δu,δv) ∈ D) [56]. S obzirom na trenutni piksel regije, ti se pomaci odvijaju u smjeru gorelijevo, gore, gore desno, lijevo, desno, dolje lijevo, dolje, dolje desno. Najmanja vrijednost(formula 3.13 [56]) koja se pri tome dobije predstavlja stupanj zanimljivosti promatranog pik-sela [56]. Tocke interesa se nalaze na onim koordinatama slike gdje je CM visok [56].

s(u,v,δu,δv) = ∑(i, j)∈W

(I[u+δu + i,v+δv + j]− I[u+ i,v+ j])2 (3.12)

CM(u,v) = min(δu,δv)∈D

s(u,v,δu,δv) (3.13)

U literaturi su predloženi brojni detektori interesnih tocaka koji su nadogradnje i poboljšanjaMoravecovog detektora. Najpoznatiji od njih je Harrisov detektor.

3.4.1.2 Harrisov detektor

Harris i Stephens su u [57] predložili detektor lokalnih znacajki koji je invarijantan na rotaciju,promjene u osvjetljenju, šum na slici, te robustan na razlicitim skalama [58]. Taj se detektordanas naziva Plessey detektor [51], Harrisov detektor ili Harrisov detektor kutova, i nadograd-nja je Moravecovog detektora kutova. Temelji se na racunanju autokorelacijske matrice kojaopisuje distribuciju gradijenta u lokalnom susjedstvu neke tocke [51], tj. piksela, na slici. Pro-ces racunanja autokorelacijske matrice µ može se prikazati formulom 3.14 [59]:

µ(x,σI,σD) =

[µ11 µ12

µ21 µ22

]= σ

2D g(σI)∗

[L2

x(x,σD) LxLy(x,σD)

LxLy(x,σD) L2y(x,σD)

](3.14)

gdje je:

σD – diferencijacijska skala (engl. differentiation scale),σI – integracijska skala (engl. integration scale),g – Gaussova funkcija,∗ – konvolucijski operator,Lx – derivacija slike u x smjeru,Ly – derivacija slike u y smjeru.

Detaljnije informacije o automatskom odabiru skale prilikom detekcije znacajki mogu sepronaci u [60].

19

Parcijalne derivacije prvoga reda, potrebne za dobivanje formule 3.14, se u digitalnoj obradii analizi slike mogu diskretizirati na nacin prikazan formulom 3.15 [61]. Harris i Stephens suih pak u [57] definirali na nacin prikazan formulama 3.16 i 3.17:

∂ I∂x

= I(x+1)− I(x) (3.15)

∂ I∂x≈ I ∗ (−1,0,1) (3.16)

∂ I∂y≈ I ∗ (−1,0,1)T (3.17)

Harrisov detektor je poslužio kao podloga mnoštvu novih metoda za detekciju lokalnihznacajki. Jednu od najpoznatijih predstavili su Shi i Tomasi u [52]. Oni su došli do zakljucka dase dobri kutovi na slici mogu pronaci i traženjem onih tocaka za koje vrijedi da je min(λ1,λ2)

veci od nekog minimalnog praga [62]. Njihova metoda je u velikom broju slucajeva davalabolje rezultate od one koju su predložili Harris i Stephans [62]. Drugu znacajnu nadogradnjuna Harrisov detektor predstavili su Mikolajczyk i Schmid u [63, 59] (engl. Harris-Affine), gdjeje Harrisov detektor modificiran na nacin da bude invarijantan i na afine transformacije.

3.4.1.3 Hessian detektor

Prema [51], Hessian detektor se temelji na racunanju Hessian matrice te odredivanju njezinihsvojstava poput determinante i traga (engl. trace). Formula 3.18 [51] prikazuje Hessian ma-tricu:

H =

[Ixx(x,σD) Ixy(x,σD)

Ixy(x,σD) Iyy(x,σD)

](3.18)

gdje je:

H – Hessian matrica,

Ixx, Ixy, Iyy – derivacije drugog reda ulazne slike koje su zamucene uz pomoc Gaussovogfiltera.

U formuli 3.18 Ixx je derivacija drugog reda u smjeru x, Iyy u smjeru y, a Ixy je mješovitaderivacija.

Prema [51], Hessian detektor je invarijantan na rotaciju slike, a nadogradnje ovog detektorakoje mu omogucuju potragu za lokalnim znacajkama preko razlicitih skala te invarijantnost naafine transformacije slicne su onima koje postoje za Harrisov detektor.

20

3.4.1.4 Laplacian Gaussiana

Laplace operator (ili krace Laplacian) spada u skupinu izotropnih filtera, tj. onih filtera kojisu invarijantni na rotaciju slike [61]. Temelji se na racunanju druge parcijalne derivacije slike.Druga derivacija ima bolji odziv na fine detalje na slici od prve derivacije, pa je u vecini sluca-jeva i pogodnija za korištenje [61].

Laplacian funkcije f (x,y) (koja u ovome slucaju predstavlja sliku, a x i y koordinate pikselakoji se nalaze na njoj) je definiran formulom 3.19 [61].

∇2 f =

∂ 2 f∂x2 +

∂ 2 f∂y2 (3.19)

Buduci da je Laplacian linearni operator, prije primjene na sliku mora se prebaciti u diskretnioblik. Jednadžbe koje se pri tome najcešce koriste prikazane su formulama 3.20 (za parcijalnuderivaciju drugog reda u x smjeru) i 3.21 (za parcijalnu derivaciju drugog reda u y smjeru) [61].

∂ 2 f∂x2 = f (x+1,y)+ f (x−1,y)−2 f (x,y) (3.20)

∂ 2 f∂y2 = f (x,y+1)+ f (x,y−1)−2 f (x,y) (3.21)

Kada se Laplace operator koristi zajedno sa Gaussovim filterom za zamucivanje slike,nastala metoda naziva se Laplacian Gaussiana (engl. Laplacian of Gaussians, LoG). LoGmetoda prikazana je formulama 3.22 i 3.23 [61]:

h(r) =−e−r2

2σ2 (3.22)

∇2h(r) =−

[r2−σ2

σ4

]e−

r2

2σ2 (3.23)

gdje je:

h(r) – Gaussova funkcija,r2 = x2 + y2,σ – standardna devijacija Gaussove distribucije.

Buduci da je LoG racunski neefikasan [64], cesto se kao njegova aproksimacija koristimetoda koja se naziva razlika Gaussiana.

3.4.1.5 Razlika Gaussiana

21

U obradi i analizi digitalne slike, razlikom Gaussiana (engl. Difference of Gaussians, DoG)detektiraju se regije koje su invarijantne na rotaciju i promjenu skale [65].

Prema [51], DoG detektor radi na nacin da aproksimira Laplacian L2xx +L2

yy.

3.4.1.6 Istaknute regije

Istraživanja u psihologiji i kognitivnim znanostima pokazala su da se ljudski vizualni sustav,prilikom promatranja neke slike, najprije brzo usredotoci na jednu ili više "zanimljivih" regijana slici prije no što nastavi sa daljnjom analizom njezinog sadržaja [66]. Ove zanimljive regijena slici cesto se nazivaju istaknute regije (engl. salient regions) [66].

Metodu za detekciju istaknutih regija slike predložili su Kadir i Brady u [67]. Njihovase metoda zasniva na pretpostavci da je kompleksnost na slikama rijetka, te da bi slike koje sukompleksne na svim prostornim lokacijama i preko svih skala bile nasumicne (kao npr. potpunišum) ili bi predstavljale fraktale. Nasumicne slike i fraktali pokazuju svojstva samo-slicnosti(engl. self-similarity), pa ih se u [67] ne smatra nepredvidljivima (tj. autori ih ne smatrajuzanimljivima). Metoda predstavljena u [67] može se podijeliti u tri koraka: u prvom se korakuracuna entropija (formula 3.24 [51]) svakog piksela slike preko razlicitih skala, u drugom sekoraku odabiru one skale za koje je entropija imala visoku vrijednost ili postigla maksimum, a utrecem se koraku definira težinska vrijednost W (formula 3.25 [51]) s kojom se množi entropijau svrhu pronalaska istaknutih regija na slici. Istaknutost Y se racuna pomocu formule 3.26 [51],a za istaknute regije slike odabire se onih P regija cija je istaknutost bila najviša [51].

H =−∑I

p(I) log p(I) (3.24)

gdje je:

H – entropija,

p(I) – funkcija razdiobe ili distribucije vjerojatnosti (engl. probability distribution func-

tion) vrijednosti osvjetljenja piksela unutar lokalne regije.

Funkcija razdiobe vjerojatnosti, p(I), procjenjuje se empiricki na temelju distribucije osv-jetljenja piksela unutar kružnog susjedstva radijusa s oko piksela x [51].

W =s2

2s−1 ∑I

∣∣∣∣∂ p(I;s)∂ s

∣∣∣∣ (3.25)

Y =WH (3.26)

U usporedbi sa Hessian detektorom i njegovim nadogradnjama (koji detektiraju i do neko-

22

liko stotina ili tisuca znacajki na slici), metodom predstavljenom u ovom podpodpodpoglavljudetektira se samo mali broj lokalnih znacajki na slici (obicno samo nekoliko desetaka) [51]. Uovisnosti o aplikaciji u kojoj ce se ovi detektori koristiti, njihova svojstva mogu biti i prednostii mane [51].

3.4.1.7 SUSAN detektor

Smith i Brady su u [68, 69] predstavili detektor lokalnih znacajki kojega su nazvali SUSAN(engl. Smallest Univalue Segment Assimilating Nucleus).

Prema [68], za realizaciju SUSAN detektora korištena je maska kružnog oblika ciji jesredišnji piksel nazvan jezgra, a ostali pikseli cija je razina osvijetljenosti slicna ili jednakaosvijetljenosti jezgre, a koji se nalaze unutar podrucja kojega obuhvacaju granice maske, naz-vani su USAN (engl. Univalue Segment Assimilating Nucleus). Osnova SUSAN principa je dasvaka tocka na slici za sebe ima vezan svoj USAN.

Prema [51], u otprilike homogenim dijelovima slike površina USAN-a je gotovo jednakapovršini citave maske oko jezgre. Blizu rubova na slici, površina USAN-a pada na polovicupovršine maske oko jezgre, a oko kutova pada na cetvrtinu površine maske oko jezgre.

Iz navedenoga se može zakljuciti da se na temelju površine USAN-a mogu dobiti informa-cije o tome da li se promatrani piksel nalazi u blizini ili u sastavu ruba, kuta ili se pak nalaziu dijelu slike gdje svi okolni pikseli promatranog piksela imaju otprilike istu razinu osvijetl-jenosti.

3.5 Globalne znacajke slike

Globalne znacajke (engl. global features) neke slike nastoje numericki opisati tu sliku kaocjelinu, tj. predstaviti je kao tocku u n-dimenzionalnom prostoru. Primjer globalne znacajkeneke slike bio bi njezin histogram boja ili histogram vizualnih rijeci.

Globalne znacajke su manje robusne na eventualne okluzije objekata ili na smetnje na sliciod lokalnih znacajki [51, 70], medutim pomocu njih se može predstaviti kontekst scene na slici,tj. sve ono što se na slici nalazi. Bez upotrebe kontekstualnih informacija ponekad je vrlo teško,cak i ljudima, ispravno klasificirati objekte koji se nalaze na slici.

Reprezentacija slike pomocu globalnih znacajki može biti korisna u dva slucaja:

• kada slika sadrži samo jedan objekt ili kada se segmentacijom slike objekt može izdvojitiiz pozadine [70];

• u aplikacijama za pretraživanje slika na temelju sadržaja (engl. content-based image

retrieval, query by image content), kada je podjednako važno opisati i pozadinu slike kao

23

i objekte koji se na njoj nalaze.

Globalne znacajke neke slike mogu se izracunati na više nacina. Jedan od tih nacina bio bipredstavljanje slike pomocu njezinih manjih dijelova, te racunanje njihovih lokalnih znacajki.Manji dijelovi slike mogu se dobiti segmentacijom slike (kao npr. u [71]) ili uzorkovanjem(engl. sampling) slike. Kombinacijom informacija dobivenih na ovaj nacin mogu se dobitiglobalne znacajke citave slike. Metode uzorkovanja slike koje se koriste u digitalnoj obradi ianalizi slike su mnogobrojne, a neke od njih su: iscrpno uzorkovanje (engl. exhaustive sam-

pling) [51], uzorkovanje pomocu pravilnih mreža (engl. fixed/regular/uniform grid sampling)(npr. [72, 73]), kombinacija gustog uzorkovanja i tocaka interesa (engl. dense interest points)[74], te nasumicno uzorkovanje (engl. random sampling) (npr. [72, 75, 76]). Detaljnije infor-macije o ovim metodama uzorkovanja slike dane su u nastavku teksta.

Prema [51], iscrpnim uzorkovanjem (koji se još naziva i metoda putujuceg prozora (engl.sliding window based approach) se iscrpno uzorkuju razliciti dijelovi slike preko razlicitihskala i lokacija, te se onda za njih racunaju globalne znacajke. Ova metoda može rezultiratitisucama ili milijunima globalnih znacajki po slici, što je cini jako neefikasnom.

Uzorkovanjem pomocu pravilnih mreža slika se jednoliko dijeli na blokove koji se nepreklapaju.

Prema [74], kombinacija gustog uzorkovanja i tocaka interesa uzorkovanja slike zapocinjeuzorkovanjem pomocu pravilnih mreža, a skale i lokacije dobivenih blokova se nadalje mijen-jaju na temelju mjere zanimljivosti (Laplaciana u [74]).

Nasumicnim uzorkovanjem se, kao što i samo ime kaže, regije slike za koje ce se racunatiglobalne znacajke odreduju na nasumican nacin. U [72] je pokazano da se za kategorizacijuprirodnih scena bolji rezultati postižu korištenjem pravilnih mreža nego nasumicnim uzorko-vanjem.

Iz gornjeg popisa razlicitih nacina uzorkovanja slike može se zakljuciti da ne postoji metodauzorkovanja slike koja se preferira i koja je bolja od ostalih, te da odabir metode koja ce sekoristiti ovisi o problemu koji se nastoji riješiti.

Primjer racunanja globalnih znacajki neke slike može se pokazati na modelu zbirki znacajki(engl. bag of words, bag of features), koji je nastao kao tehnika za statisticku obradu prirodnogjezika (engl. natural language processing) pomocu koje bi se mogle odrediti kategorije kojojobradivani dokumenti pripadaju, a kasnije se proširio i na obradu i analizu digitalne slike.

Bosch et al. su u [29] opisali model zbirki znacajki1 i objasnili da se on sastoji od cetirikoraka: automatske detekcije tocaka ili regija interesa, racunanja lokalnih opisnika tih znaca-jki, kvantiziranja tih opisnika u tzv. vizualne rijeci te izgradnje rjecnika vizualnih rijeci, i nakraju odredivanja vrste i broja vizualnih rijeci koje se nalaze na slici i konstrukcije histograma

1U nastavku teksta se pojam "model zbirki znacajki" odnosi na model zbirki znacajki koji se koristi u obradii analizi digitalnih slika, a ne u obradi prirodnog jezika.

24

vizualnih rijeci.

Histogram vizualnih rijeci predstavlja globalnu reprezentaciju slike. Usporedbom tog his-tograma sa histogramima drugih slika, mogu se pronaci slike koje imaju slicne histograme, tj.slike koje imaju slican sadržaj i koje najvjerojatnije pripadaju istoj semantickoj klasi.

3.6 Klasifikatori

Nakon izvlacenja znacajki sa slike slijedeci je korak i sama klasifikacija koja se provodi uklasifikatorima nekom od metoda klasifikacije. Poznatije metode klasifikacije su: metoda k-najbližih susjeda (engl. k-Nearest Neighbours, k-NN) (npr. koristi se u [27]), razlicite varijacijeAdaBoost algoritma (npr. koriste se u [77]), razlicite varijacije Bayesovih mreža ili Bayesovihmodela (npr. [78], [72]), metoda strojeva sa potpornim vektorima (engl. Support Vector Ma-

chines, SVM) (npr. koristi se u [24]), itd. Cesto se i kontekst ili semantika koristi kao pomocnosredstvo prilikom klasifikacije (npr. [28], [78], [79]) zato što se njegovom upotrebom mogupopraviti rezultati klasifikacije. Na primjer, autori su u [28] zakljucili da njihova metoda zaklasifikaciju slike daje lošije rezultate ako se iz nje iskljuci dio koji analizira kontekst na slici.

25

4 Baza slika mediteranskog krajolika

FESB (hrv. Fakultet elektrotehnike, strojarstva i brodogradnje) MLID (engl. Mediterranian

Landscape Image Dataset) [80] baza slika je skup od ukupno 400 slika mediteranskog krajolikakoji ujedno sadrži i njihove rucne segmentacije. Stvaranje FESB MLID baze slika bilo jeneophodno iz razloga što, koliko je autorici ove doktorske disertacije poznato, trenutno nepostoji baza slika mediteranskog krajolika koja sadrži i rucne segmentacije tih slika na klasekoje se obicno mogu pronaci u mediteranskom krajoliku. Buduci da je za potrebe ove doktorskedisertacije jedna takva baza slika bila nužna, jer se inace ne bi mogla provesti klasifikacija slikamediteranskog krajolika i istraživanja vezana uz nju, odluceno je da ce biti kreirana i nazvanaFESB MLID. Slike koje se nalaze u FESB MLID bazi slika (osim njihovih rucnih segmentacija)fotografirali su clanovi Katedre za modeliranje i inteligentne racunalne sustave (KaMIS) koja jedio Zavoda za elektroniku na FESB-u koji je dio Sveucilišta u Splitu, ili su pak dobivene krozprojekt IPNAS (hrv. Inteligentni protupožarni nadzorni sustav) i suradnju sa vatrogascimakoju imaju neki clanovi KaMIS katedre. Neke od slika koje se nalaze u FESB MLID bazi slikaranije su upotrijebljene u [81] i u bazi slika koja se interno koristi na KaMIS katedri i ciji je diodostupan putem Interneta u [82].

Rucne segmentacije slika iz FESB MLID baze slika ce se u okviru ove doktorske disertacijenazivati GT (engl. Ground Truth) slike. Od 400 slika koje se trenutno nalaze u FESB MLIDbazi slika, u ovoj se doktorskoj disertaciji 200 njih koristi za treniranje, a 200 za testiranjesustava. Velicina slike koja se u FESB MLID bazi slika najcešce koristi je 768x576 piksela.Primjeri slike iz FESB MLID baze slika i njezine odgovarajuce GT slike prikazani su na slici4.1. Buduci da je FESB MLID baza slika dijelom proizašla iz interne baze slika koja je vecpostojala na KaMIS katedri i koja je imala svoje GT slike, u FESB MLID bazi slika zadržanesu razine sive boje koje su se koristile u internoj bazi slika za kreiranje GT slika. Popis bojakoje se koriste za rucnu segmentaciju klasa u FESB MLID bazi slika (tj. za kreiranje GT slika)dan je na slici 4.2.

Klase koje su korištene u ovoj doktorskoj disertaciji (i prema kojima su naposljetku ikreirane GT slike u FESB MLID bazi slika) preuzete su iz [83] (iako su tamo definirane kaokategorije, a ne kao klase), i glase: dim, oblaci i magla, sunce i svjetlosni efekti, nebo, more,udaljeni krajolik, kamen, udaljena vegetacija, bliska vegetacija, nisko raslinje i poljoprivrednepovršine, te gradevine i umjetni objekti2. Trebalo bi se naglasiti da je ovih 11 klasa u [83]odabrano na takav nacin primarno s ciljem detekcije dima. Unatoc tome, ove klase pokrivajugotovo sve objekte koji se mogu pojaviti na slikama mediteranskog krajolika, pa su bile prim-jenjive i u ovoj doktorskoj disertaciji. Primjeri objekata koje navedenih 11 klasa ne pokrivabili bi npr. vatra, snijeg ili led, razlicite vrste životinja koje obitavaju u mediteranskoj klimi, te

2U nastavku teksta ce se prilikom spominjanja 11 klasa mediteranskog krajolika misliti na ovih 11 klasa.

26

Slika 4.1: Primjer slike iz FESB MLID baze slika (lijevo) i njezine odgovarajuce GT slike(desno). Razlicite razine sive boje segmentiranih regija na desnoj slici oznacavaju razlicite

klase.

Slika 4.2: Razine sive boje koje se koriste prilikom rucne segmentacije slika, njihov RGB kod,te pripadajuca klasa.

rijeke ili jezera (odnosno kopnene vode). Buduci da u FESB MLID bazi slika trenutno postojijako mali broj slika koji uopce sadrži neke od tih objekata, odluceno je da se klase koje bi ihpokrile nece još ni koristiti, vec ce se uvesti tek kada se FESB MLID baza slika proširi vecimbrojem slika koje sadrže takve objekte. Nadalje, uz 11 klasa koje su preuzete iz [83], u ovoj sedoktorskoj disertaciji koristi još i klasa nepoznato u slucajevima u kojima klasifikacijski sustavne uspije klasificirati odredeni dio slike. Distribucija klasa u GT slikama u FESB MLID bazislika prikazana je u tablici 4.1, a primjer razlicitih klasa na slici prikazan je na slici 4.3.

27

Slika 4.3: Primjeri razlicitih klasa na slici iz FESB MLID baze slika.

Tablica 4.1: Distribucija klasa u GT slikama u FESB MLID bazi slika.

KLASASkup slika za treniranje

(200 slika)Skup slika za testiranje

(200 slika)Dim 71 87

Oblaci i magla 100 91

Sunce i svjetlosni efekti 87 100

Nebo 86 77

More 52 43

Udaljeni krajolik 124 126

Kamen 65 73

Udaljena vegetacija 131 141

Bliska vegetacija 98 101

Nisko raslinje i poljoprivredne površine 56 65

Gradevine i umjetni objekti 106 118

Iako je vecina klasa koje se koriste u ovoj doktorskoj disertaciji poprilicno jednostavna i nijeteško uociti razlike izmedu njih, ipak postoji nekoliko klasa ciji bi odnos trebalo razjasniti. Pon-ajprije se radi o klasama udaljeni krajolik i udaljena vegetacija. Ove dvije klase se u odredenim

28

kontekstima mogu odnositi na jednake objekte na slici, pa je potrebno detaljnije objasniti raz-like izmedu njih jer kod kreiranja GT slika objekt može pripasti samo jednoj od te dvije klase.Udaljeni krajolik predstavlja podrucje na slici koje je jako udaljeno od kamere i koje zbog teudaljenosti poprima plavkastu boju (npr. udaljene planine). Udaljena vegetacija predstavljavegetaciju koja je udaljena od kamere (tj. ne predstavlja blisku vegetaciju), no cija boja još uvi-jek ne poprima plavkaste nijanse vec ostaje zelena, smeda ili crvena (ovisno o tome o kakvojse vegetaciji radi, i u kojem je godišnjem dobu slika fotografirana). Nadalje, potrebno je objas-niti odnos izmedu klasa udaljena vegetacija, bliska vegetacija i nisko raslinje i poljoprivredne

površine. Udaljena vegetacija, kao što je vec navedeno, predstavlja onu vegetaciju koja je jakoudaljena od kamere, ali ipak ne toliko udaljena da prijede u klasu udaljeni krajolik). Bliska

vegetacija odnosi se na vegetaciju koja se nalazi u blizini kamere, te ukljucuje vegetaciju poputniskog grmlja i stabala koji su u neposrednoj blizini te kamere. S druge strane, nisko raslinje

i poljoprivredne površine ukljucuje niske travnate površine i poljoprivredne površine (poputoranica i njiva), te ne ukljucuje nisko grmlje i ostale objekte koji kontekstualno pripadaju bliskoj

vegetaciji.

Važno je napomenuti da su neke od GT slika inicijalno bile segmentirane od strane malogbroja razlicitih ljudi (tj. od nekoliko tadašnjih studenata FESB-a), no buduci da je to dovelo doraznih nekonzistentnosti (jer razliciti ljudi ponekad istu regiju slike pridjele razlicitim klasama)na kraju je sve takve GT slike morala provjeriti i popraviti autorica ove disertacije. Glavnirazlog za ovo bio je u tome što se je klasifikacijskom sustavu koji bi naposljetku i koristio slikeiz FESB MLID baze slika nastojalo pristupiti kao sustavu umjetne inteligencije. Taj bi sustav ufazi ucenja trebao primiti jednoznacne i jasne podatke na temelju kojih bi mogao izgraditi svojubazu znanja, a ne nejednoznacne podatke koji bi ga dodatno zbunili. Primjer za ovo može sepronaci i u stvarnome životu: da jedna osoba malome djetetu kaže da je vrsta odredenog stablabor, druga mu kaže da se radi o cempresu, a treca da se radi o palmi, dijete bi postalo zbunjenoi na kraju ne bi znalo (jer ne bi imalo jednoznacne ulazne podatke) o kojoj se vrsti stabla radi.Ovaj bi se problem mogao riješiti na nacin da se od veceg broja ulaznih podataka odabereonaj podatak koji se najcešce pojavljuje (npr. ako od stotinu ljudi njih devedeset kaže da jepromatrano stablo cempres, onda se to uzme kao ispravan odgovor), no to bi zahtijevalo velikbroj ljudskih resursa (tj. velik broj ljudi koji bi zasebno segmentirali slike u FESB MLID bazislika) koji autorici ove disertacije jednostavno nisu bili dostupni.

Naposljetku bi bilo potrebno napomenuti da se FESB MLID baza slika ne mora smatratikonacnim skupom slika, vec da se i dalje može nadopunjavati novim slikama mediteranskogkrajolika. Kao što je vec navedeno, u planu je i proširenje skupa klasa koji se koristi za seg-mentaciju i klasifikaciju tih slika novim klasama (npr. vatra, snijeg ili led, kopnene vode, ra-zlicite vrste životinja...) koje bi obuhvatile sve vrste objekata koje se mogu pojaviti na slikamamediteranskog krajolika. Trenutna verzija FESB MLID baze slika slobodno je dostupna naWeb stranicama portala kojega održava KaMIS: http://wildfire.fesb.hr/ [80].

29

5 Odredivanje optimalnih prostora boja

Boja je jedna od najvažnijih znacajki slike, no takoder je cesto i jedna od onih koje je na-jproblematicnije koristiti prilikom klasifikacije slike. Ovaj problem proizlazi iz cinjenice daboja objekata u stvarnome svijetu nije konstantna, vec se neprestalno mijenja zbog varijacijau osvjetljenju promatrane scene u kojoj se ti objekti nalaze. Cak se i objekti koji pripadajuistoj semantickoj klasi mogu razlikovati u boji (kao i u obliku, teksturi i velicini), što dodatnootežava njihovu automatsku klasifikaciju. Buduci da prostori boja koji se koriste za modeli-ranje scene na slici mogu utjecati na krajnje rezultate klasifikacije slike, potrebno je pronacione prostore boja koje bi bilo optimalno koristiti u odredenim situacijama (npr. za odredeneskupove slika ili za pojedine klase). U ovome poglavlju je predstavljeno istraživanje ciji je ciljbio za svaku od korištenih 11 klasa mediteranskoga krajolika pronaci prostor boja u kojemu biklasifikacija (po boji) te klase davala najbolje rezultate, tj. promatranu klasu što je moguce višeodvojila od ostalih.

Istraživanja slicna ovome koje je predstavljeno u ovome poglavlju vec postoje, no, koliko jeautorici ove doktorske disertacije poznato, ne postoji istraživanje koje bi za 11 klasa mediteran-skoga krajolika (koje se koriste u ovoj doktorskoj disertaciji) pronašao optimalne prostore bojakoji bi se mogli koristiti prilikom klasifikacije tih klasa. Vecina do sada objavljenih istraživanjakojima je cilj pronaci optimalni prostor boje za daljnju obradu neke klase usredotocuju se naklase poput lica, kože i sl. Na primjer, Chaves-González et al. su u [84] predstavili istraživanjekoje se bavi prostorima boja za detekciju kože u sustavima za prepoznavanje lica (engl. face

recognition). Oni su usporedili deset razlicitih prostora boja (RGB, CMY, YUV, YIQ, YPbPr,YCbCr, YCgCr (predložen u [85]), YDbDr, HSV ili HSI i CIE-XYZ) i otkrili da su HSV,YCgCr i YDbDr najpogodniji za detekciju kože po boji. Od ta tri prostora boja, pobjedniku njihovom istraživanju bio je HSV. Wang et al. su u [86] predstavili istraživanje vezano uzklasifikaciju vozila po boji te koristili fuziju prostora boja (sa shemom redukcije dimenzija) zaklasifikaciju po boji. Što se tice istraživanja o optimalnim prostorima boja koja su vezana uzvanjske (engl. outdoor) scene i/ili slike, postoji nekoliko njih koje bi trebalo spomenuti. Martíet al. su u [87] predložili novi pristup za opis vanjske scene (engl. outdoor scene description).Oni su za svaku klasu objekta (engl. object class) koju su koristili odredili podskup znacajkiboje i teksture koji bi je najbolje karakterizirali, tj. koje bi je mogle najbolje razlikovati od os-talih klasa objekata. Bosch et al. su u [28] predstavili sustav za opis i segmentaciju scene. Onisu odredili podskup znacajki boje i teksture za svaki objekt koji su koristili s ciljem da ga na-jbolje razlikuju od ostalih. Specificirali su koje su znacajke koristili za svaki objekt u razlicitimbazama slika koje su koristili. Istraživanje predstavljeno u ovome poglavlju razlikuje se od onihpredstavljenih u [87] i [28]. U ovome se poglavlju nastoje odrediti optimalni prostori boja (porazlicitim kriterijima) za svaku od 11 klasa mediteranskog krajolika, a ne pronaci znacajke boje

30

i teksture koji bi se mogli koristiti za pojedine klase s ciljem da ih optimalno odvoje jedne oddrugih.

Nadalje, važno je spomenuti i istraživanje koje su predstavili Celen i Demirci u [88]. U tomesu istraživanju autori tražili najpogodnije znacajke, klasifikatore i prostor boja za klasifikacijuvatre. Usporedili su 7 razlicitih prostora boja i otkrili da su za detekciju piksela vatre od njihnajbolji CIE L*a*b* i YCrCb, a najlošiji CIE L*u*v* i CIE XYZ. Buduci da je istraživanjepredstavljeno u ovome poglavlju slicno istraživanju provedenome u [88], u nastavku teksta sunabrojene i objašnjene najvažnije slicnosti i razlike:

• proces konstrukcije histograma vjerojatnosti boje koji se koristi u ovoj doktorskoj dis-ertaciji jednak je procesu konstrukcije histograma (koji se kasnije koriste prilikom stvaranjapregledne tablice (engl. lookup table)) u [88]. Histogrami u [88] su kreirani za svakikanal boje u svim prostorima boje što ih autori koriste, i prikazuju vjerojatnost (engl.likelihood) za svaku vrijednost intenziteta. Autori u [88] kasnije grupiraju vrijednosti sistim vjerojatnostima i pohranjuju ih u pregledne tablice, a to se grupiranje ne radi i nekoristi u ovoj doktorskoj disertaciji;

• autori u [88] su orijentirani na detekciju vatre i pritom se bave i analizom dima, no ovaje doktorska disertacija usmjerena na klasifikaciju svih klasa koje se mogu pronaci naslikama mediteranskog krajolika (osim manjeg broja klasa koje nisu zastupljene u vecembroju u FESB MLID bazi slika, kao što je vec pojašnjeno u poglavlju 4);

• klasifikacijski algoritam koji se koristi u procesu traženja najpogodnijeg prostora boja zavatru (i zatim dim) u [88] se sastoji od nekoliko koraka. Najprije se za klasifikaciju vatreza svaki piksel racuna vjerojatnost s kojom bi promatrani piksel mogao pripadati vatri.Ta se ukupna vjerojatnost dobije množenjem vjerojatnosti vrijednosti intenziteta pikselau sva tri kanala boje u promatranom prostoru boja. Te se vjerojatnosti dobiju iz preglednetablice. Nakon što se izracuna ukupna vjerojatnost piksela, ta se vrijednost usporedi saeksperimentalno dobivenim pragom (engl. threshold) razlicitim za svaki prostor boja.Pikseli cije su vrijednosti dovoljno velike se oznace kao vatra. Ovakva se klasifikacijaprovodi i za dim. Klasifikacijski algoritam koji se koristi u ovome poglavlju slican jeonome koji se u [88] koristi u procesu traženja najpogodnijeg prostora boja za vatru (izatim dim). Razlika izmedu ta dva klasifikacijska algoritma je što se u ovome poglavljune koriste podaci o vjerojatnosti iz pregledne tablice, vec iz histograma vjerojatnosti boje.Nadalje, u ovome se poglavlju ne koriste eksperimentalno utvrdeni pragovi na temeljukojih bi se neki pikseli odbacivali kao pikseli odredene klase, a neki bi se prihvacali;

• u [88] optimalni prostor boja za klasu dim je, po kriteriju preciznosti (engl. precision)CIE-XYZ, a po kriteriju odziva (engl. recall) RGB. U ovoj doktorskoj disertaciji po F1-mjeri optimalni prostor boja za klasifikaciju (po boji) klase dim je RGB, no dobri su iCIE-XYZ i HSV;

31

• baza slika koja se koristi u ovoj doktorskoj disertaciji nije jednaka bazi slika koja sekoristi u [88];

• u ovoj je doktorskoj disertaciji korišteno 9 razlicitih prostora boja, dok je u [88] korišteno7 razlicitih prostora boja.

Vec je navedeno da je klasifikacijski algoritam koji se koristi u ovome poglavlju slicanonome koji se koristi u [88]. Još je potrebno nadodati da je klasifikacijski algoritam koji sekoristi u ovoj doktorskoj disertaciji slican i metodama iz [89]: konfabulacijskom (engl. con-

fabulation) umnošku te, pod odredenim uvjetima, maksimizaciji neospornosti (engl. cogency).O ovome ce biti više govora u poglavlju 7.

Shematski prikaz procesa koji se u ovome poglavlju koristi za odredivanje optimalnih pros-tora boja po klasama dan je na slici 5.1 i pojašnjen u nastavku teksta.

Slika 5.1: Shematski prikaz procesa za odredivanje optimalnih prostora boja za 11 klasamediteranskog krajolika.

5.1 Prostori boja

Kada se radi o klasifikaciji slike, boja je jedna od najkorisnijih znacajki koje se pritom moguuzeti u obzir. Na primjer, prilikom klasifikacije slike koja sadrži samo dvije klase, dim (kojije uglavnom siv) i blisku vegetaciju (koja je uglavnom zelena), ne bi bilo puno problema ipikseli na slici bi uglavnom bili ispravno klasificirani. S druge strane, buduci da se objekti ustvarnome svijetu, a koji pripadaju istoj semantickoj klasi, mogu razlikovati po boji, teksturi,velicini i obliku, samo informacija o boji cesto nece biti dovoljna da ih se uspješno možeprepoznati. Unatoc tome, boja znacajno može pripomoci procesu klasifikacije slike. Buducida klasifikacija pojedinih klasa nije jednako uspješna u razlicitim prostorima boja (kao što jenpr. vidljivo iz [84] i [88]), pronalazak prostora boja u kojemu bi, po nekom kriteriju (npr.

32

preciznosti ili odzivu), klasifikacija pojedine klase davala bolje rezultate nego u nekom drugomprostoru boja bi bilo korisno.

U ovome se poglavlju za klasifikaciju slika mediteranskog krajolika po boji koristi 9 ra-zlicitih prostora boja, te se analiziraju rezultati te klasifikacije u svakom od tih prostora boja.Prostori boja koji se koriste u ovoj doktorskoj disertaciji su: RGB, HSV (engl. Hue Saturation

Value), CIE L*a*b*, CIE L*u*v*, YCgCr, YCbCr, HLS, CIE-XYZ i prostor boja predložen u[90]. Prostor boja predložen u [90], i definiran sa znacajkama boje I1, I2’ i I3’, ce se u okviruove doktorske disertacije nazivati Ohta prostor boja.

Za potrebe ove doktorske disertacije korištene su funkcije iz OpenCV (engl. Open Source

Computer Vision) [91] biblioteke za prebacivanje slike iz RGB (koji je u OpenCV bibilioteciimplementiran kao BGR) prostora boja u YCbCr (koji je u OpenCV bibilioteci implementi-ran kao YCrCb), HSV, HLS, CIE L*a*b* (korištena je opcija CV_LBGR2Lab umjesto opcijeCV_BGR2Lab) i CIE L*u*v* prostore boja3. Autorica ove doktorske disertacije je sama imple-mentirala funkcije za prebacivanje slike iz RGB u YCgCr i CIE-XYZ prostore boja, koristeci seuputama o YCgCr i CIE-XYZ prostorima boja iz [84]. Takoder je napravila malu izmjenu4 pri-likom te implementacije: zaokružila je sve vrijednosti piksela u YCgCr i CIE-XYZ prostorimaboja na cijele brojeve. Autorica ove doktorske disertacije je sama implementirala i funkciju zaprebacivanje slike iz RGB u Ohta prostor boja, koristeci se uputama o Ohta prostoru boja iz[90]. Takoder je napravila nekoliko malih izmjena prilikom te implementacije: zaokružila jesve vrijednosti piksela u Ohta prostoru boja na cijele brojeve te umjesto negativnih vrijednostiuzimala njihove apsolutne vrijednosti. Originalni rezultati i slike koji su predstavljeni u ovojdoktorskoj disertaciji su dobiveni koristeci se gore navedenim implementacijama svih prostoraboja koje je autorica ove doktorske disertacije odlucila koristiti. Primjeri slike mediteranskogkrajolika prikazane u razlicitim prostorima boja (tj. korištenjem gore navedenih funkcija zaprebacivanje slike iz RGB prostora boja, osim u slucaju prve slike u prvome retku slike 5.2koja prikazuje izvornu sliku i koju nije bilo potrebno prebacivati u neki drugi prostor boja) danisu na slici 5.2.

Detaljnije informacije o razlicitim prostorima boja mogu se pronaci u nastavku teksta.

3Potrebno je napomenuti da prema [92], u slucaju ne-linearnih transformacija ulazna RGB slika bi trebala bitinormalizirana na rang odgovarajucih vrijednosti tako da se dobiju tocni rezultati. Ako se funkciji cvtColor (kojau OpenCV biblioteci služi za pretvorbu slike iz jednog prostora boja u neki drugi prostor boja) kao ulaz da slikakoja bi trebala biti normalizirana na takav nacin, no nije (i ostala je u 8-bitnom formatu), doci ce do gubitka nekihinformacija (a taj gubitak informacija ce biti neprimjetljiv za mnoge aplikacije) [92]. U ovoj doktorskoj disertacijise kao ulaz funkciji cvtColor daju slike u 8-bitnom formatu koje nisu normalizirane.

4Ova je izmjena bila potrebna iskljucivo iz tehnickih razloga: vrijednosti piksela je autorica ove doktorskedisertacije koristila kao indekse histograma vjerojatnosti boje (o kojima ce biti više rijeci u podpoglavlju 5.2), tesu stoga morali biti cijeli a ne decimalni brojevi.

33

Slika 5.2: Primjer slike mediteranskog krajolika prikazane (pomocu RGB reprezentacije) u razlicitim prostorima boja. Prvi redak sadrži slike(redom) u RGB, CIE-XYZ, Ohta, HSV i HLS prostorima boja, a drugi redak sadrži slike (redom) u CIE L*a*b*, CIE L*u*v*, YCgCr i YCbCr

prostorima boja.

34

5.1.1 Pregled razlicitih prostora boja

Prilikom automatske klasifikacije digitalne slike ili pak detekcije objekata na toj slici, cestoje od iznimne važnosti pažljivo odabrati prostor boja koji ce se pri tome koristiti. Ovdje supojašnjeni neki od prostora boja koji se najcešce koriste u obradi i analizi digitalne slike, dokse detaljnije informacije o razlicitim prostorima boja mogu pronaci u [84] i [93].

RGB prostor boja jedan je od najpoznatijih i najcešce korištenih prostora boja, iako se nje-govim korištenjem ne dobiju uvijek onako dobri rezultati kao što bi se mogli dobiti korišten-jem nekog drugog prostora boja (kao što ce biti pokazano i u okviru ove doktorske disertacije).RGB koristi tri boje (crvenu, zelenu i plavu) za dobivanje svih ostalih boja. Ostale se bojemogu dobiti mijenjanjem vrijednosti te tri primarne boje, a obicno svaka boja može poprimitivrijednosti u rangu [0,1] (gdje 0 predstavlja crnu, a 1 bijelu boju) ili u rangu [0,255] (gdje 0predstavlja crnu, a 255 bijelu boju).

CIE-XYZ prostor boja kreiran je 1931. godine i utemeljen je na izravnim mjerenjima ljud-skog oka [84]. Formule za transformaciju iz RGB prostora boja u CIE-XYZ prostor boja danesu formulama 5.1, 5.2 i 5.3 koje su preuzete iz [84]. Prema [84], komponente R, G, B, X, Y iZ u tim formulama su u rangu [0,1].

X = 0.490186R+0.309879G+0.199934B (5.1)

Y = 0.177015R+0.812324G+0.010660B (5.2)

Z = 0.010077G+0.989922B (5.3)

Ohta prostor boja predložen je u [90]. Formule za transformaciju iz RGB prostora boja uOhta prostor boja preuzete su iz [90] i prikazane formulama 5.4, 5.5 i 5.6.

I1 =R+G+B

3(5.4)

I2′ = (R−B) (5.5)

I3′ =2G−R−B

2(5.6)

HSV prostor boja se jako cesto koristi u obradi i analizi digitalnih slika i cesto se (kao štoce kasnije biti pokazano i u okviru ove doktorske disertacije) njegovom upotrebom mogu dobitijako dobri rezultati.

35

Prema [84], prva komponenta HSV prostora boja je nijansa (engl. hue) i ona se odnosi natip boje (npr. žuta boja), druga komponenta je saturacija (engl. saturation) koja se odnosi navibrantnost ili cistocu boje (što je saturacija niža boja izgleda sivija), a treca komponenta jevrijednost (engl. value) koja se odnosi na svjetlinu (engl. brightness) boje.

Formule za transformaciju iz RGB prostora boja u HSV prostor boja preuzete su iz [84] iprikazane formulama 5.7, 5.8, 5.9, 5.10 i 5.11.

V =13

R+13

G+13

B (5.7)

X =−1√

6R− 1√

6G+

2√6

B (5.8)

Y =1√6

R− 1√6

G (5.9)

H = arctang(YX) (5.10)

S = (X2 +Y 2)12 (5.11)

YCbCr prostor boja cesto se koristi za kodiranje digitalnih videa [84]. Formule za transfor-maciju iz RGB prostora boja u YCbCr prostor boja dane su formulama 5.12, 5.13 i 5.14 koje supreuzete iz [84]. Prema [84], u tim formulama R, G i B poprimaju vrijednosti iz ranga [0,255],Y takoder iz ranga [0,255], a Cb i Cr komponente iz ranga [16,240].

Y = 16+1

256· (65.738R+129.057G+25.064B) (5.12)

Cb = 128+1

256· (−37.945R−74.494G+112.439B) (5.13)

Cr = 128+1

256· (112.439R−94.154G−18.285B) (5.14)

Prema [84], Cb komponenta YCbCr prostora boja predstavlja razliku izmedu B i Y kompo-nenti, a Cr komponenta razliku izmedu R i Y komponenti.

YCgCr prostor boja predložen je u [85], gdje se je primijenio na detekciju lica na slikama.Ovaj je prostor boja slican YCbCr prostoru boja, no razlikuje se od njega u Cg komponentiboje [85].

Formule za transformaciju iz RGB prostora boja u YCgCr prostor boja dane su formulama

36

5.15, 5.16, 5.17 koje su preuzete iz [84]. Prema [84], u tim formulama R, G i B poprimaju vri-jednosti iz ranga [0,1], a Y, Cg i Cr komponente iz ranga [16,240]. Cg komponenta predstavljarazliku izmedu G i Y komponenti [84].

Y = 16+65.481R+128.553G+24.966B (5.15)

Cg = 128−81.085R+112G−30.915B (5.16)

Cr = 128+112R−93.768G−18.214B (5.17)

Formule za transformaciju RGB prostora boja (koji se u OpenCV biblioteci koristi kaoBGR) u HLS, CIE L*a*b* i CIE L*u*v* prostore boja mogu se pronaci u [92].

5.2 Klasifikacija po boji

Prvi korak u procesu odredivanja optimalnih prostora boja (po razlicitim kriterijima) za 11klasa mediteranskog krajolika je odredivanje histograma vjerojatnosti boje. Primjeri takvihhistograma dani su na slici 5.3.

Slika 5.3: Primjeri histograma vjerojatnosti boje za dvije razlicite klase mediteranskogkrajolika.

Histogram vjerojatnosti boje konstruira se za svaki kanal boje u svim prostorima boja kojise koriste, te za svaku klasu od 11 klasa mediteranskog krajolika. Svaki takav histogram jenormaliziran te sadrži informacije o tome koliko je vjerojatno, za promatrani kanal boje i pro-matranu klasu, da se pojavi odredeni intenzitet sive boje. Histogrami vjerojatnosti boje sekonstruiraju za svaki kanal boje za svaku klasu na nacin prikazan na slici 5.4.

Upotrebu histograma vjerojatnosti boje prilikom klasifikacije piksela najjednostavnije je

37

Slika 5.4: Shematski prikaz nacina na koji se racunaju histogrami boje.

objasniti kroz primjer. Na primjer, neka postoji piksel P(x,y,z) u RGB prostoru boja. Zataj se piksel iz izracunatih histograma vjerojatnosti boje može odrediti vjerojatnost p(x) kojakaže koliko je vjerojatno da se x pojavi u crvenome kanalu prve klase mediteranskog krajolika(tj. klase dim), vjerojatnost p(y) koja kaže koliko je vjerojatno da se y pojavi u zelenomekanalu klase dim, te vjerojatnost p(z) koja kaže koliko je vjerojatno da se z pojavi u plavome

38

kanalu klase dim. Buduci da se ovaj korak ponovi za svih 11 klasa mediteranskog krajolika,naposljetku se dobiju 33 vjerojatnosti (po tri za svaku klasu) za piksel P u RGB prostoru boja.Nakon toga se pomnože vjerojatnosti p(x), p(y) i p(z) dobivene za piksel P za prvu klasu,zatim za drugu klasu, i tako redom sve dok se ne dobiju umnošci za sve klase. Ti umnošci dajupribližnu procjenu o tome koliko je vjerojatno da ce se promatrani piksel pojaviti u odredenojklasi. Od tih se umnožaka odabere najveci i njemu pripadajuca klasa, te se kaže da je u RGBprostoru boje promatrani piksel klasificiran u tu klasu. Ovaj se postupak ponovi i za sve ostaleprostore boja koji se koriste, te se naposljetku dobiju klasifikacije piksela u devet razlicitihprostora boja. Primjeri ove klasifikacije u 9 razlicitih prostora boja prikazani su na slici 5.5, alegenda koja pojašnjava koja boja predstavlja koju klasu na toj slici dana je na slici 5.6.

39

Slika 5.5: Primjeri jednostavne klasifikacije po boji za slike prikazane na slici 5.2. Prvi redak sadrži rezultate klasifikacije slika (redom) u RGB,CIE-XYZ, Ohta, HSV i HLS prostorima boja, a drugi redak sadrži rezultate klasifikacije slika (redom) u CIE L*a*b*, CIE L*u*v*, YCgCr i

YCbCr prostorima boja.

40

Slika 5.6: Boje koje se koriste prilikom klasifikacije slike, njihov RGB kod, te pripadajucaklasa.

Nadalje, potrebno je objasniti zašto je za odredivanje optimalnih prostora boja po klasamamediteranskog krajolika odabran baš ovaj klasifikator. Naime, isprva bi se moglo pomisliti daje on možda neprimjeren ovoj svrsi, jer je jako jednostavan i po jacini nije tako snažan kaoneki poznatiji klasifikatori koji se koriste u obradi i analizi digitalne slike. Medutim, ovaj jeklasifikator jako intuitivan i odabran je za korištenje u ovoj doktorskoj disertaciji upravo zbogsvoje jednostavnosti i intuitivnosti.

Klasifikator koji se je koristio u ovome poglavlju usporeden je sa normalnim Bayesovimklasifikatorom (engl. normal Bayes classifier) koji je dostupan preko OpenCV biblioteke.Rezultati usporedbe (tj. rezultati klasifikacije na 200 slika za testiranje iz FESB MLID bazeslika) dani su u tablicama 5.1–5.4 i u tablici 5.5. Informacije o racunalu na kojemu su se testi-ranja za ove usporedbe izvršila su slijedece: racunalo je imalo procesor Pentium(R) Dual-CoreCPU E5200, 2 x 2.50 GHz, te radnu memoriju od 2.0 GiB (otprilike 2 GB).

U tablicama 5.1–5.4 vrijednosti preciznosti i odziva za klasifikaciju u pojedinim prostorimaboja prosjecne vrijednosti. Na primjer, za klasifikaciju u odredenom prostoru boja zbrojene suvrijednosti preciznosti za svaku klasu mediteranskog krajolika, i onda je taj zbroj podijeljensa 11, tj. s ukupnim brojem klasa. Na taj se je nacin dobila prosjecna vrijednost preciznostiklasifikacije u tome prostoru boja. Na analogan nacin su se racunale i prosjecne vrijednostiodziva. Iz tablica 5.1–5.4 može se zakljuciti da se dva klasifikatora koja su usporedena u njimane razlikuju previše u tocnosti (u ovome slucaju misli se na preciznost i odziv). Klasifikatorutemeljen na konfabulaciji je konstantno bio malo bolji u odzivu, dok je normalni Bayesov

41

Tablica 5.1: Usporedba normalnog Bayesovog klasifikatora i klasifikatora utemeljenog nakonfabulaciji za klasifikaciju slike na blokovima dimenzija 1x1 piksel.

Bayes Konfabulacija

Preciznost Odziv Preciznost Odziv

RGB 38.61 38.29 31.13 31.92

CIE-XYZ 38.51 38.22 32.15 30.67

Ohta 31.38 32.31 33.82 34.23

HSV 31.28 35.80 39.39 40.94

HLS 33.10 35.54 39.04 40.52

CIE L*a*b* 35.99 36.58 38.92 40.13

CIE L*u*v* 37.91 37.96 37.79 39.08

YCgCr 38.33 38.20 37.54 38.42

YCbCr 38.60 38.30 38.22 39.30

Prosjek 35.97 36.80 36.44 37.25

Tablica 5.2: Usporedba normalnog Bayesovog klasifikatora i klasifikatora utemeljenog nakonfabulaciji za klasifikaciju slike na blokovima dimenzija 5x5 piksela.

Bayes Konfabulacija


RGB 39.55 39.10 31.09 32.10

CIE-XYZ 39.50 39.00 30.41 31.38

Ohta 32.48 33.10 34.22 34.71

HSV 31.30 35.59 39.32 40.78

HLS 33.56 35.87 39.13 40.51

CIE L*a*b* 36.93 37.27 39.95 41.17

CIE L*u*v* 38.83 38.70 38.30 39.73

YCgCr 39.29 39.01 38.33 39.69

YCbCr 39.55 39.11 38.51 39.76

Prosjek 36.78 37.42 36.58 37.76

klasifikator uglavnom bio malo bolji u preciznosti.

Iz tablice 5.5 može se vidjeti da se normalni Bayesov klasifikator i klasifikator utemel-jen na konfabulaciji najviše razlikuju po vremenu izvršavanja. Vremena su u toj tablici danau sekundama, i približna5 su. Iz te se tablice može jasno vidjeti da što su blokovi na kojese slika dijeli (tj. na temelju kojih se odreduju znacajke slike) manji, vrijeme izvršavanja obausporedena klasifikatora se povecava. No, vrijeme izvršavanja normalnog Bayesovog klasifika-

5Vremena izvršavanja su približna zato što se ponekad za vrijeme izvršavanja istoga racunalnog programanece dobiti isti broj ako se taj program pokrene više puta. Vrijeme izvršavanja racunalnog programa ovisi i otrenutnom opterecenju racunalnog procesora a ne samo o složenosti algoritma, te što je procesor više opterecennjegovo ce se vrijeme dijeliti izmedu procesa koji su aktivni, i zbog toga ce se ti procesi sporije izvršavati.

42


Bayes Konfabulacija


RGB 40.28 39.78 31.55 32.52

CIE-XYZ 40.22 39.67 30.28 31.77

Ohta 33.40 33.80 34.82 35.47

HSV 31.70 35.62 39.87 41.27

HLS 33.81 36.09 39.70 40.96

CIE L*a*b* 37.42 37.52 40.12 41.70

CIE L*u*v* 39.46 39.22 38.82 40.29

YCgCr 39.99 39.67 38.58 40.43

YCbCr 40.29 39.80 38.61 40.04

Prosjek 37.40 37.91 36.93 38.27


Bayes Konfabulacija


RGB 41.45 41.05 32.13 32.94

CIE-XYZ 41.30 40.91 30.64 31.95

Ohta 35.24 35.08 35.13 36.18

HSV 32.95 36.26 40.37 41.65

HLS 34.66 36.61 40.46 41.63

CIE L*a*b* 37.75 37.79 40.82 42.65

CIE L*u*v* 40.52 40.33 39.51 41.07

YCgCr 41.12 40.94 39.44 41.70

YCbCr 41.48 41.10 38.85 40.47

Prosjek 38.50 38.90 37.48 38.92

tora se poveca mnogo više no što se poveca vrijeme izvršavanja klasifikatora utemeljenog nakonfabulaciji. Na primjer, kada se klasifikacija obavlja na temelju blokova slike dimenzija 1x1piksel, klasifikator utemeljen na konfabulaciji je cak za 4.32 puta brži od normalnog Bayesovogklasifikatora. Iako su rezultati klasifikacije oba klasifikatora slicni, klasifikator utemeljen nakonfabulaciji je puno brži i njega bi bilo logicnije koristiti (pogotovo ako je potreban za obradui analizu digitalne slike u stvarnome vremenu (engl. real-time)).

Prilikom izrade tablica 5.1–5.5, pronašle su se još neke znacajke razlike izmedu normalnogBayesovog klasifikatora i klasifikatora utemeljenog na konfabulaciji. Normalni Bayesov klasi-fikator zahtijevao je fazu konstrukcije dokumenta sa vektorima znacajki, fazu treniranja i fazu

43

Tablica 5.5: Vremena izvršavanja za klasifikaciju pomocu normalnog Bayesovog klasifikatorai klasifikatora utemeljenog na konfabulaciji za klasifikaciju slike na blokovima dimenzija 1x1,

5x5, 11x11 i 25x25 piksel. Vremena su dana u sekundama.

Dimenzije bloka Za 200 slika Za 1 sliku

Bayes 1x1 ≈ 324 s ≈ 1.62 s

Konfabulacija 1x1 ≈ 75 s ≈ 0.375 s

Bayes 5x5 ≈ 36 s ≈ 0.18 s


Bayes 11x11 ≈ 17 s ≈ 0.085 s


Bayes 25x25 ≈ 13 s ≈ 0.065 s


testiranja, dok je klasifikator utemeljen na konfabulaciji zahtijevao samo fazu konstrukcije his-tograma vjerojatnosti boje i fazu testiranja. Nadalje, konstrukcija vektora znacajki na blokovimaslike dimenzije 1x1 piksel za normalni Bayesov klasifikator je podijeljena na pet dijelova (jerje inace uzrokovala zamrzavanje racunala na kojemu se je izvršavala), tj. umjesto da su sekonstruirali vektori znacajki za 200 testnih slika iz FESB MLID baze slika odjednom, te suslike podijeljene u pet skupina i vektori znacajki konstruirani su za svaku od njih. To znacida je naposljetku dobiveno pet dokumenata (od kojih je svaki imao otprilike 200 MB) sa vek-torima znacajki umjesto samo jednoga dokumenta koji bi sadržavao vektore znacajki za svih200 testnih slika. Kao posljedica toga normalni Bayesov klasifikator nije mogao biti odjednomistreniran, vec je istreniran na vektorima znacajki koje su se nalazile u prvome dokumentu, teje kasnije to treniranje ažurirano sa podacima iz preostalih dokumenata. S druge strane, klasi-fikator utemeljen na konfabulaciji nije imao problema sa zamrzavanjem operacijskog sustavai nije imao veliko opterecenje na memoriju racunalu (histogrami vjerojatnosti boje imaju oko200 kB). Dakle, buduci da se na temelju svih ovih usporedbi može zakljuciti da je klasifika-tor utemeljen na konfabulaciji brži, da vrši manje opterecenje na memoriju racunala. te da jejednostavniji za korištenje od normalnog Bayesovog klasifikatora, preporucilo bi se njegovokorištenje.

5.3 Analiza rezultata

Za prikaz rezultata dobivenih klasifikacijom slika na nacin opisan u podpoglavlju 5.2 korištenesu poznate matrice konfuzije (engl. confusion matrices). Matrica konfuzije je matrica koja kažekoliko je klasifikacijski algoritam tocan, tj. koliko je puta prilikom testiranja tocno klasificiraoodredenu klasu i koliko ju je puta pogrešno klasificirao kao neku drugu klasu. U tablici 5.6dan je primjer matrice konfuzije ciji su elementi u rangu od 0 do 1. Iz te se tablice npr. možezakljuciti da je klasa A bila ispravno klasificirana 80% puta, dok je bila pogrešno klasificirana

44

kao klasa B 20% puta i 0% puta kao klasa C. Matrica konfuzije ciji su elementi u rangu odnula do jedan bi idealno trebala imati jedinice na dijagonali i nule svugdje ostalo, kao što jeprikazano u tablici 5.7. U stvarnosti su idealne matrice konfuzije teško ostvarive jer klasifikaci-jski algoritmi nisu savršeni i jer cesto zamjenjuju klase jedne sa drugima. Ovo i nije tolikocudno ako se uzme u obzir i cinjenica da ni ljudi ne mogu uvijek tocno prepoznati ono što senalazi na slici, pogotovo ako se objekt koji promatraju izuzme iz konteksta.

Tablica 5.6: Primjer matrice konfuzije.

A B CA 80.00 20.00 0.00B 20.00 50.00 30.00C 0.00 10.00 90.00

Tablica 5.7: Primjer idealne matrice konfuzije.

A B CA 100.00 0.00 0.00B 0.00 100.00 0.00C 0.00 0.00 100.00

Za potrebe ove doktorske disertacije koristile su se dvije vrste matrica konfuzija: one kojeprikazuju vrijednosti preciznosti prilikom klasifikacije pojedine klase, i one koje prikazuju vri-jednosti odziva prilikom klasifikacije pojedine klase. Preciznost i odziv su inace dobro poznatemjere koje se koriste u pretraživanju i dohvacanju informacija (engl. information retrieval).Kada se radi o dohvacanju informacija, preciznost se može definirati kao vjerojatnost da je do-hvaceni uzorak relevantan danome upitu (engl. query), a odziv kao vjerojatnost da se dohvatirelevantni uzorak [94]. Primjer racunanja preciznosti i odziva dan je na slici 5.7.

Formule za racunanje preciznosti i odziva preuzete su iz [95] i prikazane formulama 5.18 i5.19:

preciznost =T P

T P+FP(5.18)

odziv =T P

T P+FN(5.19)

gdje je:

T P (engl. true positives) – primjeri ispravno oznaceni (engl. labeled) kao pozitivni,

FP (engl. false positives) – negativni primjeri neispravno oznaceni kao pozitivni,

FN (engl. false negatives) – pozitivni primjeri neispravno oznaceni kao negativni.

45

Slika 5.7: Primjer racunanja preciznosti i odziva. Za slucaj na slici, preciznost bi bila 50% aodziv 67%.

Da bi se matrice konfuzije koje prikazuju vrijednosti preciznosti i odziva mogle izracunati,najprije je potrebno izracunati tzv. sirovu (engl. raw) matricu konfuzije. Sirova matrica kon-fuzije je matrica koja sadrži vrijednosti o brojevima piksela sa testnog skupa slika iz FESBMLID baze slike koji su ispravno i pogrešno klasificirani po pojedinim klasama. Takva ma-trica nije normalizirana, tj. ona sadrži samo "sirove" i neobradene podatke, no moguce ju jenormalizirati na dva nacina koja odreduju hoce li se naposljetku dobiti matrica koja predstavljavrijednosti preciznosti ili vrijednosti odziva. Matrica konfuzije koja prikazuje vrijednosti pre-ciznosti dobije se na nacin da se svaki element pojedinog stupca matrice podijeli sa zbrojemsvih elemenata koji pripadaju tome stupcu. Matrica konfuzije koja prikazuje vrijednosti odzivadobije se na nacin da se svaki element pojedinog retka matrice podijeli sa zbrojem svih eleme-nata koji pripadaju tome retku. Matrice konfuzije koje prikazuju vrijednosti preciznosti (daneu postotcima i zaokružene na dvije decimale) prikazane su u tablicama A.1–A.9, a matricekonfuzije koje prikazuju vrijednosti odziva (dane u postotcima i zaokružene na dvije decimale)u tablicama A.10–A.18. Ove se tablice nalaze u Prilogu A i iz njih se može primijetiti daimaju jedan stupac više no uobicajene matrice konfuzije. Taj stupac je potreban zbog toga štoprikazuje informacije o pikselima (u postotcima) koji klasifikacijom nisu uspjeli biti klasifici-rani, tj. o onim pikselima kod kojih je vjerojatnost da pripadaju bilo kojoj klasi bila nula. Usvim navedenim tablicama (dakle, u tablicama A.1–A.9 i A.10–A.18), brojevi u prvome retkui prvome stupcu svake matrice oznacavaju naziv klase na slijedeci nacin:

1. dim,

2. oblaci i magla,

3. sunce i svjetlosni efekti,

4. nebo,

46

5. more,

6. udaljeni krajolik,

7. kamen,

8. udaljena vegetacija,

9. bliska vegetacija,

10. nisko raslinje i poljoprivredne površine,

11. gradevine i umjetni objekti.

Iako su matrice konfuzije prikazane u tablicama A.1–A.9 i A.10–A.18 jako korisne kada seželi saznati koje klase klasifikacijski algoritam miješa jedne sa drugima, takoder ih može bitipreviše i ponekad se je teško snaci u njima. U ovoj su doktorskoj disertaciji zbog toga te matricekonfuzije prikazane i pomocu vizualne reprezentacije. Primjer takve reprezentacije podatakadan je za tablicu 5.8 na slici 5.8. Sa te se vizualne reprezentacije može primijetiti da tamnijitonovi odgovaraju višim postotcima u matrici konfuzije, a svjetliji nižim postotcima. Idealno,na dijagonali bi trebali biti posve crni kvadrati, a sve ostalo bi trebalo biti bijelo. Naravno, upraksi je to teško ostvarivo. Vizualne reprezentacije tablica A.1–A.9 koje prikazuju podatkeo preciznosti klasifikacije dane su na slici 5.9, a na slici 5.10 dane su vizualne reprezentacijetablica A.10–A.18 koje prikazuju vrijednosti odziva klasifikacije.

Tablica 5.8: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u HSV prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 14.80 14.46 1.63 15.69 9.90 12.64 13.23 5.90 6.27 1.90 3.58 0.002 6.87 34.49 12.43 19.47 5.21 7.65 7.47 0.85 0.07 0.41 5.08 0.003 0.74 6.58 83.56 3.54 0.29 0.40 0.83 0.60 0.80 0.73 1.94 0.004 3.10 10.51 9.68 61.96 5.32 5.08 3.75 0.15 0.00 0.02 0.42 0.005 8.61 12.22 0.79 6.95 25.62 10.46 16.79 12.86 0.14 0.26 5.30 0.006 6.47 8.24 1.59 13.53 9.21 32.53 12.82 6.97 0.65 1.25 6.75 0.007 9.63 4.05 0.50 5.63 12.04 28.24 24.01 3.74 0.91 2.60 8.64 0.008 2.80 1.25 2.34 0.28 11.67 6.84 4.23 35.01 15.24 8.38 11.96 0.009 1.14 0.04 0.78 0.03 0.28 0.31 1.43 12.95 58.81 19.64 4.59 0.00

10 2.65 0.26 0.41 0.04 1.15 1.02 5.46 8.67 24.15 49.16 7.03 0.0011 3.04 2.76 2.42 0.85 4.46 7.84 9.16 14.41 8.81 15.86 30.41 0.00

Sa vizualnih reprezentacija matrica konfuzije prikazanih na slikama 5.9 i 5.10 može seprimijetiti da klasifikacijski algoritam cesto miješa odredene klase. Promatrajuci samo vrijed-nosti odziva, može se zakljuciti da se dim cesto pogrešno klasificira kao oblaci i magla, nebo,more, kamen ili udaljeni krajolik. Razlog ovome je taj što sve te klase pod odredenim vremen-skim uvjetima (tj. osvjetljenjem) mogu imati jako slicne vrijednosti boje. Olujno nebo i moremogu poprimiti sivkastu boju dima, kao i kamenje i udaljeni krajolik koji nestaje u jutarnjoj iz-maglici. Zbog ovakvih je situacija dim jako teško ispravno klasificirati po boji. Slicni problemise javljaju i kod vecine preostalih klasa, kao što se može i vidjeti iz danih matrica konfuzije.

47

Slika 5.8: Vizualna reprezentacija matrice konfuzije prikazane u tablici 5.8.

Slika 5.9: Vizualna reprezentacija matrica preciznosti. Prvi redak prikazuje vizualnereprezentacije matrica konfuzije za RGB, CIE-XYZ i Ohta prostore boja, drugi redak za HSV,HLS i CIE L*a*b* prostore boja, i treci redak za CIE L*u*v*, YCgCr i YCbCr prostore boja,

respektivno.

48

Slika 5.10: Vizualna reprezentacija matrica odziva. Prvi redak prikazuje vizualnereprezentacije matrica konfuzije za RGB, CIE-XYZ i Ohta prostore boja, drugi redak za HSV,HLS i CIE L*a*b* prostore boja, i treci redak za CIE L*u*v*, YCgCr i YCbCr prostore boja,

respektivno.

Da bi se moglo zakljuciti koji prostor boja najviše odgovara klasifikaciji koje klase, potrebnoje dobiti mjeru koja kombinira preciznost i odziv klasifikacije. Mjera kojom se kombinira pre-ciznost i odziv naziva se F-mjera (engl. F-measure, F-score). Dobro poznata formula po kojojse F-mjera racuna preuzeta je iz [96] i dana u jednadžbi 5.20:

F-mjera =(β 2 +1) · preciznost ·odziv

β 2 · preciznost +odziv(5.20)

gdje je β parametar koji odreduje o kojoj se vrsti F-mjere radi. U praksi se koriste razlicitevrste F-mjera: F1-mjera, F2-mjera i F0.5-mjera. Kod F1-mjere, β parametar je 1 tako da jejednaka težina dana i preciznosti i odzivu. Kod F2-mjere, β parametar je 2 i veca je težina danaodzivu nego preciznosti. Kod F0.5-mjere, β parametar je 0.5 i veca je težina dana preciznostinego odzivu.

Ako se formule 5.18 i 5.19 uvrste u formulu 5.20 (za razlicite vrijednosti parametra β ,ovisno o tome radi li se o F1-mjeri, F2-mjeri i F0.5-mjeri), dobiju se formule za racunanje F1-

49

mjere, F2-mjere i F0.5-mjere izražene preko TP, FP i FN. Te su formule prikazane formulama5.21, 5.22 i 5.23.

F1 =2T P

2T P+FN +FP(5.21)

F2 =5T P

5T P+4FN +FP(5.22)

F0.5 =54T P

54T P+ 1

4FN +FP(5.23)

U tablici 5.9 dan je pregled optimalnih prostora boja po razlicitim klasama mediteranskogkrajolika te po razlicitim kriterijima, dobiven za 200 testnih slika iz FESB MLID baze slika.

Tablica 5.9: Pregled optimalnih prostora boja po razlicitim klasama mediteranskog krajolika ipo razlicitim kriterijima. Ovi su rezultati dobiveni za 200 testnih slika iz FESB MLID baze

slika.

Klasa Preciznost Odziv F1-mjera F2-mjera F0.5-mjera

DimHSV

(14.81%)CIE-XYZ(26.31%)

CIE-XYZ(15.263%)

CIE-XYZ(20.403%)

HSV(14.808%)

Oblaci i maglaHLS

(52.59%)CIE L*a*b*

(50.96%)YCgCr

(50.379%)CIE L*a*b*(50.074%)

YCgCr(50.916%)

Sunce i svjetlosniefekti

YCbCr(82.63%)

RGB(86.91%)

RGB(82.843%)

RGB(85.236%)

YCbCr(82.604%)

NeboYCgCr

(54.51%)HLS

(65.06%)HLS

(54.406%)HLS

(60.334%)YCgCr

(54.113%)

MoreYCbCr(11.7%)

HLS(29.5%)

YCbCr(16.464%)

HLS(22.083%)

YCbCr(13.231%)

Udaljeni krajolikHSV

(31.4%)CIE L*a*b*

(37.19%)CIE L*a*b*(32.683%)

CIE L*a*b*(35.246%)

HSV(31.62%)

KamenHLS

(30.48%)HLS

(30.64%)HLS

(30.56%)HLS

(30.608%)HLS

(30.512%)

Udaljena vegetacijaCIE L*a*b*

(54.99%)YCbCr

(35.72%)HSV

(42.682%)YCbCr

(38.032%)HSV

(49.143%)

Bliska vegetacijaHSV

(61.66%)CIE-XYZ(63.83%)

CIE L*a*b*(61.122%)

CIE L*a*b*(61.545%)

HLS(61.099%)

Nisko raslinje ipoljoprivredne površine

CIE L*a*b*(45.75%)

CIE L*u*v*(56.61%)

CIE L*a*b*(50.016%)

CIE L*a*b*(52.981%)

CIE L*a*b*(47.366%)

Gradevine i umjetniobjekti

CIE-XYZ(44.83%)

YCgCr(31.30%)

CIE L*a*b*(24.441%)

CIE L*a*b*(27.828%)

CIE L*a*b*(21.79%)

Da bi se moglo provjeriti jesu li rezultati o dobivenim optimalnim prostorima boja iz tablice5.9 stabilni ili ne, odredeni su optimalni prostori boja (na analogan nacin kao i za testni skupslika iz FESB MLID baze slika) po F1-mjeri za još pet skupina slika (od kojih svaka sadrži 200

50

slika i 200 njihovih GT slika). Te su skupine slika dobivene razlicitim kombinacijama slikaiz FESB MLID baze slika, tj. kros-validacijom (engl. cross-validation). FESB MLID bazaslika podijeljena je na cetiri dijela (dio-1, dio-2, dio-3 i dio-4) od kojih svaki sadrži 100 slika(i još 100 njihovih GT slika). Skupina slika koja se sastoji od dijelova dio-1 i dio-2 (nazvanaskup-12) je skup slika za treniranje iz FESB MLID baze slike, dok je skupina slika koja sesastoji od dijelova dio-3 i dio-4 (nazvana skup-34) skup slika za testiranje iz FESB MLID bazeslika. Preostale skupine slika su slijedece kombinacije: dio-1 i dio-3 (nazvan skup-13), dio-1

i dio-4 (nazvan skup-14), dio-2 i dio-3 (nazvan skup-23) i dio-2 i dio-4 (nazvan skup-24). Zasve navedene skupine slika pojedinacno izracunati su novi histogrami vjerojatnosti boje, kakobi ih se kasnije moglo koristiti prilikom kros-validacije i odredivanja novih optimalnih prostoraboja za njihove suprotne skupine slika. U ovome kontekstu suprotne skupine slika oznacavajuskupine slika sastavljene od onih slika koje nisu korištene prilikom racunanja histograma vjero-jatnosti boje. Na primjer, ako su histogrami vjerojatnosti boje izracunati za skup-13, onda suse optimalni prostori boja odredivali za klase mediteranskog krajolika na temelju skupine slikaskup-24, i sl.

Dobivene informacije o optimalnim prostorima boja, po F1-mjeri, odredenih za klase medit-eranskog krajolika na temelju razlicitih skupina slika dani su u tablici 5.10. Oznake skupovaslika u prvome retku tablice oznacavaju skupine slika na temelju kojih su se odredivali opti-malni prostori boja, a ne skupine slika na temelju kojih su izracunati histogrami vjerojatnostiboje. Posljednji stupac tablice 5.10 prikazuje optimalne prostore boja po F1-mjeri iz tablice 5.9,tako da bi se dobiveni rezultati o optimalnim prostorima boja mogli jednostavnije usporediti.

Na temelju rezultata iz tablice 5.10 može se zakljuciti da optimalni prostori boja po klasamamediteranskog krajolika nisu stabilni, tj. drugaciji su (neki više, a neki manje) za razliciteskupove slika. Unatoc tome, na temelju tablice 5.10 takoder se može zakljuciti da se optimalniprostor boja za klasifikaciju svake pojedine klase može potražiti u malome podskupu ukupnogaskupa od 9 razlicitih prostora boja. Na primjer, može se zakljuciti da je optimalni prostor bojaza klasu dim RGB, CIE-XYZ ili HSV, jer se ostali prostori boja ne spominju kao optimalni zaovu klasu u tablici 5.10. Da bi se zakljucilo koji je prostor boja naposljetku optimalan za svakupojedinu klasu mediteranskog krajolika, za svaku se je klasu promotrio odgovarajuci podskupprostora boja izmedu kojih se može odabrati onaj optimalni. Zatim su promotrene informacijeo tome kako se F1-mjera mijenja za tu klasu za svaki pojedini prostor boja i za svaki skupslika koji je korišten, kao što je i prikazano u tablicama 5.11–5.21 (sve F1-mjere u tablicidane su u postotcima). Na temelju rezultata prikazanih u tablicama 5.11–5.21, u tablici 5.22dane su informacije o optimalnim prostorima boja za klasifikaciju po boji klasa mediteranskogkrajolika.

Nakon odredivanja optimalnih prostora boja po razlicitim klasama, ponovljena je klasi-fikacija po boji na testnome skupu slika (dakle, na skupu slika skup-34) iz FESB MLID bazeslika, no zanemareni su pikseli koje klasifikator nije mogao klasificirati prilikom racunanja

51

Tablica 5.10: Pregled optimalnih prostora boja po F1-mjeri za pojedine klase mediteranskogkrajolika, na temelju razlicitih skupina slika.

Klasa skup-12 skup-13 skup-14 skup-23 skup-24 skup-34

DimHSV

(15.414%)

RGB

(18.147%)

RGB

(9.5154%)

CIE-XYZ

(10.739%)

HSV

(16.588%)

CIE-XYZ

(15.263%)

Oblaci i maglaYCbCr

(48.252%)

YCbCr

(48.066%)

CIE-XYZ

(26.029%)

CIE L*a*b*

(18.04%)

CIE L*a*b*

(47.903%)

YCgCr

(50.379%)

Sunce i svjetlosni

efekti

YCgCr

(80.36%)

CIE L*u*v*

(81.42%)

CIE-XYZ

(65.202%)

RGB

(29.899%)

CIE-XYZ

(79.945%)

RGB

(82.843%)

NeboHLS

(57.684%)

HLS

(52.513%)

YCgCr

(41.078%)

CIE-XYZ

(22.192%)

YCgCr

(60.881%)

HLS

(54.406%)

MoreHSV

(24.674%)

HSV

(21.18%)

CIE-XYZ

(6.8238%)

CIE L*a*b*

(10.861%)

YCbCr

(23.921%)

YCbCr

(16.464%)

Udaljeni krajolikYCgCr

(26.927%)

HSV

(30.455%)

CIE L*a*b*

(19.569%)

YCgCr

(13.854%)

YCbCr

(33.592%)

CIE L*a*b*

(32.683%)

KamenHLS

(28.831%)

HLS

(36.331%)

YCbCr

(26.399%)

RGB

(11.659%)

HSV

(31.002%)

HLS

(30.56%)

Udaljena vegetacijaYCbCr

(39.483%)

HSV

(40.271%)

HSV

(11.7%)

YCgCr

(20.667%)

HSV

(42.807%)

HSV

(42.682%)

Bliska vegetacijaCIE L*a*b*

(57.312%)

CIE L*a*b*

(53.591%)

CIE L*u*v*

(50.619%)

CIE-XYZ

(34.724%)

CIE L*a*b*

(60.977%)

CIE L*a*b*

(61.122%)

Nisko raslinje i

poljoprivredne površine

YCgCr

(43.989%)

CIE L*a*b*

(43.534%)

YCgCr

(19.5%)

YCgCr

(16.581%)

CIE L*a*b*

(51.158%)

CIE L*a*b*

(50.016%)

Gradevine i umjetni

objekti

CIE L*a*b*

(25.079%)

CIE L*a*b*

(24.612%)

HSV

(8.6471%)

HSV

(8.2929%)

HSV

(24.754%)

CIE L*a*b*

(24.441%)

Tablica 5.11: Odabir optimalnog prostora boja za klasu dim.

Prostor boja skup-12 skup-13 skup-14 skup-23 skup-24 skup-34 ProsjekRGB 12.71 18.147 9.5154 9.8786 15.655 14.632 13.42

CIE-XYZ 12.352 16.826 7.397 10.739 15.45 15.263 13.00

HSV 15.414 12.266 8.3475 5.4671 16.588 14.805 12.15

Tablica 5.12: Odabir optimalnog prostora boja za klasu oblaci i magla.

Prostor boja skup-12 skup-13 skup-14 skup-23 skup-24 skup-34 ProsjekCIE-XYZ 31.915 31.157 26.029 15.332 21.991 27.056 25.58

YCgCr 46.071 44.565 21.004 17.79 46.065 50.379 37.65

YCbCr 48.252 48.066 21.295 17.096 44.688 48.367 37.96

CIE L*a*b* 46.882 46.083 21.326 18.04 47.903 48.802 38.17

preciznosti i odziva. Histogrami vjerojatnosti boje koji su se koristili bili su oni izracunati zaskup slika za treniranje (dakle, za skup slika skup-12) iz FESB MLID baze slika. Tijekomove klasifikacije u obzir su uzete i informacije iz tablice 5.22 o optimalnim prostorima bojaza sve klase. Nacin na koji su ove informacije ukljucene u klasifikator je poprilicno jednos-

52

Tablica 5.13: Odabir optimalnog prostora boja za klasu sunce i svjetlosni efekti.


CIE-XYZ 78.403 80.491 65.202 29.318 79.945 82.416 69.30YCgCr 80.36 80.922 62.006 28.178 78.055 80.545 68.34

CIE L*u*v* 79.738 81.42 58.461 27.88 74.484 79.148 66.86

Tablica 5.14: Odabir optimalnog prostora boja za klasu nebo.


HLS 57.684 52.513 27.879 21.678 56.334 54.416 45.08

YCgCr 54.8 50.033 41.078 19.661 60.881 53.528 46.66

Tablica 5.15: Odabir optimalnog prostora boja za klasu more.


HSV 24.674 21.18 2.8539 8.2814 20.236 15.769 15.50

YCbCr 24.522 18.727 1.7288 10.153 23.921 16.464 15.92CIE L*a*b* 20.523 17.672 1.9262 10.861 18.423 14.422 13.97

Tablica 5.16: Odabir optimalnog prostora boja za klasu udaljeni krajolik.

Prostor boja skup-12 skup-13 skup-14 skup-23 skup-24 skup-34 ProsjekHSV 23.81 30.455 15.252 9.5822 27.686 31.955 23.12

YCgCr 26.927 28.99 16.419 13.854 31.786 27.123 24.18

YCbCr 26.726 28.489 14.395 13.606 33.592 30.877 24.61CIE L*a*b* 23.317 27.838 19.569 11.391 27.26 32.683 23.68

Tablica 5.17: Odabir optimalnog prostora boja za klasu kamen.


HSV 28.624 33.167 18.103 11.353 31.002 25.728 24.66

HLS 28.831 36.331 19.198 10.906 30.989 30.575 26.14YCbCr 25.795 26.566 26.399 8.1941 22.144 19.809 21.48

Tablica 5.18: Odabir optimalnog prostora boja za klasu udaljena vegetacija.


YCgCr 38.316 37.563 11.361 20.667 40.279 41.148 31.56

YCbCr 39.483 39.869 7.499 20.005 40.763 42.122 31.62

tavan: što klasa ima vecu F1-mjeru u tablici 5.22, vjerojatnost da ju je klasifikator ispravnoklasificirao je veca, tj. ta klasa ima vecu težinu od onih sa nižom F1-mjerom. Na primjer, ako

53

Tablica 5.19: Odabir optimalnog prostora boja za klasu bliska vegetacija.


CIE L*a*b* 57.312 53.591 41.765 32.545 60.977 61.122 51.22CIE L*u*v* 54.884 50.133 50.619 32.172 57.815 55.68 50.22

Tablica 5.20: Odabir optimalnog prostora boja za klasu nisko raslinje i poljoprivrednepovršine.

Prostor boja skup-12 skup-13 skup-14 skup-23 skup-24 skup-34 ProsjekYCgCr 43.989 41.304 19.5 16.581 42.733 43.068 34.53

CIE L*a*b* 42.481 43.534 15.167 15.237 51.158 50.016 36.27

Tablica 5.21: Odabir optimalnog prostora boja za klasu gradevine i umjetni objekti.


CIE L*a*b* 25.079 24.612 7.4028 8.1147 23.389 24.441 18.84

Tablica 5.22: Optimalni prostori boja za klase mediteranskog krajolika.

Klasa Optimalni prostor boja F1-mjeraDim RGB 13.42%

Oblaci i magla CIE L*a*b* 38.17%

Sunce i svjetlosniefekti

CIE-XYZ 69.30%

Nebo YCgCr 46.66%

More YCbCr 15.92%

Udaljeni krajolik YCbCr 24.61%

Kamen HLS 26.14%

Udaljena vegetacija HSV 32.72%

Bliska vegetacija CIE L*a*b* 51.22%


CIE L*a*b* 36.27%

Gradevine i umjetniobjekti

CIE L*a*b* 18.84%

klasifikator klasificira piksel kao klasu sunce i svjetlosni efekti u CIE-XYZ prostoru boja, ta seklasifikacija odmah prihvaca kao ispravna jer ta klasa u tablici 5.22 ima F1-mjeru višu od svihostalih klasa. S druge strane, klasa dim ima najnižu F1-mjeru pa se piksel može klasificiratikao ta klasa samo ako je klasificiran kao ta klasa u RGB prostoru boja, i ako ga klasifikatorne uspije klasificirati u bilo koju drugu klasu. Tablica 5.23 prikazuje rezultate koji su dobiveniprilikom takve klasifikacije u koju su ukljucene informacije o optimalnim prostorima boja. Tatablica prikazuje prosjecnu preciznost, odziv, F1-mjeru, F2-mjeru i F0.5-mjeru za klasifikacijupo boji izvršenu u devet razlicitih prostora boja, te prosjek tih vrijednosti za svaki od devet ko-

54

rištenih prostora boja. Prilikom te klasifikacije pikseli koje klasifikator nije mogao klasificiratise nisu uzimali u obzir, tj. matrice konfuzije nisu sadržavale informacije o njima. Predzadnjiredak tablice 5.23 (naziv retka je Kombinacija 1) prikazuje informacije o klasifikaciji po bojikoja je za svaku klasu izvršena u prostoru boja koji je, prema tablici 5.22, za nju optimalanprema F1-mjeri. Iz tablice 5.23 može se vidjeti da su preciznost, odziv, F1-mjera, F2-mjera iF0.5-mjera vece za klasifikaciju po boji u kojoj se koriste informacije o optimalnim prostorimaboja no za klasifikaciju po boji u bilo kojem drugom prostoru boja od onih devet prostora bojakoji su korišteni. Iako je nacin na koji su informacije o optimalnim prostorima boja ukljuceneu klasifikator koji obavlja klasifikaciju po boji jako jednostavan, ipak je doveo do poboljšanjapreciznosti, odziva, F1-mjere, F2-mjere i F0.5-mjere, kao što se može i vidjeti u tablici 5.23.Iskljucivo zbog usporedbe, zadnji redak tablice 5.23 (naziv retka je Kombinacija 2) prikazujeinformacije o klasifikaciji po boji koja je za svaku klasu izvršena u prostoru boja koji je, prematablici 5.9, za nju optimalan prema F1-mjeri. Potrebno je naglasiti i da se klasifikacijama slikamediteranskog krajolika ciji su rezultati dani u dva posljednja retka tablice 5.23 dobije višeneklasificiranih piksela nego klasifikacijama ciji su rezultati prikazani u prijašnjim retcima tetablice, što bi znacilo da se ovakav nacin klasifikacije ne bi trebao koristiti sam vec u kombi-naciji sa još nekim metodama koji bi doveli do klasifikacije cijele slike ili bar velike vecinenjezinih piksela.

Tablica 5.23: Prosjecna preciznost, odziv, F1-mjera, F2-mjera, i F0.5-mjera za klasifikaciju urazlicitim prostorima boja i u kombinaciji razlicitih prostora boja.

Prostor boja Preciznost Odziv F1-mjera F2-mjera F0.5-mjera Prosjek

RGB 31.13 31.92 29.33 30.33 29.58 30.46

CIE-XYZ 32.15 30.67 27.16 28.59 27.43 29.20

Ohta 33.82 34.23 33.44 33.71 33.55 33.75

HSV 39.39 40.94 39.28 40.02 39.15 39.76

HLS 39.07 40.53 38.51 39.35 38.53 39.20

YCgCr 37.54 38.42 37.07 37.55 37.19 37.55

YCbCr 38.22 39.30 37.97 38.51 37.96 38.39

CIE L*a*b* 38.92 40.13 38.66 39.31 38.60 39.12

CIE L*u*v* 37.79 39.07 37.78 38.36 37.65 38.13

Kombinacija 1 41.28 42.72 41.42 42.06 41.19 41.73

Kombinacija 2 40.81 42.98 40.83 41.86 40.54 41.40

Vrijeme izvršavanja racunalnog programa pomocu kojega su se dobile informacije o odzivukoje su prikazane u tablici 5.23 (sve informacije osim onih prikazanih u posljednjem retku zaKombinaciju 2) prikazano je u tablici 5.24 u retku pod nazivom Faza testiranja. U istoj tablicidano je i vrijeme izvršavanja za fazu treniranja, tj. za racunanje histograma vjerojatnosti bojena 200 slika za treniranje iz FESB MLID baze slika. Podaci u tablici 5.24 prikazuju vremenaizvršavanja racunalnih programa za 200 slika, ali i za samo 1 sliku tako da se može steci bolja

55

Tablica 5.24: Vremena izvršavanja faza treniranja i testiranja klasifikacije po boji. Vremenasu dana u obliku sati:minute:sekunde.

Za 200 slika Za 1 sliku

Faza treniranja ≈ 00:03:38 ≈ 00:00:01

Faza testiranja ≈ 00:12:32 ≈ 00:00:04

predodžba o vremenima izvršavanja tih racunalnih programa. Iako su u tablici 5.24 dane in-formacije samo o vremenu izvršavanja faze testiranja prilikom koje se racuna odziv, potrebnoje naglasiti da su vremena izvršavanja slicna i za fazu testiranja u kojoj se racuna preciznost.Još je potrebno navesti informacije o racunalu na kojemu su se ova testiranja izvršila, a onesu slijedece: racunalo je imalo procesor Pentium(R) Dual-Core CPU E5200, 2 x 2.50 GHz, teradnu memoriju od 2.0 GiB (otprilike 2 GB).

Zanimljivo je napomenuti da je, prema tablici 5.23, najbolji samostalni prostor boja zaklasifikaciju po boji HSV, a najlošiji CIE-XYZ. Ove su informacije dobivene iz tablice 5.23 nanacin da je za svaki prostor boja izracunata aritmeticka sredina preciznosti, odziva, F1-mjere,F2-mjere i F0.5-mjere, te da je onaj prostor boja sa najvecom vrijednošcu uzet kao najbolji, aonaj sa najmanjom kao najlošiji.

Dakle, kao što se može zakljuciti iz ovoga poglavlja, prilikom klasifikacije slika odabiroptimalnog prostora boja ili pak kombinacije razlicitih prostora boja važan je korak jer možedirektno utjecati na rezultate klasifikacije. Na primjer, iz tablice 5.23 može se vidjeti da jerazlika izmedu CIE-XYZ i HSV prostora boja (po F1-mjeri) cak 12.12%, što je znacajna razlikau tocnosti klasifikacije.

56

6 Odredivanje optimalnih znacajki slike

Dok je poglavlje 5 bilo usredotoceno na odredivanje optimalnih prostora boja za klasifikacijupojedinih klasa mediteranskog krajolika, ovo ce poglavlje biti usredotoceno na odredivanje op-timalnih globalnih i lokalnih znacajki slike koje ce omoguciti optimalnu klasifikaciju pojedinihklasa mediteranskog krajolika. U okviru ovoga poglavlja globalne znacajke slike predstavljatice one znacajke koje su izracunate na temelju citave slike, a ne samo jednog njezinog manjegdijela, dok ce lokalne znacajke slike predstavljati one znacajke (npr. znacajke boje, teksture isl.) koje su izracunate na temelju manjeg dijela slike (npr. na temelju piksela ili regije), a ne natemelju citave slike.

6.1 Optimalne globalne znacajke slike

Iako se lokalne znacajke slike u digitalnoj obradi i analizi slike koriste cešce od globalnihznacajki, i iako je istina da mogu biti jako korisne prilikom klasifikacije slike, njihovom upotre-bom (ili trenutno upotrebom bilo koje druge metode) se ipak ne može postici potpuna tocnostklasifikacije slika prirodnog krajolika. Zbog toga je potrebno, u kombinaciji sa lokalnim znaca-jkama slike, koristiti i globalne znacajke slike koje mogu sadržavati informacije o kontekstu natoj slici. U ovome su podpoglavlju opisana dva razlicita nacina racunanja globalnih znacajkislike koje se cesto koriste u obradi i analizi digitalne slike, te su odredene optimalne vrste udal-jenosti koje se mogu koristiti za usporedivanje tih histograma znacajki sa histogramima iz bazeznanja dobivene u fazi treniranja algoritma.

6.1.1 Magnituda gradijenta i orijentacija gradijenta

Magnituda gradijenta (engl. gradient magnitude) i orijentacija gradijenta (engl. gradient ori-

entation, gradient direction, gradient angle) su poznate tehnike koje se u obradi i analizi digi-talne slike mogu koristiti kao opisnici teksture. Magnituda gradijenta prikazuje rubove na sliciu vertikalnom i horizontalnom smjeru, a orijentacija gradijenta prikazuje kutove pod kojima sedogadaju promjene na slici.

Kao što je vec navedeno, magnituda gradijenta i orijentacija gradijenta se cesto koriste uobradi i analizi digitalne slike. Primjeri znanstvenih radova u kojima su se magnituda gradijentai/ili orijentacija gradijenta koristile za racunanje opisnika slika su (izmedu ostalog) [97] i [98].U [97] se histogrami orijentacije, izracunati za pojedine regije, usporeduju (npr. mjerenjemEuklidske udaljenosti) sa histogramima orijentacije drugih slika i na temelju te usporedbe možese dobiti mjera slicnosti izmedu njih.

Primjer magnitude gradijenta i orijentacije gradijenta, kao i slike na temelju kojih su izracu-

57

nati, dani su na slici 6.1.

Slika 6.1: Gornji redak: slika iz FESB MLID baze slika, njezina zamucena reprezentacija, tezamucena reprezentacija prikazana u razinama sive boje. Donji redak: magnituda gradijenta

i orijentacija gradijenta.

Prilikom racunanja magnitude gradijenta i orijentacije gradijenta u ovoj doktorskoj dis-ertaciji slijediti ce se dva koraka koji su, prema [99], prva dva koraka kod algoritma Cannydetekcije rubova (engl. Canny Edge Detection). Potrebno je napomenuti da se u ovoj dok-torskoj disertaciji ti koraci nece implementirati baš tocno onako kako su objašnjeni u [99], vecce biti uvedene neke izmjene koje ce biti objašnjene kasnije. Više informacija o algoritmuCanny detekcije rubova može se pronaci u [100].

Prva dva koraka kod algoritma Canny detekcije rubova su slijedeci [99]:

• redukcija šuma (engl. noise reduction) na slici pomocu Gaussovog filtera dimenzija 5x5,

• filtriranje dobivene slike Sobelovim kernelom u horizontalnom i u vertikalnom smjerukako bi se dobile prva derivacija u horizontalnom smjeru (Gx) i u vertikalnom smjeru

58

(Gy), te racunanje magnitude gradijente (u [99] nazvane gradijent ruba (engl. edge gradi-

ent)) i orijentacije gradijenta (u [99] nazvane smjer (engl. direction) ili kut (engl. angle))za svaki piksel pomocu formula 6.1 i 6.2 [99], respektivno.

magnituda gradijenta =√

G2x +G2

y (6.1)

orijentacija gradijenta = tan−1(

Gy

Gx

)(6.2)

Kao što je vec navedeno, u ovoj doktorskoj disertaciji opisana dva koraka algoritma Cannydetekcije rubove nisu implementirana tocno onako kao što su opisana u gornjem tekstu. Prvarazlika izmedu opisanih koraka algoritma Canny detekcije rubova i njihove implementacije uovoj doktorskoj disertaciji bila je ta što se u ovoj doktorskoj disertaciji nije koristio Gaussovfilter dimenzija 5x5, vec Gaussov filter dimenzija 3x3. Razlog ovome bio je taj što je sa slikebilo potrebno ukloniti samo manje smetnje (dakle samo mali dio informacija sa slike), dok bifilter vecih dimenzija uklonio vecu kolicinu informacija sa slike (pa možda i onu za koju bi sekasnije ispostavilo da je važna prilikom klasifikacije teksture, poput tankih ili malih rubova naslici). Primjer jednog algoritma za racunanje magnitude gradijenta i orijentacije gradijenta kojiumjesto Gaussovog filtera dimenzija 5x5 koristi Gaussov filter dimenzija 3x3 može se pronaciu [101]. Druga razlika izmedu opisanih koraka algoritma Canny detekcije rubova i njihoveimplementacije u ovoj doktorskoj disertaciji bila je ta što se u ovoj doktorskoj disertaciji nijekoristio Sobel filter, vec Scharr filter (tj. njegova implementacija dostupna putem OpenCVbiblioteke) dimenzija 3x3. Scharr filter je jednako brz kao i Sobel filter, no buduci da je tocnijiod Sobelovog filtera uvijek bi se trebao koristiti ako se žele napraviti mjerenja na slici pomocufiltera dimenzija 3x3 [62].

Usporedba primjene Scharr i Sobel filtera na sliku u svrhu racunanja magnitude gradijentadana je na slici 6.2. U prvome retku slike 6.2 dana je slika na koju su (nakon zamucivanjaGaussovim filterom dimenzija 3x3 i pretvaranjem te slike u sliku u razinama sive boje) prim-ijenjeni Scharr i Sobel filteri dimenzija 3x3. Prvi stupac slika ispod slike u prvome retku oz-nacava redom rubove detektirane Scharr filterom u x smjeru, rubove detektirane Scharr filteromu y smjeru te magnitudu gradijenta dobivenu na temelju te dvije slike. Drugi stupac slika ispodslike u prvome retku oznacava redom rubove detektirane Sobel filterom u x smjeru, rubovedetektirane Sobel filterom u y smjeru te magnitudu gradijenta dobivenu na temelju te dvijeslike.

U ovome podpodpoglavlju magnituda gradijenta i orijentacija gradijenta se koriste za dobi-vanje globalnih opisnika teksture slike. Nacin na koji se ti opisnici dobiju prilikom treniranjaalgoritma na 200 slika za treniranje iz FESB MLID baze slika shematski je prikazan na slici6.3. Rezultat koji se dobije nakon treniranja algoritma je XML (engl.EXtensible Markup Lan-

59

Slika 6.2: Usporedba primjene Scharr i Sobel filtera dimenzija 3x3 u svrhu racunanjamagnitude gradijenta.

60

guage) dokument koji sadrži globalne opisnike slika zajedno s oznakama klasa (u postotcima)koje se nalaze na njima. Proces testiranja algoritma na 200 slika za testiranje iz FESB MLIDbaze slika (shematski prikazan na slici 6.4) svodi se na racunanje udaljenosti opisnika trenutneslike (po odredenom kriteriju, npr. po magnitudi gradijenta) iz tog skupa slika s odgovara-jucim opisnicima slika (dakle onima izracunatim po jednakom kriteriju) iz XML dokumentakoji sadrži opisnike slika na kojima je algoritam istreniran. Nakon što se pronade opisnik slikeu XML dokumentu sa najmanjom udaljenošcu od opisnika trenutne slike, trenutnoj se slici dod-jeljuju oznake klasa koje pripadaju opisniku iz XML dokumenta. Ovaj se korak izvršava i zaopisnike magnitude gradijenta i za opisnike orijentacije gradijenta. Buduci da postoje razlicitinacini na koje se može izracunati udaljenost izmedu opisnika trenutne slike i opisnika slikaiz XML dokumenta, potrebno je odabrati onu koja daje najtocnije rezultate. Za tu su svrhuusporedene tri poznate vrste udaljenosti: udaljenost utemeljena na L1-normi (tj. L1 udaljenost),udaljenost utemeljena na L2-normi (tj. L2 udaljenost) i udaljenost utemeljena na L∞-normi (tj.L∞ udaljenost). Rezultati usporedbe ovih udaljenosti prilikom globalne klasifikacije slike natemelju magnitude gradijenta i orijentacije gradijenta prikazani su u tablici 6.1 (u obliku posto-taka) i detaljnije u prilogu B. Na temelju podataka u tablici 6.1, L1 udaljenost je odabrana kaooptimalna. Iz iste se tablice takoder može zakljuciti i da se bolji rezultati dobiju korištenjemorijentacije gradijenta no magnitude gradijenta.

Tablica 6.1: Prosjecne mjere preciznosti, odziva, F1-mjera, F2-mjera i F0.5-mjera prilikomracunanja razlicitih vrsta udaljenosti. Posljednji redak tablice prikazuje prosjecne vrijednosti

tih mjera po razlicitim vrstama udaljenosti (i za magnitudu gradijenta i za orijentacijugradijenta).

Magnituda gradijenta Orijentacija gradijenta

MjeraL1

udaljenost

L2

udaljenost

L∞

udaljenost

L1

udaljenost

L2

udaljenost

L∞

udaljenost

Preciznost 68.00 66.00 66.00 71.00 68.00 64.00

Odziv 72.00 67.00 65.00 72.00 68.00 64.00

F1-mjera 70.00 67.00 65.00 71.00 68.00 64.00

F2-mjera 71.00 67.00 65.00 72.00 68.00 63.00

F0.5-mjera 68.00 66.00 66.00 71.00 68.00 64.00

Prosjek 69.80 66.60 65.40 71.40 68.00 63.80

Kao što je vec navedeno, u tablici 6.1 koristila su se tri razlicita nacina racunanja udal-jenosti: L1 udaljenost, L2 udaljenost i L∞ udaljenost. U ovoj su doktorskoj disertaciji za racu-nanje tih udaljenosti korištene funkcije iz OpenCV biblioteke. U OpenCV biblioteci te seudaljenosti zovu apsolutne ili relativne norme razlika (engl. difference norm) [102]. U ovoj suse doktorskoj disertaciji koristile apsolutne norme razlika. Formule za njih preuzete su iz [102]i prikazane formulama 6.3, 6.4 i 6.5:

61

Slika 6.3: Shematski prikaz racunanja globalnih opisnika slike pomocu magnitude gradijentai orijentacije gradijenta.

||src1− src2||L1= ∑I |src1(I)− src2(I)| (6.3)

||src1− src2||L2=√

∑I (src1(I)− src2(I))2 (6.4)

62

Slika 6.4: Shematski prikaz odredivanja optimalne vrste udaljenosti izmedu globalnihhistograma magnitude gradijenta i orijentacije gradijenta.

||src1− src2||L∞= maxI|src1(I)− src2(I)| (6.5)

63

gdje je:

src1 – prvi niz (engl. array),

src2 – drugi niz iste velicine i tipa kao i prvi niz.

Iz tablice 6.1 može se vidjeti da su mjere usporedbe koje su se koristile bile preciznost,odziv, F1-mjera, F2-mjera i F0.5-mjera. Formule za racunanje preciznosti i odziva koje su sekoristile prikazane su formulama 5.18 i 5.19.

Nacin na koji se TP, FP i FN mjere racunaju u okviru ovoga podpodpoglavlja objašnjenje slijedecim primjerom. TP primjeri bili bi svi pikseli slike koji u stvarnosti pripadaju klasidim (dakle, svi oni koji su na GT slici rucno oznaceni kao dim). FP primjeri bili bi svi pik-seli preostalih klasa mediteranskog krajolika ili klase nepoznato (npr. pikseli koji u stvarnostipripadaju klasama udaljeni krajolik, more, oblaci ili magla i sl.) koje je racunalni programpogrešno klasificirao kao dim. FN primjeri su svi pikseli koji u stvarnosti pripadaju klasi dim,no racunalni ih program nije klasificirao u tu klasu.

Za racunanje F1-mjera, F2-mjera i F0.5-mjera u tablici 6.1 koristile su se formule 5.21, 5.22i 5.23.

6.1.2 Globalni histogrami boje

Jedna od najcešce korištenih metoda za opis digitalne slike pomocu globalnih znacajki je his-togram boje te slike. U ovome je podpodpoglavlju predstavljeno istraživanje vezano uz glob-alne histograme boje i shematski prikazano slikama 6.5 i 6.6. Slika 6.5 predstavlja shematskiprikaz faze treniranja algoritma, a slika 6.6 predstavlja shematski prikaz faze testiranja algo-ritma. Kao što se može vidjeti sa slika 6.5 i 6.6, ovo je istraživanje provedeno na 9 razlicitihprostora boja (tj. na 27 razlicitih kanala boje), i to su: RGB, HSV, CIE L*a*b*, CIE L*u*v*,YCgCr, YCbCr, HLS, CIE-XYZ i Ohta prostor boja.

U fazi treniranja algoritma (slika 6.5) kreiran je XML dokument koji sadrži globalne his-tograme boje za 200 slika za treniranje iz FESB MLID baze slika. Za svaku je sliku vezano27 globalnih histograma boje (po jedan za svaki od 27 razlicitih kanala boje), i po jedan his-togram koji sadrži oznake klasa (u postotcima) koje se nalaze na toj slici. Taj XML dokumentse u fazi testiranja algoritma (slika 6.6) koristi kao baza znanja, tj. globalni histogrami boje (tj.pojedinog kanala boje) izracunati za 200 slika za testiranje iz FESB MLID baze slika se us-poreduju s odgovarajucim histogramima (dakle s onima vezanima uz taj kanal boje) iz tog XMLdokumenta. Da bi se mogao odrediti kanal boje i mjera udaljenosti koje bi bilo optimalno koris-titi prilikom te usporedbe, testiranje i usporedba rezultata algoritma obavljena je u 27 razlicitihkanala boje. Za svaki od tih kanala izvršena je usporedba opisnika trenutne slike i svih slika uXML dokumentu, te su pronadeni oni opisnici iz XML dokumenta koji su po L1 udaljenosti, L2

udaljenosti i L∞ udaljenosti bili najbliži opisniku trenutne slike. Za te su opisnike izracunate TP,

64

Slika 6.5: Shematski prikaz racunanja globalnih opisnika slike pomocu histograma boja.

FN i FP vrijednosti, tj. odredeno je koliko su ispravno oni opisali trenutnu sliku. Nakon toga,slijedeci korak bio je racunanje preciznosti, odziva, F1-mjere, F2-mjere i F0.5-mjere po formu-lama 5.18, 5.19, 5.21, 5.22 i 5.23, respektivno. Nakon odredivanja tih informacija izracunatesu prosjecne (dakle po svim korištenim klasama) mjere preciznosti, odziva, F1-mjere, F2-mjerei F0.5-mjere, te su za svaki kanal boje mjere za svaku vrstu udaljenosti zbrojene i podijeljenes ukupnim brojem korištenih mjera (dakle sa 5). Na taj se je nacin dobila opcenita informa-cija o tome koliko je za pojedini kanal boje dobro koristiti odredenu vrstu udaljenosti prilikom

65

Slika 6.6: Shematski prikaz odredivanja optimalne vrste udaljenosti izmedu globalnihhistograma boje.

usporedbe globalnog histograma boje sa histogramima iz XML dokumenta, a saznalo se je iu kojem se kanalu boje mogu dobiti optimalni rezultati. Prema tim informacijama (za detalje

66

se citatelj/ica upucuje na prilog C), optimalni kanal boje koji bi se trebao koristiti prilikomusporedbe globalnih histograma boja je treci kanal CIE-XYZ prostora boja, prvi kanal HSVprostora boja ili prvi kanal HLS prostora boja, a optimalna udaljenost koja bi se trebala koris-titi je L1 udaljenost. Zanimljivo je napomenuti da je kod gotovo svih kanala boje udaljenost L1

polucila najbolje rezultate. Jedini kanali boje kod kojih su rezultati bili drugaciji bili su: Cg (dioYCgCr prostora boja), gdje je optimalna udaljenost bila L2 udaljenost, te S i V (dijelovi HSVprostora boja) kod kojih su jednaki rezultati postignuti i za L1 udaljenost i za L2 udaljenost.

Nadalje, predstavljeno istraživanje je pokazalo da se korištenjem optimalne udaljenosti (odonih vrsta udaljenosti koje su testirane) i optimalnog kanala boje (od onih kanala boje koji sutestirani) može postici poboljšanje u rezultatima klasifikacije (ovdje se misli na dodijeljivanjeoznaka slici) od maksimalno 7.6% u odnosu na rezultate klasifikacije koji bi se dobili korišten-jem udaljenosti i kanala boje koji nisu optimalni. Ovi su podaci izracunati na temelju podatakapredstavljenih u prilogu C.

6.1.3 Dobiveni rezultati

Na temelju podataka iz prethodna dva podpodpoglavlja (tj. iz podpodpoglavlja 6.1.1 i 6.1.2) ipriloga C, konstruirana je tablica 6.2. Prve tri globalne znacajke iz tablice 6.2 su, po F1-mjeri,odabrane kao optimalne globalne znacajke (od onih koje su usporedene) koje je najbolje koris-titi prilikom klasifikacije slika mediteranskog krajolika. Iz tablice 6.2 može se primijetiti da unjoj nisu navedene sve globalne znacajke koje su usporedene, vec samo prvih osam najboljihte posljednja. Razlog zbog kojega nisu u tablici navedene sve globalne znacajke bio je taj štosu im F1-mjere bile poprilicno slicne, a i taj što ce se u nastavku doktorske disertacije ionakokoristiti samo one najbolje globalne znacajke, a to su samo prve tri iz tablice 6.2.

Sve F1-mjere u tablici dobivene su za klasifikaciju na temelju L1 udaljenosti. Iz tablicese takoder može vidjeti da postoje razlike u tocnosti klasifikacije razlicitim usporedenim his-togramima globalnih znacajki, no da one nisu prevelike. Na primjer, razlika u tocnosti (po F1-mjeri) klasifikacije najboljom globalnom znacajkom (tj. jednom od prve 3 globalne znacajke iztablice 6.2) i najlošijom globalnom znacajkom (posljednjom globalnom znacajkom iz tablice6.2) je 7%. Taj postotak nije jako velik, no dovoljno je velik da ga se ne može zanemariti.

6.2 Optimalne lokalne znacajke slike

Lokalne znacajke slike se jako cesto koriste u obradi i analizi digitalne slike, i cesto s jakodobrim rezultatima. Medutim, potrebno je naglasiti da nisu sve lokalne znacajke prikladne zaklasifikaciju svih klasa. Na primjer, dvije razlicite klase mogu imati slicne histograme boje uprvome kanalu odredenog prostora boja, ali ne i u drugome. Tada bi bilo ocito da je za klasi-fikaciju tih dviju klasa po pikselima bolje koristiti vrijednosti tih piksela u drugome kanalu

67

Tablica 6.2: Optimalne globalne znacajke za klasifikaciju slika mediteranskog krajolika.

Optimalne globalne znacajke F1-mjera

1Globalni histogram boje

(za 3. kanal CIE-XYZ prostora boja)72.0%


(za 1. kanal HSV prostora boja)72.0%


(za 1. kanal HLS prostora boja)72.0%


(za 3. kanal RGB prostora boja)71.0%


(za 1. kanal Ohta prostora boja)71.0%


(za 2. kanal HLS prostora boja)71.0%


(za 1. kanal YCgCr prostora boja)71.0%

8 Globalni histogram orijentacije 71.0%...

......


(za 2. kanal YCgCr prostora boja)65.0%

toga prostora boja, nego u prvome kanalu. Razlog tome bio bi taj što bi te dvije klase bilebolje odvojene u drugome kanalu tog prostora boja, nego u prvome kanalu. U ovome se pod-poglavlju nastoje otkriti one lokalne znacajke koje je, za svaku klasu mediteranskog krajolika,bolje koristiti od drugih lokalnih znacajki. Kao što je vec navedeno, na lokalne znacajke ce seu okviru ovoga poglavlja gledati kao na one znacajke koje se racunaju na temelju manjeg dijelaslike (tj. piksela ili bloka), a ne na temelju citave slike.

Za lokalne znacajke slike odabrano je ukupno 68 razlicitih znacajki. Te su znacajke izracu-nate na nepreklapajucim blokovima slike dimenzija 11x11 i 25x25 piksela6, a ne na samimpikselima slike. Pritom se je bloku dodjeljivala oznaka (dakle, klasa kojoj pripada) samo ako jeunutar tog bloka minimalno 85% piksela pripadalo jednoj klasi mediteranskog krajolika; u pro-tivnome bi se blok odbacivao. Razlozi zbog kojih se racunanje lokalnih znacajki nije odvijalona pikselima vec na blokovima slike su slijedeci:

• racunalna memorija (puno bi se više moglo dobiti vektora znacajki za pojedine pikselenego za blokove slike, a to bi moglo dovesti do rušenja racunalnog programa zbog mem-orijskog preopterecenja),

• brzina izvodenja racunalnog programa (faze treniranja i testiranja algoritma bi bile puno

6Potrebno je pojasniti da znacajke nisu istovremeno izracunate za obje velicine blokova, vec odvojeno (tj.u razlicitim racunalnim programima). Najprije su se izracunale znacajke za jednu velicinu bloka, a potom, zausporedbu rezultata u svrhu odredivanja kakav utjecaj velicina bloka ima na optimalne znacajke pojedinih klasamediteranskog krajolika, za drugu velicinu bloka.

68

dugotrajnije da su se vektori znacajki racunali za piksele a ne za blokove),

• nacin racunanja teksture slike (tekstura se obicno racuna na bloku ili na manjem ili vecempodrucju oko piksela, a ne samo na jednome pikselu).

68 lokalnih znacajki slike koje su se koristile u ovome podpoglavlju navedene su i pojašn-jene u tablicama 6.3–6.6.

69

Tablica 6.3: Popis korištenih lokalnih znacajki (1. dio).

Znacajka Opis znacajke1 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu RGB

prostora boja2 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu RGB

prostora boja3 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu RGB

prostora boja4 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu CIE-

XYZ prostora boja5 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu CIE-

XYZ prostora boja6 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu CIE-

XYZ prostora boja7 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu Ohta

prostora boja8 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu Ohta

prostora boja9 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu Ohta

prostora boja10 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu HSV

prostora boja11 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu HSV

prostora boja12 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu HSV

prostora boja13 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu HLS

prostora boja14 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu HLS

prostora boja15 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu HLS

prostora boja16 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu CIE

L*a*b* prostora boja17 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu CIE

L*a*b* prostora boja18 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu CIE

L*a*b* prostora boja19 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu CIE

L*u*v* prostora boja20 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu CIE

L*u*v* prostora boja

70


Znacajka Opis znacajke21 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu CIE

L*u*v* prostora boja22 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu YCgCr

prostora boja23 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu

YCgCr prostora boja24 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu YCgCr

prostora boja25 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u prvom kanalu YCbCr

prostora boja26 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u trecem kanalu YCbCr

prostora boja27 prosjecna vrijednost osvijetljenosti piksela u bloku promatranih u drugom kanalu

YCbCr prostora boja28 prosjecna vrijednost magnitude gradijenta u bloku izracunata nakon što je na izvornu

sliku primijenjen Scharr filter dimenzija 3x329 prosjecna vrijednost magnitude gradijenta u bloku izracunata nakon što je na izvornu

sliku primijenjen Sobel filter dimenzija 3x330 prosjecna vrijednost magnitude gradijenta u bloku izracunata nakon što je na izvornu

sliku primijenjen Sobel filter dimenzija 5x531 prosjecna vrijednost magnitude gradijenta u bloku izracunata nakon što je na izvornu

sliku primijenjen Sobel filter dimenzija 7x732 prosjecna vrijednost orijentacije gradijenta u bloku izracunata nakon što je na izvornu

sliku primijenjen Scharr filter dimenzija 3x333 prosjecna vrijednost orijentacije gradijenta u bloku izracunata nakon što je na izvornu



sliku primijenjen Sobel filter dimenzija 7x736 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu RGB prostora boja)37 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu RGB prostora boja)38 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu RGB prostora boja)39 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu HSV prostora boja)40 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu HSV prostora boja)

71


Znacajka Opis znacajke41 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu HSV prostora boja)42 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu CIE L*a*b* prostora boja)43 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu CIE L*a*b* prostora boja)44 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu CIE L*a*b* prostora boja)45 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu YCbCr prostora boja)46 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu YCbCr prostora boja)47 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu YCbCr prostora boja)48 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu YCgCr prostora boja)49 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu YCgCr prostora boja)50 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu YCgCr prostora boja)51 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu Ohta prostora boja)52 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu Ohta prostora boja)53 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu Ohta prostora boja)54 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu CIE-XYZ prostora boja)55 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu CIE-XYZ prostora boja)56 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu CIE-XYZ prostora boja)57 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu HLS prostora boja)58 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu HLS prostora boja)59 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu HLS prostora boja)60 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u prvome kanalu CIE L*u*v* prostora boja)

72


Znacajka Opis znacajke61 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u drugome kanalu CIE L*u*v* prostora boja)62 standardna devijacija histograma osvijetljenosti piksela promatranog bloka (promatra se

slika u trecemu kanalu CIE L*u*v* prostora boja)63 energija promatranog bloka (opisnik teksture)64 kontrast promatranog bloka (opisnik teksture)65 homogenost promatranog bloka (opisnik teksture)66 entropija promatranog bloka (opisnik teksture)67 broj koji oznacava u kojemu se dijelu slike promatrani blok nalazi68 broj kutova koji su detektirani (pomocu OpenCV funkcije goodFeaturesToTrack o kojoj

se više informacija može pronaci u [103]) u promatranom bloku slike

Iako je vecina navedenih lokalnih znacajki samoobjašnjiva, ipak bi bilo potrebno malo de-taljnije objasniti nacin na koji su dobivene neke od njih. Energija, kontrast, homogenost ientropija su se racunale korištenjem formula 3.1, 3.3, 3.9 i 3.2, respektivno (iako se histogramidrugoga reda potrebni za izracun energije, kontrasta, homogenosti i entropije nisu racunali nasasvim jednak nacin kao u [38], o cemu ce govora biti kasnije). Prije no što su se te znacajkemogle izracunati za promatrani blok, bilo je potrebno izracunati histogram drugoga reda togabloka. U ovoj se doktorskoj disertaciji histogrami drugoga reda racunaju na nacin slican onomeiz [38], no ipak ne potpuno jednak (npr. u ovoj se doktorskoj disertaciji ne koristi kružno sus-jedstvo oko piksela, ne racunaju se histogrami drugoga reda za svaki piksel nego za svaki blok,itd.). U ovoj se doktorskoj disertaciji histogrami drugoga reda racunaju na slijedeci nacin (stim da se koraci 3–6 izvršavaju za svaki blok slike koji se promatra):

1. pretvaranje slike iz RGB prostora boja u sliku u razinama sive boje;

2. konverzija slike iz 8-bitnog ranga boja (onoga u kojemu pikseli mogu poprimiti vrijed-nosti od 0 do 255) u 4-bitni rang boja (onoga u kojemu pikseli mogu poprimiti vrijednostiod 0 do 15). Ovaj je korak bio potreban zbog toga što bi histogram drugoga reda u pro-tivnome imao prevelike dimenzije, zauzimao bi previše racunalne memorije i na njegovobi se racunanje utrošilo previše vremena. (U [38] se je dobio histogram drugoga redadimenzija 256x256 za 8-bitnu sliku, no, kao što su i autori sami naveli u [38], ako se neželi dobiti tako velika matrica onda se može reducirati broj zasebnih razina sive na slici.);

3. stvaranje prazne (tj. ispunjene nulama) matrice dimenzija 16x16;

4. odredivanje središnjeg piksela promatranog bloka na slici;

5. ažuriranje matrice dimenzija 16x16 na nacin da se za svaki par piksela (u bloku) koji jeodreden koordinatama (osvijetljenost središnjeg piksela bloka; osvijetljenost nekog dru-

gog (ne središnjeg) piksela u bloku) vrijednost odgovarajuceg elementa matrice inkre-

73

mentira za jedan. Odgovarajuci element matrice se inkrementira i za par piksela kojisu odredeni koordinatama (osvijetljenost nekog drugog (ne središnjeg) piksela u bloku,

osvijetljenost središnjeg piksela bloka);

6. normalizacija histograma drugoga reda.

Nakon izracuna histograma drugoga reda, jednostavno je odrediti energiju, kontrast, ho-mogenost i entropiju bloka.

Posljednja lokalna znacajka koju bi bilo potrebno podrobnije objasniti je ona koja sadržibroj koji oznacava u kojemu se dijelu slike promatrani blok nalazi. Ta lokalna znacajka usuštini predstavlja informaciju o kontekstu, tj. daje informacije o tome na kojemu se mjestu naslici promatrani blok može ocekivati. U ovoj je doktorskoj disertaciji slika podijeljena na trihorizontalna dijela (gornji, srednji i donji), kao u [28]. No, za razliku od [28] gdje se je objektmogao pronaci u samo jednome od ta tri dijela, u ovoj doktorskoj disertaciji blok se možepronaci u jednome od ukupno pet dijelova slike: gornjemu, srednjemu, donjemu, na graniciizmedu gornjega i srednjega te na granici izmedu srednjega i donjega.

AdaBoost (engl. adaptive boosting) algoritam [104] korišten je u ovoj doktorskoj dis-ertaciji prilikom odredivanja optimalnih lokalnih znacajki slike. Preciznije, u ovoj je dok-torskoj disertaciji korištena jedna od razlicitih varijanti AdaBoost algoritma koje su dostupneputem OpenCV biblioteke: realni AdaBoost algoritam. OpenCV sadrži cetiri razlicite vari-jante izvornog AdaBoost algoritma: diskretni (engl. discrete) AdaBoost, realni (engl. real)AdaBoost, LogitBoost, i nježni (engl. gentle) AdaBoost [62]. Još bi bilo potrebno napomenutida je tzv. boosting u OpenCV biblioteci implementiran kao klasifikator dviju klasa (dakle,kao da-ili-ne klasifikator) [62]. Zbog ovoga je bilo potrebno pojedinacno istrenirati AdaBoostklasifikator za svaku klasu mediteranskog krajolika zasebno. AdaBoost algoritam istreniran jena 200 slika za treniranje iz FESB MLID baze slika. Prilikom treniranja AdaBoost algoritmakoristilo se je maksimalno 200 stabala odluka (tj. 200 slabih (engl. weak) klasifikatora), dok jemaksimalna dubina stabla odluke bila 3.

U tablici 6.7 prikazana je usporedba preciznosti i odziva klasifikacije (na blokovima di-menzija 25x25 piksela) pojedinih klasa mediteranskog krajolika sa razlicitim odgovarajucimAdaBoost klasifikatorima. Rezultati su usporedeni za klase dim, kamen i blisku vegetaciju.Iz tablice 6.7 može se vidjeti da sve usporedene varijante AdaBoost algoritma imaju slicnerezultate, pa je u ovoj doktorskoj disertaciji korišten realni AdaBoost algoritam.

Tablica 6.7 prikazuje rezultate preciznosti i odziva za tri razlicite klase mediteranskoga kra-jolika klasificirane pomocu razlicitih varijanti AdaBoost algoritma. Te su vrijednosti dobivenena temelju klasifikacije 200 slika za testiranje iz FESB MLID baze slika odgovarajucim istreni-ranim AdaBoost klasifikatorom. Prilikom treniranja razlicitih AdaBoost algoritama koristilo seje maksimalno 200 stabala odluka, dok je maksimalna dubina stabla odluke bila 3. Takoder,koristili su se blokovi slike dimenzija 25x25 piksela, i citavo se je treniranje izvršilo na 200

74

slika za treniranje iz FESB MLID baze slika.

Tablica 6.7: Usporedba vrijednosti preciznosti i odziva klasifikacije pomocu razlicitihvarijanti AdaBoost algoritma.

Dim Kamen Bliska vegetacija

Diskretni AdaBoostPreciznost 40.08% 75.84% 66.83%Odziv 30.13% 41.17% 76.83%

Realni AdaBoostPreciznost 35.03% 71.01% 64.23%Odziv 30.68% 40.41% 75.98%

LogitBoostPreciznost 37.36% 74.03% 64.59%Odziv 32.87% 43.42% 75.43%

Nježni AdaBoostPreciznost 37.45% 75.30% 65.73%Odziv 30.56% 41.79% 76.08%

Za svaku pojedinu klasu mediteranskog krajolika istreniran je AdaBoost klasifikator. Nakontog koraka za svaku je klasu dobiven XML dokument koji sadrži stabla odluka i mjesta na ko-jima se ta stabla granaju. Brojanjem lokalnih znacajki koje se najcešce pojavljuju u XMLdokumentu vezanom uz odredenu klasu može se dobiti informacija o tome koje su lokalneznacajke znacajne prilikom klasifikacije pojedine klase. Informacije o broju ponavljanja (upostotcima) lokalnih znacajki u XML dokumentu vezanom uz odredenu klasu dane su u pri-logu D u tablicama D.1–D.4 (ove tablice predstavljaju rezultate dobivene u slucaju korištenjablokova dimenzije 11x11 piksela) i D.5–D.8 (ove tablice predstavljaju rezultate dobivene uslucaju korištenja blokova dimenzije 25x25 piksela).

U tablici 6.8 dane su vrijednosti preciznosti i odziva (za svaku od korištenih klasa medit-eranskog krajolika) dobivenih prilikom klasifikacije (na blokovima dimenzija 11x11 i nablokovima dimenzija 25x25) 200 slika za testiranje iz FESB MLID baze slike odgovarajucimistreniranim AdaBoost klasifikatorom. Iz te se tablice može vidjeti da se tocnija klasifikacija(tj. viša preciznost i viši odziv) dobije korištenjem blokova dimenzija 25x25 piksela, negokorištenjem blokova dimenzija 11x11 piksela.

Vrijeme izvršavanja racunalnih programa pomocu kojih su se dobile informacije o odzivuprikazane u tablici 6.8 su, kao što se moglo i ocekivati, bile razlicite za programe koji su koristiliblokove dimenzija 11x11 piksela i za programe koji su koristili blokove dimenzija 25x25 pik-sela. Informacije o vremenima izvršavanja za faze treniranja (na 200 slika za treniranje iz FESBMLID baze slika) i testiranja (na 200 slika za testiranje iz FESB MLID baze slika), zasebno zablokove dimenzija 11x11 piksela i one dimenzija 25x25 piksela, prikazane su u tablici 6.9. Fazatreniranja u tome slucaju obuhvaca treniranje AdaBoost klasifikatora za klasu bliska vegetacija,dok faza testiranja obuhvaca klasifikaciju blokova odgovarajucim istreniranim AdaBoost klasi-fikatorom i racunanje odziva. Iako ovdje nisu prikazane informacije o vremenima izvršavanjakada se u fazi testiranja racuna preciznost, te su informacije slicne onima dobivenima za racu-nanje odziva. Podaci u tablici 6.9 prikazuju vremena izvršavanja racunalnih programa za 200

75

Tablica 6.8: Vrijednosti preciznosti i odziva (za blokove dimenzija 11x11 i 25x25 piksela) zasvaku od klasa mediteranskog krajolika dobivenih prilikom klasifikacije odgovarajucim

istreniranim AdaBoost klasifikatorom.

Preciznost

(11x11)

Odziv

(11x11)

Preciznost

(25x25)

Odziv

(25x25)

Dim 37.31% 21.96% 35.03% 30.68%

Oblaci i magla 65.55% 57.93% 64.23% 59.94%

Sunce i svjetlosni efekti 84.35% 82.92% 84.30% 84.48%

Nebo 78.75% 67.96% 80.70% 75.14%

More 38.86% 28.47% 39.77% 34.07%

Udaljeni krajolik 51.25% 40.94% 52.66% 46.80%

Kamen 68.52% 42.49% 71.01% 40.41%

Udaljena vegetacija 61.24% 43.26% 60.71% 43.51%

Bliska vegetacija 61.56% 73.23% 64.23% 75.98%

Nisko raslinje i

poljoprivredne površine59.07% 36.72% 63.47% 42.97%

Gradevine i umjetni objekti 61.14% 58.00% 64.47% 67.63%

Tablica 6.9: Vremena izvršavanja faza treniranja i testiranja AdaBoost klasifikatora za klasubliska vegetacija. Vremena su dana u obliku sati:minute:sekunde.

Za 200 slika Za 1 sliku

11x11 25x25 11x11 25x25

Faza treniranja ≈ 07:53:36 ≈ 01:19:53 ≈ 00:02:22 ≈ 00:00:24

Faza testiranja ≈ 14:28:35 ≈ 01:48:26 ≈ 00:04:34 ≈ 00:00:33

slika, ali i za samo 1 sliku tako da se stekne bolja predodžba o vremenima izvršavanja tih racu-nalnih programa. Još je potrebno navesti informacije o racunalu na kojemu su se ova testiranjaizvršila, a one su slijedece: racunalo je imalo procesor Pentium(R) Dual-Core CPU E5200, 2 x2.50 GHz, te radnu memoriju od 2.0 GiB (otprilike 2 GB).

Tablica 6.10 prikazuje informacije o 5 najznacajnijih lokalnih znacajki dobivenih na temeljutablica D.1–D.4, dok tablica 6.11 prikazuje informacije o 5 najznacajnijih lokalnih znacajkidobivenih na temelju tablica D.5–D.8. Na temelju tablica 6.10 i 6.11 može se zakljuciti da prvihpet najznacajnijih lokalnih znacajki klasa dim, more, kamen, nisko raslinje i poljoprivrednepovršine te gradevine i umjetni objekti ne ovise mnogo o velicini bloka slike za kojega se telokalne znacajke racunaju. Na primjer, medu prvih pet najznacajnijih lokalnih znacajki za klasudim iz tablice 6.10 cak cetiri od njih se ponavljaju kao najznacajnije (iako ne istim redoslijedomni s istim postotcima) i u tablici 6.11. S druge strane, na temelju tablica 6.10 i 6.11 može sezakljuciti da prvih pet najznacajnijih lokalnih znacajki klasa oblaci i magla, sunce i svjetlosni

76

efekti, nebo, udaljeni krajolik, udaljena vegetacija i bliska vegetacija ovise o velicini blokovaza koji se te lokalne znacajke racunaju.

Tablica 6.10: Prvih pet najznacajnijih znacajki po klasama mediteranskog krajolika (dobiveniAdaBoost klasifikacijom na blokovima dimenzija 11x11).

1 2 3 4 5

Dim17

(13.93%)67

(5.57%)1

(4.83%)9

(4.64%)10

(4.09%)

Oblaci i magla25

(7.80%)3

(6.44%)7

(5.73%)36

(4.65%)14

(4.51%)

Sunce i svjetlosni efekti17

(4.55%)3

(4.04%)18

(3.82%)11

(3.60%)8

(3.52%)

Nebo21

(6.98%)9

(4.55%)8

(4.46%)27

(4.30%)18

(4.06%)

More67

(4.70%)15

(4.62%)18

(4.55%)1

(4.12%)3 i 9

(4.12%)

Udaljeni krajolik17

(7.00%)67

(5.71%)3

(4.72%)9

(4.26%)21

(4.19%)

Kamen67

(4.90%)9

(4.10%)1

(3.88%)15

(3.88%)18

(3.80%)

Udaljena vegetacija1

(4.80%)67

(4.73%)11

(4.43%)17

(4.06%)3 i 23

(3.84%)

Bliska vegetacija1

(8.83%)42

(5.68%)18

(5.44%)67

(3.94%)9

(3.63%)Nisko raslinje i

poljoprivredne površine1

(4.26%)17

(3.95%)27

(3.65%)9

(3.57%)42

(3.34%)

Gradevine i umjetni objekti17

(5.75%)67

(5.75%)15

(3.88%)18

(3.59%)21

(3.45%)

Iz tablica 6.10 i 6.11 može se vidjeti da se vrijednost treceg kanala (tj. plavoga kanala) uRGB prostoru boja cesto ponavlja kao jedna od pet najznacajnijih znacajki po klasama medit-eranskoga krajolika. To znaci da su odredene klase u tome kanalu poprilicno odvojene jedna oddruge, tj. poprimaju razlicit raspon vrijednosti i može ih se razlikovati. Na slici 6.7 prikazanisu histogrami vjerojatnosti boje plavoga kanala RGB prostora boja, i to za sve klase medit-eranskoga krajolika. Sa te se slike može vidjeti da ne poprimaju sve klase jednake rasponevrijednosti plavoga kanala boje, te da neke od njih imaju potpuno razlicite raspone takvih vri-jednosti no ostale.

Iz tablica 6.10 i 6.11 takoder se može primijetiti da medu optimalne lokalne znacajke na-jcešce spadaju znacajke boje, tj. vrijednosti osvijetljenosti piksela u nekom od razlicitih kanalaboja. Na temelju ovoga se može zakljuciti da je boja piksela jedna od njegovih najznacajnijihznacajki prilikom klasifikacije.

77

Tablica 6.11: Prvih pet najznacajnijih znacajki po klasama mediteranskog krajolika (dobiveniAdaBoost klasifikacijom na blokovima dimenzija 25x25).

1 2 3 4 5

Dim17

(4.97%)9

(4.89%)67

(3.82%)1

(3.44%)11

(3.44%)

Oblaci i magla59

(7.03%)3

(3.92%)17

(3.74%)21

(3.47%)9 i 15

(3.29%)

Sunce i svjetlosni efekti18

(6.51%)17

(6.43%)8

(5.28%)9

(4.67%)21

(4.67%)

Nebo19

(15.69%)20

(4.16%)21

(3.74%)17

(3.20%)10

(2.77%)

More9

(5.39%)11

(4.08%)15

(4.01%)3

(3.85%)67

(3.85%)

Udaljeni krajolik11

(5.21%)9

(3.87%)18

(3.70%)17

(3.36%)44

(3.28%)

Kamen9

(4.80%)67

(4.46%)17

(4.12%)1

(3.95%)11

(3.77%)

Udaljena vegetacija1

(13.76%)18

(12.55%)21

(7.96%)9

(2.72%)6, 17 i 42(2.65%)

Bliska vegetacija1

(5.98%)17

(3.84%)42

(3.76%)61

(3.76%)3

(3.50%)Nisko raslinje i

poljoprivredne površine58

(4.72%)9

(4.32%)17

(4.32%)1

(4.16%)42

(3.44%)

Gradevine i umjetni objekti9

(4.70%)17

(4.17%)10

(3.64%)67

(3.57%)18

(3.26%)

78

Slika 6.7: Histogrami vjerojatnosti boje plavoga kanala RGB prostora boja, prikazani za sveklase mediteranskoga krajolika.

79

7 Prijedlog novog klasifikatora za klasifikaciju slika medit-eranskog krajolika

U ovome poglavlju dan je prijedlog novoga klasifikatora za klasifikaciju klasa mediteranskogkrajolika. Ovaj je novi klasifikator konstruiran na temelju rezultata o optimalnim prostorimaboja predstavljenih u poglavlju 5, i na temelju rezultata o optimalnim globalnim i lokalnimznacajkama slike predstavljenih u poglavlju 6. Shematski prikaz prikupljanja podataka koji sekoriste u radu predloženog klasifikatora dan je na slici 7.1, a shematski prikaz rada predloženogklasifikatora na slici 7.2.

Slika 7.1: Shematski prikaz prikupljanja podataka koji se koriste u radu predloženogklasifikatora.

Kao što se može vidjeti sa slike 7.1, za rad predloženog klasifikatora potrebno je najprijedobiti odredene informacije:

• histogrami_boje.xml, tj. informacije o vjerojatnostima s kojima se pojedine vrijednosti

80

Slika 7.2: Shematski prikaz rada predloženog klasifikatora.

kanala boje (dakle, pojedine razine sive boje) pojavljuju za pojedine klase mediteran-skog krajolika (nacin na koji se ovo racuna opisan je u podpoglavlju 5.2). Potrebno jenapomenuti da se prilikom racunanja ovih vjerojatnosti ne koristi svih devet prostora boja(RGB, CIE-XYZ, Ohta, HSV, HLS, CIE L*a*b*, CIE L*u*v*, YCgCr i YCbCr) kao u

81

poglavlju 5, vec samo sedam. Za CIE L*u*v* i Ohta prostore boja odluceno je da sene koriste buduci da nisu bili optimalni za klasifikaciju ni jedne od klasa mediteranskogkrajolika, kao što se može vidjeti iz tablice 5.22;• globalni_histogrami_boje.xml, tj. informacije o globalnim histogramima boje (nacin na

koji se ovo racuna opisan je u podpodpoglavlju 6.1.2). Odluceno je da se prilikom racu-nanja ovih informacija koriste samo slijedeci kanali boja: 3. kanal CIE-XYZ prostoraboja, 1. kanal HSV prostora boja i 1. kanal HLS prostora boja. Razlog zbog kojega suse koristili samo ovi kanali boja jest taj što globalne znacajke boje izracunate za ova trikanala spadaju u prve tri optimalne globalne znacajke slike (od ukupno 29 usporedenihglobalnih znacajki slike) za klasifikaciju slika mediteranskog krajolika, kao što se moževidjeti iz tablice 6.2;• informacije o kontekstu, tj. o vjerojatnostima s kojima se pojedine klase mediteranskog

krajolika pojavljuju u gornjem, srednjem i donjem dijelu slika mediteranskog krajolika,kao što je prikazano u tablici 7.1. Odluceno je da ce se ove vjerojatnosti koristiti upredloženom klasifikatoru jer se iz tablice 6.11 može zakljuciti da je kontekst jedna odznacajki koje se cesto pojavljuju medu optimalnim lokalnim znacajkama za klasifikacijurazlicitih klasa mediteranskog krajolika.

Tablica 7.1: Vjerojatnosti s kojima se pojedine klase mediteranskog krajolika pojavljuju urazlicitim dijelovima slika mediteranskog krajolika.

Klasa Gornji dio slike Srednji dio slike Donji dio slike

Dim 0.306145 0.533258 0.160597

Oblaci i magla 0.68614 0.244894 0.0689657

Sunce i svjetlosni efekti 0.834784 0.113651 0.0515645

Nebo 0.862578 0.136921 0.000501322

More 0.160729 0.272715 0.566556

Udaljeni krajolik 0.375813 0.506122 0.118066

Kamen 0.342246 0.518216 0.139539

Udaljena vegetacija 0.111965 0.420135 0.4679

Bliska vegetacija 0.0521152 0.339289 0.608596

Nisko raslinje i poljoprivredne površine 0.0107283 0.378838 0.610434

Gradevine i umjetni objekti 0.0515221 0.204917 0.743561

Potrebno je napomenuti da se u [28] takoder koristi dijeljenje slike na tri horizontalna dijela,gornji, srednji i donji dio, te odredivanje informacija o tome koliko se puta koji objekt (od onihkoje su autori koristili u tome clanku) pojavljuje u odredenom dijelu slike.

Shematski prikaz rada predloženog klasifikatora dan je na slici 7.2. Da bi se rad ovogaklasifikatora jednostavije objasnio, njegov nacin funkcioniranja podijeljen je na 3 koraka:

1. racunanje globalnih histograma boje. Ovo se radi za 3 kanala: 3. kanal CIE-XYZ pros-tora boja, 1. kanal HSV prostora boja i 1. kanal HLS prostora boja. Nakon što se

82

ovi histogrami izracunaju, usporeduju se s odgovarajucim histogramima (dakle, onimaizracunatima za jednaki kanal boje) iz XML dokumenta globalni_histogrami_boje.xml.Za svaki od izracunatih globalnih histograma boje pronade se onaj histogram iz XMLdokumenta koji mu je najslicniji (po L1 udaljenosti), te se iz XML dokumenta dobije injegov vektor s oznakama. Taj vektor kaže koliko je za svaku klasu, na temelju glob-alnog histograma boje, vjerojatno da se pojavi na promatranoj slici. Kao rezultat ovogkoraka dobiju se tri ovakva vektora, po jedan za svaki od odredenih najbližih globalnihhistogramima iz XML dokumenta;

2. za svaki od korištenih prostora boja, te za svaku klasu mediteranskog krajolika, racunase odredena vrijednost (na nacin slican onome opisanom u podpoglavlju 5.2 i onomepredstavljenome u [89]). Ova se vrijednost u slucaju predloženog klasifikatora dobijena nacin prikazan formulom 7.1. Nakon izracuna ovih vrijednosti, one se normalizirajui pronade se maksimalna vrijednost za svaki prostor boja. Nakon toga se smatra da jeoznaka piksela u pojedinom prostoru boja zapravo oznaka klase za koju je postignutamaksimalna vrijednost u tome prostoru boja;

3. ovaj se korak odnosi na samu klasifikaciju piksela. Ako je piksel klasificiran kao istaklasa u svim korištenim prostorima boja, ta se klasifikacija uzima kao ispravna i pikseluse dodjeljuje oznaka te klase. Ako je na slici ostalo još neklasificiranih piksela, onda seoni pokušaju klasificirati na nacin prikazan na slici 7.3. S ove se slike može vidjeti dasu prilikom odredivanja težine klasifikacije u odredenom prostoru boja korišteni podacio optimalnim prostorima boja za klase mediteranskog krajolika iz tablice 5.9, a ne iztablice 5.22. Razlog tomu bio je taj što je predloženi klasifikator testiran na 200 slika zatestiranje iz FESB MLID baze slika, a rezultati iz tablice 5.22 se djelomicno temelje ina tim slikama i prema tome ih ne bi bilo primjereno koristiti. Ako i nakon ovog korakaostane neklasificiranih piksela na slici, onda se ponovo primjenjuju pravila prikazana naslici 7.3, samo ovaj put bez uvjeta vezanih za globalne znacajke slike. Ako i nakon ovogkoraka ostane neklasificiranih piksela na slici, onda se oni klasificiraju na nacin opisanu 2. koraku, ali samo za HSV prostor boja. HSV prostor boja se koristi jer je iz tablice5.23 vidljivo da je, od usporedenih samostalnih prostora boja, on najbolji za klasifikacijuslika mediteranskog krajolika).

p(x,y,z,kontekst|c) = p(x|c) · p(y|c) · p(z|c) · p(kontekst|c) (7.1)

gdje je:

• x – osvijetljenost promatranog piksela u 1. kanalu promatranog prostora boja;

• y – osvijetljenost promatranog piksela u 2. kanalu promatranog prostora boja;

• z – osvijetljenost promatranog piksela u 3. kanalu promatranog prostora boja;

83

• kontekst∈ {gornji dio slike, srednji dio slike, donji dio slike} – oznaka mjesta na slici nakojemu se nalazi promatrani piksel;

• c – klasa mediteranskog krajolika.

U poglavlju 5 vec je navedeno da je klasifikacijski algoritam koji se tamo koristi slicanmetodama iz [89]: konfabulacijskom (engl. confabulation) umnošku te, pod odredenim uvje-tima, maksimizaciji neospornosti (engl. cogency). Buduci da je dio predloženog klasifika-tora koji se koristi u ovome poglavlju (i koji je prikazan formulom 7.1) slican klasifikatoru izpoglavlja 5, može se zakljuciti da je slican i onome iz [89].

Prema [89], model spoznaje (engl. cognition) u kojemu se traži simbol ε koji maksimiziraa posteriori vjerojatnost p(ε|αβγδ ) (gdje su α , β , γ i δ simboli pretpostavljenih cinjenica,a ε simbol zakljucka, i svi su izvuceni iz zasebnih odvojenih leksikona) je pogrešan. U[89] je predložen novi model spoznaje: maksimizacija neospornosti p(αβγδ |ε). U [89] jenavedeno da se neospornost može izracunati samo u trivijalnim situacijama, te da se kaozamjena za racunanje neospornosti može koristiti konfabulacija, tj. maksimizacija umnoškap(α|ε) · p(β |ε) · p(γ|ε) · p(δ |ε). Odnos izmedu neospornosti i konfabulacijskog umnoškaprikazan je formulom 7.2 [89]:

p(αβγδ |ε)4 =

[p(αβγδε)

p(αε)

]·[

p(αβγδε)

p(βε)

]·[

p(αβγδε)

p(γε)

]·[

p(αβγδε)

p(δε)

]·

[p(α|ε) · p(β |ε) · p(γ|ε) · p(δ |ε)] (7.2)

gdje su:

• α , β , γ i δ – pretpostavljene cinjenice koje nisu iznimne,

• ε – element ocekivanja.

Prema [89], sadržaj prvih cetiriju zagrada nakon znaka jednakosti u formuli 7.2 može, uslucajevima koji nisu iznimni, funkcionirati približno kao pozitivna konstanta neovisna o ε .

Klasifikacijski algoritam iz poglavlja 5 te formula 7.1 su slicni formuli 7.2. Ipak, postojijedna izmjena. Ta izmjena je slijedeca: dio formule 7.2 koji se, prema [89], u slucajevima kojinisu iznimni može smatrati konstantom, ne koristi se u klasifikacijskom algoritmu iz poglavlja 5ni u formuli 7.1. Formula 7.1 te klasifikacijski algoritam iz poglavlja 5 jednaki su maksimizacijiumnoška p(α|ε) · p(β |ε) · p(γ|ε) · p(δ |ε), tj. konfabulaciji.

Klasifikatori utemeljeni na kognitivnoj konfabulaciji (engl. cogent confabulation) mogu,kao što je naznaceno u [105], biti dobra zamjena za klasifikatore utemeljene na Bayesovomteoremu. To je jednostavno pokazati primjerom preuzetim iz [105] koji je opisan u nastavkuovoga paragrafa. Pretpostavka je da su a, b, c i d znacajke dima dobivene sa neke slike I, a

84

Slika 7.3: Shematski prikaz faze predloženog klasifikatora u kojoj se klasificiraju pikseli kojinisu bili klasificiriani u prvome koraku.

potrebno je odrediti a posteriori vjerojatnost da ce se dogadaj e (u ovome slucaju dim) pojavitina slici ako se pojave znacajke a, b, c i d. Dakle, potrebno je odrediti vjerojatnost p(e|abcd).

85

Prema Bayesovom teoremu i pravilu lanca (engl. chain rule) dobije se formula 7.3 [105],koja je poprilicno složena i u kojoj je uvjetne vjerojatnosti jako teško (a ponekad i nemoguce)odrediti.

p(e|abcd) =p(abcd|e) · p(e)

p(abcd)=

p(a|bcde) · p(b|cde) · p(c|de) · p(d|e)p(a|bcd) · p(b|cd) · p(c|d) · p(d)

(7.3)

7.1 Usporedba predloženog klasifikatora sa drugim klasifikatorima

U nastavku teksta predloženi klasifikator usporeden je sa nekoliko drugih klasifikatora (K-najbližih susjeda (engl. K-Nearest Neighbors, K-NN), normalni Bayesov klasifikator (engl.normal Bayes classifier), strojevi sa potpornim vektorima (engl. Support Vector Machines,SVM) koji su dostupni putem OpenCV bibilioteke. Ovi drugi klasifikatori su istrenirani na200 slika za treniranje iz FESB MLID baze slika i testirani na 200 slika za testiranje iz FESBMLID baze slika. Kao vektori znacajki koristili su se vektori od 68 lokalnih znacajki koje suobjašnjene u poglavlju 6 i navedene u tablicama 6.3-6.6. Prilikom racunanja lokalnih znacajkikoristili su se blokovi slike dimenzija 25x25 piksela. Potrebno je napomenuti i da vektoriznacajki nisu normalizirani, tj. vrijednosti koje se u njima nalaze nisu normalizirane na nekiodredeni rang vrijednosti (npr. na rang [0, 1]) vec su korištene tzv. "sirove" vrijednosti (npr. 215za prosjecni intenzitet piksela bloka u odredenom prostoru boja), tj. one vrijednosti dobivenena nacine opisane u tablicama 6.3-6.6.

Rezultati usporedbe performansi predloženog klasifikatora sa performansama drugih klasi-fikatora dani su u tablici 7.2. Vrijednosti preciznosti, odziva i F1-mjera u toj tablici su pros-jecne, tj. izracunata je prosjecna vrijednost tih mjera za sve klase mediteranskog krajolika. Zapotpuniju informaciju o tim vrijednostima preciznosti i odziva, na slikama 7.4–7.10 dane suvizualne reprezentacije matrica konfuzije u kojima se vidi preciznost i odziv po svim klasamamediteranskog krajolika. Posljednji stupac tablice 7.2 daje informacije o vremenima potrebn-ima za testiranje klasifikatora te za racunanje preciznosti i odziva. Potrebno je napomenuti dafaza testiranja kod K-NN klasifikatora u tablici 7.2 ukljucuje i vrijeme potrebno za treniranjeklasifikatora7, no ne i vrijeme potrebno za stvaranje baze vektora znacajki i njihovih pripada-jucih oznaka (tj. labela) na temelju koje se taj klasifikator trenira. U tablici 7.2 su u stupcu kojiprikazuje vremena izvršavanja oznacena ona mjesta gdje vrijeme izvršavanja ukljucuje i vri-jeme testiranja algoritma, ali i vrijeme treniranja algoritma. Nadalje, potrebno je napomenutida su vrijednosti parametara C i γ koji se koriste kod SVM algoritma odredene automatski,tj. za njihovo je odredivanje korištena metoda iz OpenCV biblioteke kojom se pronalaze opti-malni parametri SVM klasifikatora unutar nekog zadanog ranga. U ovoj su se doktorskoj dis-ertaciji za sve parametre cija se je optimalna vrijednost pokušavala pronaci koristili isti rangovi:

7Prilikom implementacije algoritama potrebnih za dobivanje podataka o preciznosti i odzivu koji su prikazaniu tablici 7.2 i koji su vezani uz K-NN klasifikator naišlo se je na tehnicke poteškoce, pa faze treniranja i testiranjaalgoritama nisu odvojene.

86

[10−10, 1010], s korakom 10. Dobivena optimalna vrijednost C parametra za SVM klasifikatorsa linearnim kernelom je 10−10, a dobivene optimalne vrijednosti parametara C i γ za SVMklasifikator sa RBF (engl. Radial basis function) kernelom su 10−10 i 0.50625, respektivno.Iako je u ovoj doktorskoj disertaciji korišten SVM klasifikator iz OpenCV biblioteke za klasi-fikaciju više od jedne klase, na temelju tablice 7.2 može se zakljuciti da SVM klasifikator uovome slucaju ne funkcionira dobro, tj. ima lošije rezultate klasifikacije od ostalih usporedenihklasifikatora.

Predloženi klasifikator u svome radu koristi relativno mali broj znacajki dobivenih sa slike(osvijetljenost piksela u razlicitim kanalima boja, kontekstualne informacije, informacije o op-timalnim prostorima boja za pojedine klase mediteranskog krajolika te globalne informacije oboji slike), dok klasifikatori s kojima je usporeden u tablici 7.2 rade na temelju vektora znacajkikoji se sastoji od 68 razlicitih znacajki. Iz tablice 7.2 može se vidjeti da su preciznost, odzivi F1-mjera dobiveni za predloženi klasifikator usporedivi sa rezultatima dobivenima za K-NNklasifikator, lošiji od rezultata dobivenih za normalni Bayesov klasifikator, i bolji od rezultatadobivenih za SVM klasifikator. Takoder se može primijetiti da je od svih usporedenih klasi-fikatora predloženi klasifikator bio najbrži, iako je on klasificirao slike na temelju piksela, aostali usporedeni klasifikatori na temelju blokova dimenzija 25x25 piksela. Iz ovoga se možezakljuciti da za izradu klasifikatora za klasifikaciju slika mediteranskog krajolika ne treba ko-ristiti veliki broj znacajki dobivenih sa slike, vec je dovoljno koristiti samo manji broj pažljivoodabranih znacajki, te upotrijebiti informacije o optimalnim prostorima boja za klasifikacijurazlicitih klasa mediteranskog krajolika.

Tablica 7.2: Usporedba performansi predloženog klasifikatora s performansama nekolikodrugih, poznatih klasifikatora.

Preciznost Odziv F1-mjeraVrijeme potrebno za testiranje

(sati:minute:sekunde)

K-NN (za K = 1) 45.15% 45.44% 45.29%01:26:51

(faza treniranja: ≈ 16 sekundi)

K-NN (za K = 3) 46.46% 45.74% 46.10%01:32:34


K-NN (za K = 5) 47.30% 46.24% 46.76%01:32:58


K-NN (za K = 7) 47.73% 46.66% 47.19%01:35:47


Normalni Bayesov klasifikator 53.45% 54.05% 53.75% 01:09:23

SVM

(za C = 10−10 i linearni kernel)25.36% 19.87% 22.28% 00:55:06

SVM

(za C = 10−10, γ = 0.50625 i RBF kernel)43.02% 18.01% 25.39% 01:11:02

Predloženi klasifikator 42.75% 45.64% 44.15% 00:09:03

Stipanicev et al. su u [105] zakljucili da bi postupak detekcije požara raslinja mogao biti

87

Slika 7.4: Vizualne reprezentacije matrica konfuzije preciznosti i odziva za klasifikaciju K-NNklasifikatorom (za K = 1).


i jednostavniji i tocniji kad bi se koristio klasifikator utemeljen na kognitivnoj konfabulaciji,te su naglasili da je teorija kognitivne konfabulacije dobar model za opis ljudskog modelakognicije i mehanizma razmišljanja. Rezultati prikazani u ovome poglavlju potvrdili su da seklasifikatorom utemeljenim na konfabulaciji proces klasifikacije može jako pojednostavniti, asvejedno davati dobre rezultate.

88



89

Slika 7.8: Vizualne reprezentacije matrica konfuzije preciznosti i odziva za klasifikacijunormalnim Bayesovim klasifikatorom.

Slika 7.9: Vizualne reprezentacije matrica konfuzije preciznosti i odziva za klasifikacijuSVM-om (za C = 10−10 i linearni kernel).

90

Slika 7.10: Vizualne reprezentacije matrica konfuzije preciznosti i odziva za klasifikacijuSVM-om (za C = 10−10, γ = 0.50625 i RBF kernel).

Slika 7.11: Vizualne reprezentacije matrica konfuzije preciznosti i odziva za klasifikacijupredloženim klasifikatorom.

91

8 Analiza utjecaja pojave dima na pozadinu slike

Vecina postojecih metoda za automatsku detekciju dima putem obrade i analize digitalne sliketemelji se na analizi videa ili sekvenca slika koje prikazuju dim, odredivanja pokretnih regijana njima, te daljnjoj analizi tih regija kojom bi se one mogle razlikovati od ostalih pokretnihregija. U prethodnim poglavljima ove doktorske disertacije (preciznije u poglavljima 5, 6 i7) pažnja je bila usmjerena na staticnu detekciju slika mediteranskog krajolika na kojima se,izmedu ostaloga, može pojaviti i dim. No, buduci da je dim vrlo teško automatski klasificiratina slici samo na temelju staticnih znacajki dobivenih sa slike, bilo je potrebno napraviti i jošjednu dodatnu analizu kojom bi se pokušala pronaci pravila koja opisuju promjene koje se naslici dogadaju prilikom pojave dima, tj. bilo je potrebno u obzir uzeti i dinamicka svojstvadima kako bi se dim što uspješnije mogao razlikovati od ostalih regija na slici. Ova je analizadana u ovome poglavlju da bi bila od pomoci kod metoda za detekciju dima koje se temelje nasekvencama slika, i predstavlja dodatno istraživanje u ovoj doktorskoj disertaciji.

Dim ima mnogo zanimljivih svojstava, a neka od njih su brzina širenja (engl. growth rate)[81, 106], treperenje granice (engl. boundary flickering) [106, 107], samoslicnost (engl. self-

similarity) [106], itd. Svojstva dima koja se najcešce koriste prilikom njegove detekcije iliklasifikacije su njegova boja i intenzitet. Buduci da je dim najcešce sive boje, to se opažanjemože iskoristiti kada se dim nastoji izdvojiti od razlicitih semantickih klasa koje se mogu pron-aci na slici.

Istraživanja objavljena o boji i/ili intenzitetu dima, bilo na staticnim slikama ili u videu,su mnogobrojna. U [108] je predložena transformacija HSI prostora boja, nazvana HS’I, ipokazano je da je dobra za odvajanje dima od ostalih klasa na slikama. U [107] je zapaženoda se vrijednosti krome (engl. chrominance) U i V smanjuju kako dim postaje gušci. U [109]je pokazano kako se razine sive boje koje pripadaju pikselima dima mijenjaju kroz vrijeme. U[110] su dani uvjeti koje bi regije dima trebale zadovoljavati u YUV prostoru boja. U [88] jepokazano koliko su razliciti prostori boja prikladni za klasifikaciju (na temelju piksela) vatrei dima. U [111] je opisano kako temperatura dima utjece na njegovu boju, te navedeno da biintenziteti RGB kanala piksela slike koji predstavljaju dim trebali imati slicne vrijednosti. U[112] su dana pravila za izvlacenje piksela dima sa slike, a prostori boja koji su se pri tomekoristili su RGB (koristili su se svi kanali) i HSI (koristio se je samo posljednji kanal). U [113]su se za detekciju dima u videu koristili, izmedu ostaloga, energija slike u razinama sive boje izagušenje intenziteta boje.

U ovome poglavlju dana je analiza utjecaja dima na pozadinu slike mediteranskog krajolika,tj. analizirano je kako se mijenjaju vrijednosti piksela pozadine kada se na njoj pojavi (iliproširi ako vec postoji) dim. Ova je analiza izvršena za 27 kanala koji su sastavni dijelovi devetrazlicitih prostora boja (RGB, CIE-XYZ, Ohta, HSV, HLS, CIE L*a*b*, CIE L*u*v*, YCgCr,

92

YCbCr). Koliko je autorici ove doktorske disertacije poznato, ovakva analiza utjecaja dima napozadinu slike ne postoji.

Za analizu utjecaja pojave dima na pozadinu slike najprije je bilo potrebno odabrati sekvenceslika na kojima ce se ta analiza izvršiti. Te su sekvence odabrane na nacin da prikazuju kretanjakoja se cesto mogu pronaci u mediteranskom krajoliku, poput kretanja dima uslijed požararaslinja, kretanja brodova po moru i sl. Nije se razmatralo kretanje raslinja uslijed vjetra (npr.pomicanje grana stabala) jer se dim i raslinje mogu dobro razlikovati samo po boji (jer je dimobicno sive boje a raslinje gotovo nikada nije vec je najcešce zeleno, žuto ili smede), kao štose može zakljuciti iz poglavlja 5. U tablici 8.1 dan je popis svih korištenih sekvenci slika, za-jedno sa brojem slika u svakoj i sa kratkim opisom onoga što se u toj sekvenci nalazi. Prvihdeset sekvenci slika iz tablice 8.1 korišteno je za ucenje (tj. za konstrukciju histograma kojiprikazuju promjenu prosjecne vrijednosti sive boje promatrane regije slike kada se na njoj krecedim), a preostalih deset korišteno je za testiranje dobivenih rezultata. Potrebno je napomenutida sekvence koje sadržavaju dim predstavljaju scene u kojima se dim ili vec nalazi na prvojslici sekvence (no tijekom vremena se širi), ili se tek pojavi u prvih nekoliko slika sekvence (ikasnije širi). Takoder je potrebno napomenuti da je dio dima ponekad tako gust da se pozadinaiza njega ne vidi. Nadalje, na sekvencama slika koje su korištene dim je uvijek bio svijetlijesive boje, te nikada nije bio jako taman. Razlog zbog kojega su korištene ovakve sekvence slikabio je taj da se šumske nadzorne kamere najcešce postavljaju na uzvisine i dim se pomocu njihugleda tek kada se probije kroz krošnje stabala, a tada je najcešce vec jako svijetle boje.

Nakon odabira sekvenci slika za ucenje, potrebno je konstruirati histograme koji prikazujupromjenu prosjecne vrijednosti sive boje promatrane regije slike kada se na njoj krece dim.Proces konstrukcije ovih histograma može se podijeliti na cetiri koraka koja su objašnjena unastavku teksta.

U prvome koraku se za svaku sekvencu slika odredi slika (jedna od posljednjih u sekvenci,ili pak posljednja u sekvenci) u kojoj je dim najviše proširen. Za tu se sliku napravi druga slikajednakih dimenzija u kojoj se bijelom bojom oznaci podrucje dima, dok je sve ostalo na tojslici crne boje.

U drugom koraku se prolazi kroz svaku sliku promatrane sekvence slika, i na njoj se pro-matra podrucje koje je na kreiranoj slici iz prvoga koraka bilo bijele boje. Za to se podrucjeracuna prosjecna vrijednost sive boje za svaki od mogucih 27 kanala boje (koriste se jednakiprostori boja kao i u podpoglavlju 5.1).

U trecem koraku se za svaki od 27 kanala boja stvara histogram u kojemu svaki stupacprikazuje prosjecnu vrijednost sive boje (u odgovarajucem kanalu boje) promatrane regije naodgovarajucoj slici. Na primjer, prvi stupac u histogramu za zeleni kanal RGB slike prikazujeprosjecnu vrijednost sive boje promatrane regije u zelenom kanalu za prvu sliku sekvence slike,drugi stupac za drugu sliku, itd. Primjeri ovakvih histograma prikazani su na slici 8.1.

93

Tablica 8.1: Opis sekvenci slika.

Broj slika Opis

Sekvenca 1 99 Dim preko vegetacije

Sekvenca 2 107 Dim preko udaljenog krajolika

Sekvenca 3 121 Dim preko vegetacije i gradevina izgradenih od strane covjeka




Sekvenca 7 23 Dim preko vegetacije i poljoprivrednih površina






Sekvenca 13 42 Sjene preko zemljanog puta i vegetacije

Sekvenca 14 34 Sjene preko vegetacije i udaljenog krajolika

Sekvenca 15 77 Vlak preko vegetacije i gradevina izgradenih od strane covjeka

Sekvenca 16 16 Brod preko mora

Sekvenca 17 17 Brod preko mora, vegetacije i gradevina izgradenih od strane covjeka

Sekvenca 18 16 Oblaci preko neba

Sekvenca 19 17 Oblaci preko neba

Sekvenca 20 15 Sunceva svjetlost se krece izmedu sjena oblaka na tlu

Cetvrti korak opisuje što se dogada nakon kreiranja 27 histograma za svaku od sekvencislika za ucenje. Nakon što se histogrami kreiraju, analiziraju se i sa njih se sazna da li njihovevrijednosti tijekom vremena (tj. kroz sekvencu slika, od prve do posljednje slike) uglavnomrastu, padaju ili ostaju iste. To se postiže na slijedeci nacin: za svaki se histogram sve vrijed-nosti stupaca histograma (osim prve) usporeduju sa vrijednošcu prvoga stupca toga histogramana nacin prikazan na slici 8.2. Nakon toga se za svaki histogram dobiju tri informacije: brojstupaca histograma cija vrijednost s vremenom opada, broj stupaca histograma cija vrijed-nost s vremenom raste, i broj stupaca histograma cija se vrijednost s vremenom ne mijenja.Upotrebom formule 8.1 za svaku od te tri informacije dobiju se informacije o tome koliko (upostotcima) promatrani histogram raste, pada i ostaje u istom stanju. Najviši postotak uzimase kao reprezentativno stanje citavog histograma, a ako su postotci jednak za više stanja i akosu ti postotci viši od ostalih, sva se ta stanja uzimaju kao reprezentativna stanja histograma.Rezultati analize kretanja histograma na sekvencama slika za ucenje dani su u tablicama 8.2 i8.3.

xi = (yi

n−1) ·100 (8.1)

94

Slika 8.1: Primjeri histograma koji prikazuju kako se mijenja prosjecna osvijetljenostpromatrane regije prilikom pojave dima na slici.

Slika 8.2: Nacin odredivanja kretanja vrijednosti promatranog histograma. Konstanta 0.5koja se na slici može vidjeti upotrebljava se da bi se zanemarili pretjerano mali padovi ili

skokovi u vrijednostima stupaca histograma.

gdje je:

95

• x – vrijednost (u postotcima) koja kaže koliko se puta odredeno stanje histograma (pad,rast ili stanje u kojemu nema promjene) može pronaci u histogramu. Na primjer, daje x = 55 to bi znacilo da 55% stupaca u histogramu (ovdje se ne ubraja prvi stupachistograma, jer se s njim usporeduju drugi stupci) ili raste, ili pada, ili ne mijenja stanje(ovisi o tome što histogram predstavlja);

• i – oznaka stanja histograma: pad, rast ili stanje u kojemu nema promjene;

• y – broj koji kaže koliko su se puta stupci histograma pronašli u odredenom stanju;

• n – broj slika u promatranoj sekvenci slika;

• n− 1 – broj slika umanjen je za jedan zbog toga što za svaki histogram postoji n−1 oznaka stanja. Prvi se stupac histograma ne racuna jer se sa njegovom vrijednošcuusporeduju vrijednosti svih ostalih stupaca u histogramu.

Iz tablica 8.2 i 8.3 može se vidjeti da pojedini histogrami za razlicite kanale ostaju jednakiza sve sekvence slika. Na primjer, histogram za treci kanal RGB kanala boja uvijek raste. Iztoga se može zakljuciti da ce prilikom pojavljivanja dima preko pozadine prosjecna vrijednosttreceg kanala RGB prostora boja porasti za regiju na kojoj se pojavljuje dim. Promatrajucitablice 8.2 i 8.3, odabrana su cetiri razlicita histograma kojima se može predstaviti pojava dimana slici: histogram treceg kanala RGB prostora boja (koji uvijek raste), histogram treceg kanalaCIE-XYZ prostora boja (koji uvijek raste), histogram drugog kanala HSV prostora boja (kojiopada ili ostaje isti, ali nikako ne raste), te histogram drugog kanala YCgCr prostora boja (kojiopada ili ostaje isti). Popis ovih kanala boja, zajedno sa informacija o tome kako se histogramiprosjecnih vrijednosti razine sive boje trebaju ponašati u njima ako se na promatranoj regijislike pojavljuje dim požara raslinja, dani su u tablici 8.4. Ta tablica u suštini prestavlja skupeksperimentalno odredenih pravila cijim bi se korištenjem dim mogao jednostavnije razlucitiod ostalih dinamickih pojava na sekvenci slika mediteranskog krajolika.

Pravila iz tablice 8.4 testirana su na deset posljednjih sekvenci slika opisanih u tablici 8.1.Na njima su promatrane regije gdje se dim nalazi i u koje se širi, te, u slucaju da na slici nijebilo dima, promatrane su regije u koje odredeni objekt ulazi (npr. promatra se dio mora ukoji uplovljava brod). Rezultati analize za ovih deset sekvenci slika dani su u tablicama 8.5i 8.6. Iz tih se tablica može vidjeti da pravilima iz tablice 8.4 (npr. pravilu da vrijednostihistograma konstruiranog za treci kanal RGB prostora boja moraju rasti, itd.) udovoljavajusamo informacije dobivene za sekvence 11 i 12, a to su jedine testne sekvence slika koje u sebisadrže dim. Iz ovoga se može zakljuciti da se odabrani histogrami, koji su prikazani u tablici8.4, zaista mogu uspješno koristiti prilikom dinamicke analize dima i njegovog razlikovanja odpozadine slike mediteranskog krajolika.

96

Tablica 8.2: Analiza kretanja vrijednosti histograma koji prikazuju kako se, u pojedinimkanalima boje, prosjecna boja promatrane regije mijenja sa pojavom dima na slici (1. dio).

Sekvenca 1 Sekvenca 2 Sekvenca 3 Sekvenca 4 Sekvenca 5

1. kanal - RGB raste raste ne mijenja se raste raste

2. kanal - RGB raste raste ne mijenja se raste raste

3. kanal - RGB raste raste raste raste raste

1. kanal - CIE-XYZ raste raste ne mijenja se raste raste

2. kanal - CIE-XYZ raste raste ne mijenja se raste raste

3. kanal - CIE-XYZ raste raste raste raste raste

1. kanal - Ohta raste raste ne mijenja se raste raste

2. kanal - Ohta opada raste opada opada opada

3. kanal - Ohta ne mijenja se ne mijenja se ne mijenja se ne mijenja se ne mijenja se

1. kanal - HSV raste opada raste raste ne mijenja se

2. kanal - HSV opada ne mijenja se opada opada opada

3. kanal - HSV raste raste ne mijenja se raste raste

1. kanal - HLS raste opada raste raste ne mijenja se

2. kanal - HLS raste raste ne mijenja se raste raste

3. kanal - HLS opada ne mijenja se opada opada raste

1. kanal - YCgCr raste raste ne mijenja se raste raste

2. kanal - YCgCr ne mijenja se ne mijenja se ne mijenja se ne mijenja se ne mijenja se

3. kanal - YCgCr raste ne mijenja se ne mijenja se ne mijenja se ne mijenja se

1. kanal - YCbCr raste raste ne mijenja se raste raste

2. kanal - YCbCr opada ne mijenja se ne mijenja se ne mijenja se opada

3. kanal - YCbCr raste ne mijenja se ne mijenja se ne mijenja se ne mijenja se

1. kanal - CIE L*a*b* raste raste ne mijenja se raste raste

2. kanal - CIE L*a*b* ne mijenja se ne mijenja se ne mijenja se ne mijenja se ne mijenja se

3. kanal - CIE L*a*b* raste ne mijenja se ne mijenja se ne mijenja se ne mijenja se

1. kanal - CIE L*u*v* raste raste ne mijenja se raste raste

2. kanal - CIE L*u*v* ne mijenja se ne mijenja se ne mijenja se ne mijenja se ne mijenja se

3. kanal - CIE L*u*v* raste opada opada ne mijenja se raste

97

Tablica 8.3: Analiza kretanja vrijednosti histograma koji prikazuju kako se, u pojedinimkanalima boje, prosjecna boja promatrane regije mijenja sa pojavom dima na slici (2. dio).


1. channel - RGB rasteraste

ne mijenja seraste raste raste

2. channel - RGB raste raste raste raste raste

3. channel - RGB raste raste raste raste raste

1. channel - CIE-XYZ raste raste raste raste raste



1. channel - Ohta raste raste raste raste raste

2. channel - Ohta opada ne mijenja se ne mijenja se opada opada

3. channel - Ohta ne mijenja se ne mijenja se opada raste opada

1. channel - HSV opada opada opada opada opada

2. channel - HSV opada ne mijenja se opada opada opada

3. channel - HSV raste raste raste raste raste

1. channel - HLS opada opada opada opada opada

2. channel - HLS raste raste raste raste raste

3. channel - HLS raste opada opada raste opada

1. channel - YCgCr raste raste raste raste raste

2. channel - YCgCr ne mijenja se ne mijenja se opada ne mijenja se opada

3. channel - YCgCr ne mijenja se ne mijenja se raste ne mijenja se ne mijenja se

1. channel - YCbCr raste raste raste raste raste

2. channel - YCbCr opada ne mijenja se ne mijenja se opada raste

3. channel - YCbCr ne mijenja se ne mijenja se raste ne mijenja se ne mijenja se

1. channel - CIE L*a*b* raste raste raste raste raste

2. channel - CIE L*a*b* ne mijenja se ne mijenja se raste ne mijenja se raste

3. channel - CIE L*a*b* raste ne mijenja seopada

ne mijenja seraste opada

1. channel - CIE L*u*v* raste raste raste raste raste

2. channel - CIE L*u*v* ne mijenja se ne mijenja se raste ne mijenja se ne mijenja se

3. channel - CIE L*u*v* raste ne mijenja seopada

ne mijenja seraste opada

98

Tablica 8.4: Skup pravila koja bi trebala biti zadovoljena ako regija predstavlja dim požararaslinja.

KanalKako bi se histogram prosjecnih intenziteta promatrane regije

trebao mijenjati kroz vrijeme, ako regija predstavlja dim?

3. channel - RGB raste

3. channel - CIE-XYZ raste

2. channel - HSV opada ili ostaje isti

2. channel - YCgCr opada ili ostaje isti

Tablica 8.5: Reprezentativna stanja histograma za sekvence slika za testiranje (1. dio).


3. kanal - RGB raste raste raste opada opada

3. kanal - CIE-XYZ raste raste raste opada opada

2. kanal - HSV opada opada raste raste opada

2. kanal - YCgCr ne mijenja se ne mijenja se opada opada ne mijenja se

Tablica 8.6: Reprezentativna stanja histograma za sekvence slika za testiranje (2. dio).


3. channel - RGB opada opada opada opada raste

3. channel - CIE-XYZ opada opada opada opada raste

2. channel - HSV opada opada ne mijenja se raste opada

2. channel - YCgCr ne mijenja se ne mijenja se ne mijenja se ne mijenja se raste

99

9 Zakljucak

U ovoj je doktorskoj disertaciji predstavljeno istraživanje o automatskoj segmentaciji i klasi-fikaciji regija (od kojih regija može biti i velicine samo jednog piksela) koje se mogu pronacina slikama prirodnog mediteranskog krajolika. Istraživanje obuhvaca potragu za optimalnimprostorima boja za klasifikaciju pojedinih klasa mediteranskog krajolika, potragu za optimal-nim lokalnim i globalnim znacajkama slike prilikom takve klasifikacije, prijedlog novog klasi-fikatora slika mediteranskog krajolika, prijedlog FESB MLID baze slika, te potragu za onimpromjenama koje dim uzrokuje kada se pojavi na slici a koje bi mogle pripomoci u njegovojdetekciji na sekvencama slika, tj. u videima.

9.1 Doprinosi disertacije

Znanstveni doprinosi ove doktorske disertacije su:

• Prijedlog i realizacija nove referentne baze slika prirodnog mediteranskog krajolika saciljem standardizacije podataka na kojima bi se uvježbavali i testirali racunalni sustaviza automatsku klasifikaciju slika prirodnog mediteranskog krajolika. Ova je baza slikanazvana FESB MLID te ukljucuje slike poluprozirnih prirodnih pojava poput oblaka,magle i dima. Sastoji se od 400 slika mediteranskog krajolika, od kojih je prvih 200slika predvideno za uvježbavanje algoritama vezanih za klasifkaciju slika mediteranskogkrajolika, a preostalih 200 za testiranje takvih algoritama. Sve slike u FESB MLID bazislika imaju i svoje rucno segmentirane slike na kojima su oznacene klase mediteranskogkrajolika. FESB MLID baza slika postavljena je na Internet, tako da bude dostupna idrugim istraživacima kojima bi mogla biti od koristi.

• Izrada baze znanja o prostorima boja te lokalnim i globalnim znacajkama slike koje jeoptimalno koristiti prilikom klasifikacije pojedinih klasa mediteranskog krajolika. Ovaje baza znanja izgradena na temelju detaljne statisticke analize slika mediteranskog kra-jolika.

• Prijedlog i realizacija novog sustava za segmentaciju i klasifikaciju regija na slikamaprirodnog mediteranskog krajolika prilagodenog klasifikaciji neprozirnih i poluprozirnihregija. Sustav je realiziran kao sustav utemeljen na znanju.

• Izrada baze znanja o pravilima koje mogu pospješiti detekciju dima na sekvencama slika.Ova je baza znanja dobivena statistickom analizom utjecaja pojave dima na pozadinusekvenci slika mediteranskog krajolika.

100

9.2 Daljnje istraživanje

Buduci da u potpunosti ispravna automatska segmentacija i klasifikacija slike spada u nekeod najteže ostvarivih ciljeva racunalnog vida i umjetne inteligencije, uvijek postoji mjesta zapoboljšanja i daljnja istraživanja. U slucaju ove doktorske disertacije neka od najzanimljivijihmogucih daljnjih istraživanja su:

• Detaljno proucavanje prostora boja za koje se je odredilo da su optimalni za pojedineklase mediteranskog krajolika, te pronalska razloga zbog kojih su ti prostori boja boljiod drugih za klasifikaciju tih klasa. Kreiranje novog prostora boja za klasifikaciju slikamediteranskog krajolika na temelju dobivenih informacija.

• Statisticka analiza još veceg broja lokalnih i globalnih znacajki dobivenih sa slika medit-eranskog krajolika, te odredivanje optimalnih znacajki slike za pojedine klase mediteran-skog krajolika na temelju tih znacajki.

• Proširenje FESB MLID baze slike novim slikama mediteranskog krajolika.

• Uvodenje novih klasa mediteranskog krajolika (npr. vatra i snijeg) te eventualno spajanjepostojecih klasa mediteranskog krajolika (npr. spajanje klasa bliska vegetacija, udaljenavegetacija te nisko raslinje i poljoprivredne površine u jedinstvenu klasu vegetacija).

101

Literatura

[1] Elin K. Jacob. Classification and categorization: A difference that makes a differ-ence. Library Trends, 52(3):515–540, Winter 2004. Link: https://www.ideals.

illinois.edu/bitstream/handle/2142/1686/Jacob515540.pdf?sequence=2,posljednji put pristupljeno: 15. studenog 2013.

[2] A. K. M. Rezaul Karim and Haruyuki Kojima. The what and why of perceptual asym-metries in the visual domain. Advances in Cognitive Psychology, 6:103–115, 2010.

[3] Seymour Papert. The summer vision project. Massachusetts Institute of Technology,July 1966. AIM-100.

[4] James J. DiCarlo, David Zoccolan, and Nicole C. Rust. How does the brain solve visualobject recognition? Neuron, 73:415–434, February 2012.

[5] Jessie J. Peissig and Michael J. Tarr. Visual object recognition: do we know more nowthan we did 20 years ago? Annual Review of Psychology, 58:75–96, 2007.

[6] Roy R. Behrens. Art, design and Gestalt theory. Leonardo, 31(4):299–303, 1998.

[7] John P. Frisby and James V. Stone. Seeing: The Computational Approach to Biological

Vision. The MIT Press, 2nd edition, 2010.

[8] Titia L. van Zuijen, Elyse Sussman, István Winkler, Risto Näätänen, and Mari Ter-vaniemi. Grouping of sequential sounds – an event-related potential study comparingmusicians and nonmusicians. Journal of Cognitive Neuroscience, 16(2):331–338, March2004.

[9] Stephen E. Palmer, Joseph L. Brooks, and Rolf Nelson. When does grouping happen?Acta Psychologica, 114(3):311–330, 2003.

[10] Kristinn R. Thórisson. Simulated perceptual grouping: An application to human-computer interaction. In Proceedings of the Sixteenth Annual Conference of the Cog-

nitive Science Society, pages 876–881, 1994.

[11] Sharon Oviatt, Rachel Coulston, Stefanie Tomko, Benfang Xiao, Rebecca Lunsford,Matt Wesson, and Lesley Carmichael. Toward a theory of organized multimodal inte-gration patterns during human-computer interaction. In Proceedings of the 5th Interna-

tional Conference on Multimodal Interfaces, ICMI ’03, pages 44–51, New York, NY,USA, 2003. ACM.

102

[12] Shihui Han, Glyn W. Humphreys, and Lin Chen. Uniform connectedness and classicalGestalt principles of perceptual grouping. Perception and Psychophysics, 61(4):661–674, 1999.

[13] Sang-Hun Lee and Randolph Blake. Neural synergy in visual grouping: when goodcontinuation meets common fate. Vision Research, 41:2057–2064, 2001.

[14] Kritina L. Holden. The effectiveness of multidimensional symbols in the display of com-

plex multivariate data: Exploring the cognitive limitations. PhD thesis, Rice Univer-sity, May 1990. Link: http://scholarship.rice.edu/bitstream/handle/1911/16349/9110978.PDF?sequence=1, posljednji put pristupljeno: 4. rujna 2012.

[15] Dabo Sun and Kenny Wong. On evaluating the layout of UML class diagrams for pro-gram comprehension. In Proceedings of the 13th International Workshop on Program

Comprehension (IWPC’05), 2005.

[16] E. Bruce Goldstein. The ecology of J. J. Gibson’s perception. Leonardo, 14(3):191–195,1981.

[17] Sirel Karakas and Erol Basar. Models and theories of brain function in cognition withina framework of behavioral cognitive psychology. International Journal of Psychophysi-

ology, 60(2):186–193, May 2006.

[18] Richard L. Gregory. Knowledge in perception and illusion. Philosophical Transactions

of the Royal Society of London. Series B: Biological Sciences, 352(1358):1121–1128,1997.

[19] Richard L. Gregory. Perceptual illusions and brain models. Philosophical Transactions

of the Royal Society of London. Series B: Biological Sciences, 171, 1968.

[20] David Marr. Visual information processing: the structure and creation of visual represen-tations. Philosophical Transactions of the Royal Society of London. Series B: Biological

Sciences, 290:199–218, 1980.

[21] David Marr and Ellen Hildreth. Theory of edge detection. Proceedings of the Royal

Society of London. Series B, Biological Sciences, 207(1167):187–217, February 1980.

[22] David Marr and H. Keith Nishihara. Representation and recognition of the spatial or-ganization of three-dimensional shapes. Proceedings of the Royal Society of London.

Series B: Biological Sciences, 200:269–294, 1978.

[23] Irving Biederman. Recognition-by-components: A theory of human image understand-ing. Psychological Review, 94(2):115–147, 1987.

103

[24] Julia Vogel, Adrian Schwaninger, Christian Wallraven, and Heinrich H. Bülthoff. Cat-egorization of natural scenes: local vs. global information. In Proceedings of the 3rd

symposium on Applied perception in graphics and visualization, APGV ’06, pages 33–40, 2006.

[25] Julia Vogel, Adrian Schwaninger, Christian Wallraven, and Heinrich H. Bülthoff. Cate-gorization of natural scenes: Local versus global information and the role of color. ACM

Transactions on Applied Perception, 4(3), 2007. Article 19.

[26] Shengjiu Wang. A robust CBIR approach using local color histograms. Technical reportTR 01-13, University of Alberta, October 2001.

[27] Ya-Chun Cheng and Shu-Yuan Chen. Image classification using color, texture and re-gions. Image and Vision Computing, 21:759–776, 2003.

[28] A. Bosch, X. Muñoz, and J. Freixenet. Segmentation and description of natural outdoorscenes. Image and Vision Computing, 25:727–740, 2007.

[29] Anna Bosch, Xavier Muñoz, and Robert Martí. Which is the best way to orga-nize/classify images by content? Image and Vision Computing, 25(6):778–791, June2007.

[30] J. Batlle, A. Casals, J. Freixenet, and J. Martí. A review on strategies for recogniz-ing natural objects in colour images of outdoor scenes. Image and Vision Computing,18:515–530, 2000.

[31] Zhenhua Zhang, Wenhui Li, and Bo Li. An improving technique of color histogram insegmentation-based image retrieval. In 2009 Fifth International Conference on Informa-

tion Assurance and Security, pages 381–384. IEEE Computer Society, 2009.

[32] Jing Huang, S. Ravi Kumar, Mandar Mitra, Wei-Jing Zhu, and Ramin Zabih. Imageindexing using color correlograms. In Proceedings of the 1997 Conference on Computer

Vision and Pattern Recognition, CVPR ’97, pages 762–768, 1997.

[33] Chuan-Cheng Wang and Ling-Hwei Chen. Content-based color trademark retrieval sys-tem using hit statistic. International Journal of Pattern Recognition and Artificial Intel-

ligence, 16(5):603–619, 2002.

[34] Jongan Park, Seungjo Han, and Youngeun An. Heuristic features for color correlogramfor image retrieval. In International Conference on Computational Sciences and Its

Applications, ICCSA, pages 9–13, 2008.

[35] Greg Pass and Ramin Zabih. Histogram refinement for content-based image retrieval.In Proceedings of the 3rd IEEE Workshop on Applications of Computer Vision (WACV

’96), pages 96–102, 1996.

104

[36] Ki-Hyun Kang, Yong-In Yoon, Jong-Soo Choi, Jin-Tae Kim, Hasung Koo, and Jong-HoChoi. Additive texture information extraction using color coherence vector. In Pro-

ceedings of the 7th WSEAS International Conference on Multimedia Systems & Signal

Processing, pages 56–59, April 2007.

[37] Manish Maheshwari, Sanjay Silakari, and Mahesh Motwani. Image clustering usingcolor and texture. In 2009 First International Conference on Computational Intelligence,

Communication Systems and Networks, pages 403–408, 2009.

[38] Maria Petrou and Pedro García Sevilla. Image Processing – Dealing With Texture. JohnWiley & Sons, Ltd., 2006.

[39] Mihran Tuceryan and Anil K. Jain. Texture analysis. In C. H. Chen, L. F. Pau, and P. S. P.Wang, editors, Handbook of Pattern Recognition & Computer Vision, chapter 2.1, pages235–276. World Scientific Publishing Co., 1993.

[40] Manish H. Bharati, J. Jay Liu, and John F. MacGregor. Image texture analysis: meth-ods and comparisons. Chemometrics and Intelligent Laboratory Systems, 72(1):57–71,2004.

[41] Xianghua Xie. A review of recent advances in surface defect detection using textureanalysis techniques. Electronic Letters on Computer Vision and Image Analysis, 7(3):1–22, 2008.

[42] Jae-Kwan Kim, Youngsong Cho, Donguk Kim, and Deok-Soo Kim. Voronoi diagrams,quasi-triangulations, and beta-complexes for disks in R2: the theory and implementationin BetaConcept. Journal of Computational Design and Engineering, 1:79–87, April2014.

[43] Mihran Tüceryan and Anil K. Jain. Texture segmentation using Voronoi polygons. IEEE

Transactions on Pattern Analysis and Machine Intelligence, 12(2):211–216, February1990.

[44] Kemal Ihsan Kilic and Rahib Hidayat Abiyev. Exploiting the synergy between frac-tal dimension and lacunarity for improved texture recognition. Signal Processing,91(10):2332–2344, 2011.

[45] Scott Blunsden. Texture Classification Using Non-Parametric Markov Random Fields.Master’s thesis, University of Edinburgh, 2004. Link: http://www.inf.ed.ac.uk/

publications/thesis/online/IM040154.pdf, posljednji put pristupljeno: 9. ožujka2015.

[46] Andrzej Materka and Michal Strzelecki. Texture analysis methods – a review. COSTB11 report, Technical University of Lodz, Institute of Electronics, 1998. Brussels.

105

[47] Sven Loncaric. A survey of shape analysis techniques. Pattern Recognition, 31(8):983–1001, August 1998.

[48] Dengsheng Zhang and Guojun Lu. Review of shape representation and description tech-niques. Pattern Recognition, 37(1):1–19, January 2004.

[49] Theodosios Pavlidis. Algorithms for shape analysis of contours and waveforms. IEEE

Transactions on Pattern Analysis and Machine Intelligence, PAMI-2(4):301–312, July1980.

[50] Babu M. Mehtre, Mohan S. Kankanhalli, and Wing Foon Lee. Shape measures forcontent based image retrieval: A comparison. Information Processing & Management,33(3):319–337, 1997.

[51] Tinne Tuytelaars and Krystian Mikolajczyk. Local invariant feature detectors: a survey.Foundations and Trends R©in Computer Graphics and Vision, 3(3):177–280, July 2008.

[52] Jianbo Shi and Carlo Tomasi. Good features to track. In 1994 IEEE Conference on

Computer Vision and Pattern Recognition (CVPR’94), pages 593–600, 1994.

[53] Clemens Arth, Christian Leistner, and Horst Bischof. Robust local features and theirapplication in self-calibration and object recognition on embedded systems. In IEEE

Conference on Computer Vision and Pattern Recognition, pages 1–8, 2007.

[54] David G. Lowe. Distinctive image features from scale-invariant keypoints. International

Journal of Computer Vision, 60(2):91–110, November 2004.

[55] Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van Gool. Speeded-up robustfeatures (SURF). Computer Vision and Image Understanding, 110(3):346–359, June2008.

[56] Peter Corke. Robotics, Vision and Control - Fundamental Algorithms in MATLAB R©,volume 73 of Springer Tracts in Advanced Robotics. Springer, 2011.

[57] Chris Harris and Mike Stephens. A combined corner and edge detector. In Proceedings

of the 4th Alvey Vision Conference, pages 147–151, 1988.

[58] Andrea Kovacs and Tamas Sziranyi. Shape detection of structural changes in long time-span aerial image samples by new saliency methods. In ISPRS Istanbul Workshop 2010

on Modeling of Optical Airborne and Spaceborne Sensors, October 2010.

[59] Krystian Mikolajczyk and Cordelia Schmid. Scale and affine invariant interest pointdetectors. International Journal of Computer Vision, 60(1):63–86, 2004.

106

[60] Tony Lindeberg. Feature detection with automatic scale selection. International Journal

of Computer Vision, 30(2):79–116, November 1998.

[61] Rafael C. Gonzalez and Richard E. Woods. Digital Image Processing. Prentice-Hall,Inc., 2nd edition, 2001.

[62] Gary Bradski and Adrian Kaehler. Learning OpenCV - Computer Vision with the

OpenCV Library. O’Reilly Media, Inc., 1st edition, 2008.

[63] Krystian Mikolajczyk and Cordelia Schmid. An affine invariant interest point detector.In 7th European Conference on Computer Vision, ECCV ’02, pages 128–142, 2002.

[64] Soo-Chang Pei and Ji-Hwei Horng. Design of FIR bilevel Laplacian-of-Gaussian filter.Signal Processing, 82(4):677–691, April 2002.

[65] Guoshen Yu and Jean-Michel Morel. A fully affine invariant image comparison method.2009 IEEE International Conference on Acoustics, Speech, and Signal Processing, pages1597–1600, 2009.

[66] Zheshen Wang and Baoxin Li. A two-stage approach to saliency detection in images.In IEEE International Conference on Acoustics, Speech and Signal Processing, ICASSP2008, pages 965–968, April 2008.

[67] Timor Kadir and Michael Brady. Saliency, scale and image description. International

Journal of Computer Vision, 45(2):83–105, November 2001.

[68] Stephen M. Smith and J. Michael Brady. SUSAN - a new approach to low level imageprocessing. Technical report TR95SMS1c, Defence Research Agency, Farnborough,Hampshire, UK, 1995.

[69] Stephen M. Smith and J. Michael Brady. SUSAN - a new approach to low level imageprocessing. International Journal of Computer Vision, 23(1):45–78, May 1997.

[70] Dimitri A. Lisin, Marwan A. Mattar, Matthew B. Blaschko, Mark C. Benfield, andErik G. Learned-Miller. Combining local and global image features for object classrecognition. In Proceedings of the 2005 IEEE Computer Society Conference on Com-

puter Vision and Pattern Recognition (CVPR’05) - Workshops, CVPR ’05, Washington,DC, USA, June 2005. IEEE Computer Society.

[71] Chad Carson, Serge Belongie, Hayit Greenspan, and Jitendra Malik. Blobworld: Im-age segmentation using expectation-maximization and its application to image querying.IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(8):1026–1038, Au-gust 2002.

107

[72] Li Fei-Fei and Pietro Perona. A Bayesian hierarchical model for learning natural scenecategories. In Proceedings of the 2005 IEEE Computer Society Conference on Computer

Vision and Pattern Recognition, CVPR ’05, pages 524–531, Washington, DC, USA,2005. IEEE Computer Society.

[73] Svetlana Lazebnik, Cordelia Schmid, and Jean Ponce. Beyond bags of features: Spa-tial pyramid matching for recognizing natural scene categories. In Proceedings of the

2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition

- Volume 2, CVPR ’06, pages 2169–2178, 2006.

[74] Tinne Tuytelaars. Dense interest points. In IEEE Conference on Computer Vision and

Pattern Recognition, pages 2281–2288, 2010.

[75] Raphaël Marée, Pierre Geurts, Justus Piater, and Louis Wehenkel. Random subwindowsfor robust image classification. In International Conference on Computer Vision and

Pattern Recognition (CVPR), pages 34–40, 2005.

[76] Eric Nowak, Frédéric Jurie, and Bill Triggs. Sampling strategies for bag-of-featuresimage classification. In European Conference on Computer Vision, ECCV ’06, pages490–503. Springer, May 2006.

[77] Marko Subašic, Sven Loncaric, and Adam Hedi. Segmentation and labeling of faceimages for electronic documents. Expert Systems with Applications, 39:5134–5143,2012.

[78] Huanhuan Cheng and Runsheng Wang. Semantic modeling of natural scenes based oncontextual Bayesian networks. Pattern Recognition, 43:4042–4054, 2010.

[79] A. Bolovinou, I. Pratikakis, and S. Perantonis. Bag of spatio-visual words for contextinference in scene classification. Pattern Recognition, 46:1039–1053, 2013.

[80] FESB Mediterranian Landscape Image Dataset (FESB MLID), 2014. Link: http://

wildfire.fesb.hr/.

[81] Marin Bugaric, Toni Jakovcevic, and Darko Stipanicev. Adaptive estimation of visualsmoke detection parameters based on spatial data and fire risk index. Computer Vision

and Image Understanding, 118:184–196, 2014.

[82] Toni Jakovcevic and Damir Krstinic. Image and video databases, 2014. Link: http:

//wildfire.fesb.hr/, last visited: 30.09.2014.

[83] Toni Jakovcevic. Detekcija dima požara raslinja analizom slike dobivene u vidljivom

dijelu spektra. PhD thesis, Sveucilište u Splitu, Fakultet elektrotehnike, strojarstva ibrodogradnje, 2011.

108

[84] Jose M. Chaves-González, Miguel A. Vega-Rodríguez, Juan A. Gómez-Pulido, andJuan M. Sánchez-Pérez. Detecting skin in face recognition systems: A colour spacesstudy. Digital Signal Processing, 20:806–823, 2010.

[85] J.J. de Dios and N. García. Face detection based on a new color space YCgCr. InInternational Conference on Image Processing, pages III–909–III–912, 2003.

[86] Yu-Chen Wang, Chin-Chuan Han, Chen-Ta Hsieh, and Kuo-Chin Fan. Vehiclecolor classification using manifold learning methods from urban surveillance videos.EURASIP Journal on Image and Video Processing, 48, 2014.

[87] Joan Martí, Jordi Freixenet, Joan Batlle, and Alícia Casals. A new approach to out-door scene description based on learning and top-down segmentation. Image and Vision

Computing, 19:1041–1055, 2001.

[88] V. Burak Celen and M. Fatih Demirci. Fire detection in different color models. In Pro-

ceedings of the 2012 International Conference on Image Processing, Computer Vision,

& Pattern Recognition, 2012. Link: http://worldcomp-proceedings.com/proc/

p2012/IPC8008.pdf, posljednji put pristupljeno: 1. rujna 2014.

[89] Robert Hecht-Nielsen. Cogent confabulation. Neural Networks, 18:111–115, 2005.

[90] Y.-I. Ohta, T. Kanade, and T. Sakai. Color information for region segmentation. Com-

puter Graphics and Image Processing, 13:222–241, 1980.

[91] Open Source Computer Vision (OpenCV). Link: http://opencv.org/, posljednji putpristupljeno: 3. rujna 2014.

[92] Miscellaneous Image Transformations. Link: http://docs.opencv.org/modules/

imgproc/doc/miscellaneous_transformations.html, posljednji put pristupljeno:27. kolovoza 2015.

[93] M. Tkalcic and J.F. Tasic. Colour spaces - perceptual, historical and applicational back-ground. In In proceeding of: EUROCON 2003. Computer as a Tool. The IEEE Region

8, volume 1, pages 304–308, 2003.

[94] Ignazio Pillai, Giorgio Fumera, and Fabio Roli. Threshold optimisation for multi-labelclassifiers. Pattern Recognition, 46(7):2055–2065, July 2013.

[95] Jesse Davis and Mark Goadrich. The Relationship Between Precision-Recall and ROCCurves. In Appearing in Proceedings of the 23rd International Conference on Ma-

chine Learning, Pittsburgh, PA, 2006. Link: http://machinelearning.wustl.edu/mlpapers/paper_files/icml2006_DavisG06.pdf, posljednji put pristupljeno: 9. si-jecnja 2015.

109

[96] Marina Sokolova, Nathalie Japkowicz, and Stan Szpakowicz. Beyond Accuracy, F-score and ROC: a Family of Discriminant Measures for Performance Evaluation.In Australian conference on artificial intelligence, volume 4304, pages 1015–1021,2006. LNCS, Germany. Link: http://aaaipress.org/Papers/Workshops/2006/

WS-06-06/WS06-06-006.pdf, posljednji put pristupljeno: 17. rujna 2014.

[97] W.T. Freeman, K. Tanaka, J. Ohta, and K. Kyuma. Computer vision for computer games.TR96-35, Mitsubishi Electric Research Laboratories, October 1996. Link: http://

www.merl.com/publications/docs/TR96-35.pdf, posljednji put pristupljeno: 13.veljace 2015.

[98] Navneet Dalal and Bill Triggs. Histograms of Oriented Gradients for Human Detection.In IEEE Computer Society Conference on Computer Vision and Pattern Recognition

(CVPR 2005), pages 886–893, 2005. Link: http://lear.inrialpes.fr/people/

triggs/pubs/Dalal-cvpr05.pdf, posljednji put pristupljeno: 30. sijecnja 2015.

[99] Canny Edge Detection. Link: http://docs.opencv.org/trunk/doc/py_

tutorials/py_imgproc/py_canny/py_canny.html, posljednji put pristupljeno: 22.sijecnja 2015.

[100] John Canny. A Computational Approach to Edge Detection. IEEE Transactions on

Pattern Analysis and Machine Intelligence, PAMI-8:679–698, 1986.

[101] Sobel Derivatives. Link: http://docs.opencv.org/doc/tutorials/imgproc/

imgtrans/sobel_derivatives/sobel_derivatives.html, posljednji put pristu-pljeno: 22. sijecnja 2015.

[102] Operations on Arrays. Link: http://docs.opencv.org/modules/core/doc/

operations_on_arrays.html#norm, posljednji put pristupljeno: 9. sijecnja 2015.

[103] Feature Detection. Link: http://docs.opencv.org/modules/imgproc/doc/

feature_detection.html, posljednji put pristupljeno: 11. veljace 2015.

[104] Yoav Freund and Robert E. Schapire. A Decision-Theoretic Generalization of On-LineLearning and an Application to Boosting. Journal of Computer and System Sciences,55:119–139, August 1997.

[105] Darko Stipanicev, Ljiljana Šeric, Maja Braovic, Damir Krstinic, Toni Jakovcevic, MajaŠtula, Marin Bugaric, and Josip Maras. Vision based wildfire and natural risk observers.In 2012 3rd International Conference on Image processing Theory, Tools and Applica-

tions (IPTA), pages 37–42, 2012.

110

[106] Zhengguang Xu and Jialin Xu. Automatic fire smoke detection based on image visualfeatures. In International Conference on Computational Intelligence and Security Work-

shops, pages 316–319, 2007.

[107] B. Ugur Toreyin, Yigithan Dedeoglu, and A. Enis Cetin. Contour based smoke detectionin video using wavelets. In 14th European Signal Processing Conference (EUSIPCO

2006), 2006.

[108] Damir Krstinic, Darko Stipanicev, and Toni Jakovcevic. Histogram-based smoke seg-mentation in forest fire detection system. Information Technology and Control, 38:237–244, 2009.

[109] Jerome Vicente and Philippe Guillemant. An image processing technique for automat-ically detecting forest fire. International Journal of Thermal Sciences, 41:1113–1120,2002.

[110] Y. Hakan Habiboglu, Osman Gunay, and A. Enis Cetin. Real-time wildfire detection us-ing correlation descriptors. In 19th European Signal Processing Conference (EUSIPCO

2011), pages 894–898, 2011.

[111] Turgay Çelik, Hüseyin Özkaramanh, and Hasan Demirel. Fire and smoke detectionwithout sensors: Image processing based approach. In 15th European Signal Processing

Conference (EUSIPCO 2007), pages 1794–1798, 2007.

[112] Thou-Ho (Chao-Ho) Chen, Yen-Hui Yin, Shi-Feng Huang, and Yan-Ting Ye. The smokedetection for early fire-alarming system base on video processing. In Proceedings of the

2006 International Conference on Intelligent Information Hiding and Multimedia Signal

Processing (IIH-MSP’06), 2006.

[113] Simone Calderara, Paolo Piccinini, and Rita Cucchiara. Vision based smoke detectionsystem using image energy and color information. Machine Vision and Applications,22:705–719, 2011.

111

Prilog A

U ovome su prilogu dane matrice konfuzije koje sadrže informacije o preciznosti i odzivuklasifikacije o kojoj je bilo govora u podpoglavlju 5.2. Ove su matrice detaljnije objašnjene upodpoglavlju 5.3 u kojemu je dana i njihova vizualna reprezentacija. Brojevi u prvome retku iprvome stupcu svake matrice oznacavaju naziv klase na slijedeci nacin:

1. dim,

2. oblaci i magla,

3. sunce i svjetlosni efekti,

4. nebo,

5. more,

6. udaljeni krajolik,

7. kamen,

8. udaljena vegetacija,

9. bliska vegetacija,

10. nisko raslinje i poljoprivredne površine,

11. gradevine i umjetni objekti.

Imena klasa preuzeta su iz [83].

Tablica A.1: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u RGB prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 10.22 6.60 0.54 5.75 7.03 8.99 11.16 1.62 0.45 2.18 0.01 0.002 21.73 38.59 14.16 29.83 3.42 6.67 12.73 0.31 0.01 0.94 0.00 0.003 0.64 6.48 79.14 3.83 0.40 0.76 0.71 0.76 0.44 0.49 2.33 0.004 7.45 19.40 4.35 38.72 3.84 12.81 2.35 0.05 0.00 0.00 0.00 0.005 3.98 3.36 0.18 2.01 6.15 4.15 5.31 3.73 0.77 3.29 0.00 0.006 18.13 12.53 0.43 13.95 16.39 17.58 11.85 6.92 2.21 3.56 0.26 0.007 18.83 6.88 0.27 4.63 20.50 23.30 18.84 9.31 1.07 3.16 1.27 0.008 8.20 0.83 0.01 0.44 29.06 5.92 21.03 41.87 28.34 27.39 3.08 0.009 1.80 0.97 0.07 0.03 2.98 9.71 5.53 18.89 47.51 24.85 30.32 0.00

10 2.08 1.59 0.09 0.01 4.38 7.43 3.69 10.34 14.61 28.52 47.46 0.0011 6.93 2.77 0.76 0.79 5.86 2.69 6.81 6.19 4.58 5.62 15.27 0.00

112

Tablica A.2: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u CIE-XYZ prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 10.75 7.37 0.46 5.47 7.95 7.96 9.64 1.44 0.45 2.07 0.01 0.002 19.81 38.32 13.58 33.28 4.01 7.89 12.08 0.18 0.01 0.89 0.00 0.003 0.93 9.34 80.46 4.49 0.45 0.63 1.07 0.79 0.47 0.47 1.27 0.004 8.36 19.46 4.37 31.41 3.68 12.16 1.29 0.57 0.00 0.02 1.57 0.005 3.85 3.37 0.11 2.46 5.78 5.44 4.46 3.58 0.77 3.70 0.00 0.006 19.24 11.55 0.40 14.31 15.30 16.03 9.09 5.48 2.11 5.55 0.04 0.007 19.86 5.98 0.15 6.25 18.70 22.73 15.61 8.51 1.25 5.85 0.42 0.008 6.89 0.51 0.01 0.71 28.29 8.24 20.85 38.99 28.36 30.93 0.74 0.009 1.63 0.64 0.01 0.11 4.01 9.14 8.83 20.69 47.64 21.25 18.75 0.00

10 2.22 0.91 0.01 0.13 5.39 5.39 9.21 13.85 14.41 23.81 32.37 0.0011 6.45 2.55 0.44 1.38 6.44 4.38 7.87 5.93 4.53 5.46 44.83 0.00

Tablica A.3: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u Ohta prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 11.86 5.51 0.81 5.64 7.62 7.22 9.40 1.59 0.49 2.57 6.53 0.002 17.69 48.96 12.24 15.36 5.27 8.81 12.47 0.78 0.01 0.21 5.53 0.003 0.87 11.98 78.56 5.24 0.64 0.81 0.76 0.60 0.45 0.56 0.79 0.004 17.43 14.88 0.88 36.78 7.15 6.39 3.04 0.00 0.00 0.39 2.21 0.005 3.03 3.19 0.31 1.59 8.06 2.54 6.88 1.81 1.18 2.86 3.45 0.006 16.19 8.52 1.37 13.25 7.26 24.79 16.86 3.35 2.34 6.49 8.63 0.007 13.59 3.99 0.16 7.54 11.28 25.08 25.40 3.37 1.16 7.61 8.96 0.008 8.81 1.30 4.01 2.40 28.76 7.60 11.73 44.84 28.25 20.21 35.91 0.009 3.09 0.05 1.05 3.86 6.33 7.28 3.13 25.96 48.58 26.45 5.68 0.00

10 3.37 0.09 0.15 4.55 12.33 5.77 3.40 9.86 13.83 28.29 6.40 100.0011 4.08 1.52 0.46 3.78 5.29 3.70 6.93 7.84 3.72 4.38 15.91 0.00

Tablica A.4: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u HSV prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 14.81 8.17 0.62 7.09 6.81 6.15 8.02 2.29 1.85 0.82 2.18 0.002 17.90 50.68 12.38 22.90 9.33 9.69 11.78 0.86 0.05 0.46 8.04 0.003 1.68 8.50 73.17 3.66 0.46 0.44 1.15 0.53 0.54 0.72 2.71 0.004 5.14 9.84 6.14 46.38 6.06 4.09 3.77 0.10 0.00 0.01 0.43 0.005 5.57 4.46 0.20 2.03 11.39 3.29 6.58 3.23 0.03 0.07 2.09 0.006 12.84 9.22 1.21 12.13 12.56 31.40 15.40 5.36 0.38 1.08 8.15 0.007 18.35 4.36 0.36 4.85 15.78 26.19 27.71 2.77 0.51 2.15 10.02 0.008 11.26 2.85 3.60 0.50 32.27 13.38 10.31 54.66 18.09 14.64 29.30 0.009 4.07 0.08 1.07 0.04 0.69 0.53 3.07 17.85 61.66 30.30 9.93 0.00

10 5.31 0.29 0.32 0.04 1.59 0.99 6.64 6.74 14.29 42.81 8.58 0.0011 3.05 1.56 0.93 0.38 3.08 3.83 5.57 5.61 2.61 6.91 18.58 0.00

113

Tablica A.5: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u HLS prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 9.70 8.46 0.60 6.82 8.90 6.87 7.97 2.80 1.76 0.71 2.12 0.002 24.90 52.60 13.04 21.14 7.84 15.56 11.01 0.95 0.04 0.43 7.83 0.003 3.19 7.13 73.35 3.92 0.45 0.43 0.74 0.53 0.54 0.72 1.93 0.004 6.86 6.93 5.59 46.76 7.52 4.52 1.75 0.10 0.00 0.12 0.84 0.005 6.35 4.48 0.20 1.83 11.03 4.09 5.94 2.45 0.03 0.06 1.98 0.006 12.35 11.32 1.20 11.77 11.90 30.17 16.99 4.01 0.22 1.10 11.98 0.007 18.11 3.43 0.33 6.80 15.24 18.86 30.54 3.27 0.49 2.16 10.50 0.008 6.47 2.68 3.37 0.46 31.86 13.57 14.91 54.00 17.59 14.77 28.35 0.009 3.08 0.19 1.08 0.03 0.94 0.25 2.40 18.67 61.59 30.24 9.04 0.00

10 4.63 1.01 0.28 0.03 1.07 1.08 3.47 7.33 15.35 42.54 7.91 0.0011 4.36 1.76 0.97 0.43 3.24 4.59 4.29 5.89 2.40 7.16 17.52 0.00

Tablica A.6: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u CIE L*a*b* prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 11.31 6.91 0.90 9.90 4.95 8.24 7.12 1.88 0.96 1.85 1.39 0.002 18.56 46.82 12.80 14.73 2.58 9.86 12.97 0.95 0.10 0.23 6.70 0.003 1.11 8.51 82.13 5.26 0.42 1.42 0.44 0.90 0.49 1.55 1.91 0.004 8.97 12.48 0.93 49.24 8.78 5.39 6.18 0.00 0.00 0.00 0.35 0.005 6.05 4.85 0.22 1.84 10.25 3.69 3.37 3.99 0.02 0.10 2.36 0.006 12.68 10.38 0.46 8.16 9.98 29.15 17.36 5.46 0.12 0.94 12.15 0.007 15.42 5.16 0.36 8.29 18.17 27.58 17.75 3.32 0.41 2.54 8.92 0.008 15.48 3.27 0.53 1.93 39.38 10.04 21.54 54.99 19.34 14.18 24.64 0.009 4.54 0.04 0.81 0.04 0.98 0.37 2.96 17.90 60.43 26.61 12.99 0.00

10 2.19 0.16 0.13 0.08 1.60 0.90 1.71 4.82 15.71 45.75 8.27 0.0011 3.69 1.43 0.75 0.52 2.92 3.37 8.60 5.79 2.43 6.25 20.32 100.00

Tablica A.7: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u CIE L*u*v* prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 9.08 6.12 1.10 9.43 8.07 8.39 7.06 1.40 1.24 1.90 3.82 0.002 19.29 48.13 12.74 14.46 3.91 10.18 10.89 0.87 0.37 1.16 13.65 0.003 1.59 9.31 78.71 2.42 0.42 0.45 0.72 0.51 0.55 1.59 5.71 0.004 6.08 14.32 0.96 52.65 9.36 6.20 2.22 0.00 0.00 0.00 1.27 0.005 4.01 3.82 0.40 1.54 11.50 3.93 5.29 3.53 0.04 0.22 4.13 0.006 17.81 10.25 0.91 8.73 13.38 28.44 17.76 6.60 0.42 0.88 7.60 0.007 13.77 4.23 0.45 8.97 16.21 27.91 22.53 2.57 0.66 3.06 11.99 0.008 17.60 2.38 2.85 1.34 31.83 10.76 22.75 50.81 21.20 13.62 20.23 0.009 1.21 0.04 0.79 0.03 0.43 0.29 2.55 18.83 57.40 33.18 6.22 0.00

10 1.37 0.17 0.26 0.06 1.16 0.93 2.18 8.11 14.04 38.74 7.68 100.0011 8.18 1.22 0.81 0.38 3.72 2.52 6.05 6.77 4.07 5.66 17.70 0.00

114

Tablica A.8: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u YCgCr prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 10.07 5.53 1.04 10.07 8.80 9.18 6.19 2.08 1.37 0.44 3.20 0.002 15.75 51.28 13.40 9.96 5.03 9.17 11.86 1.42 0.07 0.48 14.68 0.003 1.04 6.31 82.27 2.84 0.34 0.77 0.41 0.45 0.65 0.92 10.39 0.004 14.63 13.16 0.73 54.51 6.18 7.74 3.48 0.00 0.00 0.00 1.31 0.005 2.79 3.06 0.34 1.72 10.40 4.90 5.09 3.25 0.45 0.40 1.94 0.006 15.89 11.15 0.68 5.79 7.96 25.00 20.87 7.16 0.65 2.45 12.44 0.007 11.65 4.19 0.33 12.59 17.75 24.54 18.21 3.57 1.09 3.09 10.37 0.008 18.29 3.43 0.34 1.95 27.83 12.84 14.07 48.80 23.06 17.18 12.98 0.009 4.96 0.30 0.13 0.11 3.46 1.43 11.42 21.61 57.03 29.69 6.28 0.00

10 2.71 0.25 0.06 0.14 9.83 2.72 4.94 6.80 10.42 37.94 8.97 0.0011 2.22 1.32 0.68 0.32 2.41 1.71 3.46 4.86 5.22 7.41 17.43 0.00

Tablica A.9: Matrica konfuzije koja prikazuje vrijednosti preciznosti za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u YCbCr prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 8.49 6.30 0.85 8.54 8.37 8.33 8.19 1.22 0.73 2.24 4.95 0.002 18.58 47.74 13.20 14.33 3.76 9.64 11.13 0.93 0.10 1.25 15.80 0.003 1.91 7.02 82.63 2.43 0.44 0.43 0.72 0.45 0.56 1.42 5.45 0.004 5.88 14.80 1.00 53.76 9.38 6.44 1.73 0.00 0.00 0.00 0.87 86.765 4.51 3.73 0.33 1.48 11.70 4.09 5.11 3.68 0.03 0.21 2.71 0.006 22.27 11.35 0.52 9.43 11.85 27.82 16.43 6.64 0.22 0.95 7.12 0.007 9.09 4.30 0.38 8.24 14.43 28.55 23.77 2.83 0.65 3.11 13.48 0.008 19.52 3.21 0.28 1.32 34.06 11.14 21.74 51.32 19.54 14.49 18.33 0.009 0.86 0.04 0.05 0.03 0.79 0.38 1.97 17.81 59.02 34.63 5.64 0.0010 1.44 0.14 0.12 0.05 1.15 0.92 3.09 8.47 14.89 35.92 7.45 13.2411 7.45 1.36 0.63 0.40 4.06 2.26 6.12 6.65 4.25 5.77 18.21 0.00

Tablica A.10: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u RGB prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 25.75 13.99 1.35 10.84 16.70 6.89 13.59 2.72 2.09 6.07 0.00 0.002 21.03 31.43 13.67 21.60 3.12 1.96 5.95 0.20 0.02 1.01 0.00 0.003 0.70 6.01 86.91 3.15 0.41 0.25 0.38 0.56 0.91 0.60 0.12 0.004 11.32 24.83 6.60 44.05 5.50 5.93 1.73 0.05 0.00 0.00 0.00 0.005 15.49 11.03 0.68 5.87 22.57 4.91 9.99 9.68 5.60 14.16 0.00 0.006 23.02 13.40 0.54 13.25 19.62 6.79 7.27 5.87 5.22 5.00 0.02 0.007 24.90 7.65 0.36 4.58 25.55 9.38 12.04 8.21 2.64 4.62 0.08 0.008 5.14 0.44 0.01 0.21 17.16 1.13 6.37 17.50 33.00 18.97 0.09 0.009 1.28 0.58 0.05 0.02 1.99 2.10 1.90 8.94 62.64 19.49 1.03 0.0010 2.61 1.68 0.12 0.01 5.19 2.84 2.24 8.67 34.14 39.65 2.85 0.0011 17.39 5.85 1.91 1.49 13.87 2.05 8.27 10.37 21.36 15.60 1.83 0.00

115

Tablica A.11: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u CIE-XYZ prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 26.31 10.46 1.10 15.08 18.80 6.21 11.24 1.72 2.13 6.93 0.00 0.002 18.63 20.91 12.53 35.27 3.64 2.37 5.41 0.08 0.02 1.14 0.00 0.003 0.99 5.80 84.47 5.42 0.47 0.21 0.55 0.41 0.99 0.68 0.02 0.004 12.35 16.68 6.33 52.28 5.25 5.73 0.91 0.41 0.00 0.04 0.03 0.005 14.57 7.40 0.41 10.47 21.12 6.57 8.03 6.62 5.68 19.11 0.00 0.006 23.74 8.27 0.48 19.90 18.24 6.31 5.34 3.30 5.05 9.36 0.00 0.007 25.52 4.46 0.19 9.04 23.21 9.31 9.56 5.33 3.12 10.25 0.01 0.008 4.20 0.18 0.00 0.49 16.63 1.60 6.05 11.59 33.57 25.70 0.01 0.009 1.13 0.25 0.01 0.09 2.67 2.01 2.90 6.96 63.83 20.00 0.16 0.0010 2.71 0.65 0.02 0.17 6.36 2.10 5.36 8.26 34.21 39.70 0.48 0.0011 15.74 3.61 1.05 3.80 15.16 3.41 9.15 7.06 21.50 18.19 1.33 0.00

Tablica A.12: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u Ohta prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 11.51 14.63 1.83 11.34 13.59 14.54 16.02 4.00 1.79 6.18 4.57 0.002 6.60 49.93 10.56 11.87 3.62 6.81 8.17 0.75 0.01 0.20 1.49 0.003 0.37 13.90 77.14 4.61 0.50 0.72 0.56 0.65 0.72 0.58 0.24 0.004 10.21 23.84 1.19 44.66 7.70 7.76 3.13 0.00 0.00 0.56 0.93 0.005 4.55 13.08 1.06 4.95 22.24 7.90 18.14 7.03 6.67 10.67 3.73 0.006 7.92 11.40 1.55 13.44 6.53 25.16 14.50 4.24 4.32 7.89 3.04 0.007 6.92 5.56 0.19 7.96 10.57 26.50 22.73 4.44 2.22 9.62 3.29 0.008 2.13 0.86 2.24 1.20 12.76 3.80 4.97 27.98 25.70 12.11 6.24 0.009 0.85 0.04 0.67 2.19 3.18 4.13 1.50 18.34 50.05 17.95 1.12 0.00

10 1.63 0.12 0.17 4.57 10.98 5.80 2.90 12.34 25.26 34.01 2.23 0.0011 3.95 4.03 1.03 7.58 9.41 7.43 11.78 19.61 13.56 10.51 11.09 0.00

Tablica A.13: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u HSV prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 14.80 14.46 1.63 15.69 9.90 12.64 13.23 5.90 6.27 1.90 3.58 0.002 6.87 34.49 12.43 19.47 5.21 7.65 7.47 0.85 0.07 0.41 5.08 0.003 0.74 6.58 83.56 3.54 0.29 0.40 0.83 0.60 0.80 0.73 1.94 0.004 3.10 10.51 9.68 61.96 5.32 5.08 3.75 0.15 0.00 0.02 0.42 0.005 8.61 12.22 0.79 6.95 25.62 10.46 16.79 12.86 0.14 0.26 5.30 0.006 6.47 8.24 1.59 13.53 9.21 32.53 12.82 6.97 0.65 1.25 6.75 0.007 9.63 4.05 0.50 5.63 12.04 28.24 24.01 3.74 0.91 2.60 8.64 0.008 2.80 1.25 2.34 0.28 11.67 6.84 4.23 35.01 15.24 8.38 11.96 0.009 1.14 0.04 0.78 0.03 0.28 0.31 1.43 12.95 58.81 19.64 4.59 0.00

10 2.65 0.26 0.41 0.04 1.15 1.02 5.46 8.67 24.15 49.16 7.03 0.0011 3.04 2.76 2.42 0.85 4.46 7.84 9.16 14.41 8.81 15.86 30.41 0.00

116

Tablica A.14: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u HLS prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 10.44 11.53 1.60 15.72 15.16 12.32 15.21 6.96 6.01 1.66 3.40 0.002 10.30 27.52 13.37 18.73 5.12 10.72 8.07 0.91 0.05 0.38 4.83 0.003 1.50 4.24 85.54 3.95 0.34 0.34 0.62 0.58 0.81 0.74 1.36 0.004 4.46 5.69 9.01 65.07 7.73 4.89 2.02 0.16 0.00 0.17 0.82 0.005 10.58 9.44 0.83 6.53 29.04 11.33 17.54 9.44 0.13 0.22 4.91 0.006 6.70 7.77 1.62 13.68 10.21 27.27 16.36 5.02 0.38 1.30 9.69 0.007 10.23 2.45 0.47 8.23 13.62 17.75 30.61 4.27 0.87 2.66 8.84 0.008 1.73 0.91 2.23 0.27 13.48 6.05 7.08 33.40 14.94 8.59 11.31 0.009 0.93 0.07 0.81 0.02 0.45 0.13 1.29 13.08 59.21 19.92 4.08 0.00

10 2.49 0.68 0.37 0.03 0.91 0.97 3.30 9.10 26.15 49.68 6.33 0.0011 4.68 2.39 2.57 1.00 5.50 8.20 8.16 14.61 8.16 16.70 28.03 0.00

Tablica A.15: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u CIE L*a*b* prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 10.58 19.56 1.96 17.15 7.60 20.85 8.09 4.15 3.48 4.47 2.10 0.002 6.67 50.96 10.74 9.80 1.52 9.58 5.66 0.81 0.14 0.21 3.89 0.003 0.46 10.53 78.40 3.98 0.28 1.57 0.22 0.88 0.78 1.64 1.27 0.004 5.07 21.33 1.22 51.47 8.13 8.23 4.24 0.00 0.00 0.00 0.32 0.005 8.76 21.24 0.73 4.93 24.32 14.44 5.93 13.65 0.11 0.37 5.53 0.006 5.98 14.82 0.50 7.13 7.72 37.19 9.94 6.09 0.21 1.14 9.27 0.007 7.57 7.68 0.41 7.54 14.63 36.64 10.58 3.86 0.78 3.22 7.09 0.008 3.60 2.30 0.29 0.83 15.03 6.32 6.08 30.27 17.48 8.52 9.27 0.009 1.20 0.03 0.50 0.02 0.42 0.26 0.95 11.15 61.83 18.10 5.54 0.00

10 1.02 0.22 0.15 0.07 1.22 1.14 0.97 5.32 28.48 55.16 6.25 0.0011 3.44 4.05 1.63 0.89 4.46 8.49 9.74 12.77 8.80 15.06 30.66 0.00

Tablica A.16: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u CIE L*u*v* prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 5.79 15.93 2.54 16.02 11.55 20.07 10.07 3.80 4.16 5.56 4.51 0.002 4.72 48.14 11.33 9.43 2.15 9.36 5.97 0.91 0.47 1.31 6.20 0.003 0.44 10.59 79.59 1.80 0.26 0.47 0.45 0.60 0.81 2.03 2.95 0.004 2.34 22.50 1.34 53.96 8.10 8.95 1.91 0.00 0.00 0.00 0.91 0.005 3.95 15.40 1.44 4.04 25.47 14.54 11.65 14.77 0.21 0.98 7.55 0.006 5.72 13.46 1.07 7.47 9.66 34.32 12.76 8.99 0.72 1.30 4.53 0.007 4.60 5.78 0.55 7.99 12.19 35.06 16.86 3.65 1.16 4.71 7.44 0.008 2.79 1.54 1.64 0.56 11.34 6.40 8.06 34.16 17.64 9.92 5.95 0.009 0.22 0.03 0.51 0.01 0.17 0.20 1.02 14.33 54.06 27.36 2.07 0.00

10 0.44 0.22 0.30 0.05 0.83 1.11 1.55 10.94 23.43 56.61 4.53 0.0011 5.19 3.16 1.88 0.65 5.32 6.02 8.60 18.24 13.56 16.52 20.86 0.00

117

Tablica A.17: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u YCgCr prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 5.46 13.90 2.28 16.10 15.71 21.58 7.76 6.10 4.19 1.16 5.76 0.002 3.28 49.51 11.30 6.12 3.45 8.29 5.71 1.60 0.08 0.49 10.16 0.003 0.25 6.93 78.89 1.98 0.27 0.79 0.22 0.57 0.87 1.06 8.18 0.004 4.78 19.96 0.97 52.58 6.66 10.99 2.64 0.00 0.00 0.00 1.43 0.005 2.34 11.91 1.16 4.26 28.72 17.82 9.87 14.74 2.13 1.64 5.41 0.006 4.34 14.13 0.75 4.66 7.17 29.64 13.20 10.58 1.00 3.25 11.29 0.007 3.31 5.53 0.38 10.56 16.64 30.29 11.98 5.49 1.75 4.26 9.80 0.008 2.46 2.14 0.19 0.77 12.36 7.51 4.39 35.57 17.56 11.24 5.81 0.009 0.76 0.21 0.08 0.05 1.74 0.95 4.03 17.83 49.17 21.99 3.18 0.00

10 0.73 0.31 0.06 0.12 8.76 3.20 3.09 9.95 15.92 49.80 8.06 0.0011 1.20 3.32 1.50 0.51 4.28 4.01 4.33 14.20 15.95 19.42 31.30 0.00

Tablica A.18: Matrica konfuzije koja prikazuje vrijednosti odziva za jednostavnu,probabilisticku klasifikaciju slika koja je napravljena u YCbCr prostoru boja.

1 2 3 4 5 6 7 8 9 10 11 121 4.55 16.84 1.94 13.82 12.84 20.59 11.14 3.42 2.29 6.97 5.59 0.002 3.83 49.01 11.59 8.91 2.22 9.16 5.82 1.00 0.12 1.49 6.85 0.003 0.45 8.20 82.50 1.72 0.30 0.47 0.43 0.55 0.78 1.93 2.69 0.004 1.90 23.86 1.38 52.54 8.69 9.61 1.42 0.00 0.00 0.00 0.59 0.005 3.74 15.41 1.17 3.71 27.77 15.64 10.75 15.93 0.14 1.03 4.72 0.006 6.02 15.29 0.60 7.70 9.17 34.69 11.27 9.38 0.36 1.48 4.05 0.007 2.56 6.04 0.45 7.01 11.63 37.06 16.98 4.15 1.07 5.08 7.98 0.008 2.60 2.14 0.16 0.53 13.00 6.85 7.36 35.72 15.30 11.20 5.14 0.009 0.13 0.03 0.03 0.01 0.34 0.26 0.76 14.03 52.30 30.31 1.79 0.00

10 0.38 0.19 0.14 0.04 0.88 1.14 2.10 11.83 23.39 55.72 4.19 0.0011 3.98 3.61 1.44 0.65 6.22 5.56 8.30 18.55 13.35 17.87 20.47 0.00

118

Prilog B

U ovome su prilogu dane tablice koje prikazuju informacije o globalnoj klasifikaciji slike natemelju magnitude gradijenta i orijentacije gradijenta. O ovoj je klasifikaciji bilo govora u pod-podpoglavlju 6.1.1. U ovome su prilogu dane tablice B.1-B.6 koje prikazuju potpune podatkeo tocnosti (tj. o preciznosti, odzivu, F1-mjeri, F2-mjeri i F0.5-mjeri) globalne klasifikacije slikena temelju magnitude gradijenta i orijentacije gradijenta za svaku pojedinu klasu mediteran-skog krajolika (ukljucujuci i klasu nepoznato) i za svaku od mjera udaljenosti koje su pritomkorištene.

Tablica B.1: Podaci o tocnosti globalne klasifikacije slike na temelju magnitude gradijenta iprilikom korištenja L1 udaljenosti.

L1 udaljenost


Dim 71.00 68.00 69.00 68.00 71.00

Oblaci i magla 64.00 75.00 69.00 72.00 64.00

Sunce i svjetlosni efekti 74.00 72.00 73.00 72.00 74.00

Nebo 58.00 68.00 63.00 65.00 58.00

More 50.00 67.00 57.00 63.00 50.00

Udaljeni krajolik 72.00 76.00 74.00 75.00 72.00

Kamen 63.00 63.00 63.00 63.00 63.00

Udaljena vegetacija 80.00 83.00 82.00 82.00 80.00

Bliska vegetacija 64.00 68.00 66.00 68.00 64.00

Nisko raslinje i poljoprivredne površine 49.00 51.00 50.00 50.00 49.00

Gradevine i umjetni objekti 70.00 68.00 69.00 68.00 70.00

Nepoznato 100.00 100.00 100.00 100.00 100.00

119

Tablica B.2: Podaci o tocnosti globalne klasifikacije slike na temelju magnitude gradijenta iprilikom korištenja L2 udaljenosti.

L2 udaljenost


Dim 68.00 66.00 67.00 66.00 68.00

Oblaci i magla 61.00 69.00 65.00 67.00 61.00


Nebo 57.00 65.00 61.00 63.00 57.00

More 50.00 63.00 56.00 60.00 50.00


Kamen 57.00 53.00 55.00 54.00 57.00





Nepoznato 100.00 100.00 100.00 100.00 100.00

Tablica B.3: Podaci o tocnosti globalne klasifikacije slike na temelju magnitude gradijenta iprilikom korištenja L∞ udaljenosti.

L∞ udaljenost


Dim 69.00 62.00 65.00 63.00 69.00

Oblaci i magla 56.00 62.00 59.00 60.00 56.00


Nebo 55.00 61.00 58.00 60.00 55.00

More 49.00 60.00 54.00 58.00 49.00


Kamen 59.00 55.00 57.00 56.00 59.00





Nepoznato 100.00 100.00 100.00 100.00 100.00

120

Tablica B.4: Podaci o tocnosti globalne klasifikacije slike na temelju orijentacije gradijenta iprilikom korištenja L1 udaljenosti.

L1 udaljenost


Dim 82.00 76.00 79.00 77.00 82.00

Oblaci i magla 61.00 63.00 62.00 62.00 61.00


Nebo 62.00 71.00 66.00 69.00 62.00

More 49.00 60.00 54.00 58.00 49.00


Kamen 67.00 68.00 68.00 68.00 67.00





Nepoznato 100.00 100.00 100.00 100.00 100.00

Tablica B.5: Podaci o tocnosti globalne klasifikacije slike na temelju orijentacije gradijenta iprilikom korištenja L2 udaljenosti.

L2 udaljenost


Dim 72.00 66.00 69.00 67.00 72.00

Oblaci i magla 66.00 63.00 64.00 63.00 66.00


Nebo 61.00 64.00 62.00 63.00 61.00

More 48.00 56.00 52.00 54.00 48.00


Kamen 55.00 52.00 54.00 53.00 55.00





Nepoznato 100.00 100.00 100.00 100.00 100.00

121

Tablica B.6: Podaci o tocnosti globalne klasifikacije slike na temelju orijentacije gradijenta iprilikom korištenja L∞ udaljenosti.

L∞ udaljenost


Dim 69.00 62.00 65.00 63.00 69.00

Oblaci i magla 59.00 58.00 59.00 58.00 59.00


Nebo 55.00 60.00 57.00 59.00 55.00

More 40.00 51.00 45.00 48.00 40.00


Kamen 46.00 45.00 46.00 45.00 46.00





Nepoznato 100.00 100.00 100.00 100.00 100.00

122

Prilog C

U ovome su prilogu dane tablice koje prikazuju informacije vezane uz globalnu klasifikacijuslike na temelju boje (tj. pojedinih kanala boje). O ovoj je klasifikaciji bilo govora u pod-podpoglavlju 6.1.2. U ovome su prilogu dane tablice C.1-C.9 koje prikazuju prosjecne (posvim klasama mediteranskog krajolika, ukljucujuci i klasu nepoznato) podatke o tocnosti (tj.o preciznosti, odzivu, F1-mjerama, F2-mjerama i F0.5-mjerama) globalne klasifikacije slike natemelju pojedinih kanala boje. Ti su podaci izracunati za svaku od mjera udaljenosti koje su sekoristile, a koristile su se L1 udaljenost, L2 udaljenost i L∞ udaljenost. U tablicama je takoderdana i prosjecna vrijednost svih mjera za svaki pojedini kanal i mjeru udaljenosti.

Tablica C.1: Informacije o rezultatima globalne klasifikacije po boji u kanalima RGB prostoraboja.

R kanal G kanal B kanal

Mjera L1 L2 L∞ L1 L2 L∞ L1 L2 L∞

Preciznost 70.00 68.00 69.00 71.00 69.00 69.00 71.00 69.00 68.00

Odziv 69.00 69.00 68.00 70.00 70.00 67.00 72.00 70.00 66.00

F1-mjera 69.00 68.00 68.00 70.00 69.00 67.00 71.00 69.00 67.00

F2-mjera 69.00 68.00 68.00 70.00 70.00 67.00 71.00 69.00 67.00

F5-mjera 70.00 68.00 69.00 71.00 69.00 69.00 71.00 69.00 68.00

Prosjek 69.40 68.20 68.40 70.40 69.40 67.80 71.20 69.20 67.20

Tablica C.2: Informacije o rezultatima globalne klasifikacije po boji u kanalima CIE-XYZprostora boja.

CIE-X kanal CIE-Y kanal CIE-Z kanal


Preciznost 71.00 69.00 66.00 70.00 68.00 67.00 71.00 68.00 68.00

Odziv 69.00 71.00 66.00 70.00 71.00 68.00 72.00 69.00 67.00

F1-mjera 70.00 70.00 66.00 70.00 70.00 67.00 72.00 68.00 67.00

F2-mjera 70.00 70.00 66.00 70.00 70.00 67.00 72.00 69.00 67.00

F5-mjera 71.00 69.00 66.00 70.00 68.00 67.00 71.00 68.00 68.00

Prosjek 70.20 69.80 66.00 70.00 69.40 67.20 71.60 68.40 67.40

123

Tablica C.3: Informacije o rezultatima globalne klasifikacije po boji u kanalima Ohta prostoraboja.

Ohta - 1. kanal Ohta - 2. kanal Ohta - 3. kanal


Preciznost 71.00 69.00 67.00 67.00 66.00 65.00 66.00 67.00 66.00

Odziv 71.00 70.00 67.00 67.00 65.00 64.00 70.00 68.00 67.00

F1-mjera 71.00 69.00 66.00 67.00 65.00 64.00 68.00 67.00 66.00

F2-mjera 71.00 69.00 67.00 67.00 65.00 64.00 69.00 67.00 66.00

F5-mjera 71.00 69.00 67.00 67.00 66.00 65.00 66.00 67.00 66.00

Prosjek 71.00 69.20 66.80 67.00 65.40 64.40 67.80 67.20 66.20

Tablica C.4: Informacije o rezultatima globalne klasifikacije po boji u kanalima HSV prostoraboja.

H kanal S kanal V kanal


Preciznost 71.00 70.00 68.00 67.00 67.00 65.00 70.00 69.00 64.00

Odziv 72.00 70.00 69.00 68.00 68.00 64.00 68.00 70.00 64.00

F1-mjera 72.00 70.00 68.00 67.00 67.00 64.00 69.00 69.00 64.00

F2-mjera 72.00 70.00 68.00 68.00 68.00 64.00 69.00 69.00 64.00

F5-mjera 71.00 70.00 68.00 67.00 67.00 65.00 70.00 69.00 64.00

Prosjek 71.60 70.00 68.20 67.40 67.40 64.40 69.20 69.20 64.00

Tablica C.5: Informacije o rezultatima globalne klasifikacije po boji u kanalima HLS prostoraboja.

H kanal L kanal S kanal


Preciznost 71.00 71.00 68.00 71.00 69.00 67.00 67.00 66.00 65.00

Odziv 72.00 71.00 69.00 71.00 72.00 66.00 69.00 67.00 65.00

F1-mjera 72.00 71.00 68.00 71.00 70.00 66.00 68.00 66.00 64.00

F2-mjera 72.00 71.00 69.00 71.00 71.00 66.00 68.00 66.00 65.00

F5-mjera 71.00 71.00 68.00 71.00 69.00 67.00 67.00 66.00 65.00

Prosjek 71.60 71.00 68.40 71.00 70.20 66.40 67.80 66.20 64.80

124

Tablica C.6: Informacije o rezultatima globalne klasifikacije po boji u kanalima CIE L*a*b*prostora boja.

L* kanal a* kanal b* kanal


Preciznost 70.00 67.00 67.00 66.00 66.00 65.00 67.00 64.00 64.00

Odziv 70.00 70.00 66.00 66.00 65.00 64.00 69.00 66.00 66.00

F1-mjera 70.00 68.00 66.00 66.00 65.00 64.00 67.00 65.00 64.00

F2-mjera 70.00 69.00 66.00 66.00 65.00 64.00 68.00 65.00 65.00

F5-mjera 70.00 67.00 67.00 66.00 66.00 65.00 67.00 64.00 64.00

Prosjek 70.00 68.20 66.40 66.00 65.40 64.40 67.60 64.80 64.60

Tablica C.7: Informacije o rezultatima globalne klasifikacije po boji u kanalima CIE L*u*v*prostora boja.

L* kanal u* kanal v* kanal


Preciznost 70.00 67.00 66.00 69.00 69.00 66.00 67.00 67.00 66.00

Odziv 69.00 71.00 65.00 67.00 65.00 63.00 71.00 69.00 68.00

F1-mjera 69.00 69.00 65.00 68.00 66.00 64.00 69.00 68.00 67.00

F2-mjera 69.00 70.00 65.00 68.00 65.00 64.00 70.00 69.00 68.00

F5-mjera 70.00 67.00 66.00 69.00 69.00 66.00 67.00 67.00 66.00

Prosjek 69.40 68.80 65.40 68.20 66.80 64.60 68.80 68.00 67.00

Tablica C.8: Informacije o rezultatima globalne klasifikacije po boji u kanalima YCgCrprostora boja.

Y kanal Cg kanal Cr kanal


Preciznost 71.00 69.00 67.00 66.00 66.00 64.00 69.00 68.00 67.00

Odziv 72.00 71.00 67.00 65.00 65.00 64.00 70.00 66.00 64.00

F1-mjera 71.00 70.00 67.00 65.00 66.00 64.00 69.00 66.00 65.00

F2-mjera 72.00 71.00 67.00 65.00 66.00 64.00 70.00 66.00 65.00

F5-mjera 71.00 69.00 67.00 66.00 66.00 64.00 69.00 68.00 67.00

Prosjek 71.40 70.00 67.00 65.40 65.80 64.00 69.40 66.80 65.60

125

Tablica C.9: Informacije o rezultatima globalne klasifikacije po boji u kanalima YCbCrprostora boja.

Y kanal Cb kanal Cr kanal


Preciznost 69.00 66.00 67.00 70.00 68.00 67.00 70.00 69.00 67.00

Odziv 71.00 71.00 66.00 72.00 69.00 67.00 71.00 70.00 67.00

F1-mjera 70.00 68.00 66.00 70.00 68.00 66.00 70.00 69.00 67.00

F2-mjera 71.00 70.00 66.00 71.00 69.00 66.00 71.00 69.00 67.00

F5-mjera 69.00 66.00 67.00 70.00 68.00 67.00 70.00 69.00 67.00

Prosjek 70.00 68.20 66.40 70.60 68.40 66.60 70.40 69.20 67.00

126

Prilog D

U ovome su prilogu dane tablice koje sadržavaju informacije o tome koliko je (u postotcima)pojedina lokalna znacajka slike važna prilikom klasifikacije pojedinih klasa mediteranskog kra-jolika. Nacin na koji su dobivene te informacije (ovdje predstavljene u tablicama D.1–D.8)objašnjen je u poglavlju 6, gdje je ujedno dan i popis svih 68 korištenih lokalnih znacajki slike.

127

Tablica D.1: Pregled znacajnosti lokalnih znacajki prilikom klasifikacije klasa mediteranskog krajolika i uz korištenje blokova slike dimenzija11x11 piksela (1. dio).

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17Dim 4.83 1.86 2.14 1.39 0.46 1.39 0.93 2.14 4.64 4.09 3.44 1.49 1.67 1.02 2.60 0.37 13.93

Oblaci i magla 3.51 1.50 6.44 1.29 0.79 0.93 5.73 2.58 2.51 2.93 2.36 1.00 0.93 4.51 4.37 0.36 2.15

Sunce i svjetlosni efekti 1.69 2.05 4.04 0.73 0.88 1.17 1.03 3.52 3.23 2.49 3.60 2.05 2.27 1.47 2.86 0.59 4.55

Nebo 3.57 2.19 3.49 0.73 1.22 1.22 1.06 4.46 4.55 3.90 2.19 1.46 1.70 2.27 3.49 0.32 2.84

More 4.12 2.53 4.12 1.08 0.65 1.37 0.79 3.25 4.12 3.40 3.18 1.95 1.16 1.66 4.62 0.43 2.60

Udaljeni krajolik 3.35 2.82 4.72 1.90 0.99 0.99 0.99 2.82 4.26 2.89 3.50 1.75 1.14 1.37 3.04 0.30 7.00

Kamen 3.88 1.46 2.71 0.37 0.66 2.12 0.44 2.71 4.10 2.12 3.44 1.61 1.98 1.17 3.88 0.66 3.29

Udaljena vegetacija 4.80 1.92 3.84 1.77 1.18 2.51 0.96 1.92 3.32 2.51 4.43 1.99 1.77 1.62 3.32 0.66 4.06

Bliska vegetacija 8.83 1.81 2.29 0.24 0.55 2.13 0.39 2.68 3.63 2.37 3.55 0.79 0.87 0.63 2.52 0.79 3.31


4.26 2.81 3.04 1.06 1.29 1.60 0.38 2.58 3.57 2.66 2.66 1.67 1.82 1.98 2.13 0.61 3.95

Gradevine i umjetni objekti 2.52 2.16 2.66 0.29 0.72 1.08 0.50 2.23 3.24 2.80 3.24 2.01 2.52 0.58 3.88 1.08 5.75

128


18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34Dim 3.53 0.28 1.67 3.44 0.28 2.60 1.02 0.37 1.30 2.14 0.00 0.00 0.00 0.00 0.00 0.00 0.00

Oblaci i magla 1.43 0.93 1.36 2.15 0.72 2.72 0.93 7.80 2.43 2.22 0.00 0.00 0.00 0.00 0.00 0.00 0.00


Nebo 4.06 0.97 2.03 6.98 0.73 3.00 1.38 0.41 2.03 4.30 0.00 0.00 0.00 0.00 0.00 0.00 0.00

More 4.55 0.43 2.24 3.68 0.22 2.38 0.79 0.29 2.38 2.38 0.00 0.00 0.00 0.00 0.00 0.00 0.00


Kamen 3.80 0.37 1.54 3.66 0.29 3.22 1.61 0.22 1.17 1.98 0.00 0.00 0.00 0.00 0.00 0.00 0.00




3.04 0.38 2.13 2.43 0.38 1.82 2.96 0.53 2.28 3.65 0.00 0.00 0.00 0.00 0.00 0.00 0.00


129


35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51Dim 0.00 1.11 1.58 1.67 0.56 1.49 0.84 2.51 1.21 0.93 1.02 1.49 1.11 0.46 0.65 0.56 0.65

Oblaci i magla 0.00 4.65 0.72 2.72 1.36 1.00 1.00 1.86 0.64 0.29 0.79 0.64 0.64 1.00 0.50 0.57 0.93


Nebo 0.00 0.97 1.22 1.79 0.57 0.97 0.97 2.52 1.30 1.06 1.22 1.62 1.79 0.89 0.89 1.30 0.73

More 0.00 0.87 0.79 1.95 1.01 1.81 0.65 2.24 1.16 2.02 0.94 0.79 1.08 1.23 1.08 0.94 0.72


Kamen 0.00 1.76 1.54 1.54 0.80 2.56 1.17 2.63 2.41 1.24 0.73 1.54 1.54 0.51 0.95 1.32 1.17




0.00 2.28 0.76 0.99 1.44 2.05 1.22 3.34 1.60 2.96 0.61 1.60 1.75 0.38 0.61 0.76 0.46


130


52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68Dim 1.39 0.84 0.46 0.37 1.76 0.74 0.74 1.02 0.46 0.84 0.56 0.46 0.28 0.46 0.37 5.57 0.84

Oblaci i magla 0.79 0.72 0.21 0.21 0.79 0.50 1.65 1.36 0.29 0.57 0.43 0.29 0.57 0.07 0.07 3.22 2.36


Nebo 0.89 0.73 0.81 0.57 0.41 0.81 0.73 1.87 0.73 0.41 0.49 0.32 0.24 0.00 0.16 3.17 1.30

More 1.66 1.30 0.43 0.22 1.08 1.16 1.30 2.31 0.87 1.01 1.01 1.23 0.36 0.14 0.65 4.70 0.87


Kamen 1.32 1.24 1.61 0.37 1.46 0.44 1.54 2.78 0.37 1.10 0.73 1.17 0.73 0.44 1.46 4.90 0.51




1.60 2.20 0.53 0.38 0.84 1.06 1.52 1.82 0.38 1.14 1.37 0.53 0.84 0.68 0.84 3.04 0.76


131


1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17Dim 3.44 1.68 3.29 0.76 0.54 0.99 0.69 2.75 4.89 2.83 3.44 1.76 0.84 0.61 2.45 0.23 4.97

Oblaci i magla 3.21 1.78 3.92 1.07 0.36 1.16 0.71 2.85 3.29 2.49 2.76 1.25 0.89 1.42 3.29 0.36 3.74


Nebo 1.81 0.64 2.24 1.71 0.75 0.43 0.75 1.92 2.67 2.77 1.60 1.07 0.43 1.17 1.39 0.75 3.20

More 2.85 2.62 3.85 1.31 0.54 0.54 0.85 2.31 5.39 3.54 4.08 1.31 1.00 0.92 4.01 0.15 3.16


Kamen 3.95 1.72 3.34 1.72 0.43 0.69 0.51 2.14 4.80 3.26 3.77 1.72 0.51 0.60 2.66 0.34 4.12




4.16 1.76 2.24 0.24 0.88 1.36 0.40 1.76 4.32 3.20 2.24 1.28 0.88 0.72 1.52 0.72 4.32


132


18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34Dim 2.91 0.23 1.68 2.52 0.15 2.91 1.53 0.15 0.38 1.76 0.00 0.00 0.00 0.00 0.00 0.00 0.00

Oblaci i magla 3.12 0.09 2.32 3.47 0.53 2.40 1.16 0.62 0.89 1.07 0.00 0.00 0.00 0.00 0.00 0.00 0.00


Nebo 2.67 15.69 4.16 3.74 0.32 1.39 0.96 0.32 0.96 1.60 0.00 0.00 0.00 0.00 0.00 0.00 0.00

More 3.24 0.23 2.23 2.70 0.08 3.00 1.77 0.15 1.16 1.31 0.00 0.00 0.00 0.00 0.00 0.00 0.00


Kamen 2.92 0.17 1.97 3.17 0.26 2.83 0.69 0.09 0.69 1.89 0.00 0.00 0.00 0.00 0.00 0.00 0.00




2.56 0.24 2.48 2.48 0.24 1.68 1.04 0.16 1.20 2.16 0.00 0.00 0.00 0.00 0.00 0.00 0.00


133


35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51Dim 0.00 2.22 1.61 2.06 1.68 1.83 1.07 1.83 2.37 2.06 0.92 2.29 1.99 0.38 1.76 0.84 0.38

Oblaci i magla 0.00 2.76 1.78 2.32 1.25 1.34 1.51 1.96 1.78 0.71 0.80 1.25 1.60 0.62 1.78 1.60 0.45


Nebo 0.00 1.28 1.28 2.24 0.96 0.85 2.56 1.17 1.92 1.39 1.39 1.49 1.60 0.64 1.81 1.07 1.28

More 0.00 1.31 1.16 1.23 1.39 2.39 1.23 1.77 2.23 1.08 0.39 1.31 1.93 0.54 1.93 0.92 0.54


Kamen 0.00 2.57 1.37 1.54 1.54 2.74 1.29 2.06 2.66 1.63 0.51 1.63 1.63 2.23 1.11 1.20 0.34




0.00 2.88 1.60 0.88 2.56 2.00 1.28 3.44 2.16 1.68 0.48 2.08 1.60 0.32 1.84 1.04 0.88


134


52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68Dim 1.53 2.22 0.84 0.61 1.45 0.61 1.53 1.61 0.69 1.61 1.45 1.15 0.61 0.84 1.22 3.82 2.52

Oblaci i magla 1.51 2.14 0.53 0.27 0.71 0.45 1.69 7.03 0.53 1.60 1.42 1.16 1.07 0.80 1.07 2.67 1.60


Nebo 1.17 1.28 1.07 0.53 0.53 0.32 1.92 2.35 0.64 2.24 1.60 1.49 0.32 0.43 0.11 1.71 2.24

More 2.31 2.08 0.54 0.46 0.46 1.16 1.16 2.23 0.85 1.39 1.39 1.69 1.00 0.69 0.85 3.85 2.23


Kamen 1.80 1.29 0.86 0.34 1.20 0.77 1.20 2.40 1.11 1.20 1.03 1.11 0.86 1.20 0.86 4.46 1.29




2.00 2.00 0.48 0.24 1.20 0.96 4.72 2.56 0.64 1.44 1.68 0.96 1.20 1.20 0.96 2.64 2.24


135

Životopis

Maja Braovic rodena je 5. rujna 1986. godine u Splitu. Osnovnu i srednju školu (2. jezicnugimnaziju) završila je u Splitu. Maturirala je 2005. godine i iste godine upisala preddiplomskistudij Racunarstva na FESB-u. Taj je studij završila 2008. godine, a završni rad pod nazivom"Informacijski sustav kucne biblioteke" izradila je pod mentorstvom profesorice Maje Štule.Iste godine upisala je diplomski studij Racunarstva na FESB-u kojega je završila 2010. godine,a diplomski rad pod nazivom "Detekcija dima u videu metodom grupiranja pokreta na fraktal-noj krivulji" izradila je pod mentorstvom profesora Darka Stipaniceva. 2010. godine dobila jenagradu za najboljeg studenta na studiju diplomskog studija Racunarstva na FESB-u, te Rek-torovu nagradu Sveucilišta u Splitu. Iste je godine upisala Poslijediplomski doktorski studijelektrotehnike i informacijske tehnologije na FESB-u, pod mentorstvom profesora Darka Sti-paniceva. Od 2011. godine radi na Katedri za modeliranje i inteligente racunalne sustave priZavodu za elektroniku i racunarstvo na FESB-u, te sudjeluje u nastavi na kolegijama "Digitalnaobrada i analiza slike", "Uvod u distribuirane informacijske sustave" te "Programiranje za In-ternet". Glavni znanstveni interesi su joj u podrucju racunalnog vida, strojnog ucenja i opcenitoumjetne inteligencije. Od 2011. godine objavila je 7 znanstvenih radova u zbornicima skupovasa medunarodnom recenzijom.

Curriculum Vitae

Maja Braovic was born on September 5th, 1986. in Split. She attended primary school and highschool (2. grammar gymnasium) in Split. She finished high school in 2005. and started attend-ing undergraduate Computer Science program at FESB the same year. She finished it in 2008.Her undergraduate thesis was called "Home library information system", and was completedunder the guidance of her mentor, professor Maja Štula. The same year she started attendinggraduate Computer Science program at FESB, which she finished in 2010. Her graduate thesiswas called "Smoke detection in video by using motion clustering on a fractal curve", and wascompleted under the guidance of her mentor, professor Darko Stipanicev. In 2010. Maja re-ceived an award for the best Computer Science graduate student at FESB, as well as Universityof Split rector’s reward. She started attending postgraduate Electrical Engineering and Infor-mation Technology program at FESB the same year, under the guidance of professor DarkoStipanicev. Since 2011. she works at the Department for modelling and intelligent computersystems at the Division for Electronics and Computer Science at FESB, and she is involved inthe teaching of classes "Digital processing and analysis of images", "Introduction to distributedinformation systems" and "Programming for the Internet". Her main research interests are inthe field of computer vision, machine learning and generally artificial intelligence. Since 2011.she published 7 articles in the proceedings of internationally peer-reviewed conferences.

Documents

segmentacija i klasifikacija neprozirnih i poluprozirnih regija na