Računalne metode za detekciju vegetacije•Mjerenje rasta šuma •Planiranje gradova i šuma •Mapiranje gradova i urbane vegetacije •Navigacija autonomnih vozila •Poboljšanje

Kvalifikacijski doktorski ispit

Računalne metode za detekciju vegetacije

Iva Harbaš

Mentor: Doc. dr. sc. Marko Subašić


Sadržaj

• Zašto detekcija vegetacije?

• Podjela metoda za detekciju vegetacije

• Spektralni potpis objekta

• Sustavi bazirani na vidljivom dijelu spektra

• Sustavi bazirani na nevidljivom dijelu spektra

• Indeksi vegetacije

• Terenska detekcija vegetacije

• Zračna detekcija vegetacije

• Zaključak


Zašto detekcija vegetacije?

• Praćenje promjena vegetacije nastalih uslijed urbanizacije

• Detekcija vegetacije pod stresom

• Mjerenje rasta šuma

• Planiranje gradova i šuma

• Mapiranje gradova i urbane vegetacije

• Navigacija autonomnih vozila

• Poboljšanje kvalitete videa, odnosno TV slike

• Naš cilj:

– razvijanje sustava za detekciju vegetacije uz prometnice s ciljem održavanja prometne infrastrukture kao i

prepoznavanje potencijalnih prepreka u prometu


Podjela metoda za detekciju vegetacije

• Po načinu snimanja:

– Terenska detekcija vegetacije

– Zračna detekcija vegetacije

• Po korištenim značajkama:

– Sustavi bazirani na vidljivom dijelu spektra

– Sustavi bazirani na nevidljivom dijelu spektra


Spektralni potpis objekta

• Elektromagnetsko zračenje - propuštanje, reflektiranje ili upijanje.

• Različite boje vidljive ljudskim okom ovise o kombinacijama različitih valnih duljina koje se reflektiraju od

objekta - vidljivi dio spektra elektromagnetskog zračenja.

• Refleksija – udio ukupne količine energije koja se reflektira (od 0 do 1).

• Spektralna krivulja ili spektralni potpis objekta – iscrtane vrijednosti refleksije za raspon valnih duljina.


Spektralni potpis objekta

• Spektar refleksije (vegetacije) se dijeli na tri dijela:

– vidljivi - od 0,4µm do 0,7µm,

– kratki infracrveni (eng. Near Infrared - NIR) - od 0,701µm do 1,3µm,

– srednji infracrveni dio spektra (eng. Middle Infrared - MIR) - od 1,301µm do 2,5µm.


Sustavi bazirani na vidljivom dijelu spektra

• Ljudi jednostavno detektiraju vegetaciju – boja i tekstura.

• Računalo imitira čovjeka.

• Značajke: boja, značajke teksture, značajke dobivene LADAR-om (eng. LAser Detection And Ranging).

• Problemi:

– Nisu robusni na promjene u osvjetljenju scene (sunčan ili kišovit dan, sjene i sl.) .

– Godišnja doba kad lišće nije zeleno nego smeđe i žuto.

– Drugi objekti u sceni koji su iste boje kao i vegetacija, npr. zeleni automobil.

– Procesiranje skupa 3D točaka vremenski zahtjevno.


Sustavi bazirani na nevidljivom dijelu spektra

• Proučavanje drugih modaliteta snimanja i korištenje drugačijih značajki za opisivanje i

detekciju vegetacije.

• Najveća revolucija je došla iz područja daljinskog istraživanja - promatra se spektar

reflektirane svijetlosti.

• Iz spektra se računaju različite mjere (tzv. indeksi vegetacije).

– Razlika količine refleksije u NIR području i refleksije crvenih valnih duljina

– Indeksi specifični za pojedine probleme


Indeksi vegetacije

𝑅𝑉𝐼 =𝜌𝑁𝐼𝑅

𝜌𝑟𝑒𝑑𝑁𝐷𝑉𝐼 =

𝜌𝑁𝐼𝑅 − 𝜌𝑟𝑒𝑑𝜌𝑁𝐼𝑅 + 𝜌𝑟𝑒𝑑

𝐼𝑃𝑉𝐼 =𝜌𝑁𝐼𝑅

𝜌𝑁𝐼𝑅 + 𝜌𝑟𝑒𝑑

𝑃𝑉𝐼 = (𝜌𝑟𝑒𝑑𝑆𝑜𝑖𝑙 − 𝜌𝑟𝑒𝑑𝑉𝑒𝑔𝑒)2+(𝜌𝑁𝐼𝑅𝑠𝑜𝑖𝑙 − 𝜌𝑁𝐼𝑅𝑣𝑒𝑔𝑒)

2

𝐷𝑉𝐼 = 𝜌𝑁𝐼𝑅 − 𝜌𝑟𝑒𝑑

𝑀𝑆𝐴𝑉𝐼 =2 𝜌𝑁𝐼𝑅 + 1 − (2𝜌𝑁𝐼𝑅 + 1)2 −8(𝜌𝑁𝐼𝑅 − 𝜌𝑟𝑒𝑑)

2

𝑀𝑁𝐷𝑉𝐼 =𝜌𝑁𝐼𝑅 − log(𝜌𝑟𝑒𝑑 + 𝜖)

𝜌𝑁𝐼𝑅 + log(𝜌𝑟𝑒𝑑 + 𝜖)

𝑉𝐼𝑛𝑜𝑟𝑚 = 𝛼 ×𝑀𝑁𝐷𝑉𝐼 + (1 − 𝛼) × 𝑁𝐷𝑉𝐼

• 𝜌𝑁𝐼𝑅 - vrijednost refleksije u NIR području• 𝜌𝑟𝑒𝑑 - vrijednost refleksije crvenih valnih duljina

• 𝛼 = 1, 𝜌𝑟𝑒𝑑 > 𝑇𝑒𝑥𝑝𝑜0, 𝑖𝑛𝑎č𝑒

, a 𝑇𝑒𝑥𝑝𝑜 = 0,3

• 𝜖


Terenska detekcija vegetacije

• Mlado i neistraženo područje.

• Početak:

– korištenje autonomnih vozila za istraživanje šuma,

– DARPA.

• Primjena:

– Navigacija autonomnog vozila

• klasifikacija vegetacije na prohodnu i neprohodnu

– Promjena strategije kretanja.

• Postupak klasifikacije:


Terenska detekcija vegetacije - Nguyen

• Nguyen et al. [2010.]

– Pretprocesiranje - segmentacija 3D točaka u n regija računanjem homogenih udaljenosti piksela iz dubinske slike.

– Za svako segmentirano područje se računa matrica kovarijance (podjela na scatter i surface).

• Korak dalje: kombinacija LADAR-a i CMOS kamere (Logitech QuickCam Pro 9000) [2011.]

– Pretprocesiranje + matrica kovarijance

– Za interesna područja se računaju 2D značajke.

• srednja vrijednost i standardna devijacija svjetline,

• razlika histograma dobivenih usrednjavanjem histograma slika vegetacije i pojedinačnih histograma izračunatih za područje od interesa.

– Klasifikacija SVM-om (eng. Support Vector Machines)

• Drugi modalitet snimanja: tzv. Multi-Cam [2012.]

– CMOS senzor + aktivni sustav osvjetljenja koji odašilje modulirane NIR signale i prima reflektirane NIR signale te se tako pomoću jedne kamere dobije NIR i slika u boji.

– Klasifikacija se vrši postavljanjem praga (eng. thresholding) na modificirani indeks vegetacije - MNDVI.

• Kombinacija indeksa vegetacije s bojom i značajkama teksture [2012.].

– Postavljanjem praga za NDVI i MNDVI dobiju se pikseli bogati klorofilom - početak algoritma izrastanja regija.

– Za svaki seed piksel se računa udaljenost boje i značajke teksture između njega i njegovih susjeda.

– Pretpostavke: boja u malom području vegetacije je homogena i prisutni su pikseli s različitim orijentacijama te se za to koriste Gaborovi filtri za detekciju nestrukturiranih tekstura.



Terenska detekcija vegetacije - ostali

• Liu et al. koriste kombinaciju 2D i značajki dobivenih LADAR-om za navigaciju autonomnog vozila.

– Značajke:

• visina izračunata iz 3D prostora dobivenog LADAR-om,

• H i S komponente dobivene pretvorbom RGB u HSV sustav boja.

– Klasifikator:

• SVM s radijalnom jezgrom.

• Za poboljšanje kvalitete videa, odnosno TV slike vrši se segmentacija slike

– Značajke:

• komponente boje iz YUV prostora boja ,

• značajke teksture izračunate kao apsolutna razlika promatranog piksela i srednje vrijednosti njegovih susjeda.

– Nakon detekcije travnatih površina u video sekvenci (travnata područja su često prisutna u sportu) slijedi poboljšanje slike mijenjanjem boje ili svjetline piksela u određenom segmentu pomicanjem prema svjetlijoj boji, povećanjem zasićenosti boja ili osvjetljenja.


Terenska detekcija vegetacije - ostali

• Fotogrametrija - vještina, znanost i tehnologija dobivanja pouzdanih kvantitativnih informacija o fizičkim

objektima na Zemlji i o okolišu procesom zabilježavanja, mjerenja, analiziranja i interpretacije fotografskih

snimaka.

– npr. praćenje odronjavanja zemljišta

• Zhan i Lai primjenjuju detekciju vegetacije u svrhu eliminiranja utjecaja vegetacije u procesu praćenja

količine deformacije zemljišta

– Značajke:

• značajke teksture dobivene računanjem histograma drugog reda,

• vrijednosti gradijenta izračunate Sobelovim operatorom.

– Klasifikator:

• Naive Bayes.


Terenska detekcija vegetacije - problemi

• Promjena osvjetljenosti utječe na spektralni potpis objekta

– sjene,

– nedovoljno ili prekomjerno osvjetljenje,

– sunčan ili tmuran dan.

• Druge prepreke

– objekti koji imaju visoku refleksiju u NIR području,

– objekti sličnih boja kao vegetacija.

• Moguća rješenja:

– kombiniranje više indeksa vegetacije,

– kombiniranje indeksa vegetacije s drugim značajkama (npr. boja, značajke teksture, LADAR, itd.)


Zračna detekcija vegetacije - sateliti

• Klasifikacija vegetacije

• Li et al. klasificiraju cvijeće, travu, drveće i grmlje

– Značajke:

• položaj crvenog ruba,

• maksimum refleksije zelene boje,

• maksimum apsorpcije crvene boje u spektru.

– Klasifikator:

• stabla odlučivanja.

• Molinier et al. klasificiraju vrste drveća

– Značajke:

• R, G, B i NIR dobivenih sa GeoEye satelita.

– Klasifikator:

• LDA (eng. Linear Discriminant Analysis).

• Kempeneers et al. vrše klasifikaciju na stresnu i ne-stresnu vegetaciju

– Značajke:

• valićni koeficijenti (eng. wavelet coefficients) dobiveni primjenom DWT-a na snimljeni spektar.

– Klasifikator:

• LDA


Zračna detekcija vegetacije - laseri

• LiDAR (eng. Light Detection And Ranging) vs. LADAR (eng. LAser Detection And Ranging)

– LiDAR - za mapiranje i 3D modeliranje pejzaža grada.

– LADAR - za lociranje i karakterizaciju manjih objekata poput vozila ili drugih predmeta koje je napravio čovjek.

• LiDAR daje 3D reprezentaciju snimanog područja na osnovu kojeg se generiraju:

– digitalni model terena - DTM (eng. Digital Terrain Model) i

– digitalni model površine - DSM (eng. Digital Surface Model).

– nDSM = DSM – DTM (visine objekata u promatranoj sceni).

• podjela na točke koje pripadaju i ne pripadaju terenu.

• Yang i Lin koriste LiDAR za detekciju vegetacije u urbanim sredinama:

– Značajke:

• visina objekta,

• lokalna hrapavost izračunata iz 3D modela.

– Klasifikacija:

• postavljanje praga (thresholding).

• Secord i Zakhor detektiraju drveće u urbanim sredinama:

– Značajke:

• visina i lokalna varijacija visine,

• nijansa (eng. hue), zasićenost i intenzitet.

– Klasifikator:

• SVM.


Zračna detekcija vegetacije - sateliti

• Detektiranje sušnih područja je dosta istraženo i dosta radova je na tu temu.

• Postoje razni indeksi suše koji uzimaju u obzir količinu oborina, npr. SPI (eng. Standardized Precipitation

Index).

• Marshall et al. su korelirali SPI s različitim indeksima vegetacije s ciljem utvrđivanja može li se pomoću

satelitskih snimaka i indeksa vegetacije, bez poznavanja količine oborina, detektirati suša.

– Rezultati su pokazali da je NDVI najviše koreliran sa SPI-em i da se pomoću njega može detektirati suša.

• Moguća primjena

– Dugotrajne suše i nedostatak oborina pospješuju izbijanje i širenje požara tako da se detekcija sasušene vegetacije uz cestu može koristiti za prevenciju nepogoda.


Zaključak

• Ne postoji univerzalna i općeprihvaćena metoda za detekciju vegetacije.

• Ovaj pregled područja istraživanja će služiti kao baza za nastavak istraživanja i razvoja algoritama za

detekciju vegetacije.

• Planirane primjene:

– detekcija i klasifikacija vegetacije kao mogućih prepreka na putu,

– održavanje prometne infrastrukture.

• Dostupna oprema:

– Kamera u boji,

– IR kamera,

– LADAR.


Zaključak – predloženi okvir rješenja

• Smjernice za budući rad i istraživanje

– Pretprocesiranje

• Segmentacija

– Izdvajanje značajki

• Značajke iz vidljivog dijela spektra: RGB, HSV, tekstura (Gabor, Sobel).

• Značajke iz nevidljivog dijela spektra: NIR – indeksi vegetacije.

– Treniranje klasifikatora

• Algoritmi strojnog učenja, npr. SVM, NM.


Pitanja?

Documents

Računalne metode za detekciju vegetacije•Mjerenje rasta šuma •Planiranje gradova i šuma •Mapiranje gradova i urbane vegetacije •Navigacija autonomnih vozila •Poboljšanje