Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
SVEUČILIŠTE U ZAGREBU
FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA
DIPLOMSKI RAD br. 993
Rekonstrukcija 2D i 3D scene sažetim
očitavanjem
Ivan Ralašić
Zagreb, lipanj 2016.
2
Veliku zahvalnost dugujem mentoru prof. dr. sc. Damiru Seršiću na
nesebičnoj pomoći prilikom izrade ovog rada. Zahvaljujem se i svim
profesorima i asistentima Zavoda za elektroničke sustave i obradbu
informacija Fakulteta elektrotehnike i računarstva u Zagrebu na
svim korisnim savjetima i sugestijama. Konačno, najveću zahvalnost
dugujem svojim roditeljima i cijeloj obitelji te prijateljima na
podršci tijekom cjelokupnog studija!
3
SADRŽAJ
1. Uvod........................................................................................................ 5
2. Potpuno očitavanje signala ..................................................................... 8
2.1 Shannon-Nyquistov teorem uzorkovanja .......................................... 8
2.2 Postupak potpunog očitavanja ........................................................ 13
2.3 Transformacijsko kodiranje ............................................................. 14
3. Sažeto očitavanje signala ..................................................................... 16
3.1 Povijest sažetog očitavanja ............................................................. 16
3.2 Svojstva sažetog očitavanja ............................................................ 17
3.2.1. Rijetkost signala ....................................................................... 18
3.2.2. Kompresibilnost signala ............................................................ 18
3.2.3. Nekoherentnost mjerne i transformacijske baze ....................... 18
3.3 Postupak sažetog očitavanja .......................................................... 20
3.4 Metode rekonstrukcije ..................................................................... 22
3.5 Minimizacija 𝓵𝒑 norme .................................................................... 23
3.5.1. Optimizacijski algoritam SeDuMi .............................................. 25
3.5.2. Optimizacijski paket CVX ......................................................... 28
4. Sintetski primjer rekonstrukcije slike sažetim očitavanjem .................... 30
5. Rekonstrukcija dvodimenzionalne scene sažetim očitavanjem ............. 39
5.1 Kalibracija sustava kamere i projektora ........................................... 39
5.1.1. Estimacija pozadinskog osvjetljenja i šuma .............................. 41
5.1.2. Linearizacija sustava kamere i projektora ................................. 42
5.2 Proces mjerenja dvodimenzionalne scene ...................................... 49
5.3 Rekonstrukcija dvodimenzionalne scene ........................................ 52
5.4 Rezultati rekonstrukcije dvodimenzionalne scene ........................... 54
6. Rekonstrukcija trodimenzionalne scene sažetim očitavanjem .............. 59
4
6.1 3D kamera za snimanje svjetlosnog polja ....................................... 59
6.2 Kalibracija sustava kamere i projektora ........................................... 60
6.2.1. Kalibracija kamere .................................................................... 61
6.2.2. Kalibracija projektora ................................................................ 63
7. Zaključak ............................................................................................... 65
8. Literatura ............................................................................................... 66
9. Sažetak ................................................................................................. 71
10. Summary ............................................................................................ 71
5
1. Uvod
Nalazimo se u vremenu kada današnja moderna civilizacija generira
nezamislive količine podataka. Veliku većinu tih podataka čine multimedijski
sadržaji koji se nalaze na svakom koraku neovisno radilo se pri tome o slikama,
audio ili video sadržajima. Prema procjenama Ciscovih stručnjaka globalni godišnji
internetski promet će do kraja 2016. godine prijeći prag od jednog zettabajta (1000
eksabajta) ili preko milijardu gigabajta na mjesečnoj razini. Tablica 1. prikazuje
porast globalnog internetskog prometa u razdoblju od 1992. do 2019. godine iz čega
je moguće zaključiti da će se trend porasta količine podataka nastaviti [1].
Tablica 1. Rast globalnog internetskog prometa u razdoblju 1992.-2019.g.
Godina Globalni internetski promet
1992. 100 GB po danu
1997. 100 GB po satu
2002. 100 GB po sekundi
2007. 2 000 GB po sekundi
2014. 16 144 GB po sekundi
2019. 51 794 GB po sekundi
Upravo iz prethodno navedenih razloga dolazi do razvoja mnogobrojnih
metoda kompresije (sažimanja) podataka koje iskorištavaju činjenicu kako je iz
očitanog signala moguće odbaciti veliki dio podataka bez gubitka informacijskog
sadržaja ili barem bez gubitka kojeg ljudska osjetila mogu percipirati.
Postoje dva osnovna načina kompresije podataka: sažimanje s gubicima
(engl. lossy) te sažimanje bez gubitaka (engl. lossless). Sažimanje bez gubitaka
iskorištava statističku redundanciju očitanog signala te na taj način osigurava
očuvanje svih informacija sadržanih u signalu dok sažimanje s gubicima iskorištava
6
nesavršenosti ljudskih osjetila te iz očitanog signala odbacuje uzorke koji ne utječu
značajno na samu percepciju signala [2].
Postavlja se pitanje o smislenosti potpune akvizicije signala ako se naknadno
odbaci velik dio uzoraka, posebice dok postoji očigledna potreba za smanjenjem
količine podataka koja se generira. Primjerice, današnje digitalne kamere snimaju
ogromne količine podataka, a u konačnici se kompresijskim algoritmima odbacuje
velik dio prikupljenih podataka.
Metode sažetog očitavanja iskorištavaju činjenicu da će veliki dio iz
prikupljenog skupa uzoraka biti odbačen u procesu kompresije te pokušavaju
uštedjeti resurse odmah pri procesu akvizicije podataka. Razmatrajući strukturu
podataka generiranih u internetskom prometu uvidjelo se da značajnu količinu čine
audio-vizualni podaci te se naglasak stavio na razvoj kompresijskih algoritama za
multimedijske podatke. Trenutne tehnologije kompresije prilično efikasno uspijevaju
smanjiti količinu podataka uz maksimalno očuvanje informacijskog sadržaja. Bitno
je istaknuti činjenicu kako je vrlo neefikasno prvotno obaviti potpuno očitavanje
signala, a potom odbacivanje velikog dijela uzoraka.
Daljnji razvoj metoda sažetog očitavanja trebao bi omogućiti da se u procesu
očitavanja signala prikupi samo dvadesetak posto od ukupnog broja uzoraka te da
se iz tog podskupa uzoraka obavi potpuna rekonstrukcija signala. Pošto je prilikom
same akvizicije podataka uzet najmanji mogući broj uzoraka, naglasak neće biti na
metodama kompresije, nego će se pažnja posvetiti efikasnijim metodama
dekompresije i rekonstrukcije signala iz reduciranog broja uzoraka.
U ovom radu opisana je primjena metode sažetog očitavanja u razvoju
sustava za rekonstrukciju dvodimenzionalne i trodimenzionalne scene. Osnovna
ideja je da se korištenjem kalibriranog sustava kamere i projektora iz reduciranog
broja očitanih uzoraka rekonstruira polazni signal s određenom statističkom
točnosti. Drugim riječima, korištenjem kamere koja sadrži senzor niske rezolucije i
projektora visoke rezolucije potrebno je iz slike niske rezolucije određene
rezolucijom senzora kamere rekonstruirati sliku u rezoluciji projektora. Uvodni dio
sadrži objašnjenje teorijske pozadine te navodi prednosti metode sažetog
očitavanja u odnosu na tradicionalne metode očitavanja signala. Nastavak rada
opisuje cjelovit postupak razvoja sustava za rekonstrukciju dvodimenzionalne scene
7
te rezultate rekonstrukcije pomoću navedenog sustava. U slučaju rekonstrukcije
trodimenzionalne scene opisana je samo osnovna ideja razvoja sustava za
rekonstrukciju trodimenzionalne scene. Zaključak je donesen na temelju
eksperimentalnih rezultata dobivenih u radu.
8
2. Potpuno očitavanje signala
2.1 Shannon-Nyquistov teorem uzorkovanja
Uzorkovanje signala postupak je pretvorbe signala iz kontinuiranog, odnosno
analognog svijeta, u diskretni digitalni svijet diskretizacijom signala po vremenu ili
prostoru. Tradicionalni pristup uzorkovanju signala prema općepoznatom Shannon-
Nyquistovom teoremu specificira da je signal potrebno uzorkovati najmanje
dvostruko većom frekvencijom od Nyquistove frekvencije, tj. najveće frekvencijske
komponente sadržane u spektru signala kako bi bila osigurana mogućnost savršene
rekonstrukcije signala. Navedeni pristup koristi većina uređaja za obradu signala
korištenih u potrošačkoj elektronici namijenjenoj obradi audio ili video signala,
različitim medicinskim uređajima, radio prijemnicima itd.
Postupak uzimanja uzoraka ili očitavanja kontinuiranog signala 𝑓(𝑡) može se
matematički modelirati (1) pridruživanjem niza impulsa 𝑓′ funkciji 𝑓, čiji intenzitet je
proporcionalan trenutnim vrijednostima kontinuiranog signala:
𝑓′(𝑡) = 𝑆𝑇{𝑓(𝑡)} (1)
pri čemu oznaka 𝑇 u 𝑆𝑇{∘} označava period uzorkovanja, tj. razmak između
susjednih impulsa u vremenu. Detaljnije, operacija uzorkovanja može se
matematički opisati (2) kao modulacija impulsnog niza 𝛿𝑇(𝑡) s funkcijom 𝑓(𝑡):
𝑓′(𝑡) = 𝑓(𝑡) ⋅ 𝛿𝑇(𝑡) (2)
gdje je impulsni niz 𝛿𝑇(𝑡) jedna periodična funkcija koja se sastoji od beskonačnog
niza Diracovih delta funkcija (3) na pravilnom vremenskom razmaku 𝑇:
𝛿𝑇(𝑡) = ∑ 𝛿(𝑡 − 𝑛𝑇)
+∞
𝑛=−∞
(3)
9
Konačni izraz za uzorkovanje signala 𝑓(𝑡) opisan je formulom (4), dok Slika
1. ilustrira uzorkovanje kontinuiranog signala 𝑓(𝑡) [3].
𝑓′(𝑡) = 𝑓(𝑡) ∑ 𝛿(𝑡 − 𝑛𝑇)
+∞
𝑛=−∞
(4)
Slika 1. Ilustracija postupka uzorkovanja kontinuiranog signala [3]
Postupak očitavanja signala također je moguće predstaviti jednadžbom (5).
Jednadžba prikazuje korelaciju polaznog signala 𝑥(𝑡) i očitavajuće funkcije 𝜑𝑘(𝑡)
što predstavlja standardni prikaz postupka očitavanja signala [4].
𝑦𝑘 = ⟨𝑓(𝑡), 𝜑𝑘(𝑡)⟩ , 𝑘 = 1,… ,𝑚 (5)
Slika 2. prikazuje primjer očitavanja jednodimenzionalnog signala gdje se kao
očitavajuće funkcije 𝜑𝑘(𝑡) koriste Diracove delta funkcije (engl. spikes), a signal 𝑦𝑘
predstavlja uzorkovane vrijednosti vremenski kontinuiranog signala 𝑓(𝑡) kakve daje
analogno-digitalni (AD) pretvarač.
10
Slika 2. Očitavanje jednodimenzionalnog vremenski kontinuiranog signala češljem Diracovih delta impulsa
Kako bi bilo moguće ilustrirati odnose signala 𝑓(𝑡) i 𝑓′(𝑡), pogodno je
promotriti njihove spektre 𝐹(𝜔) i 𝐹′(𝜔). Spektar signala 𝑓(𝑡) nalazi se Fourierovom
transformacijom prema izrazu (6):
𝐹(𝜔) = ∫ 𝑓(𝑡)𝑒−𝑗𝜔𝑡𝑑𝑡
+∞
−∞
(6)
dok se inverznom Fourierovom transformacijom može rekonstruirati polazni signal
iz spektra 𝐹(𝜔) prema formuli (7):
𝑓(𝑡) =
1
2𝜋∫ 𝐹(𝜔)𝑒𝑗𝜔𝑡𝑑𝜔+∞
−∞
(7)
Izraz za spektar očitanog signala prikazan je formulom (8) te je vidljivo kako
se spektar 𝐹′(𝜔) očitanog signala 𝑓′(𝑡) dobiva periodičnim ponavljanjem spektra 𝐹
kontinuiranog signala svakih 𝜔0. Iz istog izraza očito je da je 𝐹′(𝜔) periodična
funkcija u varijabli 𝜔, s periodom ponavljanja 𝜔0 = 2𝜋/𝑇.
𝐹′(𝜔) =
1
𝑇∑ 𝐹(𝜔 − 𝑖𝜔0)
+∞
𝑖=−∞
(8)
11
Uz pretpostavku da je spektar 𝐹(𝜔) polaznog signala frekvencijski ograničen,
tj. da je modul spektra jednak nuli za sve frekvencije 𝜔 iznad neke granične
frekvencije 𝜔0:
|𝐹(𝜔)| = {
≠ 0, |𝜔| ≤ 𝜔𝑔= 0, |𝜔| > 𝜔𝑔
(9)
različite frekvencije uzorkovanja signala 𝜔0 mogu u spektru 𝐹′(𝜔) izazvati različite
rezultate ovisno o tome da li je 𝜔0 − 𝜔𝑔 > 𝜔𝑔 ili 𝜔0 − 𝜔𝑔 < 𝜔𝑔, a navedene
nejednakosti vrlo često se pišu u obliku (10):
𝜔0 > 2𝜔𝑔 ili 𝜔0 < 2𝜔𝑔 (10)
Slika 3. prikazuje spektar pravilno očitanog signala frekvencijom uzorkovanja
koja je više no dvostruko veća od najveće frekvencijske komponente sadržane u
signalu, odnosno signal je očitan frekvencijom iznad Nyquistove granične
frekvencije. Vidljivo je kako su replike osnovnog spektra dovoljno razmaknute i da
ne dolazi do preklapanja spektara susjednih kopija. Shannon-Nyquistovim
teoremom definiran je uvjet savršene rekonstrukcije signala iz skupa njegovih
uzoraka.
Slika 4. prikazuje spektar signala koji nije očitan pravilnom frekvencijom, tj.
prikazuje slučaj kada je 𝜔0 < 2𝜔𝑔. Vidljivo je kako dolazi do preklapanja osnovne
periode spektra s ostalim replikama spektra. Očigledno je kako u ovom slučaju
očitani signal ne opisuje jednoznačno ulazni signal 𝑓(𝑡) te kako ne postoji
mogućnost pravilne rekonstrukcije početnog signala iz njegova spektra. Pojava
preklapanja spektra u literaturi naziva se i aliasingom [3].
Slika 3. Spektar očitanog signala bez aliasinga [3]
12
Slika 4. Spektar očitanog signala s aliasingom [3]
Shannon-Nyquistov teorem može se promotriti na realnom primjeru
uzorkovanja audio signala. Frekvencijski raspon koji ljudsko uho može uspješno
percipirati raspon je od 20Hz do 20ak kHz. Prema Shannon-Nyquistovom teoremu
spomenuti audio signal treba uzorkovati frekvencijom dvostruko većom od gornje
granične frekvencije signala, odnosno frekvencijom od 40kHz. Međutim, u realnim
primjerima, antialiasing filtri koji se koriste u analogno-digitalnim pretvaračima
nemaju frekvencijsku karakteristiku idealnog pravokutnog otvora te se zbog toga
uzima nešto viša frekvencija uzorkovanja od 44.1kHz. Frekvencija uzorkovanja od
44.1kHZ govori da se iz originalnog signala uzima 44 100 uzoraka po sekundi.
Količina podataka generirana uzorkovanjem originalnog zvučnog signala
kvantiziranog na 16 bita navedenom frekvencijom od 44.1kHz pod pretpostavkom
stereo zvuka jednaka je:
(44 100 uzoraka po sekundi x 16 bita po uzorku x 2 kanala = 1.411.200 bita/s)
Enormna količina podataka generira se samo za jednu sekundu zvučnog
zapisa. Ipak, kompresijski algoritmi poput mp3 (MPEG-2 audio sloj III)
kompresijskog algoritma iskorištavaju određena svojstva samog signala te
karakteristike ljudskog sluha kako bi se smanjila količina podataka generirana
uzorkovanjem originalnog signala. Najčešće se za mp3 kompresiju koristi brzina
informacijskog toka od 128kbit/s, tj. koristi se omjer kompresije 1:11 u odnosu na
originalni očitani signal s originalnom brzinom informacijskog toka od 1 411kbit/s.
Kompresija uzrokuje smanjenje preciznosti na nekim dijelovima zvučnog signala za
koje se smatra da su izvan razlučivosti osjetila kod većine ljudi. Navedena metoda
se obično naziva percepcijskim kodiranjem. Percepcijsko kodiranje koristi
13
psihoakustičke modele radi odbacivanja ili smanjenja preciznosti komponenata
signala koje su nedostupne ljudskom sluhu, naknadno obrađujući preostale
informacije efektivnim algoritmima kompresije [5].
2.2 Postupak potpunog očitavanja
Očitavanje signala može se zapisati u obliku 𝑦 = 𝐴 ⋅ 𝑥 pri čemu je slovom 𝐴
označena mjerna matrica s vektorima 𝜑1∗, … , 𝜑𝑚
∗ složenim u retke matrice, dok 𝑎∗
označava kompleksnu transpoziciju vektora 𝑎. Prethodno formulirani problem
zapisan je matričnom jednadžbom (11).
[
𝑦1⋮𝑦𝑛] = [
𝜑11∗ … 𝜑1𝑛
∗
⋮ ⋱ ⋮𝜑𝑛1∗ … 𝜑𝑛𝑛
∗] ⋅ [
𝑥1⋮𝑥𝑛] (11)
Kod potpunog očitavanja signala, mjerna matrica je kvadratna, a
najjednostavnija od svih kvadratnih matrica je jedinična matrica. Potpuno očitavanje
tada ima oblik (12):
[
𝑦1⋮𝑦𝑛] = [
1 0 00 ⋱ 00 0 1
] ⋅ [
𝑥1⋮𝑥𝑛] (12)
Vektori 𝜑1 = [1 0 0 0 0 0… ]𝑇, 𝜑2 = [0 1 0 0 0 0… ]
𝑇 … 𝜑𝑛 = [0 0 0…0 0 1]𝑇 čine
mjernu bazu te istovremeno tvore retke mjerne matrice Φ. U tom smislu 𝑦 = Φ ⋅ 𝑥
predstavlja prikaz vektora 𝑥 u bazi Φ. Kada je mjerna matica jednaka matrici
identiteta (Φ = I) govorimo o kanonskoj bazi. Kod uzorkovanja kontinuiranih
signala, retci matrice Φ sadrže Diracove delta funkcije (𝛿) te se takva baza naziva
još i spike bazom.
Signal 𝑥 očitava se u bazi Φ, ali se može reprezentirati i u nekoj drugoj bazi
Ψ = [𝜓1, 𝜓2, … , 𝜓𝑛]. Kod potpunog očitavanja vrijedi (13):
𝑦 = Φ ⋅ 𝑥 = Φ ⋅ Ψ ⋅ 𝑠 (13)
14
Potrebno je uočiti da za Φ = I vrijedi 𝑦 = Ψ ⋅ 𝑠 što predstavlja vezu između
dvaju domena (vremenske ili prostorne te spektralne) [6].
2.3 Transformacijsko kodiranje
Tradicionalni sustavi za obradu signala najčešće su temeljeni na kompresiji
pomoću transformacijskog kodiranja koja pri snimanju signala zahtjeva uzimanje
svih 𝑁 uzoraka prema Shannon-Nyquistovom teoremu, te se nakon toga iz
dohvaćenog skupa uzoraka obavlja izračun svih 𝑁 transformacijskih koeficijenata.
Najznačajnijih 𝐾 transformacijskih koeficijenata sadržava većinu energije i dovoljni
su za kvalitetnu rekonstrukciju signala. Spomenute transformacijske koeficijente se
pohranjuje dok se ostalih 𝑁 − 𝐾 koeficijenata zanemaruje jer nemaju značajan
doprinos kvaliteti rekonstruiranog signala. Problem opisanog postupka potreba je
za snimanjem svih 𝑁 uzoraka originalnog signala i proračunom cijelog skupa od 𝑁
transformacijskih koeficijenata kako bi se u konačnici zadržalo samo 𝐾
najznačajnijih.
Slika 5. ilustrira postupak transformacijskog kodiranja slike. Na originalnu
sliku prikazanu lijevo primijenjena je dvodimenzionalna Fourierova transformacija
čiji spektar je prikazan na slici u sredini. Područje označeno crvenom bojom
predstavlja područje koje sadrži desetak posto najznačajnijih koeficijenata spektra
koji se uzimaju u obzir pri rekonstrukciji slike. Na slici desno ilustrirana je
rekonstrukcija slike pomoću najznačajnijih koeficijenata Fourierova spektra.
Promjene nastale rekonstrukcijom slike iz reduciranog spektra gotovo su
nezamjetne. Većina najznačajnijih koeficijenata nalazi se u niskofrekvencijskom
području Fourierova spektra, dok su odbačeni visokofrekvencijski koeficijenti. U
ovom primjeru korišteno je percepcijsko kodiranje na način da su odbačene
visokofrekvencijske komponente spektra koje ljudsko oko slabije raspoznaje,
odnosno koje ne pridonose subjektivnoj ocjeni kvalitete slike u mjeri kao što to čine
niskofrekvencijske komponente. Analogan postupak transformacijskog kodiranja se
koristi i za kompresiju audio te video signala. Različiti postupci kodiranja koriste
različite domene transformacije, ali je osnovna ideja transformacijskog kodiranja
jednaka.
15
Metoda sažetog očitavanja opisana u sljedećem poglavlju nudi rješenje na
neke od izazova s kojima se susreću tradicionalne metode kodiranja i kompresije.
Slika 5.. Primjer kompresije slike postupkom transformacijskog kodiranja
16
3. Sažeto očitavanje signala
Sažeto očitavanje (engl. compressive sensing, compressive sampling)
predstavlja novi pristup teoriji uzorkovanja koji pretpostavlja da signal može biti
rekonstruiran s određenom statističkom točnosti iz nepotpunog skupa prikupljenih
uzoraka. Iako se tvrdnja da je moguće u potpunosti rekonstruirati originalni signal iz
reduciranog broja uzoraka čini apsolutno besmislenom jer se ne slaže s osnovnim
načelima prethodno objašnjenog Shannon-Nyquistovog teorema, ipak postoje
određeni uvjeti u kojima je to moguće. Metoda sažetog očitavanja koristi
neadaptivne linearne projekcije kako bi se sačuvala struktura signala i kako bi se
obavio postupak uzimanja reprezentativnih uzoraka koji kvalitetno opisuju izvorni
signal te su dovoljni za njegovo pouzdano obnavljanje. Rekonstrukcija signala
obavlja se preko postupaka optimizacije koji uključuju kompleksne izračune te
predstavljaju glavni problem u sažetom uzorkovanju.
3.1 Povijest sažetog očitavanja
Prvi algoritam kojeg se može povezati s postupkom sažetog očitavanja
Pronyjeva je metoda razvijena davne 1795. godine koja omogućuje procjenu
frekvencija, amplituda i faza rijetkih trigonometrijskih polinoma na sličan način kao
što to omogućuje Fourierova transformacija, ali iz reduciranog broja uzoraka [7] [8].
Nastavak razvoja metode sažetog očitavanja predstavlja dokazivanje da je pozitivna
linearna kombinacija bilo kojih 𝑘 sinusoida jednoznačno određena svojom
vrijednošću na mjestu 2𝑛𝑘 (uz 𝑛 = 1,2,3…). Bresler i Feng predlažu shemu
uzorkovanja za određenu klasu signala koji sadrže 𝑘 komponenata različitih od nule
u svom spektru [9]. Nekoliko godina kasnije Blu, Marziliano i Vertterli razmatraju
klasu signala koji imaju konačan broj stupnjeva slobode po jedinici vremena te
dokazuju da takvi signali, koji su neograničeni u spektru, mogu biti jednoliko
uzorkovani uz uporabu odgovarajuće jezgre te zatim savršeno rekonstruirani [10].
Godine 1965. javlja se ideja kako bi 𝑙1 minimizacija mogla točno obnoviti signale koji
su rijetki u frekvencijskoj domeni iz skupa poduzorkovanih podataka [11]. Candès,
17
Romberg, Tao te Donoho dokazali su da je signale koji imaju rijetku reprezentaciju
moguće obnoviti iz malog skupa linearnih, neadaptivnih mjera [12] [13].
Tijekom godina intenzivno se razvijala teorijska pozadina metode sažetog
očitavanja dok je praktičnih primjena bilo zanemarivo malo. Veliki pomak u tom
smislu predstavlja razvoj jednopikselne kamere koja radi na principu sažetog
očitavanja. Znanstvenici sveučilišta Rice University 2006. godine razvili su prototip
kamere koja umjesto očitavanja svih uzoraka signala snima samo jedan piksel slike
na slučajno odabranom mjestu [14].
3.2 Svojstva sažetog očitavanja
Sažeto očitavanje oslanja se na svojstva poput rijetkosti i kompresibilnosti
signala te nekoherentnosti mjernih i transformacijskih baza. Jasna je činjenica kako
sažeto očitavanje ne slijedi tradicionalne procese prikupljanja podataka temeljene
na Shannon-Nyquistovom teoremu. Kompresibilnost i rijetkost signala vrlo su
korisna svojstva u obradi signala iz razloga što su mnogi prirodni signali rijetki ili
kompresibilni u odgovarajućoj transformacijskoj domeni.
U linearnoj algebri, baza je skup vektora čijom linearnom kombinacijom se
može predstaviti svaki vektor u danom prostoru. Skup mora zadovoljavati uvjet
ortogonalnosti, dakle, nijedan element skupa ne može biti prikazan kao linearna
kombinacija drugih. Realni, konačni, jednodimenzionalni signal 𝑥 moguće je
prikazati kao vektor stupac dimenzija 𝑁 × 1 u prostoru 𝑅𝑁 (vektor 𝑁 realnih brojeva).
Takav signal moguće je predstaviti u obliku (14):
𝑥 =∑ 𝑠𝑖𝜓𝑖 = Ψ𝑆
𝑁
𝑖=1 (14)
gdje je Ψ = [𝜓1𝜓2…𝜓𝑛] matrica koja sadrži vektore u određenoj bazi, a 𝑠 je vektor
transformacijskih koeficijenata. Vektori 𝑥 i 𝑠 ekvivalentne su reprezentacije istog
signala u vremenskoj (ili prostornoj) te u transformacijskoj domeni Ψ [13].
18
3.2.1. Rijetkost signala
Rijetkost signala izražava ideju kako informacijski sadržaj vremenski
kontinuiranog signala može biti puno manji nego što je određeno širinom
frekvencijskog spektra signala. Mnogi prirodni signali mogu se prikazati sažetim
reprezentacijama u odgovarajućim transformacijskim bazama. Signal je 𝐾 rijedak
ako sadržava mali broj uzoraka 𝐾 ≪ 𝑁 koji su različiti od nule, što znači da ga je
moguće prikazati kao linearnu kombinaciju samo 𝐾 vektora baze.
3.2.2. Kompresibilnost signala
Kompresibilnost signala svojstvo je signala da sadrži samo nekoliko
značajnih koeficijenata u transformacijskoj domeni dok su ostali koeficijenti
zanemarivo mali ili jednaki nuli. Kao što je prethodno pokazano na postupku
transformacijskog kodiranja, iako slika stvarne prirodne scene sadrži gotovo sve
vrijednosti elemenata slike različite od nule, transformacija slike u odgovarajućoj
bazi, primjerice valićnoj (engl. wavelet) ili Fourierovoj, imati će sažeti zapis u kojemu
je većina koeficijenata jednaka ili otprilike jednaka nuli dok će nekoliko relativno
velikih koeficijenata sadržavati većinu informacije i energije koja se nalazi u slici.
Kompresibilan signal moguće je predstaviti sa samo 𝐾 najznačajnijih koeficijenata,
dok se ostali mogu odbaciti bez značajnog gubitka u kvaliteti. Navedeno svojstvo
vrlo je bitno u području obrade signala jer su mnogi prirodni signali kompresibilni u
odgovarajućoj transformacijskoj bazi.
3.2.3. Nekoherentnost mjerne i transformacijske baze
Nekoherentnost baza izražava dualnost između reprezentacije signala u
mjernoj bazi i reprezentacije signala u transformacijskoj bazi, odnosno izražava
činjenicu kako signal koji je gust u mjernoj bazi mora imati rijetku reprezentaciju u
transformacijskoj bazi. Koherencija između mjerne baze Φ i transformacijske baze
Ψ može se prikazati izrazom (15):
19
𝜇(Φ,Ψ) = √𝑛 ∙ max1≤𝑘,𝑗≤𝑛
|⟨𝜑𝑘, 𝜓𝑗⟩| (15)
koji označava maksimalnu korelaciju između bilo koja dva elementa promatranih
baza. Ako promatrane baze sadrže korelirane vektore, koherencija je velika (i
obrnuto), ali je pritom ograničena na interval (16):
𝜇(Φ,Ψ)𝜖[1, √𝑛] (16)
Postoje mnogi parovi baza koji imaju nisku koherenciju poput primjerice
kanonske (engl. spike) 𝜑𝑘(𝑡) = 𝛿(𝑡 − 𝑘) i Fourierove baze 𝜓𝑗 = 𝑛−1
2 𝑒𝑖 2𝜋 𝑗𝑡/𝑛.
Primjer s kanonskom i Fourierovom bazom odgovara klasičnoj metodi očitavanja
signala u vremenskoj ili prostornoj domeni. Navedeni par baza ispunjava 𝜇(Φ,Ψ) =
1 te stoga omogućuje maksimalnu nekoherenciju [4].
Vrlo bitna činjenica jest da je bilo koja slučajna mjerna matrica redovito
nekoherentna s bilo kojom fiksnom transformacijskom bazom Ψ. Stoga je slučajna
Gaussova mjerna matrica ili pak slučajna binarna mjerna matrica visoko
nekoherentna s bilo kojom fiksnom transformacijskom bazom Ψ.
Ključno je zapaziti kako je moguće dizajnirati efikasne metode uzorkovanja
koje će zabilježiti korisni informacijski sadržaj iz rijetkog signala te ga sažeti u malu
količinu podataka. Predložene metode uzorkovanja su neadaptivne i jednostavno
zahtijevaju korelaciju signala s malim brojem fiksnih očitavajućih funkcija koje su
nekoherentne s transformacijskom bazom u kojoj je signal rijedak. Izrazito je bitna
činjenica da ovakve metode uzorkovanja signala omogućuju vrlo efikasno
očitavanje signala bez poznavanja strukture i svojstava signala.
Nadalje, iskorištavanjem računalnih resursa i snage današnjih računala
moguće je različitim numeričkim optimizacijskim postupcima rekonstruirati polazni
signal (s određenom statističkom pouzdanosti) iz reduciranog skupa prikupljenih
uzoraka signala. Drugim riječima, sažeto očitavanje vrlo je jednostavna i efikasna
metoda uzorkovanja signala koja je neovisna o vrsti signala i samim time ne
zahtjeva poznavanje prirode signala za proces akvizicije uzoraka, dok se u procesu
rekonstrukcije koriste numeričke optimizacije kako bi iz nepotpunog skupa uzoraka
20
bilo moguće rekonstruirati polazni signal s određenom statističkom pouzdanosti.
Sažeto očitavanje predstavlja metodu uzorkovanja signala koja osim samog
očitavanja signala istovremeno omogućuje i kompresiju signala što objašnjava sam
naziv metode.
3.3 Postupak sažetog očitavanja
U slučaju da diskretni signal 𝑥 sadrži samo 𝑚 (𝑚 ≪ 𝑛) uzoraka govori se o
poduzorkovanom signalu jer je broj dostupnih mjerenja 𝑚 puno manji od same
dimenzionalnosti signala 𝑛. U stvarnosti ovakav problem veoma je česta pojava iz
mnogo razloga. Naime, broj senzora kojima se signal očitava često je ograničen,
vrijeme očitavanja signala često je dugo, cijena mjerenja je visoka itd. Spomenute
okolnosti dovode do pitanja, da li je moguće konstruirati reducirane očitavajuće
funkcije koje omogućuju prikupljanje cjelovitog informacijskog sadržaja signala i da
li je moguće točno rekonstruirati signal iz 𝑚 ≪ 𝑛 mjerenja. Iako na prvi pogled
navedeni problem može djelovati obeshrabrujuće jer je potrebno riješiti podzadani
sustav linearnih jednadžbi, prethodno spomenute činjenice o rijetkosti i
kompresibilnosti signala u odgovarajućoj domeni dokazuju da je to moguće.
Proces rekonstrukcije signala 𝑓𝜖ℝ𝑛 iz 𝑦 = 𝐴 ⋅ 𝑥 𝜖 ℝ𝑚 predstavlja loše zadan
numerički problem za slučaj kada je 𝑚 < 𝑛 jer postoji beskonačno mnogo signala �̃�
za koje vrijedi 𝑦 = 𝐴 ⋅ �̃�. Kako bi rekonstrukcija signala bila uspješna, odnosno kako
bi bilo odabrano pravilno rješenje, koristi se prirodni model signala. Prethodno
formuliran problem zapisan je matrično jednadžbom (17):
[
𝑦1⋮𝑦𝑚] = [
𝜑11∗ … 𝜑1𝑛
∗
⋮ ⋱ ⋮𝜑𝑚1∗ … 𝜑𝑚𝑛
∗] ⋅ [
𝑥1⋮𝑥𝑛] (17)
Kod djelomičnog očitavanja, za razliku od potpunog očitavanja, u vektoru 𝑦
nisu prisutni svi elementi već samo određeni elementi 𝑦𝑘 , 𝑘𝜖{1, … , 𝑛} te se takav
slučaj opisuje jednadžbom 𝑦𝑘 = Φ𝑘 ⋅ Ψ ⋅ 𝑠. Metoda sažetog očitavanja omogućuje
dohvat reduciranog skupa uzoraka, zvanih mjerenja, pomoću kojih je moguće
statistički točno obnoviti originalni signal od 𝑁 uzoraka. Obično je broj mjerenja puno
21
manji od broja uzoraka signala, tj. 𝑀 ≪ 𝑁. Proces uzimanja skupa 𝑀 uzoraka
zapisuje se matričnom jednadžbom (18) što predstavlja unutarnji produkt mjerne
matrice dimenzija 𝑀 ×𝑁 i polaznog signala 𝑥.
𝑦 = Φ𝑘 ⋅ 𝑥 = Φ𝑘 ⋅ Ψ ⋅ 𝑠 (18)
gdje mjerna matrica predstavlja skup vektora ili ispitnih funkcija 𝜙𝑘 , 𝑘 = 1,… ,𝑀 koje
čine retke mjerne matrice. Mjerenja su zapravo projekcije signala na skup funkcija
𝜙𝑘, a Slika 6. prikazuje matrični zapis postupka mjerenja. Moguće je zaključiti kako
je jednadžba kojom se opisuje djelomično očitavanje vrlo slična jednadžbi za
potpuno očitavanje uz razliku da je iz matrice identiteta Φ = I potrebno izbaciti
određene retke što je analogno izbacivanju jednog mjerenja iz potpunog skupa.
Izbacivanje određenih redaka iz matrice Φ može se obaviti pomoću matrice 𝐾 na
način Φ𝑘 = 𝐾 ⋅ Φ pri čemu matrica 𝐾 služi za redukciju broja mjerenja iz potpunog
očitavanja.
Slika 6. Projekcija signala na skup ispitnih funkcija
Izbor ispitnih funkcija određuje mjernu bazu. Važno je konstruirati mjernu
matricu koja će osigurati da informacije u svakom 𝐾 rijetkom signalu ne budu
oštećene ili izgubljene smanjivanjem dimenzionalnosti s 𝑁 na 𝑀. Također, proces
uzimanja uzoraka mora biti neadaptivan, tj. mjerna matrica mora biti definirana za
svaki signal na isti način i ne smije ovisiti o svojstvima i strukturi signala.
22
Ključno svojstvo koje se treba zadovoljiti pri konstrukciji mjerne matrice kako
bi se osigurala stabilna rekonstrukcija signala je RIP (engl. Restricted Isometry
Property) svojstvo. Mjerna matrica Φ zadovoljava navedeno svojstvo kada vrijede
nejednadžbe (19).
(1 − 휀)‖𝑥‖𝑙22 ≤ ‖Φx‖𝑙2
2 ≤ (1 + 휀)‖𝑥‖𝑙22 (19)
Nejednadžbe (19) vrijede za svaki 𝐾 rijedak vektor 𝑥 i svaku proizvoljno malu
konstantu 휀. U tom slučaju mjerna matrica čuva euklidsku duljinu signala i svi
podskupovi 𝐾 stupaca matrice su ortogonalni [15].
Moguće je pokazati kako Bernoullijeva i slučajna Gaussova matrica
zadovoljavaju navedeno svojstvo te se prema tome može zaključiti da mjerna
matrica treba sadržavati slučajno generirane elemente kako bi bila potpuno
nestrukturirana.
3.4 Metode rekonstrukcije
Dok je ideja procesa uzimanja uzoraka prilično jednostavna, rekonstrukcijski
proces uključuje kompleksne izračune. Proces rekonstrukcije nelinearna je
procedura s ciljem obnavljanja početnog signala ili njegove rijetke reprezentacije iz
𝑀 mjerenja. Slika 7. prikazuje rekonstrukcijski problem u matričnom obliku gdje je
matrica Θ izračunata kao produkt mjerne matice Φ i transformacijske matrice Ψ (20).
Θ = Φ ⋅ Ψ (20)
23
Slika 7. Rekonstrukcijski problem zapisan pomoću matrica
Matrica Θ je pravokutna matrica s brojem redaka koji odgovara broju
mjerenja. Rješavanje problema rekonstrukcije iz smanjenog broja uzoraka
podrazumijeva rješavanje poddeterminiranog sustava linearnih jednadžbi s mnogo
više nepoznanica nego dostupnih jednadžbi za proračune. Budući da je broj
mjerenja znatno manji od broja uzoraka signala (𝑀 ≪ 𝑁) postoji beskonačan broj
mogućih rješenja zadanog sustava. Ipak, zahvaljujući svojstvu rijetkosti i
kompresibilnosti početnog signala postoji mogućnost određivanja rješenja koje u
smislu statističke pouzdanosti najbolje aproksimira signal.
3.5 Minimizacija 𝓵𝒑 norme
Jedna od mogućih metoda za rekonstrukciju početnog signala iz njegovog
sažetog zapisa, koja je ujedno i najčešće korištena, minimizacija je neke od ℓ𝑝
normi. Navedene norme definirane su kao (21):
‖𝑥‖𝑝 = (∑ |𝑥𝑖|𝑝
𝑁
𝑖=1)
1𝑝
(21)
gdje 𝑁 predstavlja broj uzoraka. Izraz (21) za 𝑝 = 2 postaje Euklidska, dok za 𝑝 = 1
postaje Manhattan norma. Iako se čini da su izrazi za različite norme vrlo slični,
njihova matematička svojstva, a samim time i njihove primjene, drastično se
24
razlikuju. Osnovni cilj rekonstrukcije signala metodom sažetog očitavanja je pronaći
maksimalno rijetko rješenje. Klasičan pristup takvim problemima uporaba je ℓ2
minimizacije:
�̂� = min𝑠′𝜖ℝ𝑛
‖𝑠′‖2 𝑢𝑧 𝑢𝑣𝑗𝑒𝑡 Θ𝑠′ = 𝑦 (22)
Izraz Θ𝑠′ = 𝑦 definira da se trebaju uzeti u obzir samo signali koji daju iste
mjere kao i početni signal, a ℓ2 norma predstavlja količinu energije. Rješavanje
izraza (22) daje rješenje koje nije rijetko, tj. sadrži mnogo elemenata različitih od
nule. ℓ2 norma poznata i pod nazivom Euklidska norma, koristi se kao mjera razlike
među vektorima (matricama). Jedna od primjena Euklidske norme u području
obrade signala računanje je srednje kvadratne pogreške (23) čime se dobiva
informacija o sličnosti, odnosno o koreliranosti dvaju signala.
𝑀𝑆𝐸(𝑥1, 𝑥2) =
1
𝑛‖𝑥1 − 𝑥2‖2
2 =1
𝑛∑ (𝑥1𝑖 − 𝑥2𝑖)
2
𝑖 (23)
Iz razloga što se minimizacijom ℓ2 norme dobiva rješenje koje nije rijetko, ℓ2
norma zamijenjena je ℓ0 normom (24) koja označava broj elemenata različitih od
nule u vektoru 𝑠′. Kako se u problemu sažetog očitavanja pokušava pronaći rješenje
s najmanjim brojem elemenata različitih od nule, očekuje se kako bi minimizacija ℓ0
norme trebala dati idealno rijetko rješenje, odnosno minimizacija ℓ0 norme
omogućuje direktno mjerenje rijetkosti signala.
�̂� = min𝑠′𝜖ℝ𝑛
‖𝑠′‖0 𝑢𝑧 𝑢𝑣𝑗𝑒𝑡 Θ𝑠′ = 𝑦 (24)
Međutim, direktno rješavanje izraza za ℓ0 normu je NP složeno (engl. Non-
deterministic Polynomial Time), pa se ℓ0 norma zamjenjuje ℓ1 normom (25) koja
označava sumu amplituda elemenata u vektoru 𝑠′:
�̂� = min𝑠′𝜖ℝ𝑛
‖𝑠′‖1 𝑢𝑧 𝑢𝑣𝑗𝑒𝑡 Θ𝑠′ = 𝑦 (25)
25
ℓ1 norma se u obradi signala često koristi kao srednja apsolutna pogreška
(26) između dvaju vektora. Popularni naziv spomenute norme je i Manhattan norma
ili taxicab norma zbog analogije s problemom s kojim se susreću vozači taksija.
Razlog tome je što vozači taksija udaljenost do neke točke ne mogu mjeriti
najkraćom ravnom linijom do odredišta, nego moraju uzeti u obzir da su gradske
ulice okomite jedna na drugu ili pak paralelne te da se udaljenost treba promatrati u
tom smislu.
𝑀𝐴𝐸(𝑥1, 𝑥2) =1
𝑛‖𝑥1 − 𝑥2‖1=
1
𝑛∑ |𝑥1𝑖 − 𝑥2𝑖|𝑖 (26)
Minimizacija pomoću ℓ1 norme može pouzdano i statistički točno obnoviti 𝐾 rijedak
signal ili aproksimativno kompresibilan signal iz samo (27) slučajnih mjera gdje 𝐶
predstavlja neku malu pozitivnu konstantu [4].
𝑀 ≥ 𝐶 ⋅ 𝑆 ⋅ log
𝑁
𝑆 (27)
ℓ1 norma predstavlja praktičnu alternativu ℓ0 normi jer njeno računanje može
biti postavljeno kao linearni programski problem te može biti riješeno mnogim
poznatim i efikasnim optimizacijskim algoritmima. Pokazuje se da je pri
pronalaženju najrjeđeg rješenja ℓ1 norma u konačnici skoro jednako efikasna kao
ℓ0 norma.
3.5.1. Optimizacijski algoritam SeDuMi
SeDuMi (engl. Self-Dual-Minimization) je računalni program (programsko
proširenje) otvorenog koda namijenjen korištenju u programskom okruženju
MATLAB koji se koristi za optimizacijske probleme preko simetričnih konusa [16].
Inicijalnu inačicu SeDuMi-ja razvio je 1997. godine Jos F. Sturm, dok su
nadogradnju napravili Oleksandri Romanko i Imrei Pólik [17]. Trenutačno SeDuMi
održava i razvija CORAL Lab na odjelu „Department of Industrial and Systems
Engineering“ Sveučilišta Lehigh. SeDuMi je pronašao široku primjenu u
akademskim i industrijskim krugovima zbog visoke numeričke preciznosti,
26
robusnosti, učinkovitog rukovanja rijetkim sustavima te zbog toga što je namijenjen
korištenju unutar popularnog programskog okruženja MATLAB. Kao i većina
optimizacijskih algoritama, SeDuMi vrlo intenzivno koristi računalne resurse.
SeDuMi zahtjeva definiciju linearnog programskog modela u primarnoj
standardnoj formi ili u dualnoj standardnoj formi prema izrazima (28) ili (29).
min 𝑐𝑇
𝑠. 𝑡. 𝐴𝑥 = 𝑏,
𝑥𝑖 ≥ 0 𝑧𝑎 𝑖 = 1,2, … , 𝑛
(28)
max 𝑏𝑇
𝑠. 𝑡. 𝑐𝑖 − 𝑎𝑖𝑇𝑦 ≥ 0,
𝑖 = 1,2, … , 𝑛
(29)
Problem optimizacije ℓ1 norme zapisuje se kao (30):
min ‖𝑥‖1 𝑠. 𝑡. Θ 𝑠 = 𝑦𝑘 (30)
Početni korak pripreme navedenog problema za optimizacijski algoritam
SeDuMi uvođenje je slack varijable 𝑡 čime se dobiva ekvivalentni zapis problema u
obliku (31) [17]:
min 𝑡
𝑠. 𝑡. Θ 𝑠 = 𝑦𝑘
𝑥 ≤ 𝑡
𝑥 ≥ −𝑡
𝑡 ≥ 0
(31)
U slučaju korištenja dualne standardne forme, uvjet Θ 𝑠 = 𝑦𝑘 se može
raspisati pomoću nejednakosti prema izrazu (32) uz prebacivanje varijabli na jednu
stranu znaka nejednakosti kako bi se osiguralo da su svi izrazi nejednakosti zadani
na isti način:
27
max−𝑡
𝑠. 𝑡. Θ 𝑠 − 𝑦𝑘 ≥ 0
−Θ 𝑠 − 𝑦𝑘 ≥ 0
−𝑥 + 𝑡 ≥ 0
𝑥 + 𝑡 ≥ 0
𝑡 ≥ 0
(32)
Problem (32) može se raspisati po komponentama kao (33):
max [0 … 0 ⏟ −1…− 1⏟ ]
𝑁 𝑁
[ 𝑧1⋮𝑧𝑁𝑧𝑁+1⋮𝑧2𝑁 ]
(33)
𝑠. 𝑡.
−𝑦𝑘 + [Θ 0]𝑧 ≥ 0
+𝑦𝑘 + [−Θ 0]𝑧 ≥ 0
[0⋮0] + [
−1 000
⋱0 00
1 0 00 ⋱ 0
−1 0 0 1] 𝑧 ≥ 0
[0⋮0] + [
1 000
⋱0 00
1 0 00 ⋱ 0
1 0 0 1] 𝑧 ≥ 0
[0⋮0] + [
0 000
⋱0 00
1 0 00 ⋱ 0
0 0 0 1] 𝑧 ≥ 0
28
Konačan zapis problema minimizacije ℓ1 norme pripremljen za pozivanje
optimizacijskog algoritma SeDuMi u programskom okruženju MATLAB u matričnom
obliku prikazan je jednadžbama (34) [6]:
max
𝒃
0 … 0 ⏟ −1…− 1⏟
𝑁 𝑁
⏞
[ 𝑧1⋮𝑧𝑁𝑧𝑁+1⋮𝑧2𝑁 ]
(34)
𝑠. 𝑡.
[ −𝑦𝑘𝑦𝑘0⋮00⋮00⋮0 ]
⏟
𝒄
−
[
−Θ+Θ
+𝑒𝑦𝑒(𝑁)
−𝑒𝑦𝑒(𝑁)
𝑧𝑒𝑟𝑜𝑠(𝑁)
00
−𝑒𝑦𝑒(𝑁)
−𝑒𝑦𝑒(𝑁)
−𝑒𝑦𝑒(𝑁)]
⏟
𝑨𝒕
𝑧 ≥ 0
3.5.2. Optimizacijski paket CVX
CVX je paket optimizacijskih algoritama za disciplinirano konveksno
programiranje namijenjen korištenju unutar programskog okruženja MATLAB [18].
CVX pretvara MATLAB u modelirajući programski jezik dozvoljavajući pri tome
definiranje uvjeta, ograničenja i ciljeva korištenjem standardnih MATLAB izraza te
zbog toga predstavlja moćan alat za brzu izradu prototipova modela i algoritama u
kojima se koriste konveksne optimizacije. Optimizacijski paket CVX besplatan je za
uporabu u akademske svrhe ako se prilikom rješavanja optimizacijskih problema
koristi neki od uključenih besplatnih algoritama, SeDuMi ili SDPT3 [16] [19].
Dostupni su još Gurobi i MOSEK algoritmi za optimizaciju, međutim za njihovo
korištenje potrebna je licenca koja je također besplatna za akademske korisnike [20]
[21].
29
Problem optimizacije ℓ1 norme definiran jednadžbom (30) preveden u
problem namijenjen rješavanju pomoću CVX programskog paketa definiran je kao:
cvx_solver SeDuMi
cvx_begin quiet
variable s_est(N, 1);
minimize(norm(s, 1));
subject to
theta * s == y_k;
cvx_end
Naredbom cvx_solver definiran je optimizacijski algoritam korišten pri
rješavanju navedenog problema. Naredbama cvx_begin i cvx_end definira se
početak i kraj optimizacijskog problema, dok ostale naredbe prevode problem (30)
u problem formuliran za rješavanje korištenjem CVX optimizacijskog paketa.
30
4. Sintetski primjer rekonstrukcije slike sažetim
očitavanjem
Korištenjem prethodno izvedenih zaključaka vezanih uz sažeto očitavanje
izrađen je sintetski primjer rekonstrukcije slike iz reduciranog broja uzoraka
metodom sažetog očitavanja. Sintetski primjer služi kako bi sva prethodno izrečena
teorijska svojstva bila potvrđena i dokazana u praktičnoj primjeni te kako bi se
uvidjele prednosti i mane različitih pristupa rješavanju problema rekonstrukcije slike
iz reduciranog broja uzoraka pomoću metode sažetog očitavanja.
Testna slika korištena pri sintetskoj rekonstrukciji dobro je poznata testna
slika Lenna koju prikazuje Slika 8 [22]. Rekonstrukcija slike provodi se prema
dijagramu tijeka kojeg prikazuje Slika 9. Obrada slike i sama rekonstrukcija obavlja
se na blokovima veličine 8x8 piksela iz razloga što su optimizacijski algoritmi puno
efikasniji u rješavanju problema minimizacije ℓ1 norme na manjim skupovima
podataka.
Slika 8. Testna slika Lenna
31
Slika 9. Dijagram tijeka rekonstrukcije signala pomoću sažetog očitavanja
Prvi korak sintetskog primjera rekonstrukcije slike metodom sažetog
očitavanja izgradnja je mjerne matrice Φ. Slika 10. prikazuje mjerne matrice
korištene u ovom primjeru, a to su slučajna binarna mjerna matrica te slučajna
Gaussova mjerna matrica. Na slikama su prikazane potpune mjerne matrice koje
sadrže 64 retka, odnosno sačinjene su od 64 mjerne maske preuređene u mjerne
vektore duljine 64 elementa (za blok od 8x8 slikovnih elemenata). Smanjenjem broja
redaka mjerne matrice u konačnici se smanjuje i broj mjerenja korištenih u
rekonstrukciji signala.
Slika 11. prikazuje izgled jedne mjerne maske iz slučajne binarne mjerne
matrice Φ. Prikazana mjerna maska pretvara se u vektor te se slaže u mjernu
matricu kao vektor-redak. Broj jedinica i nula u svakoj slučajnoj binarnoj mjernoj
maski iznosi pedeset posto ukupnog broja elemenata maske.
Slika 10. Mjerne matrica 𝛷 – lijevo binarna, desno Gaussova matrica
Izgradnja mjerne matrice Φ
Odabir transformacijske
matrice Ψ
Provođenje sintetskih mjerenja
Rekonstrukcija slike
32
Slika 11. Mjerna maska
Sljedeći korak sintetskog primjera rekonstrukcije testne slike odabir je
odgovarajuće transformacijske matrice Ψ. Odgovarajuća transformacijska matrica
omogućuje rijetku reprezentaciju signala u transformacijskoj domeni.
Transformacijske matrice korištene u ovom primjeru su dvodimenzionalna matrica
diskretne kosinusne transformacije te dvodimenzionalna matrica Haarove valićne
transformacije (engl. Haar wavelet) koje prikazuje Slika 12.
Slika 12. Transformacijske matrice - lijevo DCT, desno DWT
33
Izvođenje mjerenja pomoću prethodno konstruiranih mjernih matrica sljedeći
je korak sintetskog primjera rekonstrukcije slike. Sintetska mjerenja simulirana su
pomoću unutarnjeg produkta mjerne matrice Φ i jednodimenzionalnog vektora
ulaznih podataka stvorenog od slikovnih elemenata testne slike. Rezultantni vektor
𝑦 sadrži broj mjerenja koji je jednak broju redaka mjerne matrice Φ. Važno je
primijetiti transformaciju dvodimenzionalnog signala u jednodimenzionalni vektor iz
razloga što optimizacijski algoritmi rješavaju dvodimenzionalni problem
rekonstrukcije signala na istovjetan način kao problem definiran u jednoj dimenziji.
Slika se transformira u jednodimenzionalan vektor pomoću MATLAB funkcije
reshape na način kao što ilustrira Slika 13.
Slika 13. Transformacija slike u jednodimenzionalni vektor slikovnih elemenata
Posljednji korak sintetskog primjera rekonstrukcije slike predstavlja sama
rekonstrukcija iz reduciranog skupa mjerenja dobivenih sažetim očitavanjem.
Korištenjem nekog od prethodno navedenih algoritama za optimizaciju, minimizira
se ℓ1 norma i pokušava se pronaći najrjeđe moguće rješenje koje sažeto opisuje
originalni dvodimenzionalni signal. U ovom primjeru za rekonstrukciju slike iz
sažetog broja očitavanja korišten je optimizacijski algoritam SeDuMi.
Korištenjem opisanog algoritma napravljene su rekonstrukcije originalne slike
iz reduciranog broja uzoraka uz modifikacije različitih parametara kako bi se
promotrio njihov utjecaj na kvalitetu rekonstrukcije. U algoritmu je omogućen odabir
vrste i veličine mjerne matrice te odabir vrste transformacijske matrice. Također,
moguće je odabrati željenu razinu rijetkosti signala na način da se u domeni
34
transformacije odbacuje određeni postotak najmanjih koeficijenata povećavajući pri
tome rijetkost signala.
Slika 14. prikazuje jedno mjerenje provedeno na blokovima veličine 8x8
preko cijele slike koje odgovara množenju vektora koji sadrži slikovne elemente
bloka s jednim retkom slučajne binarne mjerne matrice. Rezultat rekonstrukcije slike
očitane pomoću potpune slučajne binarne mjerne matrice (64 retka) prikazuje Slika
15. Usporedbom rezultata rekonstrukcije slike i originalne slike (Slika 8.) vidljivo je
kako je rekonstrukcija vrlo kvalitetna. Nadalje, rekonstrukciju slike iz reduciranog
broja mjerenja (48 mjerenja) prikazuje Slika 16. Potrebno je uočiti pojavu određenih
deformacija i pogrešno rekonstruiranih blokova. Izobličenja koja se pojavljuju mogu
se usporediti s onima koja se javljaju prilikom JPEG kompresije slike. Konačno,
Slika 17. prikazuje rekonstrukciju slike iz polovice broja ukupnih mjerenja (32
mjerenja). Izobličenja koja se javljaju u slici su značajna, iako je informacijski sadržaj
slike ostao prepoznatljiv. Slika 18. prikazuje rekonstrukciju slike iz 16 mjerenja
prikazana. Vidljive su značajne pogreške u rekonstrukciji i artefakti blokovske
obrade slike.
Slika 14. Prikaz jednog mjerenja korištenog u rekonstrukciji slike
35
Slika 15. Rekonstrukcija slike – 64 mjerenja
Slika 16. Rekonstrukcija slike - 48 mjerenja
36
Slika 17. Rekonstrukcija slike - 32 mjerenja
Slika 18. Rekonstrukcija slike - 16 mjerenja
37
Tablica 2. prikazuje odnos srednje kvadratne i apsolutne pogreške te broja
mjerenja korištenih za rekonstrukciju slike. Jasno je vidljivo kako kvaliteta
rekonstrukcije opada sa smanjenjem broja mjerenja iz čega je moguće zaključiti da
je odnos broja mjerenja i kvalitete rekonstrukcije proporcionalan. Svi podaci
prikazani u tablici dobiveni su rekonstrukcijom testne slike korištenjem diskretne
kosinusne transformacijske matrice i slučajne binarne mjerne matrice na
neprorijeđenim ulaznim podacima.
Tablica 2. Odnos srednje kvadratne pogreške i broja mjerenja
broj mjerenja 16 32 48 64
MSE [dB] -19.61 -23.75 -28.77 -95.65
MAE [dB] -11.35 -13.49 -16.18 -50.77
Tablica 3. prikazuje odnos srednje kvadratne i apsolutne pogreške te
postotka rijetkosti slike na primjeru rekonstrukcije slike iz 32 mjerenja. Može se
zaključiti kako je navedeni odnos proporcionalan, odnosno povećanje postotka
rijetkosti slike poboljšava kvalitetu rekonstrukcije što je bilo i očekivano prema
teorijskoj pozadini metode sažetog očitavanja. I u ovom slučaju korištena je
diskretna kosinusna transformacijska matrica te slučajna binarna mjerna matrica.
Tablica 3. Odnos srednje kvadratne pogreške i rijetkosti slike
postotak rijetkosti [%] 0 25 50 75
MSE [dB] -23.65 -24.50 -25.58 -27.28
MAE [dB] -13.55 -13.91 -14.42 -15.50
Pokazalo se kako se odabirom drukčije transformacijske ili mjerne matrice ne
dobivaju značajni dobici u smislu kvalitete rekonstrukcije slike. Tablica 4. prikazuje
utjecaj odabira mjerne i transformacijske matrice na kvalitetu rekonstrukcije. Vidljivo
je kako odabir transformacijske matrice ima veći utjecaj na kvalitetu rekonstrukcije
nego odabir mjerne matrice. Kvaliteta rekonstrukcije je izražena pomoću srednje
kvadratne pogreške i srednje apsolutne pogreške iskazane u dB dok su za
38
usporedbu korištene rekonstrukcije pomoću 48 mjerenja na neprorijeđenim ulaznim
podacima.
Tablica 4. Utjecaj odabira mjerne i transformacijske matrice na kvalitetu rekonstrukcije
Φ
Ψ
BINARNA GAUSSOVA
DCT MSE [dB] -29.11 -29.38
MAE [dB] -16.33 -16.30
DWT (Haar) MSE [dB] -27.24 -27.85
MAE [dB] -15.66 -15.71
39
5. Rekonstrukcija dvodimenzionalne scene sažetim
očitavanjem
Osnovna ideja rekonstrukcije dvodimenzionalne scene sažetim očitavanjem
jest da se korištenjem kalibriranog sustava digitalne kamere i projektora iz
reduciranog broja očitanih uzoraka rekonstruira potpuni signal s određenom
statističkom pouzdanosti. Nakon što je na sintetskom primjeru rekonstrukcije
dvodimenzionalnog signala dokazana teorijska pozadina sažetog očitavanja,
iskorištavanjem određenih zaključaka razvijen je cjelokupni sustav za rekonstrukciju
dvodimenzionalne scene sažetim očitavanjem koji se sastoji od sklopovskog i
programskog dijela.
Sklopovski dio sastoji se od kalibriranog sustava digitalne kamere i
projektora. Digitalna kamera korištena u procesu rekonstrukcije je Canon 400D.
Canon 400D je 10.1 megapikselna kamera sa senzorom rezolucije 3888x2592
piksela [23]. Drugi dio sustava čini WXGA LCD projektor Hitachi CP-WX410
rezolucije 1280x800 piksela [24]. Rezolucijom projektora određena je maksimalna
rezolucija rekonstruirane dvodimenzionalne scene. Iako je rezolucija senzora
digitalne kamere očigledno veća od rezolucije LCD projektora, naknadnim
procesiranjem slike rezolucija je programski smanjena.
Programski dio sustava za rekonstrukciju dvodimenzionalne scene sažetim
očitavanjem razvijen je u programskom okruženju MATLAB. Drugi programi
korišteni u razvoju programskog rješenja biti će opisani u daljnjim poglavljima.
5.1 Kalibracija sustava kamere i projektora
Slika 19. prikazuje izgled sustava kamere i projektora korištenog u procesu
mjerenja dvodimenzionalne scene. Projektor i kamera se postavljaju okomito na
ravninu projekcije odnosno okomito na mjerenu dvodimenzionalnu scenu. Kamera
se na računalo spaja putem mini USB kabla dok se za spajanje projektora koristi
HDMI kabel.
40
Slika 19. Sustav kamere i projektora
Vrlo bitna stvar u procesu mjerenja dvodimenzionalne scene jest statičnost
sustava kamere i projektora. Projektor se postavlja na stabilnu površinu poput
radnog stola dok se za kameru koristi stativ. Iz istog razloga se za udaljeno okidanje
kamere (engl. Remote Shooting) koristi programska podrška Canon EOS Utility [25].
Sve automatizirane postavke kamere poput automatske ekspozicije i
automatskog izoštravanja u procesu kalibracije te kasnije u procesu mjerenja
dvodimenzionalne scene moraju biti isključene. Razlog tome je što se želi ostvariti
potpuna kontrola nad procesom mjerenja. Parametri kamere u procesu kalibracije i
mjerenja postavljaju se na sljedeće vrijednosti: brzina blende postavljena je na
𝐹/5.6, dok je vrijeme ekspozicije namješteno na 1/25𝑠, ISO osjetljivost senzora
41
namještena je na minimalnu vrijednost 100 kako bi se u sliku unosila što manja
razina šuma.
Sve postavke projektora također se postavljaju na neutralne, isključuju se sve
automatske postavke s posebnim naglaskom na postavku keystone čija promjena
uzrokuje aliasing efekte u prikazu slike.
U procesu kalibracije se na ravnu plohu (npr. zid) stavlja bijeli papir poznatih
svojstava. Prije procesa rekonstrukcije scene na papir identičnih svojstava će se
isprintati određeni uzorak koji će biti rekonstruiran metodom sažetog očitavanja.
5.1.1. Estimacija pozadinskog osvjetljenja i šuma
Proces kalibracije sustava projektora i kamere započinje estimacijom
pozadinskog osvjetljenja i šuma. Pozadinsko osvjetljenje i pozadinski šum jednim
imenom nazivamo pozadinom. Prvi razlog pojavljivanja pozadinskog osvjetljenja je
što projektor prilikom prikazivanja potpuno tamne slike zapravo propušta dio
svjetlosti ne prikazujući pri tome očekivanu crnu sliku. Iako je preporučeno proces
mjerenja obaviti u apsolutno zamračenoj sobi, može se dogoditi da se pojavi utjecaj
dnevnog svjetla koje će podići razinu osvjetljenja dvodimenzionalne scene. Nadalje,
pošto je Canon 400D kamera koja sadrži CCD senzor pri procesu uzorkovanja
signala javlja se i šum senzora koji doprinosi ukupnom pozadinskom šumu, a dijeli
se na tri komponente: fotonski šum (engl. photon noise), tamni šum (engl. dark
current noise) te mjerni šum (engl. readout noise).
Fotonski šum je šum koji je vezan uz nasumične fluktuacije fotonskog toka
koji dolazi do CCD senzora. Ovaj šum ravna se po Poissonovoj distribuciji i njegova
vrijednost proporcionalna je kvadratnom korijenu signala. Ova vrsta šuma je
neizbježna i uvijek je prisutna u sustavima za uzorkovanje intenziteta
elektromagnetskog zračenja.
Tamni šum nastaje kao posljedica nesavršenosti senzora i ovisi o temperaturi
senzora (obično se udvostručuje svakih 6-7K) te se može drastično smanjiti
hlađenjem senzora. Tamni šum proporcionalan je vremenu integracije senzora
kamere.
42
Mjerni šum je aditivni Gaussov bijeli šum koji uključuje termalni šum u
elektroničkim komponentama i kvantizacijski šum. Ova vrsta šuma se može smanjiti
dužim ekspozicijama [26] [27].
Proces estimacije pozadine započinje projiciranjem potpuno tamne slike na
projektoru i snimanjem scene digitalnom kamerom. Ponavlja se više mjerenja
utjecaja pozadine zbog preciznijeg računanja srednje vrijednosti, odnosno
smanjenja standardne devijacije mjerenja. Slike koje služe za estimaciju utjecaja
pozadine programski se usrednjavaju te se koriste u procesu linearizacije sustava
kamere i projektora, ali i kasnije u procesu rekonstrukcije scene kako bi se u
potpunosti eliminirao utjecaj pozadinskog osvjetljenja i šuma.
5.1.2. Linearizacija sustava kamere i projektora
Sljedeći korak u procesu kalibracije sustava kamere i projektora je
linearizacija mjerenja. Potpuno neobrađeni podaci s digitalne kamere
podrazumijevaju podatke na kojima nisu primijenjene nikakve transformacije. RAW
format predstavlja format zapisa neprocesuiranih podataka o mjerenju koji dolaze
direktno sa senzora digitalne kamere što je vrlo korisno kod znanstvenih istraživanja
kada je potrebno imati potpunu kontrolu nad procesom akvizicije podataka. Iako vrlo
korisno kada se koristi u znanstvene svrhe, u praktičnim potrošačkim primjenama
RAW slika mora proći dugački lanac postprocesiranja prije nego može biti ispravno
prikazana. Većina današnjih kamera namijenjena je upravo potrošačkim
primjenama, dakle, kao izlazne podatke daje slike na kojima su prethodno
primijenjene različite operacije postprocesiranja ne dopuštajući pri tom pristup
sirovim podacima o mjerenju sa senzora, dok digitalne kamere višeg cjenovnog
ranga ipak omogućuju spremanje slika u RAW formatu zapisa.
RAW format zapisa klasa je računalnih datoteka koje tipično sadrže
nekomprimiranu sliku s vrijednostima intenziteta svakog pojedinog piksela, ali
također sadrže i veliku količinu meta-informacija (engl. Exif data) o slici generiranoj
pomoću digitalne kamere. Ovisno o proizvođaču korištene digitalne kamere RAW
zapisi imaju različite forme pojavljivanja pa tako primjerice Canon ima vlastiti
zatvoreni format RAW zapisa koji se naziva CR2 formatom [28]. Postoji i univerzalni,
43
otvoreni format zapisa nazvan digitalnim negativom DNG (engl. Digital Negative)
koji se može shvatiti kao nerazvijeni film analogne kamere [29]. Općenito, zatvoreni
RAW formati su vrlo zagonetni i teški za dešifriranje, međutim, razvijene su brojne
metode kojima se uspješno dolazi do podataka sadržanih u takvim zapisima. RAW
zapis sa senzora digitalne kamere zasigurno sadrži informaciju o sceni, međutim
ona nije prepoznatljiva ljudskom oku kao što prikazuje Slika 20.
Slika 20. Izgled RAW zapisa slike [30]
RAW je jednokanalni zapis intenziteta svjetlosti na pojedinom fotosenzoru.
Razina intenziteta svjetlosti koju kamera može uspješno obraditi definirana je
razinom zasićenja samog senzora digitalne kamere i kao takva nikad neće biti
premašena. Kod većine digitalnih kamera vrijednosti intenziteta svjetlosti izražavaju
se 12 ili 14-bitnim cjelobrojnim brojevima. Referentna razina crne boje u sceni
najmanja je vrijednost intenziteta očitana na senzoru kamere. Očitana razina
intenziteta svjetlosti odgovara broju fotona koji padaju na senzor kamere, odnosno
broju elektrona koji su generirani prilikom pobude fotosenzora upadnom svjetlošću.
RAW zapis podataka sa senzora digitalne kamere najčešće dolazi u formatu
Bayerovog filtera (engl. Bayer Color Filter Array, CFA). Bayerov filter matrica je
fotosenzora veličine 𝑚𝑥𝑛 (gdje su 𝑚𝑥𝑛 dimenzije cijelog senzora) u kojoj svaki
fotosenzor sadrži informaciju o boji jednog od triju RGB kanala. Bayerov filter
informaciju o boji ostvaruje kompromisnim rješenjem u kojemu se iznad senzora
44
postavlja selektivni filter koji na različitim lokacijama propušta samo određeni dio
spektra svjetlosti (crveni, zeleni ili plavi) spremajući pri tome informaciju o intenzitetu
određene boje. Iako se na ovaj način dobiva informacija o samo jednoj boji na
određenom fotosenzoru, pametnim načinima interpolacije moguće je izračunati
intenzitet ostalih dvaju boja te na taj način ostvariti dobro poznati RGB zapis slike
[30].
Spomenuti proces interpolacije naziva se demosaicing. Proces interpolacije
stvara slikovno polje veličine 𝑚𝑥𝑛𝑥3 RGB vrijednosti koje sadrži vrijednosti
intenziteta boja za svaki slikovni element. Slika 21. prikazuje izgled Bayerovog filtra.
Može se primjetiti kako u Bayerovom filteru ima dvostruko više fotosenzora za
zelenu boju nego fotosenzora za crvenu ili plavu boju. Razlog tome je što je ljudsko
oko puno osjetljivije na varijacije u nijansama zelene boje te što je zelena boja bolje
korelirana s percepcijom intenziteta svjetlosti u sceni.
Slika 21. Bayerov filter [30]
Vrijedi napomenuti da iako je forma Bayerovog filtera prilično standardna,
različiti proizvođači digitalnih kamera mogu koristiti Bayerov filter u različitim
fazama. Faza označava raspored senzora boja na Bayerovom filteru. Postoje četiri
različite faze u kojima se Bayerov filter može pojaviti, a to su: RGGB, BGGR, GBRG,
GRBG. Iznimno je važno da interpolacijski algoritam dobije ispravnu informaciju o
rasporedu boja na Bayerovom filteru kako bi ispravno mogao interpolirati boje u slici.
Sve Canonove kamere EOS serije sadrže senzor koji ima RGGB fazu Bayerovog
filtera [28].
45
Slika 22. prikazuje tok obrade slike u RAW formatu. Ulazni podatak je slika u
RAW formatu na koju se primjenjuju operacije linearizacije (engl. linearization),
balansiranja bijele boje (engl. white balance), interpolacije Bayerovog filtra (engl.
demosaicing), određivanja prostora boja pogodnog za prikaz (engl. color space
correction) te konačno operacije kontrole svjetline i kontrasta (engl. brightness and
contrast control). Nakon provođenja navedenih operacija dobiva se slika koja je
spremna za prikaz.
Slika 22. Obrada RAW slike
Kako bi bilo moguće raditi s RAW slikama unutar programskog okruženja
MATLAB prvo je potrebno doći do informacija sadržanih u zatvorenim, vlasničkim
formatima poput Canonovog CR2 formata. Postoje različiti programi koji
omogućavaju pretvaranje različitih zatvorenih formata RAW slike u otvoreni DNG
format među kojima vrijedi istaknuti besplatni Adobe DNG Converter koji je vrlo
jednostavan za korištenje te istovremeno vrlo efikasan [31]. DNG format temelji se
na TIFF formatu slike i zadržava mnoštvo Exif meta-podataka sadržanih u
originalnim RAW zapisima. Adobe DNG Converter omogućuje pristup RAW slici
prije nego što se na nju primjeni bilo koji od koraka obrade.
Nakon što je konverzijom podataka iz RAW zapisa osigurana potpuna
kontrola nad procesom mjerenja obavlja se drugi korak kalibracije sustava kamere
i projektora, odnosno njihova linearizacija. Iako je očekivano kako bi RAW format
slike koju daje digitalna kamere trebao sadržavati potpuno linearne podatke postoji
mogućnost postojanja nelinearnosti, dok s druge strane projektor zasigurno unosi
nelinearnost u cjelokupni mjerni sustav. Zbog toga se obavlja umjeravanje sustava
pomoću posebno dizajniranih kalibracijskih mjernih maski.
Kalibracijske maske korištene u procesu linearizacije binarne su maske
slične mjernim maskama korištenim u sintetskom primjeru rekonstrukcije pomoću
sažetog očitavanja (Slika 11.), uz razliku što se za linearizaciju koriste maske s
46
različitim postotcima jedinica i nula. Maske projicirane pomoću projektora
sadržavaju rastući broj jedinica u rasponu od 0 do 64 s inkrementalnim korakom
jedan. Naknadnim analizama pokazalo se da je spomenuti broj kalibracijskih maski
koje se koriste u procesu kalibracije nepotrebno velik. Naime, smanjenjem broja
kalibracijskih maski na četvrtinu ukupnog broja unosi se zanemariva pogreška u
linearizacijski postupak dok se vrijeme i resursi potrebni za obavljanje kalibracije
značajno smanjuju. Radi toga kalibracija se može obaviti pomoću binarnih
kalibracijskih maski u kojima broj jedinica raste inkrementalno s korakom četiri.
Maska koja sadrži sve crne piksele nije nužna u procesu linearizacije,
međutim prethodno objašnjeni proces estimacije pozadine može se pripojiti procesu
linearizacije radi pojednostavljenja i ubrzanja cjelokupnog procesa kalibracije. Slika
23. (lijevo) prikazuje izgled potpune kalibracijske matrice gdje su mjerne maske
posložene u vektor-retke. Na desnoj slici prikazana je reducirana kalibracijska
matrica u kojoj je broj ukupnih kalibracijskih mjerenja smanjen na četvrtinu ukupnog
broja. Vidljivo je kako od početnog do krajnjeg retka matrice raste postotak jedinica
u kalibracijskim maskama. Kalibracijske maske se u postupku kalibracije projiciraju
na istu površinu koja je korištena u procesu estimacije pozadinskog šuma na kojoj
se nalazi papir poznatih svojstava.
Slika 23. Potpuna kalibracijska matrica (lijevo) i reducirana kalibracijska matrica (desno)
47
Proces kalibracijskog mjerenja se, kao i proces stvarnog mjerenja, odvija u
četiri faze na blokovima veličine 8x8 kao što prikazuje Slika 24. Razlog tome je
razdvajanje susjednih mjerenja kako bi se eliminirao eventualni utjecaj susjednih
mjernih maski na rezultat mjerenja.
Slika 24. Faze mjerenja
Rezultat kalibracijskog mjerenja suma je svih vrijednosti intenziteta očitanih
sa senzora kamere koje odgovaraju količini svjetlosti koja je došla do samog
senzora. Očekuje se potpuno linearni rast očitanih veličina kako se povećava
postotak jedinica u kalibracijskim maskama. Slika 25. prikazuje odnos broja jedinica
u kalibracijskoj maski te rezultata kalibracijskog mjerenja dobivenih na jednom
obrađenom bloku. Očigledno postoji određena nelinearnost između rezultata
kalibracijskog mjerenja i broja jedinica u kalibracijskoj maski. Plavom linijom
označena je stvarna vrijednost funkcije nelinearnosti, dok je crvenom bojom
označena krivulja nelinearnosti dobivena regresijom. Vrlo teško je odgonetnuti koji
element sustava unosi nelinearnosti, stoga se pokušava estimirati inverzna funkcija
koja će eliminirati nelinearnosti. Slika 26. prikazuje korekcijsku funkciju za
eliminiranje nelinearnosti u sustavu kamere i projektora.
48
Slika 25. Funkcija nelinearnosti sustava
Slika 26. Korekcijska funkcija za nelinearnosti u sustavu
49
Očekuje se da su sve nelinearnosti unutar mjernog sustava eliminirane
prethodnim kalibracijskim postupkom. Nakon procesa linearizacije sustava
očekivano je kako mjerenje očitano sa senzora kamere linearno odgovara količini
svjetlosti koja se nalazi u sceni, odnosno broju jedinica koje se nalaze u mjernoj
maski. Proces kalibracije sustava kamere i projektora korakom linearizacije je
završen te slijedi proces mjerenja dvodimenzionalne scene objašnjen u sljedećem
poglavlju.
5.2 Proces mjerenja dvodimenzionalne scene
Proces mjerenja dvodimenzionalne scene obavlja se pomoću prethodno
kalibriranog sustava kamere i projektora. Izrazito je bitna činjenica da između
kalibracijskih i stvarnih mjerenja cijeli sustav mora biti statičan te svi parametri
kamere i projektora moraju ostati nepromijenjeni. Na papir identičnih svojstava
onom korištenom u kalibracijskim mjerenjima otisnuta je stvarna scena. Slika 27.
prikazuje sadržaj stvarne scene. Slike ornamenata predstavljaju povoljan odabir
scene za rekonstrukciju jer sadrže različite detalje u kojima su zastupljene
visokofrekvencijske, ali i niskofrekvencijske komponente. Papir na kojemu je
isprintana scena za rekonstrukciju stavlja se na identično mjesto gdje se nalazio
čisti bijeli papir poznatih svojstava za vrijeme kalibracije.
50
Slika 27. Scena za rekonstrukciju
Stvarno mjerenje se kao i kalibracijsko obavlja u četiri odvojene faze kao što
prikazuje Slika 24. Mjerne maske su slučajne binarne maske koje sadrže pedeset
posto elemenata jednakih jedinicama. Odabir slučajnih binarnih mjernih maski, a ne
Gaussovih mjernih maski objašnjava činjenica da je i sam proces kalibracije
obavljen pomoću binarnih mjernih maski s različitim postotkom bijelih piksela,
odnosno s različitim postotkom elemenata koji su jednaki jedinicama. Također,
pretpostavljamo da postoje određene nelinearnosti u projekcijama koje nastaju pri
prikazu različitih razina svjetline. Jednostavan način eliminacije eventualnih
nelinearnosti uzrokovanih prethodnim razmatranjem korištenje je binarnih mjernih
maski.
Proces stvarnog mjerenja dvodimenzionalne scene odvija se projiciranjem
svih mjernih maski sadržanih u potpunoj mjernoj matrici u četiri odvojene faze.
Korištenjem svih mjernih maski sadržanih u mjernoj matrici osigurava se
redundancija informacija potrebnih u procesu rekonstrukcije. Slika 28. prikazuje
jednu fazu mjerenja stvarne dvodimenzionalne scene. Crvenim pravokutnikom
označen je papir na kojem se nalazi isprintana željena scena za rekonstrukciju.
Područje crvenog pravokutnika ujedno definira i područje interesa za rekonstrukciju.
51
Jasno se može vidjeti razmak između projiciranih susjednih mjernih maski koji služi
za razdvajanje i eliminaciju utjecaja susjednih mjerenja. Pod utjecajem susjednih
mjerenja podrazumijeva se utjecaj ukupnog osvjetljenja susjedne mjerne maske na
trenutno promatranu mjernu masku čime se može značajno promijeniti informacijski
sadržaj mjerenja.
Slika 28. Stvarno mjerenje
Idući korak procesa rekonstrukcije dvodimenzionalne scene sažetim
očitavanjem izdvajanje je mjernih rezultata definiranih projiciranim mjernim
maskama. Mjerni rezultat skalarna je vrijednost koja opisuje odstupanje stvarne
dvodimenzionalne scene od one korištene za kalibraciju sustava kamere i
projektora. Ovako definirani mjerni rezultat posljedica je samog procesa kalibracije.
Naime, kalibracija je obavljena na potpuno bijelom papiru čime je definirana
referentna razina bijele boje u sceni. Kao što je spomenuto u prethodnom poglavlju,
nakon procesa eliminacije pozadine i linearizacije cjelovitog mjernog sustava
očekivano je kako rezultat mjerenja linearno odgovara broju jedinica u binarnoj
52
maski, odnosno broju projiciranih bijelih piksela projektora. Ako se u stvarnoj sceni
na mjestu gdje je projicirana mjerna maska nalazi detalj crne boje, rezultat mjerenja
će pokazati da postoji značajno odstupanje od referentne razine bijele boje. Na taj
način rezultat mjerenja opisuje informacijski sadržaj dvodimenzionalne scene za
rekonstrukciju.
5.3 Rekonstrukcija dvodimenzionalne scene
Rekonstrukcija dvodimenzionalne scene odvija se na identičan način kao i u
sintetskom primjeru rekonstrukcije slike sažetim očitavanjem. Nakon obavljenih
mjerenja pomoću binarne mjerne matrice Φ𝑘 na red dolazi izdvajanje pojedinih
rezultata mjerenja.
Izdvajanje pojedinih rezultata mjerenja obavlja se pomoću blob detekcije na
kalibracijskoj slici u kojoj su svi elementi kalibracijske maske jednaki jedinicama. Na
taj način određuje se maksimalno područje koje pojedina mjerna maska osvjetljuje
prilikom mjerenja. Blob detekcija je metoda detekcije nakupina slikovnih elemenata
u binarnoj slici na temelju različitih parametara. Konverzija slike iz slike sivih razina
u binarnu sliku ostvaruje se primjenom fiksnog praga koji je definiran razinom
pozadinskog šuma u slici. Nakon same blob detekcije slijedi filtriranje rezultata
prema veličini područja koje nakupina slikovnih elemenata zauzima te sortiranje
centroida pojedinih slikovnih nakupina kako bi izlaz funkcije detekcije bila sortirana
lista omeđujućih pravokutnika u slici. Na temelju liste omeđujućih pravokutnika
određuje se područje interesa za rekonstrukciju. Slika 29. prikazuje izgled liste
detektiranih omeđujućih pravokutnika na dijelu ulazne slike.
53
Slika 29. Detekcija omeđujućih pravokutnika
Nakon definiranja područja interesa za rekonstrukciju slijedi korak eliminacije
pozadine koji se obavlja jednostavnom operacijom oduzimanja pozadine od svakog
piksela slike. Uz pretpostavku kako je cjelokupni sustav statičan operacija
oduzimanja dati će ispravan rezultat, odnosno sliku bez pozadine. Ipak, operacija
oduzimanja ne eliminira pozadinu u potpunosti i stoga se koristi estimacija šuma
pomoću valićne transformacije te se obavlja filtriranje šuma pomoću određenog
fiksnog praga.
Proces rekonstrukcije dvodimenzionalne scene odvija se prema jednadžbi
(35) kao u slučaju sintetske rekonstrukcije slike pomoću sažetog očitavanja.
𝑦 = Φ𝑘 ⋅ 𝑥 = Φ𝑘 ⋅ Ψ ⋅ 𝑠 (35)
Transformacijska matrica Ψ proizvoljna je matrica kojom se signal
transformira u domenu u kojoj ima rijetku reprezentaciju. Odabir transformacijske
matrice se vrši na temelju scene koju treba rekonstruirati te različite transformacijske
matrice imaju različit utjecaj na uspješnost rekonstrukcije dvodimenzionalne scene.
54
Transformacijska matrica korištena u ovom primjeru je dvodimenzionalna matrica
diskretne kosinusne transformacije.
Oznakom 𝑦 predstavljen je vektor mjernih rezultata. Pojedini mjerni rezultat
računa se kao suma vrijednosti intenziteta svih slikovnih elemenata omeđenih
jednim omeđujućim pravokutnikom koji definira područje koje zauzima jedna
projicirana mjerna maska. Ovdje se vidi značaj obavljanja mjerenja u četiri odvojene
faze. Naime, kada mjerenja ne bi bila odvojena u faze, u ovom koraku bi definicija
pojedinog mjerenja bila gotovo nemoguća bez unošenja određene pogreške u
mjerni rezultat zbog utjecaja susjednih mjernih maski.
Rekonstrukcija dvodimenzionalne scene iz reduciranog broja uzoraka
obavlja se pomoću optimizacijskog algoritma SeDuMi na identičan način kao i u
sintetskom primjeru rekonstrukcije slike. Takav način rekonstrukcije moguć je iz
razloga što je trenutno promatrani problem rekonstrukcije dvodimenzionalne scene
sažetim očitavanjem pomoću sustava kamere i projektora sveden na ekvivalentan
problem kao u slučaju sintetske rekonstrukcije slike. Konačno, rekonstruirani blokovi
slažu se u rekonstruiranu sliku dvodimenzionalne scene.
5.4 Rezultati rekonstrukcije dvodimenzionalne scene
Rezultat rekonstrukcije dvodimenzionalne scene slika je dvodimenzionalne
scene rekonstruirana u sustavu projektora. Rezolucija slike rekonstruirane u
sustavu projektora određena je rezolucijom samog projektora. U ovom slučaju
korišten je projektor rezolucije 1280x800 piksela te je time definirana maksimalna
rezolucija rekonstrukcije.
Slika 30. prikazuje rezultat rekonstrukcije dvodimenzionalne scene pomoću
metode sažetog očitavanja. U rekonstrukciji je korištena samo polovica ukupnog
broja mjerenja (32 mjerenja). Slika 31. prikazuje rezultat rekonstrukcije
dvodimenzionalne scene metodom sažetog očitavanja iz 48 mjerenja. Razlika
između rekonstrukcije scene iz 32 i 48 mjerenja nije značajna, a najviše se očituje
u kontrastu slike te u broju pogrešno rekonstruiranih blokova. Rekonstrukcija
dvodimenzionalne scene iz potpunog skupa uzoraka ne daje dobre rezultate zbog
55
toga što optimizacijski algoritam u tom slučaju nema dovoljan broj stupnjeva slobode
za obavljanje minimizacije jer skup podataka potpuno definiran.
Slika 32. prikazuje očekivani rezultat rekonstrukcije dvodimenzionalne scene
(engl. ground truth) u sustavu kamere. Očekivani rezultat sintetski je stvoren
zbrajanjem slika svih pojedinih mjerenja te naknadnom promjenom rezolucije
ukupnog rezultata kako bi očekivani rezultat rezolucijom odgovarao rezoluciji
projektora. Moguće je primjetiti pojavu ponavljajućih uzoraka koja je povezana s
izborom mjernih maski. Navedeni utjecaj vjerojatno je povezan s procesom
kalibracije cijelog sustava koji se odvija prema referentnoj razini bijele boje papira
te bi se spomenuti artefakti mogli otkloniti drukčijim procesom kalibracije sustava.
Slika 33. prikazuje vizualizaciju jednog mjerenja dvodimenzionalne scene.
Vidljivo je kako je rezolucija slike mjerenja 16 puta manja od rezolucije
rekonstruirane dvodimenzionalne scene metodom sažetog očitavanja.
Bitna činjenica jest da se rekonstrukcijom scene u sustavu projektora
eliminiraju sve eventualne distorzije koje se javljaju pri snimanju dvodimenzionalne
scene digitalnom kamerom. Pod različitim distorzijama podrazumijevaju se
primjerice distorzije koje se javljaju kod fisheye kamera i koje su u potpunosti
eliminirane ako se koristi ovakav pristup rekonstrukciji dvodimenzionalne scene.
56
Slika 30. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (32 mjerenja)
Slika 31. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (48 mjerenja)
57
Slika 32. Očekivani rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem
Slika 33. Prikaz jednog mjerenja dvodimenzionalne scene
58
Rekonstrukcija dvodimenzionalne scene metodom sažetog očitavanja dala
je zadovoljavajuće rezultate. Uspoređujući rekonstruirane i očekivane slike može se
primjetiti kako je uspješno rekonstruiran sav informacijski sadržaj scene. Postoje
određeni problemi koji se javljaju pri rekonstrukciji scene poput problema šuma koji
je uzrokovan projiciranjem mjernih maski na dvodimenzionalnu scenu, iako postoji
mogućnost drukčijeg pristupa kalibraciji mjernog sustava kojim bi bilo moguće
ukloniti navedeni šum. Pošto se rekonstrukcija dvodimenzionalne scene pokazala
uspješnom, sljedeće poglavlje proširuje ideju rekonstrukcije na trodimenzionalnu
scenu.
59
6. Rekonstrukcija trodimenzionalne scene sažetim
očitavanjem
Kao što je u prethodnom poglavlju napomenuto, ovo poglavlje opisuje ideju
primjene metode sažetog očitavanja na rekonstrukciju trodimenzionalne scene.
Osnovna ideja je da se korištenjem kalibriranog sustava koji se sastoji od 3D
kamere za snimanje svjetlosnog polja (engl. Light Field Camera) i projektora
rekonstruira trodimenzionalna scena.
6.1 3D kamera za snimanje svjetlosnog polja
3D kamera za snimanje svjetlosnog polja naziva se i plenoptičkom kamerom
te predstavlja posebnu kameru koja dohvaća informacije o svjetlosnom polju
izračenom iz scene [32]. Informacije o svjetlosnom polju koje plenoptička kamera
snima su intenzitet svjetlosti u sceni, ali također i smjer zraka svjetlosti u prostoru.
Prethodno navedeno čini značajnu razliku između tradicionalnih digitalnih kamera
koje snimaju samo informaciju o intenzitetu svjetlosti u sceni.
Plenoptička kamera koristi niz mikroleća koje se nalaze ispred
konvencionalnog senzora kamere koji snima informacije o intenzitetu, boji te smjeru
svjetlosti koja izvire iz scene. Alternativni pristup korištenju niza mikroleća korištenje
je niza digitalnih kamera koje imitiraju prethodno objašnjeni sustav. Informacije
prikupljene pomoću plenoptičke kamere omogućuju mnoštvo zanimljivih primjena
među kojima su naknadno fokusiranje snimljene slike te izrada 3D modela scene.
Naknadno fokusiranje vrlo je zanimljivo iz aspekta umjetničke fotografije jer se
slikama snimljenim pomoću plenoptičke kamere fokus može mijenjati prema
potrebi. Slika 34. prikazuje Lytro plenoptičku kameru koja predstavlja jednu od
najnaprednijih 3D kamera za snimanje svjetlosnog polja [33].
Veliki problem koji se pojavljuje pri korištenju plenoptičkih kamera za
rekonstrukciju trodimenzionalne scene sažetim očitavanjem zatvorenost je izlaznih
formata. Naime, vrlo je teško doći do sirovih informacija o sadržaju scene koje bilježi
60
senzor plenoptičke kamere, a samim time je teško osigurati linearnost koja je prijeko
potrebna u procesu rekonstrukcije scene sažetim očitavanjem.
Slika 34. Lytro plenoptička kamera
6.2 Kalibracija sustava kamere i projektora
Kalibracija sustava za rekonstrukciju trodimenzionalne scene razlikuje se od
kalibracije sustava za rekonstrukciju dvodimenzionalne scene. Naime vrlo je važno
znati pozicije pojedinih piksela koji su projicirani na trodimenzionalnu scenu pomoću
projektora. Pošto se problem rekonstrukcije scene pomoću sustava kamere i
projektora može smatrati svojevrsnim sustavom strukturiranog svjetla (engl.
Structured Light System) osnovna ideja jest da se iskoriste tradicionalni sustavi i
algoritmi za kalibraciju sustava strukturiranog svjetla [34].
Sustav kamere i projektora može se promatrati kao sustav stereo vida ukoliko
se projektor promatra kao inverzna kamera i ako se, imajući na umu prethodnu
pretpostavku, u procesu kalibracije primjenjuju sva pravila koja vrijede pri kalibraciji
pasivnog stereo sustava koji se sastoji od dvije kamere. Ipak, moraju se koristiti
određene prilagodbe u odnosu na pasivni sustav stereo vida iz razloga što projektor
ne može direktno mjeriti koordinate slikovnih elemenata kao što to čini digitalna
kamera. Svi parametri kamere i projektora moraju biti podešeni tako da odgovaraju
sceni koja se želi rekonstruirati. Bitna činjenica jest da svaki relativni pomak sustava
kamere i projektora ili promjena parametara iziskuje ponovnu kalibraciju
61
cjelokupnog sustava. Prijedlog metode za kalibraciju sustava kamere i projektora
kalibracijska je metoda koja iskorištava lokalnu homografiju kako bi estimirala
koordinate točaka kalibracijske ravnine u koordinatnom sustavu projektora
predstavljena u radu Morena i Taubina [35].
6.2.1. Kalibracija kamere
Kalibracija kamere sastoji se od estimacije intrinzičnih i ekstrinzičnih
parametara kamere. Intrinzični parametri ovisno o odabranom modelu kamere
podrazumijevaju parametre kamere poput fokalne udaljenosti izražene u pikselima,
lokacije optičkog centra senzora te koeficijenata radijalne i tangencijalne distorzije.
Kalibracija kamere objašnjena u ovom poglavlju podrazumijeva korištenje pinhole
modela kamere koji ne uzima u obzir radijalne i tangencijalne distorzije uzrokovane
lećom [36].
Intrinzični parametri sadrže informacije potrebne za centralnu projekciju iz
trodimenzionalnog prostora svijeta u dvodimenzionalni prostor kamere. Ekstrinzični
parametri smještaju kameru u odnosu na definirani koordinatni sustav svijeta
pomoću matrica rotacije i translacije. Pinhole model kamere jednostavan je model
u kojem se leća kamere zamjenjuje s vrlo malim otvorom koji se može zamisliti kao
jedna točka. Prema strogoj definiciji modela pinhole kamere otvor pinhole kamere
beskonačno je malen te iz svake točke objekta koji se snima kroz otvor prolazi samo
jedna zraka svjetlosti. Projekcija slike iz trodimenzionalnog koordinatnog sustava
svijeta u dvodimenzionalni koordinatni sustav kamere definirana je matričnom
jednadžbom (36). Matrica 𝐴 označava intrinzičnu matricu, dok se ekstrinzična
matrica sastoji od matrice rotacije 𝑅 i vektora translacije 𝑡. Faktor 𝑤 je skalirajući
faktor. Vektori koordinata prikazani su u homogenom obliku.
1
𝑤[𝑥𝑦1] = 𝐴 [𝑅 𝑡] [
𝑋𝑌𝑍1
] (36)
62
Kalibracija kamere obavlja se Zhangovom metodom koja kao kalibracijski
objekt koristi planarnu šahovsku ploču [37]. Pritom se šahovska ploča kamerom
snima u nekoliko različitih orijentacija u prostoru kako bi se u potpunosti pokrio
cjelokupni radni prostor. Nakon obavljenog snimanja kalibracijski algoritam
izračunava intrinzične i ekstrinzične parametre kamere koristeći relacije između
unutarnjih rubova šahovske ploče i koordinatnog sustava svijeta kojeg zamišljamo
pričvršćenog na ravninu šahovske ploče. Slika 35. prikazuje šahovsku ploču
osvjetljenu pomoću projektora koristeći potpuno bijelu sliku. Upravo na toj slici odvija
se detekcija unutrašnjih rubova šahovske ploče.
Kako bi se smanjio broj potrebnih koraka za kalibraciju sustava kamere i
projektora, za svaku orijentaciju šahovske ploče projicira se kompletni uzorak
strukturiranog svjetla koji se koristi za rekonstrukciju [35]. Vrlo popularan i
jednostavan uzorak strukturiranog svjetla koji se može koristiti u kalibraciji sustava
kamere i projektora je Grayev uzorak jer je vrlo robustan i otporan na pogreške u
dekodiranju [38].
Slika 35. Šahovska ploča s označenim karakterističnim točkama
63
6.2.2. Kalibracija projektora
Kamera i projektor mogu se opisati istim matematičkim modelom. Naime,
projektor se može predstaviti kao inverzna kamera i za njegovu kalibraciju se može
primijeniti identičan postupak korišten za kalibraciju kamere.
Transformacija projektora u kameru započinje projekcijom Grayevog uzorka
na kalibracijsku ravninu čime se pronalazi skup korespondencija piksela kamere i
projektora. Projektor se u kameru pretvara pomoću relacija zabilježenih iz
projiciranih uzoraka strukturiranog svjetla. Dekodiranje Grayevog uzorka
omogućuje povezivanje svakog piksela projektora s pikselom ili sa skupinom piksela
koji se nalaze u sustavu kamere. Slika 36. prikazuje dekodirani Grayev kod,
odnosno prikazuje korespondencije između projektora i kamere. Pikseli obojani
određenom bojom predstavljaju isti stupac (slika lijevo) ili redak (slika desno) slike
projektora u sustavu kamere. Pikseli koji se ne mogu uspješno dekodirati postavljaju
se na neodređenu vrijednost i obojani su sivom bojom. Drugi korak transformacije
iskorištava pronađene korespondencije te iz njih izračunava skup lokalnih
homografija koje omogućuju transformaciju bilo koje točke koja se nalazi na
kalibracijskom objektu u sustav projektora sa subpikselnom preciznošću. Slika 37.
prikazuje sliku koja je korištenjem skupa lokalnih homografija transformirana u
sustav projektora, odnosno drukčije rečeno, prikazuje sliku kako bi ona izgledala
„snimljena pomoću projektora“. Prethodna transformacija omogućuje korištenje
identičnog kalibracijskog postupka za kalibraciju projektora koji je korišten za
kalibraciju kamere.
Slika 36. Dekodirani Grayev kod - korespondencije između piksela projektora i kamere
64
Slika 37. Slika šahovske ploče transformirana u sustav projektora
Nastavak kalibracije stereo sustava kamere i projektora pronalazak je
relativne rotacije i translacije projektora i kamere. Prethodno pronađeni intrinzični
parametri kamere i projektora ostaju nepromijenjeni, a ishodište koordinatnog
sustava svijeta poistovjećuje se s ishodištem koordinatnog sustava kamere. Pozicija
projektora promatra se relativno u odnosu na koordinatni sustav svijeta. Pošto je
sustav kamera-projektor sveden na sustav kamera-kamera za estimaciju relativne
rotacije i translacije može se koristiti neki od poznatih algoritama korištenih u
kalibraciji tradicionalnih pasivnih stereo sustava [35].
Daljnji koraci kalibracije sustava za rekonstrukciju trodimenzionalne scene
trebali bi biti istovjetni onima u kalibraciji sustava za rekonstrukciju
dvodimenzionalne scene. Prvi od njih je estimacija pozadinskog osvjetljenja i šuma
kojim se eliminiraju vanjski utjecaji na izračeno svjetlosno polje u trodimenzionalnoj
sceni. Drugi korak je linearizacija cjelovitog sustava za rekonstrukciju.
Prethodno spomenuti problem zatvorenosti formata zapisa plenoptičke
kamere onemogućuje pristup sirovim podacima sa senzora kamere te zbog toga
nije bilo moguće obaviti potpunu linearizaciju sustava.
65
7. Zaključak
U ovom radu osmišljen je i razvijen cjelovit sustav za rekonstrukciju
dvodimenzionalne scene metodom sažetog očitavanja. Razvijeni sustav predstavlja
velik pomak u razvoju metode sažetog očitavanja. Pomoću sustava kamere i
projektora rekonstruirana je dvodimenzionalna scena iz reduciranog broja uzoraka.
Rekonstrukcija scene pomoću navedenog sustava eliminira utjecaj eventualnih
distorzija koje se javljaju pri korištenju fisheye ili drugog tipa leće. Trenutno je broj
praktičnih primjena sažetog očitavanja u realnim problemima vrlo malen.
Postoje brojne mogućnosti primjene sustava razvijenog u ovom radu. Naime,
iako je problem rekonstrukcije dvodimenzionalne scene u ovom radu promatran u
vidljivom dijelu spektra svjetlosti, može se promatrati i u ostalim dijelovima spektra.
Digitalne kamere koje snimaju u vidljivom dijelu spektra svjetlosti vrlo su dostupne i
tehnološki razvijene dok su kamere koje snimaju u ostalim dijelovima spektra, poput
infracrvenih kamera, vrlo skupe te nisu na jednakoj razini razvoja. Senzori korišteni
u kamerama koje snimaju u drugim dijelovima spektra često su niskorezolucijski
zbog njihove visoke cijene. Korištenjem razvijenog sustava u drugim dijelovima
spektra bi se iz reduciranog broja uzoraka mogla obaviti rekonstrukcija scene u
visokoj rezoluciji.
Metoda sažetog očitavanja zasigurno ima svijetlu budućnost s brojnim
primjenama. Očekivan je razvoj velikog broja praktičnih primjena sažetog očitavanja
u različitim inženjersko-znanstvenim granama. Prostora za unaprjeđenje metode
sažetog očitavanja ima mnogo, počevši od konstrukcije mjernih matrica, odabira
odgovarajuće transformacijske matrice, poboljšanja optimizacijskih algoritama sve
do pronalaska novih područja za praktičnu primjenu. Sva navedena poboljšanja
pomoći će popularizaciji i intenzivnijem razvoju metode sažetog očitavanja.
____________________
Ivan Ralašić (0036465985)
66
8. Literatura
[1] »Cisco,« svibanj 2015. [Mrežno]. Dostupno:
http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networking-index-
vni/VNI_Hyperconnectivity_WP.html. [Pokušaj pristupa 22 svibanj 2016].
[2] M. Kovač, H. Mlinarić i J. Knezović, »Materijali s predavanja za predmet Multimedijske
arhitekture i sustavi(dio 2),« FER, Zagreb, 2005.
[3] D. Petrinović, Ekvivalencija vremenski kontinuiranih i diskretnih signala i sustava, Zagreb: FER,
2008.
[4] E. J. Candès i M. B. Wakin, »An Introduction To Compressive Sampling,« IEEE Signal
Processing Magazine, ožujak 2008.
[5] Zavod za elektroakustiku Fakulteta elektrotehnike i računarstva, »Prijenos zvuka - MPEG
kodiranje - laboratorijska vježba,« FER, Zagreb.
[6] M. Vučić, Bilješke uz formulaciju problema Compressive samplinga, Zagreb.
[7] M. R. Osborne i G. K. Smyth, »A Modified Prony Algorithm for Fitting Functions Defined by
Difference Equations,« SIAM J. on Sci. and Statist. Comp., svez. 12, pp. 362-382, 1991.
[8] »The School of Engineering at the University of Connecticut,« [Mrežno]. Dostupno:
http://www.statsci.org/smyth/pubs/pronyr.pdf. [Pokušaj pristupa 20 5 2016].
[9] Y. Bresler i P. Feng, »Spectrum-blind minimum-rate sampling and reconstruction of 2-D
multiband signals,« ICIP, Zurich, 1996.
[10] M. Vetterli, P. Marziliano i T. Blu, »Sampling signals with finite rate of innovation,« IEEE Trans.
Signal Processing, svez. 50, br. 6, pp. 1417-1428, 2002.
[11] B. Logan, »Properties of High-Pass Signals,« Columbia University, Columbia, 1965.
[12] J. R. E. Candès i T. Tao, »Stable signal recovery from incomplete and inaccurate
measurements,« Comm. Pure Appl. Math, svez. 59, br. 8, pp. 1207-1223, 2006.
[13] D. Tralić, Rekonstrukcija signala iz skupa podataka dobivenih uzorkovanjem ispod Nyquistove
frekvencije, Zagreb.
[14] R. Baraniuk i K. Kelly, »Compressive Imaging: A New Single-Pixel Camera,« Rice University,
2006. [Mrežno]. Dostupno: http://dsp.rice.edu/cscamera. [Pokušaj pristupa 1 lipanj 2016].
67
[15] E. J. Candès, »The Restricted Isometry Property and Its Implications for Compressed
Sensing,« Applied & Computational Mathematics, California Institute of Technology, Pasadena,
2008.
[16] »SeDuMi,« [Mrežno]. Dostupno: http://sedumi.ie.lehigh.edu/. [Pokušaj pristupa 10 travanj
2016].
[17] J. F. Sturm, »Using SeDuMi 1.02, , a MATLAB toolbox for optimization over symmetric cones,«
Communications Research Laboratory, McMaster University, Hamilton, Canada, 1998.
[18] »CVX Research,« CVX Research, Inc., 2012. [Mrežno]. Dostupno: http://cvxr.com/. [Pokušaj
pristupa 25 ožujak 2016].
[19] K.-C. Toh, M. J. Todd i a. R. H. Tutuncu, »SDPT3 version 4.0,« 1999. [Mrežno]. Dostupno:
http://www.math.nus.edu.sg/~mattohkc/sdpt3.html. [Pokušaj pristupa 15 svibanj 2016].
[20] »Gurobi Optimization,« [Mrežno]. Dostupno: http://www.gurobi.com/. [Pokušaj pristupa 5
svibanj 2016].
[21] »Mosek,« Mosek ApS., [Mrežno]. Dostupno: https://www.mosek.com/. [Pokušaj pristupa 5
travanj 2016].
[22] »The USC-SIPI Image Database,« [Mrežno]. Dostupno: http://sipi.usc.edu/database/. [Pokušaj
pristupa 30 ožujak 2016].
[23] »Canon,« [Mrežno]. Dostupno:
http://www.canon.hr/for_home/product_finder/cameras/digital_slr/eos_400d/. [Pokušaj
pristupa 8 lipanj 2016].
[24] »Hitachi,« [Mrežno]. Dostupno: http://www.hitachidigitalmedia.com/en-gb/discontinued-
products/projectors/multi-purpose/cp-wx410. [Pokušaj pristupa 8 lipanj 2016].
[25] »Canon EOS Utility,« [Mrežno]. Dostupno:
https://www.usa.canon.com/internet/portal/us/home/support/self-help-center/eos-utility.
[Pokušaj pristupa 21 ožujak 2016].
[26] D. Seršić, A. Sović i C. S. Menoni, »Restoration of soft x-ray laser images of nanostructures,«
Optical Society of America, 2010.
[27] I. Brkić, »Obradba digitalnih slika dobivenih laserskom mikroskopijom u EUV i SXR
područjima,« Fakultet elektrotehnike i računarstva, Zagreb.
[28] »Understanding What is stored in a Canon RAW .CR2 file, How and Why,« 8 lipanj 2015.
[Mrežno]. Dostupno: http://lclevy.free.fr/cr2/. [Pokušaj pristupa 3 svibanj 2016].
68
[29] »Wikipedia,« [Mrežno]. Dostupno: https://en.wikipedia.org/wiki/Digital_Negative. [Pokušaj
pristupa 19 svibanj 2016].
[30] R. Sumner, »Processing RAW Images in MATLAB,« Department of Electrical Engineering,
Santa Cruz, 2014.
[31] »Adobe DNG Converter,« Adobe , [Mrežno]. Dostupno:
https://www.adobe.com/support/downloads/product.jsp?product=106&platform=Windows.
[Pokušaj pristupa 17 travanj 2016].
[32] M. Archambault, »The Science Behind Lytro’s Light Field Technology and Megaray Sensors,«
PetaPixel, 2015 lipanj 22. [Mrežno]. Dostupno: http://petapixel.com/2015/06/22/the-science-
behind-lytros-light-field-technology-and-megaray-sensors/. [Pokušaj pristupa 8 lipanj 2016].
[33] »Lytro,« [Mrežno]. Dostupno: https://www.lytro.com/imaging. [Pokušaj pristupa 13 svibanj
2016].
[34] D. Lanman i G. Taubin, »Build Your Own 3D Scanner: 3D Photography for Beginners,« u
SIGGRAPH 2009 Course Notes, 2009.
[35] D. Moreno i G. Taubin, »Simple, Accurate, and Robust Projector-Camera Calibration,« School
of Engineering, Brown University, Providence, RI, USA.
[36] »What Is Camera Calibration?,« MATLAB, [Mrežno]. Dostupno:
http://www.mathworks.com/help/vision/ug/camera-calibration.html. [Pokušaj pristupa 22
svibanj 2016].
[37] Z. Zhang, »A Flexible New Technique for Camera,« Microsoft Research Microsoft Corporation,
Redmond, WA 98052, 1998.
[38] G. Gerig, »Scientific Computing and Imaging Institute,« 2012. [Mrežno]. Dostupno:
http://www.sci.utah.edu/~gerig/CS6320-S2013/Materials/CS6320-CV-S2012-StructuredLight-
II.pdf. [Pokušaj pristupa 5 lipanj 2016].
69
Slika 1. Ilustracija postupka uzorkovanja kontinuiranog signala [3] ........................ 9
Slika 2. Očitavanje jednodimenzionalnog vremenski kontinuiranog signala češljem
Diracovih delta impulsa ........................................................................................ 10
Slika 3. Spektar očitanog signala bez aliasinga [3] ............................................... 11
Slika 4. Spektar očitanog signala s aliasingom [3] ................................................ 12
Slika 5.. Primjer kompresije slike postupkom transformacijskog kodiranja ........... 15
Slika 6. Projekcija signala na skup ispitnih funkcija .............................................. 21
Slika 7. Rekonstrukcijski problem zapisan pomoću matrica ................................. 23
Slika 8. Testna slika Lenna................................................................................... 30
Slika 9. Dijagram tijeka rekonstrukcije signala pomoću sažetog očitavanja ......... 31
Slika 10. Mjerne matrica 𝛷 – lijevo binarna, desno Gaussova matrica ................. 31
Slika 11. Mjerna maska ........................................................................................ 32
Slika 12. Transformacijske matrice - lijevo DCT, desno DWT .............................. 32
Slika 13. Transformacija slike u jednodimenzionalni vektor slikovnih elemenata . 33
Slika 14. Prikaz jednog mjerenja korištenog u rekonstrukciji slike ........................ 34
Slika 15. Rekonstrukcija slike – 64 mjerenja ........................................................ 35
Slika 16. Rekonstrukcija slike - 48 mjerenja ......................................................... 35
Slika 17. Rekonstrukcija slike - 32 mjerenja ......................................................... 36
Slika 18. Rekonstrukcija slike - 16 mjerenja ......................................................... 36
Slika 19. Sustav kamere i projektora .................................................................... 40
Slika 20. Izgled RAW zapisa slike [30] ................................................................. 43
Slika 21. Bayerov filter [30] ................................................................................... 44
Slika 22. Obrada RAW slike ................................................................................. 45
Slika 23. Potpuna kalibracijska matrica (lijevo) i reducirana kalibracijska matrica
(desno) ................................................................................................................. 46
Slika 24. Faze mjerenja ........................................................................................ 47
Slika 25. Funkcija nelinearnosti sustava ............................................................... 48
Slika 26. Korekcijska funkcija za nelinearnosti u sustavu ..................................... 48
Slika 27. Scena za rekonstrukciju ......................................................................... 50
Slika 28. Stvarno mjerenje.................................................................................... 51
Slika 29. Detekcija omeđujućih pravokutnika ....................................................... 53
Slika 30. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (32
mjerenja) .............................................................................................................. 56
70
Slika 31. Rezultat rekonstrukcije dvodimenzionalne scene sažetim očitavanjem (48
mjerenja) .............................................................................................................. 56
Slika 32. Očekivani rezultat rekonstrukcije dvodimenzionalne scene sažetim
očitavanjem .......................................................................................................... 57
Slika 33. Prikaz jednog mjerenja dvodimenzionalne scene .................................. 57
Slika 34. Lytro plenoptička kamera ....................................................................... 60
Slika 35. Šahovska ploča s označenim karakterističnim točkama ........................ 62
Slika 36. Dekodirani Grayev kod - korespondencije između piksela projektora i
kamere ................................................................................................................. 63
Slika 37. Slika šahovske ploče transformirana u sustav projektora ...................... 64
Tablica 1. Rast globalnog internetskog prometa u razdoblju 1992.-2019.g. ........... 5
Tablica 2. Odnos srednje kvadratne pogreške i broja mjerenja ............................ 37
Tablica 3. Odnos srednje kvadratne pogreške i rijetkosti slike ............................. 37
Tablica 4. Utjecaj odabira mjerne i transformacijske matrice na kvalitetu
rekonstrukcije ....................................................................................................... 38
71
9. Sažetak
Rekonstrukcija 2D i 3D scene sažetim očitavanjem
Tema rada rekonstrukcija je dvodimenzionalne i trodimenzionalne scene
sažetim očitavanjem. U okviru rada osmišljen je i realiziran sustav za rekonstrukciju
dvodimenzionalne scene metodom sažetog očitavanja. Navedeni sustav sastoji se
od digitalne kamere i projektora. Opisana je osnovna ideja razvoja sustava za
rekonstrukciju trodimenzionalne scene sažetim očitavanjem. Eksperimentalni
rezultati rekonstrukcije dvodimenzionalne scene metodom sažetog očitavanja
sadržani u radu su zadovoljavajući. Informacijski sadržaj rekonstruirane scene
uspješno je obnovljen iz reduciranog skupa uzoraka signala te odgovara
informacijskom sadržaju originalne scene. Rad potvrđuje činjenicu kako je metodom
sažetog očitavanja moguće iz reduciranog skupa snimljenih uzoraka statistički
pouzdano rekonstruirati polazni signal.
10. Summary
Compressive Sensing Reconstruction of 2D and 3D Scene
This thesis theme is reconstruction of two-dimensional and three-dimensional
scenes using compressive sensing. In the thesis, system for reconstruction of two-
dimensional scene using compressive sensing method has been designed and
developed. The system is made of digital camera and a projector. Basic idea of
three-dimensional scene reconstruction using compressive sensing has been
described. Experimental results of two-dimensional scene reconstruction using
compressive sensing method have been presented and are satisfying. Informational
content of the scene is successfully reconstructed from reduced number of
measurements and it is equal to the informational content of original scene. This
thesis confirms the fact that compressive sensing method is able to reconstruct the
original signal from reduced number of measurements with certain statistical
reliability.