Fakultet elektrotehnike i raunarstva, Zagreb

Raunalna forenzika

Ante Tomi

Super-resolution imaging tehnike

Zagreb, sijeanj 2017.

2

Sadraj 1 Uvod .............................................................................................................................................. 3

2 Openito ....................................................................................................................................... 3

3 Povijest .......................................................................................................................................... 3

4 Tehnike poboljanja fotografije .................................................................................................... 5

4.1 Koritenje valia .................................................................................................................... 5

4.2 Generalizirana interpolacija .................................................................................................. 6

4.3 Rekonstrukcija slike visoke razluivosti iz nekoliko manjih slika .......................................... 6

4.4 Iskrivljivanje slike ................................................................................................................... 7

4.5 Super-razluivost iz kompresiranog videozapisa .................................................................. 8

5 Ogranienja i daljnje mogunosti ................................................................................................. 9

6 Zakljuak ..................................................................................................................................... 10

7 Literatura .................................................................................................................................... 11

3

1 Uvod

Danas fotografije moemo obraivati na razne naine to nam moe dati razliite rezultate. Mogue

je fotografiju samo napraviti i kao takvu ju koristiti, no i takve fotografije su ve obraene. To je

dosta esti sluaj kod koritenja mobilnih telefona zato to oni esto koriste vlastite algoritme za

obraivanje slike tako da ju naprave boljom. Mogue je koristiti i Photoshop za obradu fotografije,

a one mogu biti recimo napravljene u DNG formatu ili dohvaene iz nekog od vanjskih izvora na bilo

koji nain. Moda jedan od najzanimljivih naina obrade slike je Super-resolution imaging koji e biti

obraen i poblie opisan u ovom seminarskom radu.

2 Openito

Svakodnevno se mogu vidjeti primjeri na kriminalistikim serijama i filmovima gdje istraivai nakon

pregleda nejasne slike niske razluivosti pitaju forenziara ako je moe poveati i poboljati. Nakon

nekoliko pritisaka na tipkovnici odjednom poput magije iskoi jasna i poboljana fotografija visoke

razluivosti. Svima je jasno da se ne moe ni iz ega stvoriti neto te su u tome serije i filmovi dosta

pogrijeili. Unato svemu to je napisano u zadnjih nekoliko reenica, postoji nain poveavanja

prostorne razluivosti fotografije te se on naziva super razluivost ili Super-Resolution Imaging.

Super-Resolution Imaging (u ostatku seminarskog rada e se koristiti skraeni naziv SR) je skup

tehnika koje slue za poboljavanje razluivosti napravljene fotografije. Uglavnom se temelji na

nainu obrade fotografije gdje se napravi vie fotografija te se nakon toga te fotografije obrauju i

spajaju u jednu. Mora se razumjeti da poveavanje veliine fotografije nije SR te izvravanje takve

radnje ne znai poveavanje njezine razluivosti. Svaki pokuaj neeg takvog e znaiti da se dobije

mutnija fotografija.

3 Povijest

Tsai i Huang su prvi u povijesti koji su obratili panju na problem rekonstrukcije slike visoke

razluivosti iz niza slika slabije razluivosti. Pretpostavili su potpuno translacijsko kretanje ime su

rijeili dualni problem registracije i obnove: prvi implicira procjenjivanje relativnih pomaka izmeu

promatranja slike, dok drugi implicira procjenjivanje uzoraka na jednolinoj reetci (gdje su sva polja

jednake veliine) sa eim frekvencijom promatranja primjera fotografije. Vano je napomenuti da

su u svojim istraivanjima zanemarili um na fotografijama i degradaciju slika. Vano je napomenuti

da je njihov postupak obnove zapravo interpolacijski problem koji se bavi neuniformnim

generiranjem uzoraka, ali njihova frekvencijska domena zapravo otkriva vetu izmeu kontinuirane i

diskretne Fourierove transformacije svih nedovoljno uzorkovanih okvira slike. Kim je proirio njihov

pristup tako da je razmatrao umove i nejasne obrise na fotografijama manje razluivosti te je razvio

algoritam temeljen na teinskim rekurzivnim najmanjim kvadratima. Taj pristup je Kim jo dodatno

poboljao kad su Kim i Su razmatrali sluaj nejasnih obrisa razliite jaine na svakoj fotografiji te su

iskoristili Tikhonovu reguralizaciju da odrede rjeenje nestabilnog broja linearnih jednadbi.

Ur i Gross su iskoristili generalizirani viekanalni teorem generiranja koje su razvili Papoulis i Brown

s ciljem da izvedu neuniformnu interpolaciju niza prostorno pomaknutih slika niske razluivosti.

4

Nakon toga slijedi proces uklanjanja nejasnih obrisa fotografije. Irani i Peleg su opisani metodu koja

se temelji na principu rekonstrukcije 2D objekta iz vlastite 1D projekcije u raunalno potpomognutoj

tomografiji1. Za parametre pokreta je stvoren Taylorov red originalnog okvira slika te je takoer

stvorena funkcija greke koja je generirana tako da su raunate derivacije funkcije uzimajui u obzir

parametre pokreta. Tom i Katsaggelos su uzeli u obzir meusobnu ovisnost registracije, interpolacije

i obnove te su postavili problem kao problem procjene najvee vjerojatnosti (maximum likelihood

estimation problem = ML) koji su rijeili koristei algoritam maksimizacije oekivanog rjeenja

(expectation-maximization algoritm = EM). Wirawan je predloio slijepi viekanalni algoritam

stvaranje slike visoke razluivosti koritenjem filtera ogranienih impulsnih odgovora.

Stark i Oskoui su prvi postavili teorijsku procjenu slika visoke razluivosti tako da su koristili

projekciju slika u formulaciju skupine konveksnih ljuski (POCS). Metodu je proirio Tekalp tako da je

uveo promatranje uma. Takoer se naglaava da se njihova metoda moe koristiti za stvaranje

prostorno drugaijih slika s nejasnim obrisima. Time pokazuju da se i problem rekonstrukcije

fotografija visoke razluivosti i obnova drugaijih prostora mogu rijeiti pomou sustava rijetkih

linearnih jednadbi. Calle i Montanvert su definirali problem poveavanja razluivosti kao obrnuti

problem smanjivanja fotografije. Fotografija visoke razluivosti mora pripadati skupu fotografija

koje najbolje opisuju reducirani skup. Projekcija fotografije u skup predstavlja jednu od moguih

poveanih fotografija te se naziva indukcija.

Poboljanu su definiciju interpolacije fotografije ili super-razluivosti iz jedne promatrane fotografije

opisali Schultz i Stevenson. Razmatrali su fotografije bez uma i sa umom, ali su odbacili fotografije

s nejasnim obrisima. Njihova se definicija temelji na nepovezanosti koja osigurava nelinearna

proirenja slike optimizacijom konveksne ljuske. Baker i Kamade su dodatno predloili algoritam koji

ui naine prepoznavanja raznih vrsta scena te ih ilustrira na lica i tekstualne fotografije.

Svoje doprinose su jo dali i Elad i Feuer koji su objedinili tri glavna alata za procjenu kod obnove

slike, ali veina spomenutih algoritama za super-razluivost je za 2D. Prva predloena 3D verzija je

bila procjena albeda2 Lambertove podloge visoke rezolucije sa znanjem o visini visoke razluivosti i

obrnuto. Taj je problem bio pretvoren i problem maksimizacije oekivanja te je bio rijeen koristei

vjerojatnost i Markovljev model. Kasnije je takoer proiren tako da bude N-dimenzionalni problem.

1 Tomografija je metoda koritena u radiologiji, arheologiji, biologiji, atmosferskoj znanosti, geofizici, oceanografiji, fizici plazme i materijala, astrofizici, kvantnim informacijama i mnogim drugim granama znanosti, ali je temeljena na matematikoj proceduri zvanoj tomografska rekonstrukcija koja znai da se pomou projekcije stvara fotografija koja se sastoji od mnogo malih slojeva fotografije. 2 Albedo je proporcija sluajnog svjetla ili radijacije koja se odbija od podloge, uglavnom od planeta ili mjeseca.

5

4 Tehnike poboljanja fotografije

4.1 Koritenje valia

Valii su oscilacije poput valova s amplitudom koja poinje u nuli, nakon toga se poveava i opet

vraa prema nuli. Moe se vizualizirati kao kratka oscilacija poput onih koje visimo na seizmografu

ili mjerau broja otkucaja srca.

Najee se koristi metoda Multiresolution analysis (MRA) koja se temelji na procjeni koeficijenata

valia na viim (finijim) skalama. Najee se koristi kao metoda dizajniranja za veinu praktiki

vanih diskretnih transformacija valia i kao metoda potvrde algoritma za brzu transformaciju valia.

Pretpostavlja se da se koristi fotografija veliine M x M koju elimo poveati na veliinu 2M x 2M.

Prvo moramo procijeniti potrebne koeficijente valia koje onda skupa s fotografijom predajemo

kolekciji sintetikih filtera za fotografije koja je napravljeno ba za valie. Nakon toga kao rezultat

dobijemo poveanu fotografiju.

Za fotografije u boji (tj. multispektralne fotografije) se koristi K-L transformacija. Razlog tome je to

svaka slika u boji