FZl fZlbqdbfh^ ebm^bkdj lgh lhfh]jZnb bimft.ftn.uns.ac.rs/math/uploads/OdbranjeniRadovi/master_junger.pdf · tomogra ja i njene metode se siroko primenjuju u razli citim sferama

УНИВЕРЗИТЕТ У НОВОМ САДУ

ФАКУЛТЕТ ТЕХНИЧКИХ НАУКА У НОВОМ САДУ

Лидиа Јунгер

Математички модели у дискретној томографији

МАСТЕР РАД

Нови Сад, 2015

УНИВЕРЗИТЕТ У НОВОМ САДУ ФАКУЛТЕТ ТЕХНИЧКИХ НАУКА

21000 НОВИ САД, Трг Доситеја Обрадовића 6

КЉУЧНА ДОКУМЕНТАЦИЈСКА ИНФОРМАЦИЈА

Редни број, РБР:

Идентификациони број, ИБР:

Тип документације, ТД: Монографска документација

Тип записа, ТЗ: Текстуални штампани материјал

Врста рада, ВР: Дипломски мастер рад

Аутор, АУ: Лидиа Јунгер

Ментор, МН: Др Тибор Лукић, доцент

Наслов рада, НР: Математички модели у дискретној томографији

Језик публикације, ЈП: српски

Језик извода, ЈИ: српски

Земља публиковања, ЗП: Р Србија

Уже географско подручје, УГП: Војводина, Србија

Година, ГО: 2015

Издавач, ИЗ: Ауторски репринт

Место и адреса, МА: Трг Доситеја Обрадовића 6, 21000 Нови Сад

Физички опис рада, ФО: (поглавља/страна/ цитата/табела/слика/графика/прилога)

Научна област, НО: Примењена математика

Научна дисциплина, НД: Рачунарска обрада слике

Предметна одредница/Кqучне речи, ПО: примењена математика, дискретна томографија, оптимизациони поступци

УДК

Чува се, ЧУ: У библиотеци ФТН-а

Важна напомена, ВН:

Извод, ИЗ: У овом дипломском мастер раду дат је опис дискретне томографије. Размотрени су реконструкциони модели који се користе у дискретној томографији. Дат је преглед оптимизационих поступака који се могу применити у реконструкционим моделима. Представљена је кратка анализа перформанси посматраних метода за реконструкцију слика.

Датум прихватања теме, ДП:

Датум одбране, ДО:

Чланови комисије, КО: Председник: Др Биљана Михаиловић, ванредни професор

12њ

Члан: Др Петар Ђапић, доцент Потпис ментора

Члан, ментор: Др Тибор Лукић, доцент

UNIVERSITY OF NOVI SAD FACULTY OF TECHNICAL SCIENCES

21000 NOVI SAD, Trg Dositeja Obradovića 6

KEY WORDS DOCUMENTATION

Accession number, ANO:

Identification number, INO:

Document type, DT: Monografical documentation

Type of record, TR: Textual printed material

Contents code, CC: Master thesis

Author, AU: Lidia Junger

Mentor, MN: Dr Tibor Lukić, docent

Title, TI:

Mathematical models in discrete tomography

Language of text, LT: serbian

Language of abstract, LA: serbian

Country of publication, CP: Serbia

Locality of publication, LP: Vojvodina, Novi Sad

Publication year, PY: 2015

Publisher, PB: Author’s reprint

Publication place, PP: Trg Dositeja Obradovića 6, 21000 Novi Sad

Physical description, PD: (chapters/pages/ref./tables/pictures/graphs/appendixes)

Scientific field, SF: Applied mathemathics

Scientific discipline, SD: Computer imaging

Subject/Key words, S/KW: applied mathemathics, discrete tomography, optimization methods

UC

Holding data, HD: In the library of Faculty of Technical Sciences

Note, N:

Abstract, AB: In this thesis an overview of discrete tomography is given. Recontraction models used in discrete tomography are considerd. A review of optimizion methods used in recontraction models is given. A short analysis of performance for given reconstruction methods is presented.

Accepted by the Scientific Board on, ASB:

Defended on, DE:

Defended Board, DB: President: Dr Biljana Mihailović, Associate Professor

Member: Dr Petra Đapić, Docent Mentor’s sign

Member, Mentor: Dr Tibor Lukić, Docent

УНИВЕРЗИТЕТ У НОВОМ САДУ ФАКУЛТЕТ ТЕХНИЧКИХ НАУКА

21000 НОВИ САД, Т рг Досите ја Обрадов и ћа 6

Број:

ЗАДАТАК ЗА МАСТЕР РАД Датум:

(Податке уноси предметни наставник - ментор)

СТУДИЈСКИ

ПРОГРАМ:

Математика у техници

РУКОВОДИЛА

Ц СТУДИЈСКОГ

ПРОГРАМА:

Др Јованка Пантовић, ред. проф.

Студент: Лидиа Јунгер Број индекса: В1 1/2012

Област: Примењена математика

Ментор: Др Тибор Лукић, доцент

НА ОСНОВУ ПОДНЕТЕ ПРИЈАВЕ, ПРИЛОЖЕНЕ ДОКУМЕНТАЦИЈЕ И ОДРЕДБИ СТАТУТА

ФАКУЛТЕТА

ИЗДАЈЕ СЕ ЗАДАТАК ЗА МАСТЕР РАД, СА СЛЕДЕЋИМ ЕЛЕМЕНТИМА:

- проблем – тема рада;

- начин решавања проблема и начин практичне провере резултата рада, ако је таква провера

неопходна;

НАСЛОВ МАСТЕР РАДА:

Математички модели у дискретној томографији

ТЕКСТ ЗАДАТКА:

Задатек студента у оквиру овог мастер рада је да се упозна са актуелним научним резултатима из

области дискретне томографије.

Задатак, пре свега, подразумева проучавање одговарајуће научне литературе. Очекује се да у оквиру

мастер рада буде анализиран реконструкциони проблем дискретне томографије на основу

пројективних података. Мастер рад треба да садржи неколико најзначајнијих предложених поступака

за решење овог проблема. Задатак подразумева и анализу и поређење перформанси посматраних

метода за реконструкцију слика.

У закључку се очекује да студент да преглед отворених проблема из посматране области, као и да у

великим цртама изложи своје идеје и виђење даљег развоја истраживања на пољу дискретне

томографије.

Руководилац студијског програма: Ментор рада:

Др Јованка Пантовић, ред. проф. Др Тибор Лукић, доцент

Примерак за: - Студента; - Ментора

Sadrzaj

1 Uvod 2

2 Diskretna tomografija 42.1 Nastanak i razvoj diskretne tomografije . . . . . . . . . . . . . 42.2 Rekonstrukcioni problem diskretne tomografije . . . . . . . . . 5

3 Rekonstukcioni postupci 103.1 Algebarsko rekonstrukciona tehnika (ART) . . . . . . . . . . . 103.2 Energo-minimizacioni postupci . . . . . . . . . . . . . . . . . . 15

3.2.1 Problem najmanjih kvadrata . . . . . . . . . . . . . . . 163.2.2 Regularizacioni problem . . . . . . . . . . . . . . . . . 203.2.3 Minimizacija regularizacionih problema . . . . . . . . . 21

3.3 Regularizovani postupci u diskretnoj tomografiji . . . . . . . . 223.3.1 Konveksno-konkavna regularizacija . . . . . . . . . . . 233.3.2 Simulated Annealing . . . . . . . . . . . . . . . . . . . 243.3.3 DC algoritam . . . . . . . . . . . . . . . . . . . . . . . 25

4 Optimizacioni postupci 284.1 Optimizacioni problem . . . . . . . . . . . . . . . . . . . . . . 28

4.1.1 Primer problema otimizacije . . . . . . . . . . . . . . . 294.2 Gradijentni postupci . . . . . . . . . . . . . . . . . . . . . . . 30

4.2.1 Opsti line search algoritam . . . . . . . . . . . . . . . . 304.2.2 Metoda najbrzeg pada . . . . . . . . . . . . . . . . . . 314.2.3 Pravac najbrzeg pada . . . . . . . . . . . . . . . . . . . 32

5 Zakljucak 36

Bibliografija 38

Oznake

N - skup prirodnih brojeva;

R - skup realnih borjeva;

Rn - skup uredenih n-torki realnih brojeva, x = [x1, x2, ..., xn] ∈ Rn;

Rn×n - skup realnih matrica formata n× n;

〈x,y〉 - skalarni proizvod dva vektora,〈x,y〉 = x · y =

∑ni=1 xiyi = x1y1 + x2y2 + ...+ xnyn;

‖ · ‖ - Euklidska norma; ‖x‖ =√〈x,x〉, x ∈ Rn;

Za realnu funkciju f : Ω ⊂ Rn −→ R:f je Lipsic neprekidna na nekom podskupu D ⊂ Ω ako postoji konstantaL > 0 takva da vazi |f(x)− f(y))| ≤ L‖x− y‖, za svako x,y ∈ D;

fx - parcijalni izvod f po x-u, ∂f∂x

;

∇ - operator gradijenta, ∇ f = [ ∂f∂x1, ∂f∂x2, . . . , ∂f

∂xn]T ;

CT - Kompjuterska tomografija;

DT - Diskretna tomografija;

BT - Binarna tomografija;

ART - Algebarska rekonstrukciona tehnika;

DART - Diskretna algebarska rekonstrukciona tehnika;

SA - Simulated Annealing;

DC - Difference of Convex functions.

Glava 1

Uvod

U svakodnevnom govoru rec slika nas asocira na umetnicko delo, slikuna TV ekranu, na fotografiju... Za poznavaoca digitalne obrade slike njenoznacenje, na prvom mestu, je jasno i precizno, i predstavlja skup brojcanihpodataka koje treba sto bolje predstaviti i eventualno dalje obraditi.

Digitalana obrada slike je oblast primenjene matematike koja se bavi ob-radom digitalnih slika primenom razlicitih matematickih modela.

U digitalnoj obradi slike pojam digitalna slika ima preciznu definiciju:digitalna slika predstavlja dvodimenzionalnu funkciju f(x, y), gde su x i yravanske koordinate i mogu uzimati samo konacne diskretne vrednosti. Vred-nost funkcije f predstavlja intenzitet, odnosno nivo sivog u datoj tacki koji,opet, moze imati samo konacnu i disktretnu vrednost.

Iz same definicije digitalne slike mozemo zakljuciti da se ona sastoji odkonacnog broja elemenata pri cemu je svaki element prostorno odreden svo-jim koordinatama (x, y) i ima svoju vrednost f(x, y). Ti elementi su osnovnielementi digitalne slike i nazivaju se pikseli. Sam interval iz kog funkcijauzima vrednosti naziva se siva skala (gray scale). Diskretizacija prostor-nih koordinata slike naziva se uzorkovanje ili eng. sampling, a diskretizacijaintenziteta slike naziva se kvantizacija, eng. quantization.

U savremenom svetu ne postoji sfera ljudskog zivota u kojoj digitalnaobrada slike nije nasla svoje mesto. Digitalne slike se obraduju iz zabave kadakoristimo digitalne fotoaparate i kamere, ali isto tako imaju siroku primenuu industriji, astronomiji, mikroskopiji, biologiji, medicini, itd.

U ovom radu nasa paznja je fokusirana na diskretnu tomografiju, kojapredstavlja pod oblast digitalne obrade slike, koja se bavi rekonstrukcijomdigitalnih slika na osnovu projektivnih podataka.

U savremenoj medicinskoj dijagnostici veoma znacajno mesto zauzimajuCT (computerized tomography) skeneri (slika 1.1) koji na osnovu dvodimen-zionalnih snimaka ljudskog tela mogu da daju trodimenzionalni prikaz unu-

2

GLAVA 1. UVOD 3

trasnjih organa. Princip rada ovih skenera zasnovan je na tomografskoj re-konstrukciji slika.

Slika 1.1: CT skener.

Govoreci matematickim jezikom tomografija predstavlja proces rekon-strukcije nepoznate funkcije definisane nad trodimenzionalnim euklidskimprostorom E3 na osnovu ocena vrednosti integrala nad potprostorima togprostora koje nazivamo projekcije. Ukoliko funkcija f moze uzeti samo malibroj diskretnih vrednosti i samo mali broj projekcija je poznat, kompjuter-ska tomografija se svodi na diskretnu tomografiju(DT). Jos vise ogranicenslucaj je slucaj u kom f moze uzeti samo vrednosti 0 i 1. Tada se diskretnatomografija naziva binarna tomografija(BT).

Rad je organizovan na sledeci nacin. Dat je kratak opis nastanka diskretnetomografije kao i njen rekonstrukcioni problem (Glava 2). Razmotreno je ne-koliko rekonstrukcionih postupaka koji se koriste u diskretnoj tomografiji(Glava 3). Opisani su optimizacioni postupci koji se koriste u rekonstrukcio-nim modelima DT (Glava 4). Na kraju rada (Glava 5) je data kratka analizai poredenje performansi posmatranih metoda.

Glava 2

Diskretna tomografija

2.1 Nastanak i razvoj diskretne tomografije

Zaceci diskretne tomografije javili su se mnogo pre nego sto je njihovaprakticna primena bila moguca. Pojava racunara bila je uslov za efikasnijuobradu podataka i njenu prakticnu primenu. 1946. godine se u Japanukonstruise prvi rendgen aparat za rotacionu tomografiju, a godine 1979. en-gleski fizicar Godfrey Newbold Hounsfield i americki matematicar Alan MacCormack dobijaju Nobelovu nagradu za konstrukciju prvog aparat za kom-pjutersku tomografiju (CT skener). Nakon toga ovi aparati se usavrsavajuvelikom brzinom, a danas predstavljaju najsavrseniju neinvazivnu i preciznumetodu za pregled ljudskog tela.

Kao sto smo vec rekli, diskretna tomografija podrazumeva da su podacikoji se koriste u njenim metodama konacni i diskretni. Zbog toga su i brojniproblemi danasnje diskretne tomografije najpre bili razmatrani kao kombina-torni. Tako je, na primer, americki matematicar H. J. Ryser 1957. godine [1]prvi otkrio potreban i dovoljan uslov da vertikalna i horizontalna projekcijaobezbeduju potpunu rekonstrukciju nekog diskretnog skupa (binarne slike,matrice). U svom dokazu opisao je i rekonstrukcioni algoritam koji predsta-vlja prvi algoritam za rekonstrukciju diskretnog skupa iz svoje dve ortogo-nalne projekcije. Ipak, sam pojam diskretne tomografije koja, u najvecemdelu, predstavlja zasebnu oblast matemtike, uveden je na ”Mini simpozijumudiskretne tomografije” koji je odrzan na Rudzers Univerzitetu u SjedinjenimAmerickim Drzavama 1994 godine. Zahvaljujuci razvoju racunara, diskretnatomografija i njene metode se siroko primenjuju u razlicitim sferama. Ovdespadaju primene u medicini (CT, PET-CT (Positron emission tomography- computed tomography)), prirodnim naukama, bezbedonosnim postupcima(skeniranje prtljaga na aerodromima), arheologiji i industrijskim procesima.

4

GLAVA 2. DISKRETNA TOMOGRAFIJA 5

2.2 Rekonstrukcioni problem diskretne tomo-

grafije

Da bismo opisali glavne probleme diskretne tomografije i neke od metodanjihovog resavanja, najpre cemo dati nekoliko matematickih formulacija idefinicija. Glavni problem diskretne tomografije je problem rekonstrukcijekoji se moze predstaviti pomocu sistema linearnih jednacina.

Posmatrajmo sistem linearnih jednacina:

Ax = b, A ∈ RM×N ,x ∈ µ1, µ2, ...µkN ,b ∈ RM , (2.1)

µ1, µ2, ...µk sadrzi datih k ≥ 2 sivih nivoa piksela. Matrica A se nazivaprojekciona matrica i svaka njena vrsta je odredena jednim projektivnimzrakom. Odgovarajuce komponente vektora b sadrze projektovane vrednosti,dok vektor x predstavlja nepoznatu sliku koju treba rekonstruisati.

projektiv

ni zra

k b i

ai,12

x1

x2

x3

x4

x5

x6

x7

x8

x9 x

10

x11

x 12 x13

x14 x

15

x16

x17

x18 x

19x

20

x21

x22

x23 x

24 x25

ai,16

ai,11

ai,8

ai,13

ai,9

ai,5

ai,4

Slika 2.1: Vrednost projekcije bi slike dimenzije N = 5× 5 izracunava se kao:bi = ai,4 · x4 + ai,5 · x5 + ai,8 · x8 + ...+ ai,16 · x16

Komponente vektora x mogu uzeti vrednosti iz skupa sivih vrednostiµ1, µ2, ...µk. U matrici A, svaki element i−te vrste predstavlja duzinupreseka projektivnog zraka i ivice piksela kroz koji projektivni zrak prolazi.Graficki prikaz primera izracunavanja jedne vrste ai,· matrice A i vrednostiprojekcije bi dat je na slici 2.1.

U ovoj master tezi razmatracemo samo DT probleme rekonstrukcije ukojima se vektor b u jednacini (2.1) dobija iz paralelnih projektivnih zraka.Napomenimo da postoje i drugi nacini odabira projektivnog zraka, kao na


izvor

detektor

Slika 2.2: Paralelni zraci projekcije. Pravac projekcije odreden je uglom ϕ imoze se menjati rotacijom sistema izvor-detektor

IZVOR

DETEKTOR

Slika 2.3: Lepezasta projektivna metoda.


primer ”lepazasta projektivna metoda” (fan beam projection)(slika 2.3) alioni izlaze iz okvira ove teze. Primer paralelnih projektivnih zraka prikazanje na slici 2.2. Broj projektivnih zraka koji se razmatraju moze da varira, alije najcesce jednak broju vrsta ili kolona slike.

Fantom 3 projekcije

5 projekcija 6 projekcija

Original

Slika 2.4: Rekonstrukcija slike u binarnoj tomografiji. Slika je preuzeta iz[22].

Primer rekonstrukcije slike u binarnoj tomografji dat je na slici 2.4. Ori-ginalna (fantom) slika je rekonstruisana od projekcija iz razlicitih uglova.Svaka projekcija predstavlja skup paralelnih projektivnih zrakova odredenihuglom projekcije. Jasno je da je povecanjem broja projekcija rekonstrukcijakvalitetnija. Medutim, u stvarnim aplikacijama broj projekcija je limitiran iobicno mali. Kao posledicu imamo da je sistem (2.1) neodreden ( M < N) i nema jedinstveno resenje. U takvim slucajevima rekonstrukcija dobrogili prihvatljivog resenja je zahtevan problem. Ovo nas dovodi do jednog odglavnih problema diskretne tomografije: kako obezbediti rekonstrukciju za-dovoljavajuceg kvaliteta od sto manjeg broja projekcija? Postoje nekolikometoda rekonstrukcije DT. U nastavku teze opisacemo neke od njih.

Osim klasicne, kvadratne mreze za rekonstrukciju slike u diskretnoj to-mografiji mogu se koristiti i nekonvencionalne mreze kao sto su trougaona


[14] ili heksagonalna [16] mreza.Na slici 2.5 smo predstavili trougaonu mrezu sa tri koordinatne ose (x, y, z).

Slika 2.7 prikazuje rekonstrukcije originalnih slika, (slika 2.6) na trougaonojmrezi. Korisceni algoritmi su Simulated Annealing (SA) [15] i Spectral Pro-jected Gradient (SPG) [14, 17].

Razvoj rekonstrukcionih algoritama za nekonvencionalne mreze je josuvek nedovoljno istrazena oblast i u snaznom je razvoju. Imajuci to u viduu nastavku ce nasa paznja biti usmerena na DT rekonstrukcioni problem naklasicnoj, kvadratnoj mrezi.

Slika 2.5: Primer trougaone mreze. Slika je preuzeta iz [14].


Fantom 1 Fantom 2

Slika 2.6: Slike originala. Slika je preuzeta iz [14].

Fantom 1 Fantom 2

Slika 2.7: Rekonstrukcije fantom originala (2.6) od 3 i 6 projekcija, pomocurazlicitih algoritama. Ispod slika rekonstrukcija su slike koje pokazuju ra-zlike izmedu originala i rekonstruisanih slika. PE pokazuje broj pogresnorekonstruisanih piksela. Slika je preuzeta iz [14].

Glava 3

Rekonstukcioni postupci

3.1 Algebarsko rekonstrukciona tehnika (ART)

ART je predlozio Herman Gabor 1971. godine [2]. ART predstavljaprvu rekonstrukcionu metodu za problem tomografije, koja je primenljiva ina modernim recunarima.

Neka je posmatrana digitalna slika predstavljena kvadratnom semom, kaosto je prikazano na slici 3.1. Intenziteti piksela su oznaceni promenljivama xi,i = 1, ..., n2 gde je n2 broj piksela (N = n2). Neka je bi suma vrednosti duzprojektivnog zraka merena i-tim projektivnim zrakom, kao sto je to prikazanona slici 3.1. Veza izmedu projektivnih vrednosti i intenziteta piksela se mozeprikazati na sledeci nacin:

N∑j=1

aijxj = bi i = 1, 2, ...,M ⇐⇒ Ax = b (3.1)

gde je M ukupan broj projektivnih zrakova a aij je tezinski faktor (koefici-ent) koji predstavlja doprinos j-og piksela na i-tu projekciju. Koeficijent aijje jednak povrsini preseka j-tog piksela i i-tog projektivnog zraka. Vecinakoeficijenata aij ima vrednost 0 (mali broj piksela doprinosi sumi vrednostiduz projektivnog zraka).

Sistem (3.1) ima jedinstveno resenje samo u slucaju kada je M = N . UpraksiN moze dostici velicinu od 65.000 piksela (za sliku rezolucija 256×256).Za ovakve M i N velicina matrice u (3.1) ce biti 65.000×65.000. Zbog velikogbroja promenljivih xi, sistem spada u probleme velikih dimenzija.

U nastavku, opisacemo numericki postupak za resavanje (3.1) predlozen uART postupku. Napominjemo, da je ovaj nacin resavanja linearnog sistemadobrim delom zasnovan na rezultatima Tanabe-a [4] i Kaczmarz-a [3].

10

GLAVA 3. REKONSTUKCIONI POSTUPCI 11

x1

x2

xn

xn+1

2xn

bn

bn+1

Slika 3.1: U algebarskim metodama mreza je postavljena na nepoznatu sliku.

Zapisacemo sistem (3.1) u razvijenom obliku:

a11x1 + a12x2 + . . . + a1NxN = b1

a21x1 + a22x2 + . . . + a2NxN = b2

.

.

.aM1x1 + aM2x2 + . . . + aMNxN = bM .

(3.2)

U prostoru svaka od ovih jednacina predstavlja hiperravan. Kada jedinstvenoresenje jednacina postoji, presek hiperravni je jedna tacka koja je upravo toresenje. Ova ideja je ilustrovana na slici 3.2, gde je radi lakseg razumevanjapredstavljen slucaj od 2 nepoznate (x1, x2) koje zadovoljavaju sledeci sistem:

a11x1 + a12x2 = b1

a21x1 + a22x2 = b2.

Resenje se nalazi tako sto se krene od pocetne pretpostavke resenja (pocetneiteracije) koja se prvo projektuje na prvu pravu pa se dobijena tacka repro-jektuje na drugu pravu, pa tako dobijena tacka ponovu na prvu pravu i takodalje. Ako jedinstveno resenje postoji, ovako dobijen iterativni niz ce uvekkonvergirati ka resenju x∗.


H

G

x1

x2

a 11x1

+ a 12x2=b 1

a21x1

+ a22x2=b2

x0x1

x2

Slika 3.2: Resenje algebarskih jednacina u slucaju od dve nepoznate.

Za kompjutersku implementaciju ove metode prvo polazimo od pocetnepretpostavke resenja. Ovu pretpostavku resenja obelezimo sa x0 (na slici3.2 je x0 vektor polozaja tacke H ) u N dimenzionalnom prostoru. Pocetnoresenje se projektuje na hiperravan predstavljenu sa prvom jednacinom u(3.2), kao sto je to ilustrovano na slici 3.3. Ta projekcija daje x1 koje sezatim projektuje na hiperravan predstavljenu drugom jednacinom u (3.2), itako dobijamo x2. Resenje xi−1 se projektuje na hiperravan predstavljenui-tom jednacinom i daje resenje xi. Gore naveden proces se matematickimoze opisati sa:

xi = xi−1 − (xi−1 · ai − bi)

ai · ai· ai, (3.3)

gde je vektor ai = (ai1, ai2, ..., aiN). Da bismo videli kako se dobija (3.3)napisemo prvu jednacinu iz (3.2) u obliku proizvoda:

a1 · x = b1.

Hiperravan predstavljena ovom jednacinom je normalna na vektor a1 kaosto je prikazano na slici 3.3, gde vektor ~OD predstavlja a1. Ovo znaci da jeprojekcija vektora ~OC (za bilo koje C na hiperravni) na vektor a1 konstantne

duzine. Jedinicni vektor ~OU duz a1 je dat sa:

~OU =a1√

a1 · a1

. (3.4)


x1

a 11x 1

+ a 12x 2=b 1

H

G

oc

c

x0

x1

OU

A

U

F

a 1x=

.b1

OA

D

x2

Slika 3.3: Hiperravan a1 ·x = b1 (predstavljena pravom u dvodimenzionalnojslici) je ortogonalna na vektor a1.

A ortogonalno odstojanje hiperravni od koordinatnog pocetka, koje jejednako duzini ~OA je dato sa ~OC · ~OU :

| ~OA| = ~OU · ~OC =1

√a1 · a1

(a1 · ~OC) =1

√a1 · a1

(a1 · x) =b1√

a1 · a1

. (3.5)

Da bi dobili x1 moramo oduzeti od x0 vektor ~HG (x0 je vektor polozajatacke H kao sto je to prikazano na slici 3.3):

x1 = x0 − ~GH, (3.6)

gde je duzina vektora ~HG data sa:

| ~HG| = | ~OF | − | ~OA| = x0 · ~OU − | ~OA|. (3.7)

Kada zamenimo (3.4) i (3.5) u (3.7) dobijamo da je:

| ~HG| = x0 · a1 − b1√a1 · a1

.

Posto je pravac vektora ~HG isti kao pravac jedinicnog vektora ~OU , mozemonapisati:

~GH = | ~GH| ~OU =x0 · a1 − b1

a1 · a1

· a1. (3.8)


Zamenom (3.8) u (3.6) dobijamo iterativno pravilo (3.3) u slucaju kada jei = 1:

x1 = x0 − x0a1 − b1

a1a1

· a1.

Ponavljajuci gore opisani postupak, dolazimo do opsteg pravila (3.3).Kao sto je vec gore navedeno, postupak izracunavanja za algebarsku re-

konstrukciju se sastoji od uzastopne projekcije pocetne iteracije na hiper-ravni predstavljene jednacinama iz (3.2) konacno dajuci M -tu iteraciju, xM .U sledecoj iteraciji, xM se projektuje na hiperravan predstavljenu prvomjednacinom iz sistema (3.2) i zatim uzastopno na ostale hiperravni predsta-vljene u jednacinama (3.2) da bi dobili x2M . Postupak se nastavlja analognoza odredivanje x3M , i xkM uopste. Tanabe [4] je pokazao da ako postojijedinstveno resenje xs sistema jednacina (3.2) tada:

limk→∞

xkM = xs. (3.9)

U rekonstrukciji slike nije redak slucaj da sistem bude predeterminisan uprisustvu suma. Tj. da je M > N u (3.2) i b1, b2, ..., bm budu iskvareni zbogsuma. Ne postoji jedinstveno resenje za ovakav slucaj, resenje ne konvergirado jedinstvene tacke, ali oscilira u blizini preseka hiperravni. Kada je M < Njedinstveno resenje za sistem linearnih jednacina (3.2) ne postoji, jer je sistemneodreden. Tada postoji beskonacno mnogo resenja.

U primeni koja zahteva veliki broj ”pogleda” i kada su rekonstukcije ve-likih dimenzija, poteskoce sa upotrebom metoda na bazi iterativnog pravila(3.3) su u velikom broju izracunavanja i brzini pristupa koeficijentima aij.Na primer, za rekonstrukcije slike velicine 100 × 100 sa 100 projekcija i 150projektivnih zrakova u svakoj projekciji ukupan broj koeficienata aij je 108,sto je ogroman broj i moze biti problematicno u aplikacijama za koje je brzarekonstukcija vazna.

Da bi se zaobisle poteskoce racunanja koeficijenata, bezbroj modifikacijaiterativnog pravila (3.3) je predlozeno. Da bi razmotrili neke od tih aproksi-macija, prvo cemo (3.3) zapisati u drugom obliku:

xij = xi−1j +

bi − qi∑Nk=1 a

2ik

aij,

gde je

qi = xi−1 · ai

=N∑k=1

xi−1k aik. (3.10)


Ove jednacine znace da kada projektujemo resenje (i− 1) na i-tu hiperravan(i-tu jednacinu u (3.2)) nivo sivila j-tog elementa (cija je trenutna verednost

xi−1j ) se dobija korigovanjem trenutne vrednosti za ∇x(i)

j gde je:

∇xij = xij − xi−1j =

bi − qi∑Nk=1 a

2ik

aij. (3.11)

U nastavku razmatracemo kompjutersku implementaciju algebarske re-konstrukcione metode (ART). U ART implementaciji koeficienti aik su jed-nostavno zamenjeni sa 1 i 0, u zavisnosti da li je sredina k-tog piksela slikeu i-tom projektivnom zraku. Ova zamena olaksava implementaciju, jer ova-kva odluka moze biti doneta u racunarskom vremenu rada. U tom slucajuimenilac iz (3.11) je dat sa

∑Nk=1 a

2ik = Ni, sto je broj piksela slike ciji centar

je u i-tom projektivnom zraku. Korekcija j-tog piksela slike iz i-te jednacine(3.2) se moze zapisati u obliku,

∇x(i)j =

bi − qiNi

(3.12)

za sve piksele ciji centri su u i-tom projektivnom zraku.Aproksimacije iz (3.12), iako lake za implementaciju, cesto imaju negati-

van uticaj na rekonstrukcionu sliku, posebno ako Ni nije dobra aproksimacijaza imenilac. Bolja rekonstrukcija se moze dobiti ako se (3.12) zameni sa:

∇x(i)j =

biLi− qiNi

,

gde je Li duzina (normalizovana sa δ, slika 3.1) i-tog projektivnog zraka krozoblast rekonstrukcije. ART rekonstrukcije obicno trpe od ”so i biber” suma,sto je prouzrokovano nedoslednoscu uvedenom u sistem jednacina aproksi-macijama za koeficijente aik. Rezultat je da su izracunate sume vrednostiduz projektivnog zraka u (3.10) lose aproksimacije za odgovarajuce stvarnesume duz projektivnog zraka. Takva nedoslednost se pogorsava sa cinjenicomda je svaka jednacina odgovarajuca sa zrakom u projekciji ”razmucena”, stomenja neke piksele tek promenjene prethodnom jednacinom u istoj projek-ciji. Relaksacijama je moguce ublaziti ove sumove. Dobijena poboljsanja ukvalitetu rekonstukcija su obicno na racun konvergencije.

3.2 Energo-minimizacioni postupci

Energo-minimizacioni postupci su siroko korisceni u oblasti obrade slike,posebno poslednje dve decenije. Osnovna ideja je da se problem formulise


kao minimizacioni model (problem)

argminxE(x),

gde je E energetska funkcija cilja, a x funkcija koja predstavlja sliku. Pojamenergo dolazi iz fizicke analogije, gde uopsteno mozemo reci da je posmatranisistem stabilan ako mu je totalna energija minimalna.

U svakom energo minimizacionom postupku moramo zadovoljiti dva vaznakriterijuma. Prvi se odnosi na dizajniranje funkcije energije, tj. dizajniranjemodela. Model mora dovoljno odgovarati posmatranom realnom problemu, injegov minimum (ako je moguce globalni) mora predstavljati najbolje resenjeproblema. Drugi kriterijum se odnosi na optimizacioni algoritam koji se ko-risti za minimizaciju energije. Uopsteno, optimizacioni algoritam mora bitibrz i tacan, da bi bio u mogucnosti da nade dobru aproksimaciju minimumakoristeci postojeca racunarska sredstva. Ako ovi kriterijumi nisu zadovoljenionda postupak moze biti znacajno slabiji ili potpuno beskoristan za bilo kojuprimenu.

3.2.1 Problem najmanjih kvadrata

Kvadratna funkcija u n dimenzionalnom prostoru se moze zapisati uobliku:

f(x) =1

2xTAx + bTx + c (3.13)

gde je c ∈ R, b realan n-vektor a A je n × n realna matrica iz Rn. Ovafunkcija ima vaznu ulogu u teoriji optimizacije. Mnoge nekvadratne funk-cije mogu biti aproksimirane kvadratnom funkcijom (3.13) u blizini lokalnogminimuma. Upravo zbog toga se optimizacioni postupci razvijeni za minimi-zaciju (3.13) cesto primenjuju i za ne-kvadratne funkcije. Kvadratna funkcijaf je diferencijabilna za svako x, a gradijent je linearna funkcija data sa:

∇f(x) =1

2ATx +

1

2Ax− b.

Ako je A simetricna matrica, onda vazi:

∇f(x) = Ax− b.

Neka funkcija f ima sve parcijalne izvode drugog reda u tacki x. Tadamatricu parcijalnih izvoda drugog reda nazivamo Hesian matrica:

H(x) =

∂2f

∂xi∂xj(x)

= ∇2f(x)


=

∂2f∂x21

(x) ∂f∂x1∂x2

(x) . . . ∂2f∂x1∂xn

(x)∂2f

∂x2∂x1(x) ∂2f

∂x22(x) . . . ∂2f

∂x2∂xn(x)

.

.

.∂2f

∂xn∂x1(x) ∂2f

∂xn∂x2(x) . . . ∂2f

∂x2n(x)

.

Matrica H(x) je n× n dimenzionalna i simetricna matrica.Hesian preslikavanja f , u slucaju kada je A simetricna matrica, je,

∇2f(x) = A.

Najvaznije osobine kvadratne funkcije f su odredene osobinama matriceAi prirodom sistema ∇f(x) = 0. Konveksnost funkcije f zavisi od definitnostiHesian matrice, ∇2f(x). Resenje (ili resenja) linearnog sistema ∇f(x) = 0je (su) ekstremna tacka (tacke) od f .

Slika 3.4: Povrsina definisana kvadratnom funkcijom (3.13). Tacka mini-muma je jedinstveno resenje sistema Ax = b. Slika je preuzeta iz [22].

Za matricu A ∈ Rn×n kazemo da je pozitivno definitna, ako za svakou 6= 0, u ∈ Rn vazi:

uTAu > 0. (3.14)

U slucaju kada u (3.14) vazi uTAu ≥ 0 onda za matricu A kazemo da jepozitivno-semidefinitna. U slucaju kada je A simetricna matrica i pozitivno-definitna, funkcija f je konveksna i ima jedinstveni minimum koji je resenje


Slika 3.5: Konturne krive kvadratne funkcije predstavljene na slici 3.4. Slikaje preuzeta iz [22].

linearnog sistema:

Ax = b.

Ovaj slucaj je prikazan na slici 3.4. Na slici 3.5 se vide konturne krive funk-cije f(x), odnosno konture definisane sa jednacinom f(x) = v, gde je vkonstantno. Za svaku vrednost v postoji odgovarajuca konturna kriva. Kva-dratna funkcija nema uvek minimum. Slucaj kada je A simetricna, pozitivno-semidefinitna i sistem ∇f(x) = 0 je neodreden, tj. ima beskonacno mnogoresenja je dat na slici 3.6.

Problem najmanjih kvadrata je optimizacioni problem definisan sa:

minx

1

2‖Ax− b‖2, (3.15)

gde je A data matrica (ne mora biti kvadratna), a b je dat vektor. Funkcijacilja:

1

2‖Ax− b‖2 =

1

2((Ax)1 − b1)2 +

1

2((Ax)2 − b2)2 + ...+

1

2((Ax)N − bN)2

(3.16)je suma kvadrata gresaka svake linearne jednacine u Ax = b. Resenje pro-blema (3.15) minimizira sumu kvadrata, zato se problem naziva najmanjikvadrati. Funkcija (3.16) je cesto vazan deo funkcije cilja u energo mini-mizacionim postupcima. Njena uloga u minimizacionim postupku jesete daminimizuje kvadratnu Euklidovu razliku izmedu aproksimacije resenja i datihpodataka. Zbog toga se funkcija cesto naziva data fitting izraz. Postoji veza


Slika 3.6: (a) Povrs funkcije f kada je A simetricna, pozitivno-semidefinitnai sistem ∇f(x) = 0 je neodreden. Ne postoji jedinstveni minimum. (b)Konturne krive povrsi date u (a). Zadebljana linija predstavlja skup resenja.Slika je preuzeta iz [22].


izmedu funkcije cilja najmanjih kvadrata (3.16) i kvadratne funkcije (3.13).Naime ciljna funkcija najmanjih kvadrata ima kvadratni oblik.

Za proizvoljnu matricu A, cak iako nije simetricna ni kvadratna, sledecerelacije vaze:

1. (ATA)T

= AT · (AT )T

= ATA

2. xT (ATA)x = (Ax)T · (Ax) ≥ 0,x 6= 0.

Lako je proveriti da je ∇2 12‖Ax− b‖2 = ATA. Iz 1. i 2. sledi da je ATA

simetricna i pozitivno-semidefinitna. Sledi da je funkcija 12‖Ax− b‖2 kon-

veksna (ne mora biti svuda strogo konveksna) za svaku matricu A. Ovo znacida problem (3.15) uvek ima globalni minimum, ali ne mora biti jedinstven.

3.2.2 Regularizacioni problem

Definicija dobro postavljenog problema je matematicki uvedena od straneJacques Hadamard (1923) u [5]. Po ovoj definiciji matematicki problem jedobro postavljen ako su zadovoljeni sledeci uslovi:

1. resenje postoji;

2. resenje je jedinstveno;

3. problem je stabilan tj. male promene u datim podacima uvek dajumale promene u resenju.

Ako jedan od gore navedenih uslova nije zadovoljen tada je problem losepostavljen. Lose postavljene probleme je mnogo teze resiti. Tipican primerlose postavljenog problema je inverzni problem. Inverzni problemi uglavnomse sastoje od rekonstrukcije originala. Inverzni problemi kao i uopsteno losepostavljeni problemi se tesko resavaju. Da bi se resili moraju biti prefor-mulisani. Ovo obicno zahteva uvodenje dodatnih pretpostavki (ogranicenja)obicno zasnovanih na a priori informacijama o resenju. Ovaj proces se na-ziva regularizacija. Prvi put je uvedena od strane Tikhonova (1963) [6]. Uzadnje dve decenije regularizacioni postupci su se znatno unapredili. Za boljerazumevanje posmatrajmo sledeci jednostavan primer optimizacije:

minx

1

2‖Ax− b‖2 (3.17)

gde je Ax = b neodreden linearni sistem jednacina. Jasno je da problem(3.17) ima beskonacno mnogo resenja i prema tome nije dobro postavljenproblem. Medutim ako pretpostavimo, a priori informaciju, da je resenje


malih dimenzija, mozemo regularizovati problem koristeci Tikhonovi tip re-gularizacije ‖x‖2. Problem je regularizovan na sledeci necin:

minx

(λ

2‖Ax− b‖2 + ‖x‖2) (3.18)

gde je λ > 0 regularizacioni parametar. Za dovoljno malo λ, problem (3.18) jestrogo konveksan pa ima jedinstveno resenje, sto znaci da je problem postaodobro postavljen. Drugim recima, regularizacija se koristi da bi se ogranicioprostor resenja i da bi se dobilo resenje u saglasnosti sa a priori informaci-jama. Uopsteno, upotreba regularizacionih postupaka za minimizaciju funk-cije cilja f lose postavljenih problema se svodi na sledece:

minx

(f(x) + Ψ(x)), (3.19)

gde je funkcija Ψ pogodan regularizacioni (stabilizacioni) izraz. Osobineizabrane funkcije Ψ ce odrediti efekat regularizacije.

3.2.3 Minimizacija regularizacionih problema

Posmatrajmo minimizacioni problem,

minxE(x), (3.20)

gde je E(x) = f(x) + Ψ(x) kao sto je navedeno u problemu (3.19).U glavnom nije moguce naci analiticko resenje, najvise zbog velikih raz-

mera problema. Zbog toga problem mora biti resen odgovarajucim opti-mizacionim pristupom. U optimizacionim postupcima koristi se tzv. datafitting izraz ciji zadatak je da obezbedi slaganje resenja sa datim podacima.Drugim recima data fitting izraz je mera korespodencije resenja sa datim po-dacima. Kao sto smo videli u odeljku 3.2.1 data fitting izraz 1

2‖Ax− b‖2 je

konveksno kvadratna funkcija. Metoda konjugovanih gradijenata je najefika-snija metoda za njenu minimizaciju. Ova metoda nalazi resenje u najvise Niterativnih koraka. U opstem slucaju Ψ moze biti nelinearna, nekonveksna,cak i nediferencijabilna funkcija u nekim tackama. Ovi faktori mogu ucinitiminimizacioni problem (3.20) tesko resivim.

Problem (3.20) predstavlja optimizacioni problem bez ogranicenja. Medutimneke aplikacije zahtevaju restrikciju prostora pretrage. Takve aplikacije semogu upravo naci medu ostalima i u diskretnoj tomografiji, gde je prostorpretrage ogranicen na diskretni skup. U opstem slucaju regularizacioni pro-blem je dat sa:

minx∈θ

E(x), (3.21)


gde je θ dopustiv skup. Ogranicenja predstavljaju dodatni izazov. Jednamogucnost je da se problem sa ogranicenjima prevede u problem bez ogranicenja.U tom slucaju ogranicenja se preformulisu u novi regularizacioni izraz.

3.3 Regularizovani postupci u diskretnoj to-

mografiji

U ovom delu cemo razmatrati tri pristupa za resavanje regularizovanogproblema u diskretnoj tomografiji. Posmatracemo nedeterministicki SA al-goritam, konveksno-konkavnu regularizaciju, koja omogucuje deterministickoresavanje DT problema i DC (Difference of Convex Functions) algoritam.

Posmatrajmo ponovo moguca resenja za:

Ax = b, A ∈ RM×N ,x ∈ µ1, µ2, ...µkN ,b ∈ RM .

Uobicajen nacin za ogranicenje mogucih resenja je da se primeni prikladnaregularizacija. Cesto se koristi tzv. glatka regularizacija. Njena primena jebazirana na prethodnom znanju o resenju. Definicija glatkog regularizacionogizraza je data sa:

N∑i=1

‖∇(xi)‖2,

gde je ∇(xi) diskretni gradijent u tacki xi. Operator diskretnog gradijentase racuna na sledeci nacin:

∇(xi) = (xi − xr, xi − xb),

gde su xr i xb tacka desno i ispod od xi. Nakon upotrebe ovakve regulariza-cije na DT regularizacioni problem, dobijamo regularizacioni minimizacioniproblem:

minx∈ΛN

E(x;λ) :=1

2‖Ax− b‖2 +

λ

2

N∑i=1

‖∇(xi)‖2, (3.22)

gde je Λ = µ1, µ2, ...µk a prvi izraz je kvadratna projekcija greske tj.data fitting izraz. Formulacija (3.22) pokazuje da DT problem spada uklasu problema sa ogranicenjima i da je regularizacijski problem definisansa (3.21). Parametar λ > 0 je balansirajuci parametar izmedu regulariza-cionog izraza i data fitting izraza. Za ”optimalan” izbor λ, minimimizacija(3.22) obezbeduje i saglasnost sa datim projekcijskim podacima i kompakt-nost resenja.


3.3.1 Konveksno-konkavna regularizacija

Data fitting izraz, kao i regularizacioni izraz u (3.22) su konveksne funkcijena otvorenom skupu. Medutim, prostor pretrage je ogranicen sa diskretnimskupom µ1, µ2, ...µkN i zbog toga u opstem slucaju jedinstvenost resenjane moze biti garantovana. Iz ugla optimizacije, zbog ovog ogranicenja, pro-blem (3.22) je tesko resiv. Da se resi ovaj problem (ali za smo binaran slucaj(k = 2)), Schule [11] je predlozio konveksno-konkavni regularizacioni pri-stup. Ovaj pristup se zasniva na poznatoj ekvivalentnosti izmedu binarnihi konveksno ogranicenih optimizacionih problema. Rezultat je formulisan usledecoj Teoremi:

Teorema 1 [12] Neka je F Lipsicova funkcija na otvorenom skupu D ⊃[0, 1]n i dva puta neprekidno diferencijabilna na [0, 1]n. Tada postoji µ∗ ∈ Rtakvo da za sve µ > µ∗ vazi:

1. problem celobrojne (binarne) optimizacije

minx∈0,1n

F (x)

je ekvivalentan sa konkavnim minimizacionim problemom

minx∈[0,1]n

(F (x) +1

2µ〈x, τ − x〉),

gde je vektor τ = [1, 1, ..., 1]T ;

2. funkcija F (x) + 12µ〈x, τ − x〉 je konkavna na [0, 1]n.

Prema gore navedenoj Teoremi problem (3.22) se moze preformulisati naoptimizacioni problem sa konveksnim ogranicenjem:

minx∈[0,1]n

(E(x;λ) + µ〈x, τ − x〉), µ > 0, (3.23)

gde parametar µ regulise uticaj dodatog konkavnog regularizacionog izraza〈x, τ − x〉. Uloga ovog konkavnog izraza u optimizacionom postupku jestedobijanje binarnog resenja. Na osnovu konveksnog clana za ravnanje (smo-othing) i konkavnog clana za binarizaciju ovaj pristup se zove konveksno-konkavna regularizacija. Glavne olaksice preformulisanog problema (3.23)jeste da se moze tretirati sa postojecim deterministickim metodama razvije-nim za konveksno ogranicene probleme.

Za uopstenu DT rekonstrukcioni problem, koji se bavi sa multi-sivi nivorekonstrukcijom slike, gde je k > 2, koristi se diskretna algebarska rekonstruk-ciona tehnika (DART) koju su uveli Batenburg i Sijbers [13]. Ova metoda


kombinuje ART metod, koji je modifikovan iterativni metod za resavanje li-nearnih sistema i klasicni tresholding metod. Ogranicenja intenziteta pikselau odnosu na dati sivi nivo skup, su postignuta sa tresholding (neprekidnim)resenjima dobijenim ART metodom. DART metod je jedan od siroko prime-njenih i aktuelnih metoda za DT.

3.3.2 Simulated Annealing

U proteklih 20 godina nekoliko optimizacionih postupaka se razvilo zaresavanje regularizacionih problema (sa i bez ogranicenja). Dizajn ovih me-toda najvise zavisi od osobina datog regularizacionog izraza, kao i od prirodedate aplikacije. Jedan od znacajnijih postupaka je postupak Simulated An-nealing (SA) algoritam koji su prvi put uveli Geman i Reynolds 1992. godine[7]. Simulated Annealing je stohasticki optimizacioni algoritam. Osnove ovogalgoritma poticu iz rada izdatog od Metropolis (1953) [8]. Kasnije Krikpa-trick (1982) [9] primenjuje ideju Metropolisovog algoritma na optimizacioneprobleme i uvodi opsti SA optimizacioni postupak.

Optimizacioni postupak pocinje od date (visoke) pocetne temperature T0

i pocetnog resenja x0. Za vreme postupka trenutna iteracija je izmenjenaza mali proizvoljni pomak ka blizini resenja i dobijena razlika u energiji,4E = Enovi − Eprethodni se racuna. Ako je 4E pozitivna, nova iteracija seprihvata sa Bolzmannovim faktorom verovatnoce [10],

e−4E/T . (3.24)

Ovaj postupak se ponavlja dovoljan broj puta dok se ne postigne ravnotezastanja. Kriterijumom za ravnotezu se cesto posmatra kao izveden dovoljanveliki broj iteracija. Temperatura se tada smanjuje i algoritam se nastavljana nizoj temperaturi. Smanjena temperatura umanjuje verovatnocu najgo-reg prihvatljivog resenja, datog sa (3.24). Ceo postupak se ponavlja dok sesmrznuto stanje tj. zaustavni kriterijum ne dostigne. Krajnja temperaturaje najcesce 0, T = 0. U nastavku je dat opis za SA algoritam.

SA postupak ne zahteva informacije o izvodima posmatrane funkcije. Usvakoj iteraciji koristi samo vrednosti funkcije cilja. Zbog toga je fleksi-bilna u odnosu na dizajniranje ciljne funkcije. Moze se pored problema bezogranicenja koristiti i za probleme sa ogranicenjima. Mane SA postupaka suduzina procesa i nedovoljno znanje za podesavanje parametara.


Algoritam SA

Ulazni parametri: Pocetno resenje x0 i pocetna temperatura T 0 > 0.x = x0;T = T 0;

repeatrepeat

Proizvoljan mali pomak od x ka novom pokusaju xnovo;Racunanje 4E = f(xnovo)− f(x);Proizvoljan izbor q ∈ U(0, 1);

if 4E > 0 ili e−4E/T > q thenx = xnovo,(∗promena prihvacena∗);

until Ravnoteza stanja;Smanjivanje temperature T ;

until Zaustavni kriterijum;

3.3.3 DC algoritam

DC Algoritam je deterministicki optimizacioni metod. Prvi put je pre-dlozen od Pham Dihn-a i Hoai An-a [24] za nalazenje resenja problemakonveksnih razlika (Difference of Convex functions (DC) Programming pro-blem.). Uopsteni DC Programming problem je definisan sa:

infx∈Rn

g(x)− h(x),

gde su g i h konveksne funkcije u Rn.Za funkciju p : Rn → R ∪ (−∞,∞) efektivni domen funkcije p je

dom(p) = x ∈ Rn : p(x) < +∞,

konjugovana funkcija od p je

p∗(y) = supx∈R〈x,y〉 − p(x),

a subdiferencijal od p u tacki x∗ je skup:

∂p(x∗) = t : p(x) ≥ p(x∗) + 〈t, x− x∗〉, ∀x ∈ R.

Opsti DC Algoritam (DCA) je definisan sa dva iterativna koraka koji suopisani u sledecoj semi:


Algoritam DC

- Izaberi proizvoljno x0 ∈ dom (g).- Za k = 0, 1, ..., racunati do konvergencije:

yk ∈ ∂h(xk), (3.25)

xk+1 ∈ ∂g∗(yk). (3.26)

Algotiram proizvodi sekvencu xk, koja u opstem slucaju konvergira kalokalnom minimumu posmatrane ciljne funkcije, g − h.

Iz definicije DC problema sledi da ciljna funkcija posmatranog problemaminimizacije mora biti napisana kao razlika dve konveksne funkcije, nprf = g − h. Funkcija koja zadovoljava ovaj uslov se naziva DC funkcija.Ovakva dekompozicija funkcije cilja utice na numericku atraktivnost DC al-goritma. Efikasnost racunanja iterativnih koraka (3.25) i (3.26) najvise zavisiod osobine funkcija h i g. U nekim dekompozicijama, racunanje ovih korakamoze predstavljati problem. Ponekad ciljna funkcija ima vise dekompozicija.Medutim nalazenje takve dekompozicije koja DC algoritam cini numerickiatraktivnim je i dalje otvoreni problem.

Na slikama 3.7 i 3.8 date su originalne slike (fantom) i rekonstrukcijepomocu postupaka baziranih na SA [23] i DC [11].

Na slici 3.8 se vidi da nema znatne razlike izmedu kvaliteta rekonstruk-cionih slika pomocu DC i SA metoda.

Fantom 1 Fantom 2 Fantom 3

Slika 3.7: Originalne slike. Slika je preuzeta iz [23].


Projekcije Algoritam Fantom 1 Fantom 2 Fantom 3

DC

DC

DC

SA

SA

SA

2

5

6

Slika 3.8: Rekonstukcje fantoma iz slike 3.7 iz p = (2, 5, 6) projekcija. Slikaje preuzeta iz [23].

Glava 4

Optimizacioni postupci

Teorija optimizacije se bavi razvojem modela i metoda kojima se odredujuoptimalna resenja nekog posmatranog problema. Da bi se za neko resenjereklo da je optimalno, mora postojati mera kojom se odreduje njegov kva-litet i koja omogucava njegovo poredenje sa drugim mogucim resenjima. Umatematickom modelu postoji funkcija kojom se svakom resenju pridruzujeodgovarajuca vrednost koja predstavlja njegovu meru kvaliteta. Ta funk-cija izrazava efikasnost postizanja cilja i naziva se funkcija cilja. Zadatakoptimizacije je nalazenje resenja koje daje ekstremnu vrednost, najvecu -zadatak maksimizacije, ili najmanju - zadatak minimizacije. Matematickimodeli optimizacije mogu biti bez ili sa ogranicenjima. U ovom radu cemose baviti problemom nalazenja minimuma u modelima bez ogranicenja. Po-smatracemo bezuslovni problem minimizacije,

minxf(x), x ∈ Rn,

gde je f : Rn → R funkcija cilja. Slozenost ovog problema najvise zavisi odosobina ciljne funkcije. Postoji vise vrsta algoritama pomocu kojih se moguresiti optimizacioni problemi, od kojih ni jedan nije univerzalan. Od vrsteproblema i osobina ciljne funkcije zavisi metod kojim ce se resavati.

4.1 Optimizacioni problem

Posmatracemo problem bezuslovne optimizacije:

minxf(x), f : Rn → R.

Postavlja se pitanje da li postoji minimum? Da li je on jedinstven? Kakvaje osobina funkcije? Najbolja situacija je ako uspemo da nademo globalni

28

GLAVA 4. OPTIMIZACIONI POSTUPCI 29

minimum funkcije f , tj. mesto gde funkcija ima najmanju vrednost uzevsiu obzir ceo domen. Globalni minimum je najcesce tesko pronaci jer je naseznanje o f obicno samo lokalno. Treba imati na umu i da je vecina algori-tama prikladna za nalazenje samo lokalnih minimuma. Iz svega navedenogcini nam se da je jedini nacin da otkrijemo da li je x∗ lokalni minimum daispitamo sve tacke u njegovoj neposrednoj blizini i uverimo se da ni u jednimod tih tacaka funkcija nema manju vrednost. Ako je funkcija f glatka, po-stoji efikasniji i prakticniji nacin da nademo lokalni minimum. Konkretno,ako je f dva puta neprekidno diferencijabilna, mozemo reci da je x∗ lokalniminimum ispitujuci samo gradijent ∇f(x∗). Ukoliko se zna da je funkcijastrogo konveksna nad domenom onda je lokalni minimum ujedno i globalni.

4.1.1 Primer problema otimizacije

Problem bezuslovne jednodimenizionalane minimizacije glatke, neprekidnei dva puta diferencijabilne (C2) funkcije dat je sa:

minxf(x), f : R→ R.

f(x)

xx*

Slika 4.1: Funkija jedne promenljive sa minimumom u x∗

Za strogi lokalni minimum potrebno je odrediti x∗ takvo da za svako x vazi:f(x∗) < f(x). Vrednost x∗ nalazimo tako da je nagib funkcije 0, odnosno dazadovoljava uslov:

f ′(x) =df(x)

dx= 0.

Dalje, u x∗ potrebno je da je zadovoljen i sledeci uslov:

f ′′(x) =d2f

dx2> 0


da bi x∗ bio strogi lokalni minimum. Ilustracija ovakvog problema data jena slici 4.1.Najjednostavniji slucaj je kad je funkcija f(x) kvadratna, tj. ima oblik

f(x) = ax2 + bx+ c, a 6= 0, b, c ∈ R.

Minimum ce biti za f ′(x) = 0 tj.,

x∗ = − b

2ai pod uslovom da je f ′′(x) = a > 0.

Kada f(x) ima opstiji oblik, tada ovako jednostavna resenja, naravno, nisumoguca. U tom slucaju resenja se traze primenom odgovarajuceg numerickogpostupka. Jedan od cesto koriscenih algoritama za ovu namenu je Newton-ov algoritam [20]. Ako je x0 data pocetna aproksimacija resenja, iterativnoracunamo:

xi+1 = xi − f ′(xi)

f ′′(xi); i = 0, 1, 2, ...

Newton-ov postupak ima atraktivnu osobinu da je kvadratno konvergentan[21] u blizini resenja. Medutim, njegov glavni nedostataak je sto u svakojiteraciji zahteva racunanje drugog izvoda.

4.2 Gradijentni postupci

U ovoj glavi posmatracemo numericke postupke koji se baziraju na gra-dijentu ciljne funkcije minimizacionog problema.

4.2.1 Opsti line search algoritam

U proteklih 40 godina pojavilo se mnostvo mocnih direct search algori-tama. [18]. Ovi algoritmi polaze od date pocetne procene optimalnog resenjax0. Od pocetne tacke algoritam generise dalje tacke (korake) x1,x2, ... uza-stopnim trazenjem. Potrebno je da vrednost ciljne funkcije u novoj iteracijibude manja nego u predhodnoj iteraciji. Vazna podklasa direct search me-toda je takozvana line search metoda. U nastavku cemo se baviti line searchalgoritmom.

Posmatrajmo sledeci bezuslovni optimizacioni problem:

minxf(x), (4.1)


gde je f : Rn → R neprekidno diferencijabilna. Line search algoritam zaproblem (4.1) generise iteracije xi na sledeci nacin:

xi = xi−1 + λiui,

gde je xi−1 aktuelna tacka iteracije, ui pravac pretrage, a λi > 0 je duzinakoraka. Razlicitit izbori ui i λi > 0 ce davati razlicite line search metode.Potrebno je da izvod u pravcu ui bude opadajuci, tj:

df(xi−1)

dλ

∣∣∣∣ui

= ∇Tf(xi−1)ui < 0. (4.2)

Drugi vazan korak u svakoj iteraciji je izbor duzine koraka λi. Ovde bitnuulogu ima jednodimenzionalni minimizacioni problem:

minλi

F (λi) := f(xi−1 + λiui).

Koraci opsteg algoritma descent metoda su:

1. Data je pocetna tacka x0 i pozitivne tolerancije ε1 i ε2, neka je i = 1.

2. Izaberemo opadajuci pravac ui koji zadovoljava uslov (4.2).

3. Biramo duzinu koraka λi.

4. Postavimo xi = xi−1 + λiui.

5. Zaustavni kriterijumi:

Ako je ‖∇f(xi)‖ < ε1 i/ili ‖xi − xi−1‖ < ε2.

tada je x∗ ∼= xi, inace nastavljamo sa korakom 6.

6. Postavimo i = i+ 1 i vracamo se na korak 2.

Razlicite line search metode se razlikuju u nacinu biranja pravca ui i u nacinubiranju koraka λi. Struktura navedenog algoritma je data na slici 4.2.

4.2.2 Metoda najbrzeg pada

Ova metoda je spacijalan slucaj opsteg line search algoritma. Pravacpretrage i duzina koraka u svakoj iteraciji se odreduju tako da obezbedujunajvece moguce opadanje vrednosti ciljne funkcije.


x 1

x 2

x3

x0

1 u

3

u

2u

x*

Slika 4.2: Niz line search pravaca i koraka

4.2.3 Pravac najbrzeg pada

U tacki x′ trazimo jedinicni vektor u tako da funkcija F (λ) = f(x′+ λu)ima najmanji moguci izvod za λ = 0. Pretpostavimo da izvod u pravcu imanajmanju vrednost za sve moguce izbore vektora u u tacki x′, tj.

df(x′)

dλ

∣∣∣∣u

=dF (0)

dλ= ∇Tf(x′)u ima minimalnu vrednost.

Proizvoljan pravac pretrage u u odnosu na gradijent vektor u tacki x′ je datna slici 4.3.

f

x'u

Slika 4.3: Proizvoljan pravac pretrage u u odnosu na gradijent vektor u tackix′

Koristeci Svarcovu nejednakost (|〈x, y〉| ≤ ‖x‖‖y‖) i cinjenicu da je ujedinicni vektor, trazenu najmanju vrednost m mozemo izraziti kao:

∇Tf(x′)u ≥ −‖∇f(x′)‖‖u‖ = −‖∇f(x′)‖ = m.


Uvrstavanjem konkretne vrednosti u =−∇f(x′)

‖∇f(x′)‖izvod u pravcu u tacki x′

se jednostavno moze izraziti kao:

dF (0)

dλ= −∇Tf(x′))

−∇f(x′)

‖∇f(x′)‖= −‖∇f(x′)‖ = m.

Tako da na ovakav nacin odreden jedinicni vektor odgovara pravcu najbrzegpada.

Pravac pretrage

u =−∇f(x)

‖∇f(x)‖

naziva se normalizovani najbrzi pad pravca u tacki x.

Algoritam metode najbrzeg pada

Polazeci od date pocetne iteracije x0 za iteracije i = 1, 2, 3, ... koracialgoritma metode najbrzeg pada su:

1. Racunamo ui =−∇f(xi−1)

‖∇f(xi−1)‖.

2. Racunamo xi = xi−1 + λiui tako da

F (λi) = f(xi−1 + λiui) = min

λf(xi−1 + λui).

Algoritam se zaustavlja ako je zadovoljen jedan ili oba zustavna kriterijuma:

• ‖xi − xi−1‖ < ε1,

• ‖∇f(xi)‖ < ε2 dge su ε1 i ε2 pozitivne tolerancije.

Moze se pokazati da su uzastopni pravci pretrage ortogonalni. Razmo-trimo line search kroz tacku xi−1 u pravcu ui da bismo dobili xi. Uslov zaminimum u λi tj. optimalni pad, je dat sa:

df(xi−1 + λiui)

dλ

∣∣∣∣ui

= ∇Tf(xi)ui = 0

Posto je ui+1 =−∇f(xi)

‖∇f(xi)‖sledi ui+1Tui = 0. Ova karakteristika prikazana

je na slici 4.4.


f(x )i -xi-1

u i

u i+1

xi

Slika 4.4: Ortogonalnost uzastopnih pravaca pretrage kod metode najbrzegpada

Metoda najbrzeg pada je jedna od jednostavnijih line search metoda. Imasiroku primenu u problemima minimizacije velikih dimenzija. Medutim ovametoda cesto rezultuje takozvanim zig-zag (slika 4.5) fenomenom, koji ciniproces veoma sporim. Iako se teorijski moze dokazati da metod konvergira,u prakticnoj primeni efikasna konvergencija se ne postize u konacnom brojukoraka.

x 1

x 2

x3

x0

1

u3

u

2u

4

u

Slika 4.5: Ortogonalno zig-zag ponasanje metode najbrzeg pada

Konacne razlike

Komponente gradijent vektora se cesto analiticki ne mogu izvesti. U tomslucaju se one aproksimiraju sa konacnim razlikama:

∂f(x)

∂xj∼=∇f(x)

δj∼=f(x + δ)− f(x)

δj(4.3)


gde je δj = [0, 0, ..., δj, 0, ..., 0]T , δj > 0 na j-tom mestu.Gradijentni postupci se baziraju na izvodima prvog reda. Ovo svojstvo ih

cini atraktivnim za primenu u problemima velikih dimenzija i u slucajevimaslozene ciljne funkcije. Cesto se primenjuju u aktuelnim problemima prime-njene matematike. Izmedu ostalog primenjuju se kod postupaka kompjuter-ske tomografije (CT), digitalne obrade slike (otklanjanje suma, segmentacija,restauracija slika itd) [22], kao i obrade signala uopste.

Glava 5

Zakljucak

Diskretna tomografija se bavi postupcima za kreiranje slika na osnovuprojektivnih podataka. U primenama to znaci rekonstrukciju slika kojeprikazuju unutrasnju oblast/strukturu posmatranog objekta. Najcesce jekoriscena u medicini, ali ima primenu i u arheologiji, geofizici, biologiji itd.Moderne tehnike diskretne tomografije su bazirane na razlicitim matematickimmodelima i oslanjaju se na mogucnosti savremenih racunarskih sistema.

U mnogim savremenim oblastima nauke i mnogim savremenim prime-nama postoji potreba da se slika rekonstruise iz odredenog broja svojih pro-jekcija. Teoretsku mogucnost ovakve rekonstrukcije u slucaju binarne ma-trice je analizirao H.J. Ryser jos 1957. godine [1]. Ipak, prakticna primenapostaje moguca tek sa razvojem savremenih racunara. Sedamdesetih godinaXX veka dolazi do ekspanzije postupaka rekonsrukcije tada se javlja prviskener za kompjutersku tomografiju. Sa razvojem racunara i savremenihtehnologija razvijaju se i sve mocniji metodi za rekonstrukciju.

Danas se diskretna tomografija primenjuje u razlicitim oblastima kao stosu humana medicina, nuklearna fizika, industrija (industrijski procesi)i biolo-gija. Takode je znacajna primena u ne erozivnim metodama kod postupakaza konzervaciju i analizu istorijskih i drugih predmeta znacajnih za kulturnonasledstvo. Najznacajniji kriterijumi za dobar rekonstrukcioni postupak su:kvalitet rekonstrukcije, brzina rada, osetljivost na prisustvo suma. U zavi-snosti od primene zavisi i koje od navedenih kriterijuma je vazno poboljsati.U medici je bitno da sa sto manje zracenja (projekcija) dobijemo sto kvali-tetniju/precizniju sliku. Dok kod konzervacije istorijskih predmeta je bitnosmanjiti pristustvo suma.

U ovom radu dat je pregled nekoliko rekonstrukcionih metoda u diskretnojtomografiji. Opisana je ART metoda koja spada u jednu od najstarijih rekon-strukcionih metoda primenljivu na racunarima. Takode su opisani neki odenergo-minimizacionih postupaka koji imaju znacajnu primenu u poslednjih

36

GLAVA 5. ZAKLJUCAK 37

20 godina. Opisana je metoda Simulated Annealing i konveksno-konkavnametoda. Kratko je opisana i DC (difference of convex functions) metoda.

Trenutno najaktuelnije metode (state of the art) su metode koje se snaznorazvijaju u poslednjih 10 godina, medu koje spadaju neke od sledecih. SA -Simulated Annealing [23] je stohasticna metoda koja je fleksibila u odnosuna dizajniranje ciljne funkcije. Moze se koristiti i za resavanje problemasa ogranicenjima. SPG - Spectar Projected Gradient optimization [17] jedeterministicka metoda. Bazira se na metodi gradijenata za resavanje opti-mizacionh problema. DART - Diskretna algebarska rekonstrukciona tehnika[13] je metoda koja kombinuje ART metod i klasicni tresholding metod. DC- Difference of Convex functions [11] je deterministicka metoda u kojoj seciljna funkcija mora napisati kao razlika dve konveksne funkcije. Nalazenjetakve dekompozicije koja DC algoritam cini numericki atraktivnim je i daljeotvoreni problem.

Na kraju mozemo zakljuciti da je razvoj novih i usavrsavanje vec po-stojecih metoda diskretne tomografije i dalje aktuelan proces. Motivacija, sjedne strane, dolazi iz mogucnosti razvoja novih matematickih modela, kojise mogu uspesnije primeniti. Sa druge strane, primene u realnim situacijamatakode postavljaju nove zahteve za poboljsanjem metoda diskretne tomogra-fije.

Bibliografija

[1] H. J. Ryser, Combinatorial properties of matrices of zeros and ones.Canad. J. Math., 9. pp. 371-377, 1957.

[2] G. T. Herman, S. Rowland, Resolution in ART: An experimental inve-stigation of the resolving power of an algebraic picture reconstruction. J.Theor. Biol., vol. 33, pp. 213-233, 1971.

[3] S. Kaczmarz, Angenaherte auflosung von systemen linearer gleichungen.Bull. Acad. Pol. Sci. Lett. A, vol. 6-8A, pp. 355-357, 1937.

[4] K. Tanabe, Projection method for solving a singular system. Numer.Math., vol. 17, pp. 203-214, 1971.

[5] J. Hadamard, Lectures on Cauchy Problem in Linear Partial DifferentialEquations. Yale University Press, New Haven, 1923.

[6] A. N. Tikhonov, V. Y. Arsenin, Solutions of Incorrectly FormulatedProblems and the Regularization Method. Soviet Math. Dokl., 1986.

[7] D. Geman, G. Reynolds, Constrained Restoration and Recovery of Di-scontinuities. IEEE Trans. Pattern Anal. Mach. Intell., 1992.

[8] N. Metropolis, A. W. Rosenbluth, M. N. Rosenbluth, A. H. Teller, E.Teller, Equation of State Calculations by Fast Computing Machines.Journal of Chemical Physics, 1953.

[9] S. Krikpatrick, C. Gelatt, M. Vecchi, Optimization by Simulated Anne-aling. Science, 1983.

[10] C. Kittel, H. Kroemer, Thermal Physics. Freeman Co., New York, 1980.

[11] T. Schule, C. Schnorr, S. Weber, J. Hornegger, Discrete Tomography byConvex-concave Regularization and D.C. Programming. Discrete Appl.Math., pp. 229-243, 2005.

38

BIBLIOGRAFIJA 39

[12] F. Giannessi, F. Niccolucci, Connections Between Nonlinear and IntegerProgramming problems. Symposia Mathematica, pp. 161-176, 1976.

[13] K. J. Batenburg, J. Sijbers, DART: A Fast Heuristic Algebraic Recon-struction Algorithm for Discrete Tomography. In Proceeding of Interna-tional Conference on Image Processing (ICIP), pp. 133-136, 2007.

[14] T. Lukic, B. Nagy, Deterministic Discrete Tomography ReconstructionMethod for Images on Triangular Grid. Pattern Recognition Letters, El-sevier, Vol. 49, pp. 11-16, 2014.

[15] T. Lukic, Benedek Nagy, Energy-minimization based Discrete Tomo-graphy Reconstruction Method for Images on Triangular Grid. Proce-edings of Combinatorial Image Analysis - 15th International Workshop(IWCIA), Austin (TX), USA, LNCS, Vol. 7655, Springer-Verlag, pp. 274-284, 2012.

[16] E. Moisi, B. Nagy, Discrete tomography on the triangular grid: Amemetic approach. Image and Signal Processing and Analysis (ISPA),pp. 579-584, 2011.

[17] T. Lukic, A. Lukity, A Spectral Projected Gradient Optimization forBinary Tomography. Computational Intelligence in Engineering, Studiesin Computational Intelligence, Vol. 313, Springer-Verlag, pp. 263-272,2010.

[18] J. Snyman, Practical Mathematical Optimization: An Introduction toBasic Optimization Theory and Classical and New Gradient-Based Algo-rithms. Springer, 2005.

[19] H. Reiner, T. Hoang, Global Optimization. Springer, 1996.

[20] J. Nocedal, S. J. Wright, Numerical optimization. Springer, 2000.

[21] N. Krejic, D. Herceg, Numericka Analiza. Stylos Art, 1998.

[22] T. Lukic, Regularized Problems in Image Processing. Doktorska diser-tacija, FTN Novi Sad, 2011.

[23] S. Weber, A. Nagy, T. Schule, C. Schnorr, A. Kuba, A Benchmark Eva-luation of Large-Scale Optimization Approaches to Binary Tomography.Proceedings, pp. 146-156, 2006.

[24] T. Pham Dinh, L. T. Hoai An, A D.C. Optimization Algorithm forSolving the Trust-Region Subproblem. SIAM J. on Optimization, 1998.

Kratka biografija

Lidia Junger je rodena 25.09.1981. godine u Subo-tici. Osnovnu skolu je zavrsila u Novom Sadu. Gim-naziju ” Jovan Jovanovic - Zmaj ” je zavrsila u NovomSadu. Prirodno - matematicki fakultet, smer diplomi-rani matematicar je upisala 2000 godine. Diplomiralaje 2004. godine.

Radila je kao profesor matematike u srednjoj skoliu Budimpesti. Vise godina je radila u softverskoj kuciAdvisesoft kao System Manager u Budimpesti.

Trenutno zivi u Svajcarskoj. Udata je i majka dvoje dece.

40

Documents

FZl fZlbqdbfh^ ebm^bkdj lgh lhfh]jZnb bimft.ftn.uns.ac.rs/math/uploads/OdbranjeniRadovi/master_junger.pdf · tomogra ja i njene metode se siroko primenjuju u razli citim sferama