Upload
makoxxx
View
107
Download
9
Embed Size (px)
DESCRIPTION
Yöneylem ARAŞTIRMASI
Citation preview
NSZ Optimizasyon Teorisinin mhendislik, retim, iletme, ekonomi, haberleme,
ulatrma, sanayi gibi pek ok alanda uygulanmas, YAn vazgeilmez klmtr. zellikle
bilgisayarlarn yaygn bir kullanm alanna sahip olmasndan sonra endstri kesimi de karar
vermede yararl bir ara olduunu grd Lineer Programlama (LP) konusuna ilgi duymaya
balamtr. Petrol endstrisi, problemlerinin karmakl sebebiyle, LP ile ciddi bir ekilde
ilgilenen ilk endstri bran olmutur [1].
Gnmzde, YA aada sadece bir kan verebileceimiz yzlerce farkl
problemlerin zmnde kullanlmaktadr.Bunlar, Fabrika Organizasyonu, Atelye/Tezgah
Optimizasyonu, Proje Ynetimi, kaynaklarn optimum kullanm saylabilir.
Bu ders notunu hazrlama amacmz,lisans seviyesinde eitim veren fakltelerde Meslek
Matematii,Optimizasyon Teknikleri vb.isimler altnda verilen derslere uygun olan ve
lisansst eitime nemli derecede katk salayacak bir alma yapmak ve bunu daha da
gelitirerek Optimizasyon Teknikleri kitabn yazmaktr.Bununla birlikte, gncel hayatn her
alannda uygulamalarna rastladmz optimizasyon kavramn rencilerimize uygulamalar
ile aktararak bu konudaki bilincin oluturulmas ve en gncel yaklam olan yapay zeka
tekniklerine zemin hazrlanmas amalanmtr.
eriinde temelde Dorusal Programlama ile Dorusal Olmayan Programlama
tekniklerini barndran bu almada rencilerimize klasik optimizasyon teorisinden
ulatrma problemlerine,gezgin satc probleminden en ksa yol problemine ve simpleks
yntemden atama problemine kadar ok sayda konu rnekler ile desteklenerek ele alnmtr.
Bu almann gerek dersimizi alan rencilere gerekse bu konularla ilgilenen herkese faydal
olmas temennisiyle
neri ve eletirilerini [email protected] adresine bekliyoruz.
Bu Cennet Vatan iin ehit Denlere thafen
nsz...........................................................................................................................................I
indekiler...................................................................................................................................II
1. Giri.........................................................................................................................................1
2. Lineer Programlama ve Grafik zm.................................................................................2
2.1. Lineer Programlamaya Giri....................................................................................2
2.2. Lineer Programlama Hakknda Genel Bilgi.............................................................2
2.3 Lineer Programlama lem Basamaklar..................................................................3
2.4. Lineer Programlama Problem rnekleri .................................................................3
3. Lineer Programlama ve Simpleks Metodu..............................................................................9
3.1. Simpleks Metoda Giri.............................................................................................9
3.2 Aylak Deikenler ve Simpleks Metodun rneklerle ncelenmesi ......................10
3.3 Simpleks Metot Maksimum Problemleri................................................................19
3.4 Simpleks Metot II (Minimum Problemleri)............................................................30
3.5 Lineer Prramlama Problemlerinin marjinal analizleri ve formlleri:.....................38
3.6 Lineer Programlama Problemlerinin Matris Fonksiyonlar.....................................44
3.7 Duality.....................................................................................................................46
3.7.1 Duality ve Simpleks Metot likisi...........................................................46
3.7.2Dualitynin temel teoremi..........................................................................51
4. Ulatrma Problemleri ..........................................................................................................60
4.1 Ulatrma Problemlerine Giri................................................................................60
4.2.rneklerle Ulatrma Problemlerinin incelenmesi................................................61
4.2.1.- Kuzey-bat kesi yntemi.....................................................................62
4.2.2. En kk maliyetli hcreler metodu......................................................63
4.2.3. VAM(vogel) metodu.............................................................................63
5. Atama Problemleri ve Gezgin Satc Problemi.....................................................................64
5.1 Atama Problemlerine Giri......................................................................................64
5.2 Atama Problemlerinin zm admlar..................................................................64
5.3. rneklerle Atama Problemlerinin ncelenmesi......................................................65
6. Gezgin Satc Problemi.........................................................................................................67
6.1 Gezgin Satc Problemine Giri...............................................................................67
6.2.Gezgin Satc Problemi lem Admlar..................................................................67
6.3. Gezgin Satc Problemlerinin rneklerle ncelenmesi...........................................68
7. Dinamik Programlama..........................................................................................................71
7.1.Dinamik Programlaya Giri....................................................................................71
7.2.Dinamik Programlann rneklerle necelenmesi....................................................71
8. Uygulama Programlar .........................................................................................................74
8.1. Simpleks Metot ...................................................................................................74
8.2. Atama Problemleri ................................................................................................75
8.3. Uygulamalarda Kullanlan Teknolojiler ................................................................76
8.3.1. Java .........................................................................................................76
8.3.1.1. Java Hakknda Genel Bilgi.......................................................76
8.3.1.2. Java Program Gelitirme Ortamalar ve Applett Kullanm.....78
8.3.2. Delphi .....................................................................................................79
8.3.2.1. Delphi Hakknda Genel Bilgi...................................................79
8.3.2.2. Atama Problemi Algoritma Yaps ..........................................79
8.3.3. Active X ..................................................................................................80
8.3.4. Html.........................................................................................................81
8.3.4.1.Html hakknda Genel Bilgi........................................................81
8.3.4.2. Html ierisinde Dier Dillerin Kullanm.................................81
8.3.4.2.1 Htmlde Active X Kullanm......................................81
9. Sonu ve neriler.................................................................................................................82
10.Kaynaklar.............................................................................................................................83
11.zgemi..............................................................................................................................84
1
I.GR
1.Optimizasyon
1.1. Tanm:En basit anlam ile optimizasyon eldeki kstl kaynaklar en optimum biimde
kullanmak olarak tanmlanabilir(1).Matematiksel olarak ifade etmek gerekirse optimizasyon
ksaca bir fonksiyonun minimize veya maksimize edilmesi olarak tanmlanabilir(2). Dier bir
deile optimizasyon en iyi ama kriterinin en iyi deerini veren kstlardaki deikenlerin
deerini bulmaktr (3).
Baka bir tanmlama ile belirli amalar gerekletirmek iin en iyi kararlar verme sanat
veya belirli koullar altnda herhangi bir eyi en iyi yapma (4) olarak da tanmlanan
optimizasyon ksaca en iyi sonular ieren ilemler topluluudur (5).Optimizasyonda bir
ama da maksimum kr veya minimum maliyeti salayacak retim miktarn kstlara bal
olarak tespit etmektir. Gnmzn bilgisayar teknolojisi kadar gncel bir kavram olan
optimizasyon kavram ok eitli endstri kesimlerinde uygulama olana bulmutur.
Deien teknolojilerin, snrl kaynaklarn, artan rekabetin, karmak hale gelen sistemlerin
dourduu problemlerin klasik yntemlerle (matematiksel veya matematiksel olmayan,
analitik veya saysal) zmnn glemesi optimizasyon kavramn gncelletiren en
nemli sebeptir.Bu ynyle optimizasyonun kullanlmad bir bilim dal hemen hemen yok
gibidir (6).
1.2. Tarihe:Gerek hayatta karlalan birok problem iin gelitirilen karar modellerinin
kstlar ve ama fonksiyonlarnda her zaman dorusal bir iliki kurulamadndan 1950li
yllardan sonra gelitirilmeye balayan ve temelleri 18. ve 19. yzyllara dayanan yeni analitik
ve saysal yntemler 1960l yllardan sonra saysal bilgisayarlarnda destei ile hzla
oalmtr.
zellikle kimyasal ilemlerin sreklilik arz etmesi, planlamaclarn, tasarmclarn,
mhendislerin, jeologlarn, ekonomistlerin, iktisatlarn, iletmecilerin v.b. kendi
alanlarndaki problemleri zmek iin yaptklar almalar optimizasyon ve buna bal
teknikleri hzla ortaya karmtr. Benzer ekilde bu tekniklerin amaland alanlara,
sistemin zelliklerine, kullanlan matematiksel yntemlere ve kstaslarn tasnifleri aamalar
geirmitir(3).
2
Klasik optimizasyon teorisi Cauchy, Lagrange ve Newton tarafndan gelitirilmitir. Newton
ve Leibnitz in analiz almalar optimizasyonun diferansiyel hesap metodlarnn
gelitirilmesine katkda bulunmutur. Kstl problemler iin optimizasyon metodunu adyla
anlan Lagrange gelitirmitir. Kstsz optimizasyon problemlerini zmek iin Steepest
Descent (en dik ini,eim) metodunun ilk uygulamas da Cauchy tarafndan yaplmtr.
Optimizasyon konusundaki bu almalar 20. yzyln ortalarna kadar ok yava ilerlemitir.
1950 lerden sonra saysal bilgisayarlarn icad optimizasyonda ok byk almalar
beraberinde getirerek birok yeni teori ve metodun ortaya kmasn salamtr. Fakat 1960
l yllarda kstsz optimizasyon konusundaki saysal metodlar sadece ngiltere de
gelitirilmitir (5).
Simpleks metodunu 1947 de Dantzing, Dinamik Programlama Tekniini 1954 de Bellmann
gelitirmitir.Bu almamzn esasn tekil eden Dorusal Olmayan Programlama
konusundaki ilk nemli almalar 1951 ylnda Karush Kuhn ve Tucker tarafndan optimal
zm iin gerek ve yeter artlar teorisi bal ad altnda
sunulmutur(7). 1960 l yllarda Zoutendijk ve Rosen de Dorusal Olmayan Programlama
sahasnda nemli almalar yapmlardr.
Dorusal Olmayan Programlama alanndaki en byk gelime kstsz optimizasyonun bilinen
tekniklerini kullanarak ok zor problemlerin zmn kolaylatran ciddi almalarn
Carroll, Fiacco ve Mc Cormick tarafndan ortaya konmasdr. Geometrik Programlama ise
1960 l yllarda Peterson, Zener ve Duffin tarafndan gelitirilmitir(5).Dzlemsel Kesme
Algoritmas ise 1969da Zangwill tarafndan ortaya konmutur. ndirgenmi Gradient Metod
ise Wolfe tarafndan 1963 de gelitirilmitir(8).
1.3.Optimizasyon Probleminin zellikleri ve zm Aamalar
Bir optimizasyon probleminin temel zellii kategoriye ayrlmasdr. Bunlar :
En az bir ama fonksiyonunun optimize edilmesi
Eitlik kstlar
Eitsizlik kstlardr
3
Yani genel bir optimizasyon problemi:
maksimum (minimum) f(x)
0)(,0(x)ig i = 1, 2, .., m veya
0 = )x(ih i = m + 1, m + 2, , n
eklindedir.Bu genel tanm altnda ama fonksiyonunun en iyi deerini veren
T)nx........,,2x,1x(=X
n boyutlu zm vektrne model vektr de denir(3).
(1) ile ifade edilen genel problemde f(x) ama fonksiyonunu, )x(ig eitsizlik kstlar ve
)x(ih eitlik kstlar temsil eder. nin sfr olmas problemin kstsz olmas, sfrdan farkl
olmas da problemin kstl olmas anlamna gelir.
Genel bir optimizasyon probleminin zm alt admda gerekletirilir.
i. lem analiz edilerek ilem deikenlerinin btn bir listesi karlr. ii. Optimizasyon iin ama fonksiyonunu tanmlayacak kriter belirlenir.
iii. Matematiksel ifadelerle kullanlabilir bir ilem gerekletirilir. iv. Problem ok bykse;
a) Kontrol edilebilir ve modeli basitletirilir.
b) Ama fonksiyonu teknii matematiksel ifadeye uygulanr.
v. Uygun optimizasyon teknii matematiksel ifadeye uygulanr. vi. Cevaplar kontrol edilir(3).
Btn optimizasyon problemlerinin zm iin etkili tek bir metot olmadndan
optimizasyon metotlar optimizasyon problemlerinin farkl tiplerinin zm iin
gelitirilmitir(5).
1.4. Dorusal Olmayan Programlama
Gerek hayatta karlalan birok problem iin gelitirilen karar modellerinin kstlarndan en
az biri veya ama fonksiyonunun dorusal olmad durumlar iin gelitirilen tm kavram ve
teknikler Dorusal Olmayan Programlama ad altnda incelenmektedir(6).
4
Dorusal Olmayan Programlama:
)n x,.......... ,1f(x )if(x Z == (i = 1, 2, , n) eklinde tanmlanan srekli ve trevlenebilen bir ama fonksiyonunun;
0)ix(jg ( 0ix ) (i = 1, 2, , n)(j = 1, 2, , m ) kstlar altnda optimum zmn aratrma yntemidir(9). Dorusal ve dorusal olmayan
denklemlerden oluan )i(xjg kstlar eitlikler veya eitsizlikler eklinde verilebilir.
yle ki;
0)ix(jg )0( (j = 1, 2, ., l) ve 0)ix(jg = (j = 1 + 1, ..., m)
eklinde tanmlanan kstlar m tane denklemden oluan bir denklem sistemidir. Bu
denklemlerin 1 tanesi eitsizlik, (m-1) tanesi eitlik denkleminden oluur(10).
1.5. Ama Fonksiyonunun Yorumlanmas
Ama fonksiyonunun yorumlanmas konusunda kstlarda ve (veya) kstsz problemde yer
alan deikenlerin (karar deikenleri) en iyi semedeki kriter programlamada ama
fonksiyonu olarak adlandrlr.Pratikte ise kstlarda ve ama fonksiyonunda yer alacak
deikenlerin (kt kaynaklarn) en iyi deerlerini bulmak olarak tanmlanabilir(3).
1.6. Optimizasyon ile lgili Temel Kavram ve Tanmlar
1.6.1. Fonksiyonlarda Sreklilik Kavram
A. Tek Deikenli Fonksiyonlarda Sreklilik
Tek deikenli bir y = f(x) fonksiyonunun bir 0x noktasnda srekli olmas demek, verilen
> 0 saysna karlk yle bir 0,h >< saysnn bulunmasdr ki;
)()(00
+ xfhxf dr.
5
B. ok Deikenli Fonksiyonlarda Sreklilik
ok deikenli bir )nx.,..........,2x,1x(f)x(fz == fonksiyonunun bir 0x noktasnda srekli olmas demek, verilen > 0 saysna karlk yle bir 0,h >< saysnn bulunmasdr ki;
)()(00
+ xfhxf dr. Burada;
)nh.........,,2h,1h(h = ve )n,..........,2,1(= > 0 dr(11).
1.6.2. Unimodal (Tek deer) Fonksiyon
Verilen bir aralkta bir tek maksimum veya minimuma sahip fonksiyona Unimodal fonksiyon
denir(5). Matematiksel olarak ifade etmek gerekirse: [a,b] aral zerinde bir y=f(x)
fonksiyonu tanmlanm olsun.
[ ]b,ap says iin; i) f(x), [a, p] aralnda azalan bir fonksiyon
ii) f(x), [p, b] aralnda artan bir fonksiyon
ise y = f(x) fonksiyonuna bu aralkta Unimodal (tek deerli) fonksiyon denir(12).
Eer f(x) fonksiyonu [a, b] aralnda Unimodal fonksiyon ise f(x) minimum deerini
a < c < d < b eklindeki bir [c,d] aralnda alabilir. Bu minimum deer f(c) ve f(d) nin
max[f(a), f(b)] den daha kk iken garanti edilir (ekil 1.a - b).
Eer f(c) f(d) ise [a, d] aralnn sandan aralk daraltlr (ekil 1.a). Eer f(d) < f(c) ise [c, b] aralnn sandan itibaren aralk daraltlr (ekil 1.b).
dc p
y = f(x)
[a ]b dc p
y = f(x)
[a ]b
ekil 1.a ekil 1.b
6
1.7.Konvekslik ile lgili Tanmlar
1.7.1.Konveks Bileen
S, nE , n boyutlu klidyen uzayda bo olmayan bir kme olsun.
1i,0iveSix = iken, nxn............2x21x10x +++= olsun.
Eer; =
=n
1iixi0x eklinde elde edilen 0x noktasna nx.,..........,3x,2x,1x noktalarnn
konveks (dbkey) bileeni denir(6).
1.7.2. Konveks Kme
S, nE , n-boyutlu klidyen uzayda bo olmayan bir kme olsun. S kmesinin farkl iki
noktasnn konveks (dbkey) bileeni ile bulunan nokta yine S kmesinin bir eleman ise S
kmesine konveks kme denir(8).(ekil 2.a-b)
Konveks Kme Konveks deil
x1
x2
ekil 2.a ekil 2.b
Matematiksel olarak ifade etmek gerekirse;
10,,, jiSxx ji iken ( )jiSjx)1(ix0x += oluyorsa S kmesine konveks (dbkey) kme denir.
1.7.3.Konveks Fonksiyon
nE , n-boyutlu klidyen uzayda verilen herhangi iki nokta ( 2x,1x ) olsun.Eer aadaki
eitsizlik nE , n-boyutlu klidyen uzayndaki her nokta ifti iin geerli ise f fonksiyonuna
konvekstir denir(13).
( ) 10;2E2x,1x iin; )]2x(f)1x(f)1[(]2x1x)1[(f ++
7
x1 x2
1.7.4.Konkav (bkey) (Konveks Olmayan) Fonksiyon
Konveks fonksiyonunun tanmna benzer olarak;
( ) 10;2E2x,1x iin; )]2x(f)1x(f)1[(]2x1x)1[(f ++ oluyorsa f fonksiyonuna konkav (ibkey) fonksiyondur denir.(1.7.3) ve (1.7.4) ile ifade
edilen tanmlar geometrik olarak aklamak gerekirse;
Fonksiyonun yzeyi zerinde alnan herhangi iki noktay birletiren doru,
fonksiyonun temsil ettii erinin altnda kalyorsa fonksiyona konkav fonksiyon, aksi halde
yani yzey zerindeki iki noktay birletiren doru fonksiyonun temsil ettii erinin stnde
kalyorsa fonksiyona konvekstir denir(8) (ekil 3.a-b-c).
Konveks Fonksiyon Konkav Fonksiyon Ne Konveks Ne Konkav
(ekil 3.a). (ekil 3.b). (ekil 3.c).
[(1-)x1+ x2] [(1-)x1+ x2] [(1-)x1+ x2]
1.8. Optimum Aramada Konveksliin ve Konkavln Etkileri
1.8.1. Kstsz Maksimum (Minimum)
Eer bir dorusal olmayan programlama problemi bir f(x) ama fonksiyonunu ierirse ve
ayrca f(x) konveks (konkav) ise uygun blge iindeki bir noktada bir tek optimum zm
vardr ve bu noktada 1. mertebeden trevlerin hepsi sfrdr. Ayn zamanda bu nokta bir snr
noktada olabilir. Ayn zellik bu snr nokta iinde geerlidir(13).
x1 x2x1 x2
8
1.8.2.Kstl Maksimum
Eer bir dorusal olmayan programlama problemi ayn anda hem bir ama fonksiyonu hem de
kstlarn bir kmesinden oluuyorsa optimum zmn teklii ama fonksiyonu ve kstlara
baldr.Eer ama fonksiyonu konkav ve kstlarn kmesi konveks ise problemin bir tek
maksimum zm vardr. Bu nedenle herhangi bir sabit nokta mutlak maksimum zm
olmak zorundadr.
1.8.3.Kstl Minimum
Eer bir dorusal olmayan programlama problemi ayn anda bir ama fonksiyonu ve kstlarn
bir kmesini ieriyorsa optimum zmn teklii ama fonksiyonu ve kstlara baldr.
Eer ama fonksiyonu konveks ve keza kstlarn kmesi de konveks blge formunda ise
problemin bir tek minimum zm olacaktr. Bu nedenle herhangi bir sabit nokta mutlak
minimum zm olmak zorundadr.
1.8.4.Konkav (Konveks) Fonksiyonun Minimizasyonu (Maksimizasyonu)
Eer bir konveks fonksiyon maksimize (konkav fonksiyon minimize) edilirse optimal zm
kstlar kmesinin ekstremum noktalarnn yalnz birisinde bulunacaktr.
1.9. Bir Fonksiyonun Gradienti
f(x) = f( nx...,..........,2x,1x ) n-deikenli fonksiyonunu gz nne alalm.
Burada, ( nx...,..........,2x,1x ) koordinatlar n-boyutlu klidyen uzayda X-stun vektr ile
temsil edilirler(1).
f(x) = f( nx...,..........,2x,1x ) fonksiyonunun gradienti ise f(x) veya grad f(x) sembolleri ile
gsterilir ve; grad f(x) =
=
nxf..,,.........
2xf,
1xf)x(f
veya ksaca;
=
kxf)x(f dr. (k =1, 2 , , n) eklinde tanmlanr.
9
1.10. Hessian Matrisi
f(x) fonksiyonunun ikinci mertebeden srekli trevlere sahip olmas durumunda btn
i ve j ler iin;
jiji
x.xf
x.xf
=
22 eitlii geerlidir(14).
Bu nedenle f(x) = f( nx...,..........,2x,1x ) n-deikenli fonksiyonunun ikinci mertebeden
ksmi trevleri;
nxnjif x.x
fH
=2
eklinde bir matris ile gsterilebilir. te bu n x n lik fH (x) matrisine f(x) fonksiyonunun
Hessian matrisi denir. Bu matris ayn zamanda simetriktir(15). Aka yazmak gerekirse;
nxn
f
nnn
n
x
f...............xx
fxx
f
xxf...............
xxf
x
f
)x(H
=
2
2
2
2
1
2
1
2
21
2
2
1
2
. . . . . .
II. KLASK OPTMZASYON TEORS
2. Klasik Optimizasyon Teorisi
Klasik Optimizasyon Teorisi kstl ve kstsz fonksiyonlar iin ekstremum noktalarn
belirlenmesinde diferansiyel hesabn kullanlmasn gelitirmitir.Gelitirilen bu metodlar
saysal hesaplamalar iin uygun olmayabilir.
Bu temel balk altnda kstsz ekstremumlarn belirlenmesi iin gerek ve yeter artlar, eitlik
kstlara sahip problemler iin Karush Kuhn Tucker gerek ve yeter artlarn inceleyip
rnekler vererek aklayacaz(11).
10
2.1 Kstsz Ekstremum Problemleri
f(x) fonksiyonunun bir ekstremum noktas maksimum veya minimum nokta olarak tanmlanr.
Matematiksel olarak tanmlamak gerekirse;
)nh.......,,.........jh,...,2h,1h(h = yleki jh btn j ler iin yeterince kk olmak zere;
)()(00
+ xfhxf art salanyorsa 0x noktas bir maksimum noktadr(13). Bir baka deyile; 0x n komuluundaki her noktada f fonksiyonunun deeri )0x(f dan
kk ya da eit kalrsa 0x a f fonksiyonunun maksimum noktas denir. Benzer ekilde;
)nh.......,,.........jh,...,2h,1h(h = yleki jh btn jler iin yeterince kk olmak zere; )0x(f)h0x(f + art salanyorsa 0x noktas bir minimum noktadr. Yani 0x n komuluundaki her noktada f nin ald deer )0x(f deerinden byk yada eit kalrsa
0x noktasna f fonksiyonunun minimum noktas denir. Aadaki ekil [a, b] aralnda tek
deikenli bir f(x) fonksiyonunun maksimum ve minimumlarn tanmlar (ekil 4).
a x1 x2 x3 x4 x5 x6 x7 x8
f (x)
x
ekil.4. f(x) fonksiyonunun maksimum ve minimumlar
eklimize gre 6x,4x,3x,2x,1x noktalar f(x) fonksiyonunun ekstremum noktalardr. Bu
noktalardan 6x ve3x,1x noktalar maksimum noktalar iken 4 x ve2x noktalar da minimum
noktalardr. )6x(f = max )}6x(f),3x(f),1x(f{ olduundan )6x(f global maksimum veya
mutlak maksimum olarak isimlendirilir. )6x(f ya gre )1x(f ve )3x(f noktalar da yerel
maksimum olarak adlandrlr.
11
Benzer olarak;
)2x(f = min )}4x(f),2x(f{ olduundan )2x(f noktas mutlak minimum nokta olarak
isimlendirilirken, )2x(f ye gre )4x(f noktas yerel minimum nokta olarak isimlendirilir.
1x ile 3x noktalar karlatrldnda 1x zayf maksimum iken 3x gl
maksimumdur. 2x ile 4x noktalar karlatrldnda 2x noktas gl minimum nokta iken
4x noktas 2x noktasna gre zayf minimum noktadr(11).
Genelletirecek olursak;
)0x(f)h0x(f + ise 0x bir zayf maksimum )0x(f)h0x(f + ise 0x bir gl minimum noktadr.
Burada h daha nce tanmland gibidir. ekil 4den de grld gibi btn ekstremum
noktalarda f(x) fonksiyonunun eiminin (1. trevi) sfra eit olduu sonucuna varabiliriz.
Buna karlk bu zellik tek deildir. Yani tersi doru olmayabilir. f(x) fonksiyonunun eimi
herhangi bir noktada sfr olduu halde bu nokta ekstremum nokta olmayabilir. ekil 4deki x5
noktas byle bir noktadr. Yani bu noktada f(x) fonksiyonunun eimi sfr olduu halde x5
noktas bir ekstremum nokta deildir.
te byle noktalara, gradienti (eim) sfr oldugu halde ekstremum olmayan noktalara
bkm noktalar denir.
2.2. Ekstremum in Gerek ve Yeter artlar
n-deikenli bir f(x) fonksiyonunu gznne alalm. f(x) fonksiyonunun her x noktasnda
birinci ve ikinci mertebeden srekli trevlere sahip olduunu varsayalm.
Teorem-1: Herhangi bir x 0 noktasnn f(x) fonksiyonunun ekstremum noktas olmas iin
gerek art; 0)x(f 0 = olmasdr.
12
Ispat: 0 < < 1 iin Taylor teoreminden; hxHhh2
1h)x(f )x(f)hx(f 0T
000 +
+=+
Yeterince kk jh ler iin kalan terim
21 HhhT , 2jh nin mertebesindedir.
Bundan dolay (1) deki alm;
++ )jh(0h)x(f)x(f)hx(f 2.000 )x(f 0 . h imdi 0x noktasnn bir minimum nokta olduunu varsayalm. Olmayana ergi
yntemiyle gsterilebilir ki )x(f o sfra eit olmak zorundadr. 0x bir minimum nokta deil iken zel bir j iin;
0 x
)x(f
j
0
olabilir.
h j nin iareti uygun seilerek h j . 0 x )x(f
j
0
13
x 0 noktasn minimum nokta olarak alalm.
Tanmdan; )x(f)hx(f 00 >+ dr. Bunun anlam udur;
x 0 noktasnn bir minimum nokta olmas iin; hxHhh 21
0T +
> 0 olmaldr.
kinci ksmi trevlerin srekli olmasn kabul ile Hh 21 T
x 0 ve x 0 + h n her ikisinde de
deerlendirildiinde ayn iarete sahip olmak zorundadr.0
TxHhh bir karesel form olarak
tanmlanr ve x 0 noktasnda deerlendirilirse x 0 n minimum nokta olmas iin 0x H pozitif
tanml olmaldr.
Bu son ifadenin anlam udur:Sabit bir x 0 noktasnn minimum nokta olmas iin yeter art
Hessian Matrisinin bu noktada pozitif tanml olmasdr. Ayn yeter art x 0 n maksimum
nokta olmas iin yapldnda Hessian matrisinin x 0 noktasnda negatif tanml olmas
gerektii sylenebilir.
Sonu 1: Eer 0x H tanmsz ise x 0 bir bkm noktas olmak zorundadr.
Sonu 2: Teorem-1 ve Teorem-2 ile sunulan ifadeler tek deikenli y = f(x) fonksiyonu iin
u ekilde zetlenebilir.Herhangi bir x 0 noktasnn y = f(x) fonksiyonunun bir ekstremum
noktas olmas iin gerek art f (x 0 ) = 0 olmasdr. Yeter art;
f (x 0 ) < 0 ise x 0 bir maksimum noktadr.
f (x 0 ) > 0 ise x 0 bir minimum noktadr(16).
Eer, f (x 0 ) = 0 ise x 0 n ekstremum nokta olmas iin yksek mertebeden trevler
gznne alnmak zorundadr. Bunu aadaki sonu teorem ile sunabiliriz.
Teorem-3: y=f(x) fonksiyonu verilsin. f(x)in sabit bir x 0 noktasnda;
( ) 0)x(f 01n = ve ( ) 0)x(f 0n oluyorsa x = x 0 noktasnda f(x); n tek ise bir bkm noktasna sahiptir.n ift ise;
a) ( ) 0)x(f 0n < ise maksimuma sahiptir. b) ( ) 0)x(f 0n > ise minimuma sahiptir(11).
14
2.3. ok deikenli Fonksiyonlarnn Optimizasyonu (Kstsz Optimizasyon)
Daha nce tanmland gibi,y=f(x1,x2,...xn) n- deikenli fonksiyonu 2. mertebeden srekli
ksmi trevlere sahipken bu fonksiyonun hessian matrisi simetrik bir matris (simetrik
matris: ji olmak zere aij=aji olan matristir) olup aadaki gibidir ;
Hf(x)=
2
2
2
2
1
22
2
22
2
12
21
2
21
2
21
2
...
...
nnn
n
n
xf
xxf
xxf
xxf
xf
xxf
xxf
xxf
xf
=
nnnn
n
n
fff
ffffff
21
22221
11211
.
.
.
.
.
.
.
.
.
nxn nxn
y=f(x1,x2,...xn) fonksiyonlarn ekstremumlara sahip olmas iin;
i) Gerek art:
0,...,),..,,(),..,,(21
2121 =
==
nnn x
fxf
xfxxxgradfxxx olmasdr. Bu denklemin zm
olan noktalara sabit noktalar denir,
ii) Yeter art:x0 noktas 0)( = xf artn salayan nokta(sabit nokta) olsun.Buna gre; 1.Test :
i. Hf(x0) > 0 (Pozitif tanml) ise minimum noktasdr ii. Hf(x0) < 0 (Negatif tanml)ise maximum noktasdr
iii. Hf(x0) tanmsz ise x0 bkm noktasdr 2.Test:
det(A- I)=0 n.dereceden bir polinom denklem olup buna f fonksiyonunun karakteristik polinomu ,bu denklemin kklerine de karakteristikler veya zdeerler denir.Buna gre ;
i. 0 >i
i iin ise A pozitif tanmldr (A=(aij)nxn)
ii. 0
15
2.3.1. A matrisinin tanmll:nxnlik bir A matrisinin tanmlln belirlemek iin
aadaki test uygulanr.
A=
nnnn
nn
aaa
aaaaaa
21
22221
11211
.
...
.
.olsun. Ann uzanan alt matrisleri ;
nxn
A1=[a11] ; A2=
=
nnn
n
n
jjjj
j
j
aaaaaa
Anaaaaaaaaa
Ajaaaa
.
.
.,...,...,
1
221
111
21
22221
11211
2221
1211 olarak tanmlanr.
2x2 jxj nxn
Bu matrislerin determinantlarnn hepsi pozitif ise A matrisi pozitif tanmldr .Yani;
i. i iin det Ai>0 ise A pozitif tanmldr. ii. i iin (-1)idet Ai>0 ise A negatif tanmldr.
iii. Dier durumlarda tanmszdr .Nokta bkm noktasdr.
2.3.2. Konveks,Konkav Fonksiyonunun Hessian Matrisi ile Tayini (Descartes kural)
det (A- )I =0 ifadesi P( ) =0 eklinde ya bal bir polinom olup; p( )daki iaret deiiklii says (pozitif kk says) p(- )daki iaret deiiklii says (negatif kk says)
ile tanmlanr ve sabit noktann kimlii ilefonksiyonun konkav yada konvekslii kolayca
belirlenir.
rnek : f(x1,x2,x3)=x1+2x3+x2x3-x12-x22-x32 fonksiyonun ekstremumlarn ve konveks yada
konkavln inceleyiniz
1)Gerek art: f(x)=0 olmaldr
1xf
=1-2x1=0 ,
2xf
=x3-2x2=0 ,
3xf
=2+x2-2x3=0
Buradan; x1=1/2 , x2=2/3 , x3=4/3 olduu grlr . x0=(1/2,2/3,4/3) sabit noktadr.
16
2)Yeter art:Bu fonksiyona ait Hessian matrisini oluturalm
Hf(x0)=
332313
322212
312111
xxxxxx
xxxxxx
xxxxfxx
fffffffff
ise Hf(x0)=
210 120 002
H1=[-2] olduundan det H1=-2
H2=
20
0 2 olduundan det H2=4
H3
210120002
olduundan det H3=-6
Hf(x) negatif tanmldr x0=(1/2,2/3,4/3) maksimum noktadr
Not:yeter art iin II. Metot u ekildedir.
Det (H-I )=210
120002
-
100010001
=
210120002
= 0 ve buradan;
p( )=(-2- )[(-2- )2-1]=0 ise p( 06116) 23 == olur. p(- 06116) 23 =+= dr (3 tane negatif kk vardr , fonksiyon konkavdr yani x0 noktasmaksimum noktasdr)
rnek : f(x,y)=x2-4xy+y2 fonksiyonunun ekstremumlarn ve konveks yada konkavln
inceleyin.
zm:
1)Gerek art: 0)( = xf olmaldr
xf
=2x-4y=0 ,
yf
=-4x+2y=0
Buradan; x=0, y=0 olduu grlr. x0=(0,0) sabit noktadr.
2)Yeter art:Hf(x0)=
=
2442
fyyfyxfxyfxx
H1=[2] ise det H1=2>0
H2=
2442
ise det H2 = -12
17
2. yol : det (H- 0) =I
2442
- 1001 = 0
2442 =
p( ) =(2- )2-16= 01242 = p(- 0124) 2 =+= larn bir ksm pozitif bir ksm negatif olduundan bkm noktasdr.
rnek: f(x,y,z)=4x2-6y2-2xy+3xz-2y-4yz+1 fonksiyonunun ekstremumlarn bulunuz
zm:
Gerek art: 0)( = xf olmaldr.Buna gre; fx=8x-2y+3z=0
fy=-12y-2x-4z-2=0
fz=3x-4y=0 olup buradan x0(-6/7,-9/14,13/7) bulunur.
Yeter art : fxx=-2 ,fxy=3 ,fyy=-12 ,fyz=-4 ,fzz=0 olup Hessian matrisi;
H =
0434122
328elde edilir.
1.test : det [8] = 8 >0 ve det 10012228 =
18
2.3. Kstl Ekstremum Problemleri:
Bu blmde snr artlar ve kstlaryla srekli fonksiyonlarn optimizasyonu ele alacaz. Bu
snr artlar veya kstlar denklem formunda olabillir veya olmayabilir(2).
2.3.1. Eitlik Kstlar
Eitlik kstlarna sahip ama foksiyonunun optimizasyonu iin iki metod gelitirilmitir.
Bunlardan ilki Jacobian (Kstl Trevler) metodu, ikincisi ise Lagrange metodudur(11).
Jacobian metodu Dorusal Programlama iin simpleks metodunun bir genellemesi olarak ele
alnabilir. Gerekten de simpleks metodu artlar Jacobian metodundan tretilebilir. kinci bir
metod olan Lagrange metoduda yine benzer olarak Jacobian metoduna benzer bir mantkla
gelitirilmitir. Bu iliki Lagrange metodunun ilgin bir ekonomik yorumunu kabul eder.
A) Lagrange Metodu
J g f 1
0Y=
duyarllk katsaylar fnin optimum deeri zerinde kstlardaki kk deiikliklerin etkisini
belirlemede kullanlr. Keza bu katsaylar sabittir. Bu zellikler eitlik kstlarna sahip kstl
problemleri zmek iin kullanlr.
g f J 1
0Y ==
Buradan; 0g -f = bulunur. Bu denklem sabit noktalar iin gerek artlarda yeterlidir.
Yani f , g f
C ye benzer olarak hesaplanr. Bu denklemleri sunmak iin daha elverili bir
ifade de btn jx lerin ksmi trevleri alnmak suretiyle elde edilir.
Bylece;
0g)-(f x j
= (j = 1, 2, , n)
g = 0 kst denklemleri ile bu son denklem x ve nn uygun deerlerini kabul eder ki sabit noktalar iin gerek artlar kfidir.Eitlik kstlarna sahip optimizasyon problemlerinin sabit
noktalarnn belirlenmesi ilemi Lagrange ilemi olarak adlandrlr. Bu metodu formulize
eden ifade;
L ( X , ) = f(x) g(x) ile verilir.
19
Burada L fonksiyonu Lagrange fonksiyonu ve parametreleri de Lagrange arpanlar olarak bilinirler.
0 L =
ve 0XL =
denklemleri Lagrange fonksiyonu iin gerek artlarn oluturulmasnda direkt olarak
kullanlr. Bir baka deyile, g(x) = 0 kstlar ile f(x) fonksiyonunun optimizasyonu
L ( X , ) Lagrange fonksiyonunun optimizasyonuna eittir. imdide Lagrange metodu iin yeter artlar ispatsz olarak tanmlayalm.
)nm(x)nm(
TB
QPPH
++
= 0
Burada;
P =
)nm((x)mg
(x) g
(x) g
.
.
.2
1
ve Q =
)nn(
jx x
)(X, L .i
2
( i,j iin )
te bu ekilde tanmlanan BH matrisine snrlandrlm Hessian Matrisi denir(11).
Verilen bir ),X( 00 noktasnda BH snrlandrlm Hessian Matrisi ve ) , X( L Lagrange fonksiyonu deerlendirilirse;
1) Eer BH , (2m + 1)inci mertebeden temel minr determinant ile balayan ve (n-m)inci
mertebeden temel minr ile son bulan determinantlarn iareti 1m)1( + ile deiiyorsa ),X( 00 bir maksimum noktadr.
2) Eer BH , (2m + 1)inci mertebeden temel minr determinant ile balayan ve (n-m)inci
mertebeden temel minr ile son bulan determinantlarn iareti m)1( ile ayn iarete sahipse ),X( 00 bir minimum noktay belirtir(18).
20
Bu artlar bir ekstremum noktay tanmlamak iin yeterlidir fakat gerek deildir. Bir baka
deyile bir sabit nokta yukardaki artlar salamakszn ekstremum nokta olabilir.
Bu metodun dezavantaj ilem aknn hesaplama olarak pratik kararlar iin uygun
olmaydr. Bunun iin;
= IQPP
T
0
matrisini bu ekilde tanmlayp ),X( 00 noktasnda deerlendirelim. Burada P ve Q daha nce tanmladmz gibi, ise bilinmeyen bir parametredir.
0 = determinantn gznne alrsak; 0 = polinom denkleminin (n -m) tane iu reel kknn herbiri iin;
a) 0 oluyorsa ),X( 00 bir minimum noktadr.
2.3.2. Eitsizlik Kstlar
Bu blmde ilk olarak Lagrange metodunun genilemesini ele alacaz. Yani snrl bir
anlamda eitsizlik kstlarn gznne alarak Lagrange metodunu genileteceiz. kinci
olarak ise eitsizlik kstlarna sahip problemlerin analitik zm iin Karush-Kuhn-Tucker
gerek ve yeter artlar sunulmaktadr.
A. Lagrange Metodunun Geniletilmesi
Max z = f(x)
Kstlar 0)x(gi (i = 1,2, .. , m) 0x i problemini gznne alalm.Lagrange metodunun geniletilmesinin esas udur:
Eer f(x)in kstsz optimimu btn kstlar salamazsa, kstl optimum zm uzaynn bir
snr noktasnda olmak zorundadr. Yani denklem formunda m kstta yeterli olmak
zorundadr.Buna gre ilem admlar u ekilde zetlenebilir.
Adm 1: Maksimum z = f(x) kstl probleminin zmnde eer sonu optimum btn
kstlarda yeterli ise k = 1 alnp adm 2ye geilir.
21
Adm 2: Herhangi k kst ileme sokulur ve f(x), k aktif kst iin optimize edilir. Eer sonu,
kalan kstlar itibariyla uygunsa dururuz. Bu bir yerel minimumdur. Bir baka deyile dier
aktif k kst iler hale getirilip adm tekrarlanr. Eer alnan k aktif kstnn btn kmeleri
uygun bir zm kar gelmeksizin ayn anda gznne alnrsa adm 3e geilir.
Adm 3: Eer k = m ise dur. Uygun zm yoktur. Yani k = k + 1 tekil edilerek adm 2ye
geri dnlr. Bu ilemin nemli bir noktas sk sk ihmal edilmektedir. Bu nokta problemin
uygun davrandnda bile mutlak optimum garanti edilememesidir. Dier bir nemli nokta ise
p < q iin f(x)in optimumunun p eitlik kst iin her zaman q eitlik ksttan daha kolay
salanmas gibi yanl bir kanya varmaktr.
B.Karush Kahn Tucker artlar
Karush, Kuhn ve Tucker tarafndan gelitirilen bu artlar eitsizlik kstlarna sahip dorusal
olmayan kstl bir problemin sabit noktalarn tanmlamak iin gerek ve yeter artlar
sunar(19).Metoddaki gelime temelde Lagrange metodu zerindedir(11). Aadaki eitsizlik
kstl problemi gznne alalm.
i)Gerek artlar
maksimum z = f(xi)
kstlar g(xi) 0 xi 0 Eitsizlik kstlar negatif olmayan aylak deikenlerin yaklak toplam olarak
denklemler iinde dntrlebilir.
Tm21 )S, ......... ,S ,S(S = ve T2m22212 )S, ......... ,S ,S(S = tanmlayalm. Burada, m eitsizlik kstlarn toplam saysdr. Buna gre Lagrange fonksiyonu;
[ ]2S)x(g)X(f) ,S ,X(L += olarak tanmlanr. Verilen kstlar (g(x) 0) optimallik iin gerek arttr. Yani;
nn negatif olmama ( pozitif olmama ) durumu maksimizasyon ( minimizasyon ) problemleri iin verilen g(x) 0 kstlarnda optimallik iin gerek arttr. Burada sadece maksimizasyon durumunu ele alalm.
fnin gye gre deiim oran ile lldnden; g f
= dr.
Bu son ifadenin sa taraf g 0 olduundan artar ve zm uzay daha az snrlanm olur.
22
Buna gre, f azalmaz, bu 0 demektir. Benzer olarak, minimizasyon iin f artmaz ki bu 0 demektir. Eer kstlar eitlik halinde ise [ ])0x(g = ise iarette snrsz olur. Bu zerindeki kstlamalar Kuhn Tucker artlarn ksmen kapsamaktadr. imdi Lagrange fonksiyonu L ( X, S, )nn srasyla X, S ve ya gre ksmi trevlerini alalm. 0g(x) -f(x)
X L ==
(1)
0iS2S L .i
i==
(2) (i = 1,2, . , m)
[ ] 0 S)x(g L 2 =+=
. (3) (2) ile ifade eden denklemden takip eden sonular aa kar.
a) 0i ise 0S 2i = dr. Bu demektir ki eitlik kst yoktur. b) Eer 0S 2i > ise 0i = dr.
Yani; 0g f
ii =
= dr.
(2) ve (3) ile ifade edilen denklemlerin kmesinden;
0)x(g ii = (i = 1, 2, . , m) Bu yeni art esas itibariyla 0 i > a gre tekrarlanacak olursa 0)x(g i = veya 0S 2i = dr. Benzer olarak; eer 0S0)x(g 2ii >< ve 0 i = dr. Aada zetlenecei gibi X ve iin Karush Kuhn Tucker artlar yukardaki maksimum probleminin bir sabit noktas olmas iin gerektir. Buna gre;
Maksimum nokta iin;
0 0g(x) -f(x) = 0)x(g ii = (i = 1, 2, , m) 0g(x) Ayn ey minimum durum iin uygulanrsa 0 olmak zorundadr. Hem maksimum hemde minimum durumda, eitlik kstlarna gre Lagrange arpanlar iarette snrsz olmak
zorundadr.
23
ii) Karush Kuhn Tucker Yeter artlar
Eer ama fonksiyonu ve zm uzay konvekslik ve konkavlk ile ilgili kesin artlara sahip
ise Karush Kuhn Tucker gerek artlar ayn zamanda yeterdir.
Bu artlar aadaki gibi zetleyelim (Tablo 1). Tablo.1
Konveks Kme
Konveks Kme
Maksimizasyon
Minimizasyon
Konkav
Konveks
Gerek artlar
Ama Fonksiyonu zm UzayOptimizasyon eidi
Tablo 1den de anlalaca gibi ama fonksiyonu ister konveks isterse konkav, zm uzay
konvekstir.Bu artlar salamak iin aadaki genel dorusal olmayan programlama
problemini gznne alalm.
(maksimum / minimum)
kstlar; 0)x(g i (i = 1, 2, , r) 0)x(g i (i = r + 1, r + 2, , p) 0)x(g i = (i = p + 1, p + 2, , m)
[ ] [ ] +=+==++=
m
1 p iii
p
1 r i
2iii
r
1 i
2iii )x(gS)x(gS)x(g-f(x)) S, (X, L
Burada i , i ksttaki Lagrangearpanlar gsterir. Bylece Karush Kuhn Tucker yeter artlarn belirlemek iin gereken bilgiler bir tablo ile gsterilecek olursa;
Tablo.2
24
Tablo 2deki artlar Tablo 1deki artlarn genellemesini tarif eder. Minimizasyon durumda
L ( X, S, ) konveks, maksimizasyon durumda L ( X, S, ) konkav fonksiyondur. Bu geniletilecek olursa;
i. Eer )x(gi konveks ve 0 ise )x(gii konvekstir. ii. Eer )x(gi konveks ve 0 ise )x(gii konkavdr.
Unutulmamas gereken birey de dorusal fonksiyonun hem konveks hemde konkav bir
fonksiyon olmasdr.
Sonu:
Kstl dorusal olmayan problemlerin ekstremumlarn yerletirmek iin gelitirilen Klasik
Optimizasyon Teorisi saysal hesaplamalar iin uygun deildir. Fakat bu teoriler hesap
algoritmalarn gelitirmede temel tekil ederler. yle ki Kuadratik Programlama Karush
Kuhn Tucker gerek ve yeter artlarn kullanan mkemmel bir rnektir.
III. DORUSAL OLMAYAN PROGRAMLAMA ALGORTMALARI
3.1. Optimizasyon Metodlarnn Genel Tasnifi
TASNF
Klasik Optimizasyon Metodlar
Lagrange arpanlar Metodu
Jacobian (Kstl Trevler) Metodu
Karush Kuhn Tucker Metodu (5, 11, 20)
Statik Optimizasyon Metodlar
Bir Boyutlu Kstsz Optimizasyon Metodlar
Arama Metodlar
Fibonacchi Arama Metodu
Altn Oran Metodu
Ayrntl Arama Metodu
atallama Arama Metodu
Snrsz Arama Metodu
Karesel nterpolasyon Metodu
Rastgele Arama Metodu (1, 5, 12, 21,28)
Gradient Metodlar
25
Newton Raphson Metodu
Secant Metodu
Kbik nterpolasyon Metodu
Direkt Kk Metodlar
4.1- kiye Blme Metodu
4.2- Kiriler Metodu
4.3- Deneme Metodu
4.4- terasyon Metodu (2, 12, 22)
ok Boyutlu Kstsz Optimizasyon Metodlar
Arama Metodlar
Hooke ve Jeeves Metodu
Nelder ve Mead Metodu
Spendly, Hext ve Himswortun Simpleks Metodu
Kompleks Metodu
Izgara - A Metodu
Dngsel Koordinat Metodu
Rosenbrock Metodu (1, 5, 8, 21, 23, 24, 28)
Gradient Metodlar
Davidon - Fletcher - Powell Metodu
En Dik ni (k) (Eim) Metodu
Fletcher - Reeves Metodu
Smith Metodu
Newton Metodu
Birleik Dorultuda Hareket Metodu (1, 3, 5, 8, 24, 25, 27, 30)
Dinamik Optimizasyon Metodlar
Minimum Yol Problemi
2- Dinamik Programlama, Genel Matematiksel Optimizasyon, Optimallik lkesi
3- Kesikli Karar Modelleri, Dorusal Olmayan Srekli Modeller
4- Dinamik Programlama ve Fonksiyonlarn Optimizasyonu
5- Kesikli Maksimum lkesi (3, 21, 26)
ok Boyutlu Kstl Optimizasyon Metodlar
Yar lmikleme
26
Gradient Yanstma Metodu
Ceza ve Engel Fonksiyon Metodlar
Ardk Kstsz Optimizasyon Teknii (SUMT)
Frank Wolfe Algoritmas (1, 3, 5, 8, 21, 26, 29)
zel Programlama Tipleri
Karesel Programlama
Geometrik Programlama
Ayrlabilir Programlama
Tamsayl Programlama
Tahmini Programlama
Ama Programlama
Lineer arpanlar Metodu (5, 8, 11, 24)
3.2. Seilen Dorusal Olmayan Programlama Tekniklerinin Seim Sebepleri
Bu almada ele alnan Newton Raphson, Nelder Mead, Gradient, Frank Wolfe ve
SUMT metodlarnn dier optimizasyon metodlar iindeki yerleri ve nemleri asndan ele
alndnda denilebilir ki, bunlar genel snflandrma iinde kstsz, kstl, direkt (dorudan
arama = trevsiz) ve indirekt (trevli = gradient) yntemleri u noktalarda temsil ederler.
3.2.1. Newton Yntemi:
Kstsz tek deikenli y = f(x) fonksiyonunun optimum noktasn bulmada yerel olarak
(lokal) karesel bir yaknsaklk gsterir. Karesel bir fonksiyonda minimuma bir iteresyonda
ular. ok deikenli fonksiyonlar iin bir indirekt metod olarak ikinci ksmi trevlerden elde
edilen bilgi ile ikinci (karesel) yaklam kullanarak minimizasyon (veya maksimizasyon) iin
hzl bir yntem olarak kendini gsterir.
3.2.2. Nelder - Mead Metodu:
Trevleri kullanmakszn bir arama dorulltusunda deerlendirilecek f(x) fonksiyonunun
dzenli geometrik ekil (simpleks) kullanarak ke noktalarnn seimini formle eder. Bu
yntemle srekli olarak arama ile daha etkili biimde daha karmak ekille (n + 1) ke
noktalarn deerlendirerek fonksiyonun minimumunu bulur.
27
3.2.3. Gradient Metodu:
Kstsz ve kstl fonksiyonlarda trevleri kullanarak optimum dorultuda ve adm
byklnde ilerleyerek minimuma veya maksimuma en hzl biimde ular (steepest
descent - ascent). En nemli zellii f(x)in leine gre ok duyarl olmasdr.
3.2.4. Frank - Wolfe Metodu:
Kstl fonksiyonlar gradient yntemi ile dorusal forma sokup dorusal programlama ile
zmne hazrlk yapar. Dorusal olmayan ama fonksiyonu ve dorusal kstl problemi
genelletirilmi ndirgenmi gradient yntemi ile dorusallatrma ilemini yrtr. En sk
kullanlan karesel programlama iin ideal bir yntemdir.
3.2.5. SUMT (Ardk Kstsz Optimizasyon Teknii):
ok deikenli sistemlere ceza fonksiyonu yntemini uygulama Fiacco ve McCormick
tarafndan ilk defa ele alnm olup Zangwillin katklaryla u artlar gelitirilmitir.
i. m adet 0)x(gi formunda kst ii. En az bir olurlu zm
iii. Ama ve kst fonksiyonlar srekli
iv. Kstl problemin kstsz hale dntrlmesi ile oluan yeni problemin ierdii K
gibi pozitif ceza sabiti E gibi bir yaknsaklk lt.
Bu yntemlerin genel deerlendirilmesi sonucu yle zetlenebilir. Ceza maliyet temelli
(SUMT gibi) yntemler en az bir yerel optimuma yaknsama zelliinden dolay muhtemelen
en kuvvetli yntemlerdir. Bu durum rneklerde grlecektir.
3.3.Seilen Tek - ok Deikenli Arama - Gradient Metodlar
3.3.1. Newton Metodu:
Bir boyutlu problemler iin gelitirilmi Newton - Raphson metodunun n-boyutlu
problemlerdeki karl bir gradient arama metodu formundadr. Bu arama karesel
yaknsakln arzu edilen nitelie sahip olmasna ramen ikinci ksmi trevlerinin ve ters
matrisinin belirlenmesini gerektirir.
28
Varsayalm ki, kxx = geerli arama noktasnn civarnda f(x), )x(fs kesilmi Taylor serisi alm ile verilsin. Buna gre;
= ==
++
n
1 i
kiiij
n
1 j
n
1 i
kii
i
kk
s )k
jx-j(x )xx(a21)xx(
x)f(x )x(f)x(f .
)x(f)x(fs (1)
Burada; k x xj xx faa
.i
2
jiij === (2)
)x(fs karesel fonksiyonunun sabit noktalaraadaki klasik yaklam ile;
= =
++=
n1 n
n
1 j
kjjmj
kiimi
m
k
m
s )x(xa21)x(xa
21
x)f(x
x(x)f
... )xx(a x
)f(x x
(x)f kjj
n
1 jmj
m
k
m
s +=
=
(3)
0 x
(x)f
m
s =
(m = 1, 2, . , n)
eklinde elde edilir.(3) ifadesi matris formunda sunulduunda;
.....-g)f(x)xx(A k kkk == (4) (4) ifadesinde )nn( ,Ak tipinde bir kare matris olup;
)nn(a.........aa
a.........a aa .........a a
A
nn n2 1n
n2 22211n 1211
k
. . . . . .
=
1k )A( ters matrisinin var olduunu farz edelim. Buna gre (4) ifadesinin her iki yann
1k )A( ile arpar ve x yerine 1kx + yazlrsa;
k1-kk1kk1k g )-(A)x-(x )(A )A( .. =+ (5) elde edilir. Bu son ifadeyi basitletirirsek;
k1-kk1k g )(A-x x .=+ (6)
29
eklini alr. Bu son ifade genelde bir gradient arama ilemini belirtir. imdi bu genellemeden
sonra Newton arama metodunun bir iterasyonunda yaplmas gereken ilem admlarn
zetleyelim.
i) lk olarak n elemanl gradient kxx = da hesaplanr. ii) kinci olarak ise ija lerin says 2
1) (n n . + olup bunlar f(x)in ksmi trevlerine
gre kxx = da belirlenir. iii) Son olarak kA kare matrisinin tersi 1k )A( hesaplanr.
3.3.1.1. Bir Boyutta Newton Raphson Arama:
Tek deikenli y =f(x) fonksiyonu verilmi olsun ve bu fonksiyonun ikinci mertebeden srekli
trevlere sahip olduunu varsayalm. f(x) fonksiyonunun sabit noktalar;
0)x(g)x(fdxdf ' ==
denklemi xe gre zlerek bulunur. Bir boyutlu problemlerde Newton - Raphson bir ardk
ilem tekniidir. yleki g(x) = 0 denkleminin sfrlarn bulmakta kullanlr.
Tek deikenli fonksiyonlar iin klasik yaklam, f(x)in dnm noktalarndaki x
deerlerini 0)x(f ' = eitliinin zmleri gibi bulur. Yaklak )x(fy '= erisi ortalama zmnn bulunmasn salayabilir.Eer )a(f ' ve )b(f ' nin ters iaretlere sahip olduu a ve
b gibi iki bulunabilirse, bu tahmin kesin sreklilii mecbur klar. Bu aralkta ba
30
Newton metodu kabaca Q(x) denkleminin tahmini kkn bulmay salar. [ ])x(f)x(Q '= ekil 7deki P noktasnn apsisi olan 0x noktas Q(x)in tahmini bir kk olsun. PT,
)x(Qy = erisinin P noktasndaki tanjant ve T noktas bu tanjant dorunun x - eksenini kestii nokta olsun. Buna gre OT genellikle K gerek kk iin 0x noktasndan daha iyi bir
tahmin olacaktr.
Bylece; TAxTAOAOT 0 ==
)(Q
)(x )()(
0
'0
0
'
0
'
x
QxQPATAxQTan
TAPA ====
)x(Q)(x Q
TA0
'0= iken 10 xxTA =
)x(Q)(x Q
xx0
'0
10 =
)x(Q)(x Q
xx0
'0
01 = elde edilir.
Bu son ifadeyi geniletecek olursak;
)x(Q)(x Q
xx0
'0
k1 k =+ k = 0, 1, . , n
veya tek deikenli y =f(x) fonksiyonu iin Newton Raphson forml;
)x(f
)(x fxx
0'
0k1 k =+ (k = 0, 1, . , n) olur.
Bylece Newton metodu bu son formlasyon ile bir ardk ilem haline gelmi olur ve bu
ilem 1 kx + ile kx arasndaki fark (hata pay) istenilen hassasiyete ulanca son bulur.
3.3.2. Nelder ve Mead Metodu
Nelder ve Mead Metodu Spendly, Hext ve Himsworthun simpleks metodunun geniletilmi
bir eklidir(1). Bu metod adndan da anlalaca gibi ok deikenli bir fonksiyonun
optimizasyonunu bulmak iin Nelder ve Mead tarafndan tasarlanm bir simpleks metoddur.
Bu metotda (n + 1) adet nokta, bir dzenli simpleks (basit ve dzenli) olarak bilinen n-boyutlu
klidyen uzayda karlkl olarak konulur. Bu nedenle iki boyutta simpleks bir
drtyzldr(12).
31
ki boyutta bu metod genin kelerinde fonksiyon deerlerini karlatran bir model arama
metodudur. ki deikenli bir )y,x(fz = fonksiyonunun minimizasyon durumunu gznne aldmzda, genin en kt kesinde (w = worst vertex) )y,x(fz = fonksiyonunun deeri en byktr.
Bu nedenle, bu en kt ke yeni bir nokta ile yer deitirir. Bylece yeni bir gen elde
etmi oluruz. Artk arama ilemi bu yeni gen iinde devam ettirilir ve bylece bu ilem ke
nokta deerinde fonksiyon deerinin gittike kld bir genler dizisine dnr.
lem genlerin klerek bir noktaya yaklamas ile son bulur ki bu nokta istenen minimum
noktadr. ki deikenli )y,x(fz = fonksiyonu iin gelitirilen bu metod n-deikenli )x,,.........x,x(f)x(f n21= fonksiyonuna genelletirilebilir. Nelder ve Meadn gelitirilmi
olduu bu metod etkili ve hesap asndan ksadr.
Bu metodda simpleksin hareketi temel ilem (Reflection- Yanstma, Expansion-Byme-
Genileme) ve (Contraction-Bzlme-Ksalma) ile salanr. imdi bu ilemleri safhalar ile
aklayalm.
i) Balang geni BGW: (Initial Best Good Worst Triangle)
Min )y,x(fz = fonksiyonunu gznne alalm. Bir genin verilen kesi ile ileme balayalm.
3 2, 1,k .......).........y,x(V kkk == Sonra bu ke noktann herbirinde fonksiyon deerlerini bulalm ve buna )y,x(fz kkk = (k = 1, 2, 3) diyelim. Bu deerleri de byklk srasna gre 321 zzz olacak ekilde sralayalm. genin ke noktalarn;
)y,(x W, )y,(xG , )y,x(B 332211 === ile gsterelim.Burada; B = Best Vertex = En iyi ke nokta
G = Good Vertex = Sonraki en iyi ke nokta
W = Worst Vertex = En kt ke nokta olarak tanmlanabilir.
B noktas maksimum durumunda foksiyonda yerine konduunda en byk fonksiyon
deerine sahip iken ayn nokta minimum durumunda ise en kk fonksiyon deerine
sahiptir.
32
yi Kenarn Orta Noktas:yi kenardan maksat genin )y,(xG ve)y,x(B 2211 == noktalarn birletiren doru parasdr. Bu doru parasnn orta nokta koordinatlarda
)y,(xG ve)y,x(B 2211 == noktalarnn koordinatlarnn ortalamalar alnarak aadaki ekilde bulunur.
++=+=2
yy , 2
xx2
GBM 2121
R Noktasn Kullanarak Yanstma lemi:
W noktas ile B noktas arasndaki BGW geninin kenar boyunca hareket ettiimizde f(x ,
y) fonksiyonu gittike azalan bir grafik izer. Benzer olarak W noktasndan G noktasna
doru genin bu kenar boyunca hareket ettiimizde f(x , y) fonksiyonu yine azalan bir
grafik izer. Bu nedenle B ve G noktalarn birletiren dorunun kar kenar zerinde Wya
uzak noktalarda f(x , y) fonksiyonu ok kk deerler alr. Bunu test etmek iin R noktasn
BG kenarndan geecek ekilde yanstarak elde edebiliriz.
R noktasn belirleyebilmek iin ilk olarak BG kenarnn M noktasn daha nce
tanmladmz gibi tespit ederiz. kinci olarak W ile M noktalarn birletirerek bir doru elde
ederiz. Bu dorunun uzunluuna d dersek, son olarak M noktasndan d uzunluunda bir doru
izeriz ve bu dorunun bittii noktaya R deriz. Bylece yansma ilemini kullanarak R
noktasn elde etmi oluruz(ekil 8).
B
G
W
R
M
d
G
d
ekil 8
ekilden de grlecei gibi R noktasnn vektrel notasyonu;
R = M + (M - W) = 2M - W eklindedir.
33
Genileme lemini Kullanarak E noktasn Elde Etmek:
Eer Rdeki fonksiyon deeri Wdeki fonksiyon deerinden daha kkse yani )W(f)R(f ise minimuma doru bir ynde hareket ederiz. R noktas minimum noktaya uzak olabilir. Bu
nedenle M noktasndan R noktasna olan doruyu R noktasndan ayn d uzunluunda
genilettiimizde bitim noktas Eyi elde ederiz.
Bylece biz BGW geninden genileme ilemi ile BGE genini elde ederiz.(ekil 9)
M
R
G
B
W
d
d
E
ekil 9
Eer E noktasndaki fonksiyon deeri R noktasndaki fonksiyon deerinden daha kk ise
yani f(E) < f(R) ise, Rden daha iyi bir ke bulmu oluruz.Genileme ilemi ile elde ettiimiz
(ekil 9)daki E noktasna ait vektr formlasyonu;
E = R + (R - M) = 2R Mdir.
Daraltma (Bzlme) lemini Kullanarak C noktasnn Elde Edilmesi:
Eer R noktasndaki fonksiyon deeri W noktasndaki fonksiyon deeri ile ayn ise yani,
f(R) = f(W) ise, baka bir nokta test edilmek zorundadr. Fonksiyon M noktasnda kk
olabilir fakat biz M ile Wyi yeniden yazamayz nk yeni bir gen elde etmek zorundayz.
WM ve MR dorularnn orta noktalarna srasyla C1 ve C2 dersek yeni genimiz BGC
olur. Burada BGC1 veya BGC2 olmas iki boyutlu durumunda farketmez. Fakat ok boyutlu
durumda farkader (ekil 10).
34
G
C2
C1
M R
W
ekil 10
genin B noktasna Doru Daraltlmas:
Eer C noktasndaki fonksiyon deeri W noktasndaki fonksiyon deerinden daha kk
deilse yani )W(f)C(f ise G ve W noktalar B noktasna doru daraltlmak zorundadr. (ekil 11) Bu daraltma ilemini ilk admda G noktas yerine BG dorusunun orta noktas olan
M noktas ve W noktas yerine BW dorusunun orta noktas olan S noktas alnr. Sonraki
ardk ilem admlar B noktasna doru hep orta noktalar alnarak devam ettirilir. lem B
noktas elde edildiinde son bulur. (ekil 11)
R
MS
GW ekil. 11
Her bir adm iin mantksal kararlar:Yukarda aklanan her bir admda yeni bir ke
bulunur ve bu W ile deitirilir. Bunu bir algoritma olarak u ekilde aklayabiliriz.
)G(f)R(f < ise Safha - 1 )G(f)R(f ise Safha - 2 dzenlenir.
Safha 1: Yansma veya Genileme
< )R(f)B(f W yerine R alnr. )R(f)B(f E ve f(E) hesaplanr. < )B(f)E(f W yerine E alnr. )R(f)E(f W yerine R alnr.
35
Safha 2: Bzlme veya Daralma
< )W(f)R(f W yerine R alnr.
Sonra 2
MWC += alnr ve f(C) hesaplanr. < )W(f)C(f W yerine C alnr. )W(f)C(f S yerine f(S) hesaplanr. W yerine S ve G yerine M alnr(12).
rnek: ki Boyutlu Problemler in Nelder - Mead Metodu
zm:
Deiken Says : 2
terasyon Says : 15
[1]. Min [2]. Max : l
Ama Fonksiyon : x + xy2 - 3xy
Vektr Elemanlar
1. Vektr Elemanlar : (0.0000, 0.0000)
2. Vektr Elemanlar : (2.0000, 0.0000)
3. Vektr Elemanlar : (2.0000, 1.0000)
k B(xk, yk) G (xk , yk) W(xk,yk) F (xk, yk)
1 (2.0000, 1.0000) (2.0000, 0.5000) (1.0000,0.5000) 0.00000000000
2 (1.0000, 0.5000) (1.5000,0.5000) (1.5000,0.7500) -0.75000000000 3 (1.5000, 0.7500) (1.5000,0.6250) (1.2500,0.6250) -0.84375000000 4 (1.2500, 0.6250) (1.5000,0.7500) (1.1250,0.8125) -0.87890625000 5 (1.1250,0.8125) 1.2500,0.6250) (1.3438,0.7344) -0.97119140625 6 (1.1250,0.8125) (1.3438,0.7344) (1.2188,0.9219) -0.97119140625 7 (1.1250,0.8125) (1.2188,0.9219) (0.8281, 1.1328) -0.97119140625 8 (0.8281, 1.1328) (0.9766, 0.9727) (1.0234, 1.0273) -0.97475528717 9 (0.9766, 0.9727) (1.0234, 1.0273) (0.9141, 1.0664) -0.99809467793 10 (0.9766, 0.9727) (1.0234, 1.0273) (0.9570, 1.0332) -0.99809467793 11 (0.9570, 1.0332) (0.9668, 1.0029) (0.9902, 1.0303) -0.99846400321 12 (0.9902, 1.0303) (0.9668, 1.0029) (1.0215,0.9834) -0.99928985350 13 (1.0215, 0.9834) (1.0059, 1.0068) (0.9941,0.9932) -0.99962122552 14 (0.9941,0.9932) (1.0000, 1.0000) (1.0078,0.9883) -0.99987939186 15 (1.0000, 1.0000) (1.0039,0.9941) (0.9971, 0.9966) -1.00000000000
36
3.3.3. Gradient Metodu:n - deikenli bir ) x, ...... , x, x(f)x(f n21= fonksiyonunun yerel optimumunu bulmak iin 140 yl akn bir sredir ok eitli algoritmalar gelitirilmitir.
Bu algoritmalarn ou u esasa gre tasarlanmtr.
) x, ...... , x, x(f)x(f n21= n - deikenli fonksiyonunun grafiini tepe ve vadilerden oluan bir sradalar topluluu olarak gznne alrsak, vadilerin en alt tarafndaki blgeler
fonksiyonun minimumunu gsterirken tepelerin en stndeki blgelerde fonksiyonun
maksimumunu temsil eder.Eer minimum noktada deil isek bulunduumuz noktadan
aaya doru minimumu buluncaya kadar hareketimize devam ederiz. Maksimum noktada
deil isekte bulunduumuz noktadan yukarya doru maksimumu buluncaya kadar
hareketimize devam ederiz(2). )12 ekil(
B
A
C
D
E
F
(Mutlak Minimum)
(Yerel Minimum)
(YerelMaksimum)
(MutlakMaksimum)
(YerelMaksimum)
(Yerel Minimum)
ekil 12
Bir gradientin yn en dik k (steepest ascent) yndr. Tersi ise en dik ini
(steepest descent)yndr. Yani en dik k yn f(x) ynnde iken en dik ini ynde -f(x) ynndedir(1).
n-deikenli bir ) x, ...... , x, x(f)x(f n21= fonksiyonunu gznne alalm. Burada, ) x, ...... , x, x( n21 n - boyutlu klidyen uzayda;
=
n
21
x xx
X.. stun vektr ile temsil edilir.
37
f(x) fonksiyonunun gradienti ise grad f(x) veya f(x) ile gsterilir ki; grad f(x) = )f , ...... , f , f( n21 (12) veya
k x
f f(x) = (k = 1, 2, . , n) (1)
=
n1 xf , .......... ,
xf f(x) eklindedir.
ifadesinde ksmi trevlerk
k xf f
= k = 1, 2, . , n xde belirlenir(1).
imdi ) x, ...... , x, x(X n21= uygun deerleri zerinde herhangi bir kstlama olmakszn ) x, ...... , x, x()X(f n21= konkav fonksiyonunun maksimizasyon problemini gznne
alalm.
Bir boyutlu arama ilemini ok boyutlu problemimiz iin geniletmeye alalm. Bir boyutlu
problemlerde baya trev bir veya iki olas yolu yani xin azal veya xin art ynn
semek iin kullanlr. Ama bir noktay aratrmaktr ki bu noktada trev sfrdr. [ ]0)x(f ' = Bu zellik ok deikenli bir fonksiyon iin u ekilde geniletilebilir. Sabit noktalar
aratrmak ama iken, bu noktalarda btn ksmi trevler sfra eittir(7).
Bu nedenle bir boyutlu aramann ok boyutlu aramaya geniletilebilmesi ksmi trevleri
kullanarak hareket ynnde zel bir yn semeyi gerektirir. te bu gereksinim ama
fonksiyonunun gradientini kullanmay kapsar.
f(x) ama fonksiyonu yksek mertebeden srekli ksmi trevlere sahip olduunda herbir x
noktasnda f(x) , f(x) ile gsterilen bir gradiente sahiptir(7).
=
n21 xf , ..........
xf ,
xf f(x)
zel bir 'xx = noktasndaki gradient ise elemanlar ksmi trevler olan ve 'x noktasnda deeri olan bir vektrdr.
' xx
xf , .......... ,
xf )f(x
n1
'
=
=
Gradient arama ilemi kstsz bir problemin zm iin etkili bir arama ilemidir. Bu ilem
gradientin ynndeki hareketi koruyan ve *x optimal zmn aratran bir yntemdir.
38
Bu nedenle normal olarak f(x) in ynnde xi srekli olarak deitirmek pratik degildir.
nk bu deiikliklerin serisi srekli olarakj x
f lerin yeniden belirlenmesini ve her
ikisinin ynnde deiiklik yapmay gerektirir.
Bundan dolay en iyi yaklam geerli aikar zmden sabit bir yndeki hareketi koruyan ve
f(x) fonksiyonunun art durana dek devam eden bir yaklamdr(19).
f(x)in artnn bittii nokta ise son aikar zmdr ve bu noktada gradienthareketin yeni
ynn belirlemek iin yeniden hesaplanacaktr. Bu yaklamla herbir ardk ilem 'x
geerli aikar zmn deiikliini kapsar. yle ki;
)f(x txx '*'' += alalm. (I) Burada, [ ])f(x tx f ,t ''* + yi maksimum eden pozitif (t) deeridir. [ ] [ ])f(x tx fmax )f(x tx f '''*' +=+ )0t( (I) ifadesini geniletecek olursak;
' xx
xf txx
j
'jj =
+= j = (1, 2, .. , n)
elde edilir. Bu son ifade jx iin yalnzca sabitleri ve tyi ierir. Yani f(x) tnin bir
fonksiyonudur. Bu gradient arama ileminin iterasyonlar kk bir tolerans ile 0f(x) = olana dek srdrlr. Yani;
j xf j =(1, 2, , n)
imdi bu deindiimiz zelliklere gre gradient ilemini basit bir algoritma ile tanmlayalm.
Balang Adm: stenilen hassasiyet ve balang aikar zm ( 'x )yi alalm.
Ardk Admlar:
1) ' xx
xf txx
j
'jj =
+= j = (1, 2, , n)
Kmesi oluturarak tnin bir fonksiyonu olan [ ])f(x tx f '' + ifadesi oluturulur ve f(x) yerine bu ifadeler konulur. Son adma gidilir.
2) 0t iin bir boyutlu arama ilemi kullanlarak [ ])f(x tx f '' + yi maksimum klan *tt = bulunur.
39
3) )f(x txx '*'' += oluturulur ve son adma geilir.
Son Adm: 'xx = de )f(x ' hesaplanr. Daha sonra
j xf un salanp salanmad
kontrol edilir. Eer bu kontrol salanyorsa *x optimal zmnn yaklak beklenen deeri
iin 'x optimal zm alnr. Aksi halde ilk adma dnlp ilem tekrarlanr(7).
Btn gradient arama tekniklerinin ortak zellii
==
n1 f f , ........ ,
f f gf i kullanmalardr.
Ayrca; )f(x t -xx kk1 k == iterasyon ilemini kullanmalardr. rnek:Gradient arama ileminin nasl yapldn gstermek iin konkav bir fonksiyon iin
iki deikenli kstsz optimizasyon problemini gz nne alalm.
Max. f(x) = 2 x1 x 2 +28x1 - x12 -x1
4 + 4x 2 -x 22
zm:x1 ve x 2 deikenlerine gre ksmi trevlerini alrsak;
1dx
df = 2 x 2 + 28 - 2x1 - 4x13
2dxdf = 2 x1 + 4 - 2x 2 olarak bulunur. Buna gre f(x) in grandienti
f(x) = grad f(x) = (1dx
df ,2dx
df ) = (2 x 2 + 28 - 2x1 - 4x13 , 2 x1 + 4 - 2x 2 ) dr.
grad f(x) = 0 artndan; ( 2 x 2 + 28 - 2x1 - 4x13 , 2 x1 + 4 - 2x 2 ) = ( 0 , 0 )
Bylece, 2 x 2 + 28 - 2x1 - 4x13 = 0
2 x1 + 4 - 2x 2 = 0
Bu denklemlerin ayn anda zm ile optimal zm (x1 , x 2 ) = ( 2 , 4 ) bulunur. Buna
gre;f(2,4) = 2.(2).(4) + 28 .(2) (2) 2 - (2) 4 + 4.(4) (4) 2 = 52 ve grad f(2,4) = 8 + 28 4
32 , 4 + 4 8 ) = ( 0,0 ) bulunur.
imdi f(x) ve grad f(x) gz nne alnarak gradient arama ileminin nasl elde edilebileceini
grelim. Bu ileme balamak iin bir balang aikar zme ihtiyacmz vardr ki; bu
noktada f(x 1 , x 2 ) = ( 0 , 0 ) dr. Bylece ( x 1 , x 2 ) = ( 0 , 0 ) balang aikar zm olarak
alnabilir.
40
Bu nokta iin gradient; grad f ( 0 , 0 ) = ( 28.4 ) Bu u anlama gelir x = ( 0 , 0 ) noktasnda
f(x) deki max. artma oran ( 0 , 0 ) dan ( 0 , 0 ) + ( 28.4 ) e hareket edilerek bulunur. Buna
gre ( 0 , 0 ) ve ( 28.4 ) noktalar arasndaki doru denklemi;(ekil.13)
( 0 , 0 ) + [ ( 28.4 ) ( 0 , 0 ) ] = ( 28t , 4t ) dr.Burada t > 0 olmaldr.
4
28x1
ekil.13
( 0 , 0 ) dan ( 28,4 ) noktalarn birletiren doru boyunca ne kadar hareket etmeliyiz. Bir
baka deyile; ( 28t , 4t ) dorusu iin t sfrdan ne kadar arttrlmaldr.
Bu sorularn cevab udur: f(x) in artmas durana kadar bu doru boyunca hareket edilir. Yani
x1 = 28t ve x2 = 4t deerleri fonksiyonda yerine yazlr.
f ( 28t , 4t ) = 2 (28t) (4t) + 28 (28t) - (28t)2 (28t)4 + 4 (4t) - (4t)2
f ( 28t , 4t ) = 800t 576t2 614.656t4
f ( 28t , 4t ) nin deeri max. olana kadar tnin arttrlmas gerekir. Bunu gerekletirmek iin
bir boyutlu arama ilemi ile tnin maksimum deeri; t* = 0.0665 olarak bulunur. (ekil.14)
f(28t,4t) = 800t 576t2 614.656t4
1t
.
ekil.14
Buna gre yeni aikar zm;(x1,x2) = (28t*,4t* ) = (1.862 , 0.266 ) olur.
f(1.862 , 0.266 ) = 38.63
41
Bu ilk iterasyonu;
Adm x grad f(x) x + [ grad f(x) ] t* x+ t* [grad f(x) ]
1 ( 0,0 ) ( 28.4 ) (0+ 28t , 0+ 4t) 0.067 ( 1.862,0.266 )
eklinde bir genel tablo ile ifade edebiliriz.(ekil.15)
0.266
1.862x1
x2
ekil.15
imdi ikinci iterasyonu ilk iterasyonun sonucuna gre tekrarlayalm. Geerli aikar zm
(x 1 , x 2 ) = ( 1.862,0.266 ) noktasyla ( 1.862,0.266 ) + (0.832 , 7.459 ) noktasn birletiren
doru boyunca olacaktr.
Bu dorunun denklemi;
( 1.862,0.266 ) + (-1.028 ,7.193) = (1.862 1.028t , 0.266 + 7.193t)
bu doru boyunca;
x1 = 1.862 1.028 t
x2= 0.266 + 7.193 t dr.
Bylece; f ( x1 , x 2 ) = 38.6 + 52.8 t 89.7 t2 + 8.14 t3 1.13 t4 ve bir boyutlu arama ilemi
gerekletirilirse; t* = 0.306 olarak bulunur. Buna gre yeni aikar zm;
(x 1 , x 2 ) = (1.862 - 1.028t , 0.266 + 7.193t) = (1.547 , 2.469 )
imdi bu iki iterasyonu
Adm x grad f(x) x + [ grad f(x) ] t* x+ t* [grad f(x) ]
1 ( 0,0 ) ( 28.4 ) (0+ 28t , 0+ 4t) 0.067 ( 1.862,0.266 )
2 (1.862,0.266) (-1.03,7.193) (1.86-1.03t,0.27+7.19t ) 0.306 ( 1.547,2.469 )
eklinde bir genel tablo ile gsterilebilir. A aikar zmlerin optimal noktaya doru
hareketlerini de yandaki ekille gsterebilir. (ekil.16)
42
0.266
1.862x1
x2 (1.547,2.469)
ekil.16
Bundan sonraki iterasyonlarda genel tablomuzla aadaki ekilde verebiliriz.
Ad
m
x
grad f(x)
x + [ grad f(x) ]
t*
x+ t* [grad f(x) ]
1 ( 0,0 ) ( 28.4 ) (0+ 28t , 0+ 4t) 0.067 ( 1.862,0.266 )
2 (1.862,0.266) (-1.03,7.193) (1.86 1.03t,0.27 + 7.19t ) 0.306 ( 1.547,2.469 )
3 (1.547,2.469) (15.09,2.155) (1.55+15.1t ,2.47 + 2.19t ) 0.027 (1.948,2.526 )
4 (1.948,2.526) (-0.41,2.843) (1.95+0.41t ,2.53 + 2.84t ) 0.291 (1.978,3.354)
5 (1.829,3.354) (6.59,0.99) (1.83+6.59t ,3.35+ 0.99t ) 0.023 (1.978,3.376)
terasyonlarn says istenilen hassasiyete bal olarak belirlenir. Eer iterasyona devam
edilecek olursa belli bir iterasyon sonunda tam optimal zme eriilebilir.
Bu rneimizde 0.1 hata tolerans sz konusu iken tam optimal zm olan (x 1 , x 2 ) = (2,4)
noktasn elde etmek iin yaplan iterasyonlar yukardaki tabloda sunulmutur. Bu optimal
zme ulancaya kadar elde edilen btn aikar zmler birletirildiinde son aikar
zm olan (x 1 , x 2 ) = (2,4) (optimal zm) noktasna doru zigzag bir grafik ortaya kar
(ekil.17).
43
x1
x2(1.978 , 3.376).
ekil.17
3.3.4. Konveks Programlama:
Konveks Programlama z = f(x) ama fonksiyonunun konkav ve btn )x(gi kstlarnn
konveks olduu zel bir dorusal olmayan programlama trdr.
Bu varsaymlar problemi olduka basitletirir. )x(gi kstlarnn konveks oluu, mmkn
zmler kmesininde konveks olmasn gerektiren, f(x) ama fonksiyonunun konkav oluu
ile bulunacak herhangi bir ekstremum yada yerel optimum zmn ayn zamanda mutlak
optimum zm olmasn salar.
Bir baka deyile birok yerel optimumlar bulup bunlarn iinde mutlak optimumu semek
zorunluluu bulunmamakta, elde edilecek bir yerel optimum problemin mutlak optimum
zm olmaktadr. Bu konuda da birok metod gelitirilmitir(18).
Fakat Konveks programlama problemlerini zmek iin her zaman kullanlan standart bir
algoritma yoktur. Bu konuda farkl pek ok algoritmalar gelitirilmi olup bunlarn avantajlar
ve dezavantajlar mevcuttur.Bu algoritmalar temelde kategoride toplanmtr.
1) Gradient Algoritmalar: Bu algoritmalar temelde korunmak art ile gradient
arama ilemine benzer olarak gelitirilmitir. Genel indirgenmi gradient metod bunlarn en
nemlilerindendir.
44
2) Ardk Kstsz Algoritmalar: Penalty (Ceza) ve Barrier (Engel) fonksiyon
metodlarn ierir. Bu algoritmalar orjinal kstl optimizasyon problemlerini kendi iinde
kstsz optimizasyon problemlerinin bir dizisine dntrr. Bundan sonra da kstsz
optimizasyon problemlerinin herbiri gradient arama ilemi ile zlebilir.
3) Ardk Yaklak Algoritmalar: Bu algoritmalar Dorusal yaklam ve Karesel
yaklam metodlarn ierir. Bu algoritmalarla dorusal olmayan ama fonksiyonu Dorusal
veya Karesel yaklamlarn bir ardarda gelii ile yeniden yerine konur.
Dorusal kstl optimizasyon problemleri iin bu yaklamlar Dorusal veya Karesel
programlama algoritmalarnn tekrar uygulanmasn kabul eder(7).
3.3.4.1. Frank - Wolfe Algoritmas:
Bu algoritma bir ama fonksiyonunun dorusal kstlar altndaki optimizasyonunu inceler.
Ama optimize f(x)
Kstlar bAx 0x Verilen olurlu zm 'x iken f(x) ama fonksiyonu iin dorusal bir yaklam f(x)
fonksiyonunu 'xx = civarnda birinci mertebeden Taylor serisine amakla elde edilir. Buna gre;
)x-(x )f(x )f(x)x-(x x
)f(x )f(xf(x) '''j'jj
'n
1 j
' ++
=
)x(f ' ve '' x. )f(x deerleri sabit deerler olduundan yeni ama fonksiyonumuz; '''' x. )f(x - x. )f(x )f(xf(x) += c x. )f(x f(x) ' + eklindedir. Bu son ifadeyi;
x. )f(x g(x) '= yazarsak bu bir dorusal programlama problemine dnr ve optimal zm simpleks metod veya grafik zmden elde edilebilir.
Bu zme LPx diyelim. Dorusal ama fonksiyonu xden LPx arasndaki doru paras
boyunca bir hareket gibi zorunlu olarak muntazaman artar.
45
Frank -Wolfe algoritmasna ait ilem admlar aadaki gibidir.
Balang Adm: Bir balang olurlu zm bulabilmek iin dorusal programlama
ilemi uygulanarak bu aikar zm )0(x bulunur. k = 1 yazlr.
Ardk Admlar:
1.Adm: j = 1, 2, 3, ... , n iin )1k(xx = de
jx)x(f
deerlendirilir ve
jj x
)x(fc
= ifadesi yazlr.
2. Adm: Aadaki dorusal programlama problemine ait )k(LPx optimal zm bulunur.
Maksimum g(x) = =
n
1jjjxc
Kstlar 0x,bAx 3. Adm: 1t0 arasndaki t deikeni iin; [ ])1k(LPk)1k( xxtxx += iin h(t) = f(x) ifadesi oluturulur. Bundan sonra problemimiz 1t0 iin h(t) ifadesini maksimize etmeye dnr ki bu bir boyutlu arama ilemi ile ok kolay baarlabilir. Buradan
bulunan t* deeri (1) ifadesinde yerine konarak yeni aikar zm elde edilir. Daha sonra son
adma geilir.
Son Adm: Eer )1k()k( xilex arasndaki fark istenilen hassasiyete ulatnda aranlan
optimal zm )k(x olarak alnr. Bir baka deyile k = k + 1 alnarak ardk admlara geri
dnlr.
Frank Wolfe Algoritmas ile zlen rneklerin genelinde karmza u nemli sonu kar.
Aikar zmler iki veya daha fazla yrnge zerinde deiirler. Bu zmler yrngeler
zerinde deitiinde, bu yrngelerin kesitii yaklak noktann tahmini optimal zm
olaca aktr. Bu tahmin son aikar zmden daha iyidir. Bunun sebebi aikar zmlerin
optimal zme doru ok yava yaknsamas ve bundan dolay optimal zmden uzak
olmalardr. Fank-wolfe algoritmasnn nasl uyguland gstermek iin aadaki dorusal
kstl optimizasyon problemini gz nne alalm.
46
rnek: Max.f(x)= 32 x1 -x14 +8x 2 -x 2
2
3 x1 + x 2 7 x 1 - x 2 1 ve x1 0 x 2 0
zm:Bu problemin dorusal kstlarna gre elde edilen uygun blge ekil.18 deki gibidir.
x1
x27
(2,4)
3x1+x2=7
x1-x2=1
(2,1)
1
ekil.18
Kstlar gz nne alnmakszn kstsz f(x) = 32 x 1 -x14 +8x 2 -x 2
2 fonksiyonun
maximumu ksmi trevler alnp sfra eitlenerek (x1 , x 2 ) = (2,4) olarak kolayca bulunabilir. Fakat kstl maximumu bir balang aikar zme ihtiyacmz olacaktr. Bu
balang aikar zm (x1 , x 2 ) = (0,0) olarak alalm. Ksmi trevleri alp bu noktada
deerlendirirsek;
1dxdf = 32- x 1
3 1dx
df (0,0) = 32 - 4(0) 3 = 32
2dxdf = 8- 2x 2
2dxdf (0,0) = 8 - 2 (0) = 8 olarak bulunur. Bu gre yeni ama
fonksiyonumuz bir dorusal yaklam olarak ; g )(x = 32 x1 +8x 2 dr.
Buna gre yeni problemimiz;
Max. g )(x = 32 x1 +8 x 2
Kstlar 3x1 + x 2 7 x 1 - x 2 1 ve x1 0 ; x 2 0 olarak tekrar yazlr.Bu problemin
orijinal kstlarla zm (x1 , x 2 ) = (2,1) noktasn zm olarak kabul eder. (ekil.19)
47
x1
x27
3x1+x2=7
x1-x2=1
(2,1)
1
3x1+8x2=72
ekil.19
g ( )1,2 = 32 (2) + 8 (1) = 72 (2,1) noktasna yakn olmadndan bu iyi bir yaklam deildir. Bu nedenle (0,0) ve (2,1)
noktalarn birletiren doru paras zerinde f(x) i en byk yapan X = (x1 , x 2 ) noktasn
bulmaya alalm.
f(2,1) = 55 iken g(2,1) = 72 dir. Buna (2,1) deki yaklam iyi bir yaklam deildir.(0,0) ve
(2,1) noktalar arasndaki dorunun denklemi;
(0,0) + t [ (2,1) (0,0) ] = ( 2t,t ) ( 0 + 1 ) Buna gre; x1 =2t , x 2 = t olarak alnp f(x)de yerine yazlrsa tye bal bir h(t) fonksiyonu elde edilir. f
( x1 , x 2 )= f ( 2t, t) = h(t) = 32(2t) (2t)4 + 8t + t 2
h(t) = 72t - t 2 - 164 t 4 ( 0 t 1 ) tye bal bu h(t) fonksiyonuna bir boyutlu arama ilemi uygulanyorsa;
1dx
df (2,1) = 32 4 (2) 3 = 0
2dxdf (2,1) = 8 - 2 (1) = 6 ve yeni problemimiz; g(x) = 0. x 1 + 6. x 2
48
Kstlar 3x 1 + x 2 7 x 1 - x 2 1 iken zm ( x1 , x 2 ) = ( 0,7 ) dir. g ( )7,0 = 42 , f ( )7,0 = 7 imdi (2,1) ve (0,7) noktalar arasndaki doru bulunur.
(2,1) + t [ (0,7) (2,1) ] = ( 2-2t , 1+ 6t ) ( 0 + 1 ) h(t) = f( 2-2t , 1+6t ) = 55 + 36t - 132 t 2 + 64 t 3 - 16t 4
h(t) yi maximum yapan t deeri;
t * = 0.1524 dr. Buna gre,( x1 , x 2 ) = ( 2-2 t* , 1+6 t * ) = ( 1.695,1.914 ) yeni aikar
zmdr.Yine benzer ilemleri bu son aikar zmmz iin uygulayalm.
f(x)= 32 x1 -x14 +8x 2 -x 2
2 iken
1dx
df (1.695,1.914) = 32 - 4(1.695) 3 = 12,52
2dx
df (1.695,1.914) = 8 - 2 (1.914) = 4,17 belirlenir ve yeni ama
fonksiyonumuz;g(x) = 12.52 x1 + 4.17 x 2 olur.
Bu yeni ama fonksiyonu ile orijinal kstl problemimizi yukardaki gibi zdmzde yeni
aikar zm (x1 , x 2 ) = ( 1.695 , 1.914 ) olarak bulunur.(ekil.20)
x1
x27
(1.695,1.914)
(2,1)
1
o
ekil.20
49
3.3.5. Konveks Olmayan Programlama :
Konveks programlamada bir yerel ekstremum ayn zamanda bir mutlak ekstremumu
gerektirir. Fakat dorusal olmayan programlama problemlerinde bu zellik her zaman
karmza kmayabilir. Bu nedenle konveks olmayan programlama problemlerini
uygulayabilmek iin ortak bir yaklam izlemeniz gerekir. Bu ortak yaklamda arama ilemi
algoritma vastasyla yaplabilir ki bu ilem bir yerel ekstremum bulana dek uygulanr ve
sonra bu ileme tekrar balanarak mmkn olduu kadar farkl yerel ekstremumlar bulunur.
Bu ekstremumlarn en iyisi de mutlak ekstremum olarak alnr. Normal olarak bu arama
ilemi konveks programlamann btn artlar salandnda mutlak ekstremumu bulmak
iin tasarlanmtr. Fakat konveks programlamann artlar salanmad durumlarda bir yerel
ekstremumu bulmak iin de kullanlabilir.
te bu ksaca deindiimiz zete uygun bir arama ilemi 1960l yllarda gelitirilmi ve ok
geni bir uygulama alan bulmutur. Bu algoritma (SUMT) adyla bilinen ardk kstsz optimizasyon tekniidir (7).
3.3.6. SUMT (Ardk Kstsz Minimizasyon Teknii) Algoritmas :
Ardk Kstsz Minimizasyon Teknii (SUMT) ilk olarak 1961de Carroll tarafndan ileri
srlmesine ramen bu metodun sadece teorisi ve zellikleri zerinde durmayan , ayn
zamanda bu metodun genilemesi iin pratik bir sistem gelitiren Fiacco ve McCormick
tarafndan aratrlp gelitirilmitir.
Pratik bir kural ile metodu kullanmann mmkn olmas iin teorrik yaklam (yaknsaklk)
zelliini gerek bir hesaplamaya dntrmek arttr(1).
SUMT algoritmas esas itibar ile 2 blmde incelenir. Bunlardan ilki uygun blge iinde
yaknsak olan bir penalty (ceza) fonksiyonunu kullanan ve uygun olmayan zmlerden
bahseden harici nokta algoritmasdr. [exterior Point Algorithm] ikincisi ise uygun blge
iinde barrier (engel) fonksiyonunu kullanan ve direkt uygun zmlere deinen dahili nokta
algoritmasdr. [interior Point Algorithm].
Adndan da anlalaca gibi Ardk Kstsz Minimizasyon Teknii (SUMT) zmleri
orijinal problemin zm ile birleen kstsz optimizasyon problemlerinin bir dizisi ile
orijinal problemin yerini alr.
50
Bu yntem ok etkili sonular verir. Buna sebep kstl bir optimizasyon problemi yerine
kstsz bir optimizasyon problemini zmenin daha kolay olmasdr.Ayrca bu tip
problemlerin Gradient Metodla zlebilmesidir (7).
SUMT algoritmasnda ok genel haliyle bir Gradient metoddur. Burada ama fonksiyonunun
konkav ve her bir kst fonksiyonun konveks olduu varsaylmtr. Bu algoritma temelde
kstl problemi kendi iinde kstsz bir probleme dntrr. Bu haliyle ilem Lagrange
arpanlar metodunu andrmaktadr.
Bylece;P(x,r)=f(x)+r
==
j
n
jii
n
i xxgb1
)(1
11................(*)
eklindeki ifade edilen problemimizi gznne alrsak , buproblemin steepest ascent
(en dik k) metoduyla zebiliriz.
Burada bi- gi(x) konveks iken; )(
1xgb
ii konkavdr(11).
Bu son ifade P(x,r)nin xde konkav olmas demektir.sonu olarak P(x,r) bir tek ekstremuma
sahiptir.Ayrca orijinal kstl problemin optimizasyon (maksimizasyon veya minimizasyon)
P(x,r)nin optimizasyonuna eittir ve x0 balang aikar zm noktas uygun blge iinde
bir nokta olmak zorundadr. (interir point). Buna gre bu zm takip eden dier zmlerde
uygun blge iinde kalmak zorundadr.
(*) ifadesi ile verilen problemimizde r>0 skalerinin farkl iki deeri iin P(x,r)yi ekstremum
yapan xin optimum deerleri yaklak olarak ayn ise SUMT algoritmas bu optimum
noktada son bulur.
Maksimum P(x,r) = f(x) rB(x) problemini gz nne alalm. Kstsz problemlerin
dizisini oluturan her bir problem iin buradaki r skalerini kesin pozitif yapan bir r deeri
seilir ve problem xe gre zlr. Burada B(x) bir barrier (engel) fonksiyonudur ve u
zelliklere sahiptir.
i ) x uygun blge snrna uzak iken B(x) kktr.
ii) x uygun blge snrna yakn iken B(x) byktr.
x uygun blge snrnda iken B(x) a yaklar.
Bylece, P(x,r)yi artrmak iin arama ilemi uygun bir zm ile balar. B(x)in genel formu;
B(x)=
+ ==
j
n
jii
n
i xxgb1
)(1
11
51
xin uygun deerleri iin unu grebiliriz ki; negatif olmayan kst veya uygun fonksiyon iin
her terimin paydas xin kst snrndan olan uzakl ile orantldr.
Bu nedenle her terim snrda olmayan bir terimdir ve ksmi kst snrna gre B(x)in
zelliine sahiptir. B(x)in dier bir etkili zellii dee konveks programlamann tm artlar
salandnda P(x,r)nin konkav fonksiyon olmasdr. Ardk Kstsz Minimizasyon Teknii
(SUMT) kstsz optimizasyon problemlerinin bir zmn kapsadndan rnin uygun
deerleri iin r sfra yaklar. Bu yaklamda her bir yeni r deeri daha nceki r deerinin bir
( 0<
52
Son Adm : Eer xk-1 ile xk arasndaki fark ihmal edilebilirse ilem xknn orijinal
problemin tahmini yerel ekstremumu olarak kullanlmas ile son bulur .
Aksi halde k = k + 1 ve rk = . rk-1 alnarak ardk adma geri dnlr. Bu algoritma konveks programlamann artlar salanana dek balang tahmini uygun
zmlerle balanarak tekrarlanr. Yerel deerlerin en iyisi ekstremum olarak kullanlr.
Sonu olarak Ardk Kstsz Minimizasyon (maksiminizasyon) Teknii eitlik kstlarna
sahip [gi(x) = bi] problemler iinde kolayca geniletilebilir. Her eitlik kst;
)(xgbr
ii yerine
r
xgbii
2)]([
alnarak SUMT algoritmas ayn ekilde tekrarlanr. SUMT algoritmasnn nasl altn
grmek iin aadaki rnei verelim.
rnek: Ardk Kstsz Minimizasyon Teknii(SUMT)
Alt Kstlardaki Deikenlerin Says : 2
Alt Snr Kstsz deikenlerin Says : 0
Eitsizlik Kstlarn Says : 1
Eitlik Kstlarn Says : 0
P(x,r)=f(x) )()()(
211xL
rxL
rxB
r
Burada; f(x) = 4x1-1 22241 12 xxx +
B1(x) = 5-4x1-2x2 L1(x) =1x1 L2(x) =1x2
Ardk Kstsz Minimizasyon teknii zm:
k r x1 x2 f(x)
0 0.5 0.5 2.6875
1 1 0.669 0.716 3.3954
2 0,01 0,871 0,671 3,8012
3 0,00001 0,89, 0,712 3,8526
4 0,0000001 0,894 0,712 3,8541
5 0 0,894 0,712 3,8543
6 0 0,894 0,712 3,8543
53
3.4. UYGULAMALAR VE YORUMLARI
3.4.1. Seilen Dorusal Olmayan Programlama Tekniklerinin Karlatrmal Genel
Yorumu
Bu almamzda setiimiz Dorusal Olmayan Programlama Tekniklerini tek-ok deikenli,
kstl-kstsz, direkt-indirekt olmak zere ana balk altnda tasnif edebiliriz. Buna gre
Newton-Raphson Metodu tek deikenli , indirekt(trev kullanan), kstsz bir ardk ilem
metodudur.
Nelder - Mead Medodu ise ok deikenli kstsz ve direkt (trev kullanmayan) bir arama
metodudur. Gradient metodu ise adndan da anlalaca gibi ok deikenli ,kstsz ve
indirekt bir arama metodudur. Frank-Wolfe Algoritmas ise ok deikenli , dorusal kstl ve
indirekt bir Gradient arama ilemidir. SUMT Algoritmas ise ok deikenli, dorusal ve
dorusal olmayan eitlik ve eitsizlik kstl ve indirekt olan bir Gradient arama ilemidir.
Bu tasnife gre karlatrmal yorumu kstl metodlar kendi aralarnda , kstsz metodlar
kendi aralarnda olmak zere ayralm.
Newton-Raphson Metodu y = f(x) tek deikenli fonksiyonunun sfrlarn bulan metodlarnn
arasnda gerek kke en hzl yaknsayan bir ardak arama ilemidir. Bu nedenle almada
tek deikenli fonksiyonlar temsilen seilmitir.
Nelder - Mead Medodu ile Gradient Metodu ok deikenli kstsz fonksiyonlarn
optimizasyonunu bulan iki metod olmasna ramen Nelder ve Mead Medodu trev
kullanmayan (direkt) bir arama ilemi , Gradient Metodu ise trevleri kullanan (indirekt)
arama ilemidir.
Gradient arama ileminin en nemli zellii optimum zme steepest ascent ( en dik k ),
steepest descent ( en dik ini ) veya zigzag eklinde bir grafik izerek yaknsamasdr. Bu
Gradient arama ileminin en karakteristik zelliidir. Bu nedenle uygun blgede seilen her
balang aikar zm optimum zme hzl bir ekilde yaknsar. Uygulama 4 ve Uygulama
5 bunu akca ortaya koymaktadr. Fakat bu metodun bir dezavantaj adm uzunluunun
klmesi durumunda bir sonraki iterasyona geememesidir. Bu bilgisayarlardaki alt tamas ,
s tamas gibi hatalarndan kaynaklanmaktadr. Bu nedenle ancak uygun balang aikar
zmlerin, seimi ile tam optimum zme ulaabiliriz.
Nelder Mead tarafndan gelitirilen metod ise bir simpleks metodudur ve ok deikenli
kstsz fonksiyonlarn optimizasyonunu bulmakta olduka etkilidir. ki boyutta simpleks bir
gen olduundan, ilk genin ke noktas balan vektrler alnarak ileme balanr.
54
Bu ke noktalarda maksimum problem iin en byk, minimum problem iin en kk
fonksiyon deerine sahip noktaya Best Vertex (En iyi ke nokta ), sonraki en iyi noktaya
Good Vertex ( Sonraki en iyi ke nokta ) ve maksimum problemlerde en kk, minimum
problemlerde en byk fonksiyon deerine sahip noktaya da Worst Vertex (En kt ke
nokta ) denir. Bu ilem her iterasyonda tekrarlanarak iki boyutlu problmlerde genlerin bir
dizisi ile optimum zme yaklalr. B, G ve W ile isimlendirdiimiz genin bu ke
noktalar birbirlerine eit iken bir noktay gsterirler ki ite bu nokta aranlan optimumu
noktadr. Bu nedenle balang vektrlerinin iyi seimi ile bu metod Gradient Metodundan
daha etkili bir arama ilemi haline gelir.
Buna gre, Gradient Algoritmas her iterasyonda ksmi trevlerin hesab gerektiinden
Nelder - Mead Metoduna gre daha ok ilem sresine sahip bir arama ilemidir. Gradient
arama ileminde adm uzunluklar arasndaki fark yaknsakln durumu gstermesi asndan
nemli iken Nelder - Mead Metodunda bu lt her iterasyondaki genin bir ncekine gre
daha klmesi yani B, G ve W noktalarnn birbirine yaklamas ile belirlenebilir.
imdi de Frank-Wolfe ve SUMT Algoritmalarnn kendi aralarnda karlatrmal
yorumlarn yapalm. Bu iki algoritmada kstl ok deikenli fonksiyonlarn
optimizasyonunu bulurlar. kisinin ortak zellii ilem admlar esnasnda Gradient arama
ilemini kullanmalardr. Yani her ikisi de ndirekt ( trev kullanan ) arama ilemidir.
Frank-Wolfe Algoritmas dorusal kstl problemlerin optimizasyonunu bulurken, SUMT
Algoritmas hem dorusal hem dorusal olmayan kstl problemlerin optimizasyonunu bulur.
Frank-Wolfe Algoritmasnn genel karakteristii dorusal kstl , dorusal ama fonksiyonu
olan bir dorusal programlama problemine dnr . Frank-Wolfe Algoritmasnn dier
nemli bir karakteristii ise iterasyonlarn optimum zme doru iki farkl ynden
yaklamasdr. Bu nedenle Frank-Wolfe Algoritmasnda optimum zme yaknsama SUMT
Algoritmasna gre daha yava bir yaknsamadr.
SUMT Algoritmasnn en genel karekteristii ise ceza fonksiyonlarn kullanarak kstl
optimizasyon problemlerini kstsz optimizasyon problemlerinin bir dizisi ile zmesidir. Bu
nedenle SUMT Algoritmas uygun blge iinde seilen bir balang aikar zm ile
optimum zme ok hzl bir ekilde yaknsayan ve r = 0.000000001 deeri iin;
P(x,r) = f(x) rB(x) fonksiyonunun ama deerini bulan bir gradient arama ilemidir.
Bu zellikleri ile SUMT Algoritmas gerek dorusal kstl gerekse dorusal olmayan kstl
fonksiyonlarn optimizasyonunda ok etkili bir algoritmadr.
55
4. BLM
ETSZLKLER VE LNEER PROGRAMLAMA
4.ETSZLKLER
4.1. Birinci Dereceden Bir Bilinmeyenli E
