Optimizasyona Dayal Snflandrma Modelleri

Optimizasyona Dayal Snflandrma ModelleriOptimizasyon Teorisi

Veri Madenciliinde kullanlan Optimizasyona dayal snflandrma modelleri incelenmitir.

Emre ALI- 10511201225.05.2011

indekilerDestek Vektr Makinesi3Dorusal olarak ayrlabilme durumu3Primal zm6Lagrange arpanlar6Karush-Kuhn-Tucker Koullar7Dual zm8Verilerin Dorusal Olarak Ayrlamama Durumu12Dorusal Olmayan Snflandrclar16Dorusal Olmayan zellik Uzay16ekirdek Fonksiyonlar17Destek Vektr Makinas ve ekirdek Fonksiyonlar18Kaynaka22

Destek Vektr Makinesi

Destek Vektr Makinesi (Support Vector Machine = SVM) veri madenciliinde snflama problemlerinde kullanlan bir yntemdir.Bu yntem, snflandrmay bir dorusal yada dorusal olmayan bir fonksiyon yardmyla yerine getirir.Destek vektr makinesi yntemi,veriyi birbirinden ayrmak iin en uygun fonksiyonun tahmin edilmesi esasna dayanr.Daha ok makine renmesi yntemleri arasnda yer alan bu yntem gnmzde veri madencilii alannda da tercih edilmeye balanmtr.

Dorusal olarak ayrlabilme durumu

D veri kmesinin (X1,y1),(X2,Y2)(Xn,Yn) biiminde olduunu varsayalm. Burada n veri kmesinin eleman saysdr ve y , {+1,-1} kmesinin eleman olarak kabul edilir.[1]

ekil 1: ki boyutlu uzayda dorusal olarak ayrlabilen verilerin grnm

zmlemeyi basitletirmek iin iki boyutlu alan gz nne alyoruz.Veri ekil 1 zerinde yer almaktadr.Verinin birbirinden farkl biimlerde dorusal olarak ayrlabilecei grlmektedir.Sz konusu ekil zerinde grld gibi veri farkl ve ok sayda doru ile ayrlabilmektedir.ok boyutlu uzayda bu dorularn yerini hiper dzlemler alacaktr.Veriyi birbirinden ayran bu dorulardan yada hiper dzlemlerden hangisi seilecektir? Aratracamz konu budur.Bizim iin birbirinden en uzak olan iki hiper dzlemi elde etmek en uygun yol olarak grlmektedir.

Veri kmelerini birbirinden ayrmak iin dzlemin kullanlabileceini biliyoruz.Ancak iki hiper dzlem arasnda en byk bolua sahip olanlar semek en uygun yoldu.O halde ekil 2 zerinde yer alan H1 ve H2 hiper dzlemleri gz nne alnabilir.Bu iki hiper dzlemin ortasn oluturan H0 hiper dzlemi ise iki snf veriyi birbirininden ayran dorusal hiper dzlemdir.Bu H0 dzlemine optimal ayrma hiper dzlemi ad veriliyor.

ekil 2 : Dorusal olarak birbirinden ayrlabilen veriler arasndaki muhtemel en byk boluk

Bir hiper dzlem zerindeki noktalar cinsinden H0 dzlemi u ekilde ifade edilebilir:

Bu ifadeyi u ekilde de yazabiliriz;

Burada W arlk vektrn W={w1,w2,,wn}; n ise niteliklerin saysn gstermektedir.fade iinde yer alan b ise sabit bir sayy gstermektedir.Kolaylk olsun diye A1 ve A2 diye iki niteliin var olduunu kabul edelim.Eitim kmesi ise,iki boyutlu uzay sz konusu olduu iinde X=(x1,x2) biimindedir.Burada x1 ve x deerleri X iin A1 ve A nin deerleri olarak gz nne alnr.H1 hiper dzlemi u ekilde ifade edilebilir:

Biiminde ifade edilir.ilk formlde belirtilen hiper dzlemin st tarafnda kalan noktalar aadaki eitsizlie uymaktadr;

Benzer biimde hiper dzlemin alt ksmnda kalan noktalar da aadaki eitsizlie uymaktadr:

ekil 3. Destek Vektrler

4. ve 5. Eitsizlikleri birletirilerek tek bir eitsizlik biimine dntrlebilir:

Burada H1 ve H2 hiper dzlemlerini gz nne alalm.Bu dzlemler zerindeki gzlemler destek vektr adn alr.Bir destek vektr ile ile gsterilen hiper dzlemi arasndaki uzaklk,P hiper dzlemi zerindeki bir nokta olmak zere bants ile bulunur.O halde X destek vektr ile H2 hiper dzlemi arasndaki uzaklk ve 2 ve 3. Eitsizliklerden dolay,

biiminde hesaplanr.Bu durumda X1 destek vektr ile H2 hiper dzlemi uzaklk,

olarak belirlenir.

Primal zm

[1]H1 ve H2 hiper dzlemleri arasndaki boluu maksimize etmek amalandna gre, ||w|| ifadesinin minimizasyonu myi maksimize edecektir. O halde,

fadesinin minimizasyonu gerekmektedir.Bu durumda maksimum boluu bulmaya yarayan problemimiz aadaki quadratik programlama modeline dnmtr.

Buradaki arpan matematiksel ilemleri kolaylatrmak asndan ilave edilmitir.

Lagrange arpanlar

Yukardaki primal fadesinde grld gibi dorusal olmayan bir optimizasyon problemi ile kar karyayz.Bu tr problemleri zmek iin Lagrange fonksiyonundan yararlanlr.Sz konusu fonksiyonu elde etmek iin aada belirtilen yol izlenir.

F(x1,x2,Xn)=b1

Koullar altnda optimize eden noktalar aratrmak istiyoruz.Bunun iin a1,a2,,an Lagrange arpanlar olmak zere L(x,a) Lagrange fonksiyonu u ekilde tanmlanr:

Bu durumda f(x1,x2,..,xn) fonksiyonunu maksimize veya minimize eden noktalar bulmak iin aadaki ksmi trevleri ieren eitliklerin zlmesi gerekmektedir:

Bu denklemlerin zm aradmz optimum noktalar verecektir.Elde edilen a1>0 deerleri bize destek vektrlerini tanmlamaktadr.

Karush-Kuhn-Tucker Koullar

[2] 12. bant ile verilen Lagrange fonksiyonu u ekilde yazlabilir:

12 nin ksmi trevleri alnarak sfra eitlenir.

Buradan,

Elde edilir.Bu ifadelere Karush-Kuhn-Tucker koullar (KKT) ad verilir.Bu durumda (14) ama Fonksiyonu (4) koul fonksiyonu konvekstir ve KKT koullar (14)n bir maksimumu iin geerli ve yeterlidir.O halde L(w,b,a) fonksiyonu u ekilde ifade edilebilir:

Sonu olarak aadaki ifade elde edilir:

Dual zm

Optimal hiper dzlemi bulmak iin bir L(w,b,a) duali,ai>=0,(i=1,2,..,n) iin maksimize etmelidir.Bu durumda standart quadratik programlama problemine ulalm olur.Dual model matris formunda u ekilde ifade edilebilir.[3]

Burada ise Hessien matrisini gstermektedir.I ise birim matristir ve I=[1 1 1] eklinde gsterilir.H matrisi u ekilde ifade edilebilir:

Bu optimizasyon probleminin optimal noktas iin zmleri ,yani Lagrange arpanlar 16 da belirtildii biimde optimal hiper dzlemin parametrelerini belirler.Sz konusu parametreler SV destek vektrleri ve bu destek vektrlerinin saysn gstermek zere u ekilde yazlabilir:

Grld gibi b* n hesaplanmasnda sadece destek vektrler kullanlmaktadr.nk destek vektr olmayan tm Lagrange arpanlar sfra eit olacaktr.

B u durumda yeni bir rnee gre snflandrma iin aadaki fonksiyona gre yaplr.

Bunun yerine sadece destek vektrler gz nne alnacak olursa,

Bants da kullanlabilir.

rnek:Aada gsterildii biimde gzlemlerin snf1 ve snf2 gibi iki snfa ait olduunu varsayalm.

Bu gzlemlerden yararlanlarak verileri birbirinden ayran fonksiyonu elde etmek istiyoruz.

zm:

Burada ilgili vektrleri u ekilde ifade edilebilir:

Lagrange fonksiyonu aada belirtildii biimdeydi:

Verilen deerler yerine yazlacak olursa Lagrange fonksiyonu u ekilde hesaplanabilir:

olduundan yukardaki ifadeyi u ekilde de yazabiliriz:

Bu durumda L(a) aada gsterildii biimde ifade edilebilir:

Sonu olarak L(a) fonksiyonu u ekilde elde edilir:

Elde edilir.Bu deeri 22 de yerine yazacak olursak L(a) u ekli alr:

A2 ve a3 deerlerini bulmak iin fonksiyonun trevleri alnarak sfra eitlenir.

Bu son iki eitlik zlrse a2=2,a3=2 elde edilir.23 den a1=0 elde edilir.

O halde, biiminde ifade etmek mmkndr.imdi w ve b nin deerlerini bulmak istiyoruz. 20 de belirtildii gibi, olduuna gre w* u ekilde hesaplanabilir.

B* deerini hesaplamak iin 21 de yer alan eitlii kullanlr.

Sonu olarak yeni verilecek gzlem deerleri iin,yani {x1} SVnin elemandr deerleri iin snflandrma u ifadeye gre yaplacaktr:

Bu durumda yeni bir gzlem iin snflandrma yapabiliriz.rnein gzlemi iin,

Olduundan sz konusu gzlemin pozitif blgede olduu anlalmaktadr.xi>0 iin tm gzlemlerin negatif blgede olaca akca grlmektedir.

Verilerin Dorusal Olarak Ayrlamama Durumu

nceki blmde veriler iki snfa dorusal bir dzlem ile ayrlabiliyordu.Uygulamada bu durum her zaman geerli olmayabilir.Yani dorusal bir dzlem ile veriler birbirinden ayrlmayabilir.[2]

ekil 4. Birbirinden dorusal olarak ayrlamayan veriler

Verilerin dorusal bir dzlemle ayrlamama durumunda negatif olmayan ve hatalar ifade eden gevek deikenlerinin optimizasyon modeline eklenmesi salanarak soruna zm aranr.

ekil 5. Gevek Deikenler

Yzlabilir.Burada olan veriler hiper dzlemin dier tarafnda kalan,yani dorusal olarak ayrlmay nleyen blgedeki gzlem deerleridir. ise, hiper dzlemin doru yannda yer alan,ancak en byk alan magrin blgesi iinde kalan gzlem deerlerini ifade eder.

Bu tr bir genelletirilmi optimal hiper dzlem iin maksimize edilecek fonksiyon,dorusal ayrmay engelleyen bu tr durumlar iin bir ilave terime sahip olacaktr.

C ceza parametresi olmak zere ama fonksiyonu u ekilde ifade edilir:

Burada C>0 bir sabittir ve kullanc tarafndan seilir.Eer C kk ise ideal pozisyonda olmayan birok gzleme izin verilir.Aksi takdirde,ideal pozisyonda olmayan ok az sayda gzleme sahip olunmak istenir.Formlde k=1 seildiinde konveks programlama problemi haline dnr.

ekil 6.Cnin alaca deerlere gre magrinler

Bir dorusal ayrma problemi iin 26 quadratik programlama probleminin 24 kstlar altnda zlmesidir. primal Lagrange fonksiyonu k=1 iin u ekildedir:

Burada ai ve Bi Lagrange arpanlardr. Bu problem primal ya da dual olarak zlebilir.

Optimal hiper dzlemi bulmak iin L(a) dual Lagrange fonksiyonu pozitif a iler iin;yani C>=ai>=0 i=1,2,,n koullar altnda maksimize edilmelidir.Bu durumda,dorusal ayrlabilen durum iin elde edilen quadratik programlama problemi ile ayn sonu elde edilmitir.Buradaki tek fark,ai Lagrange erpanlar iin bir C st snr getirilmesidir.Eer C=Sonsuz olarak kabul edilirse,verilerin tmyle dorusal olarak ayrlabildii durum elde edilir.Sonu olarak ,verilerin dorusal olarak ayrlamad durum iin quadratik programlama modelimiz u ekli almtr:

Yukardaki bantlar matrislerle u ekilde ifade edebiliriz:

Dorusal Olmayan Snflandrclar

u ana kadar,veri kmelerinin bir dorusal hiper dzlem ile ayrlabildii durumlar ele alnarak incelendi.Verilerin dorusal olarak ayrlamad durumlar iin gevek deikenler m