ok Katmanl Yapay Sinir Alar
ve
Geri Yaylm Algoritmas

Hazrlayan:Hlya SOYLU - 12060382

Giri

ok Katmanl Alglayc

KA Modelinin Yaps

KA Ann renme Modeli

KA Ann alma Prosedr

An Eitilmesi

XOR Probleminin zlmesi

KA Ann Performansnn llmesi

KA Ann renmek Yerine Ezberlenmesi

Bir KA Ann Oluturulmasnda Dikkat Edilmesi Gereken Baz nemli Noktalar

Alarn Bytlmesi ve Budanmas

KA Ann Uygulama Alanlar

KA rnek Uygulama

Geri Yaylm Algoritmas

ok Katmanl Alglayc

ok katmanl alglayc alar XOR problemini zebilmek iin yaplan almalar neticesinde ortaya kmtr.

Bu problemin zellii dorusal olmayan bir ilikiyi gstermesidir.

Yani ktlarn arasna bir doru veya dorular izerek onlar onlar iki veya daha fazla snfa ayrmak mmkn deildir.

Rumelhart ve arkadalar tarafndan gelitirilen bu modele hata yayma modeli veya geriye yaym modeli(backpropogation network) de denmektedir.

Temel amac an beklenen kt ile rettii kt arasndaki hatay en aza indirmektir.

Bunu hatay aa yayarak gerekletirdii iin bu aa hata yayma a da denmektedir.

KA Modelinin Yaps

Girdi katman : D dnyadan bilgileri alr.Bu katmanda herhangi bir bilgi ileme olmaz.

Ara Katmanlar : Girdi katmanndan gelen bilgileri ileyerek bir sonraki katmana gnderir.Bir KA anda birden fazla ara katman ve her katmanda birden fazla proses eleman olabilir.

kt katman: Ara katmandan gelen bilgileri ileyerek aa girdi katmanndan sunulan girdi iin an rettii kty bulur.Bu kt d dnyaya iletilir.

KA Ann renme Kural

KA a retmenli renme stratejisini kullanr.

Aa hem rnekler hem de rneklerden elde edilmesi gereken ktlar(beklenen ktlar) verilir.

A bu rneklerden genelleme yaparak problem uzayn temsil eden bir zm uzay retir.

Daha sonra gsterilen benzer rnekler iin bu zm uzay sonular ve zmler retir.

KA ann renme kural en kk kareler yntemine dayal Delta renme Kuralnn genelletirilmi halidir.

Genelletirilmi Delta Kural iki safhadan oluur:

leri doru hesaplama (Feed Forward) : An ktsn hesaplama safhas.

Geriye doru hesaplama (Back Propogation) :Arlklar deitirme safhas.

leri doru hesaplama

Bu safhada bilgi ileme eitim setindeki bir rnein Girdi Katmanndan aa gsterilmesi ile balar.

Gelen girdiler hi bir deiiklik olmadan ara katmana gnderilir.

Girdi katmanndaki k. Proses elemannn kts ki u ekilde belirlenir:

Ara katmandaki her proses eleman girdi katmanndaki btn proses elemanlarndan gelen bilgileri balant arlklarnn (A1,A2,....) etkisi ile alr.

nce ara katmandaki proses elemanlarna gelen net girdi(NET ja ) u forml kullanlarak hesaplanr:

Burada A kj k. girdi elemann j. ara katman elemanna balayan balantnn arlk deerini gstermektedir.

J. ara katman elemannn kts ise bu net girdinin aktivasyon fonksiyonundan geirilmesiyle hesaplanr.

Sigmoid fonksiyonu:

(Kullanlmasnn en nemli zellii srekli ve trevlenebilir olmas.)

Geriye doru hesaplamada kullanacamz sigmoid fonksiyonun trevi

Sigmoid fonksiyonu kullanlmas halinde kt:

Burada j , ara katmanda bulunan j. elemana balananeik deer elemannn arln gstermektedir.

Bu eik deer nitesinin kts sabit olup 1e eittir.

Eitim srasnda a bu deeri kendisi belirlemektedir.

Ara katmann btn proses elemanlar ve kt katmannn proses elemanlarnn ktlar ayn ekilde kendilerine gelen NET girdinin hesaplanmas ve sigmoid fonksiyonundan geirilmesi sonucu belirlenirler.

kt katmanndan kandeerler bulununca an ileridoru hesaplamailemi tamamlanm olur.

MATLABde leri Beslemeli (Feed Forward) KP Alarn Tasarm

ncelikle bu a yapsn kullanabilmek iin bir ileri beslemeli a nesnesi oluturmamz gerekir.

MATLABdeki newff komutu bu ilemi gerekletirmektedir.

newff komutunun yazm biimi aada verilmitir:

net = newff(PR,[S1 S2SNl],{TF1 TF2TFNl},BTF,BLF,PF)Burada;

PR - R elemanl giri vektrnn minimum ve maksimum deerlerini ieren Rx2 lik matris.

Si - inci katmanda bulunan nron says.

TFi - inci katmann transfer fonksiyonu, varsaylan= 'tansig'.

BTF - Geriye yaylm a eitim fonksiyonu, varsaylan = 'trainlm'.

BLF - Geriye yaylm arlk/bias renme fonksiyonu, varsaylan = 'learngdm'.

PF - Performans fonksiyonu, varsaylan = 'mse' dir.

Geriye doru hesaplama

Aa sunulan girdi iin an rettii kt an beklenen ktlar ile karlatrlr. Bunlarn arasndaki fark hata olarak kabul edilir. Ama bu hatann drlmesidir.

Bu hata, an arlk deerlerine datlarak bir sonraki iterasyonda hatann azaltlmas salanr.

kt katmanndaki m. proses eleman iin oluan hata Em ;

Yukardaki hata, bir proses eleman iin oluan hatadr.

kt katman iin oluan toplam hatay (TH) bulmak iin btn hatalarn toplanmas gerekir.

Toplam hatay en azlamak iin bu hatann kendisine neden olan proses elemanlarna datlmas gerekmektedir.

An arlklarn deitirmek iin 2 durum szkonusudur:

Ara katman ile kt katman arasndaki arlklarn deitirilmesi

Ara katmanlar aras veya ara katman girdi katman arasndaki arlklarn deitirilmesi

Ara katman ile kt katman arasndaki arlklarn deitirilmesi

Ara katmandaki j. Proses eleman kt katmanndaki m. Proses elemanna balayan balantnn arlndaki deiim miktarna A a denirse; herhangi bir t zamannda arln deiim miktar yle hesaplanr:

Burada renme katsaysn, momentum katsaysn gstermektedir.

Momentum katsays an renmesi esnasnda yerel bir optimum noktaya taklp kalmamas iin arlk deiim deerinin belirli bir oranda bir sonraki deiime eklenmesini salar.

Yine yukardaki forml dikkate alndnda m ise m. kt nitesinin hatasn gstermektedir

f(NET) aktivasyon fonksiyonunun trevidir. Sigmoid fonksiyonun kullanlmas durumunda

Deiim miktar hesaplandktan sonra arlklarn t.iterasyondaki yeni deerleri:

Benzer ekilde eik deer nitesinin de arlklarn deitirmek gerekmektedir. kt katmannda bulunan proses elemanlarnn eik deer arlklar ile gsterilirse; bu nitenin kts sabit ve1olmas nedeni ile deiim miktar:

olacaktr. Eik deerin t. terasyonundaki arlnn yeni deeri ise ;

eklinde hesaplanacaktr.

Ara katmanlar aras veya ara katman girdi katman arasndaki arlklarn deitirilmesi

Ara katman ile kt katman arasndaki arlklarn deiiminde her arlk iin sadece kt katmanndaki bir proses elemannn hatas dikkate alnmtr. Oysaki bu hatalarn olumasnda girdi katman ve ara katman arasndaki arlklarn pay vardr.

Girdi katman ile ara katman arasndaki arlklarn deiimi A i ile gsterilirse deiim miktar:

Yine buradaki hata terimi a yle hesaplanacaktr:

Aktivasyon fonksiyonu olarak sigmoid fonksiyonun kullanlmas durumunda;

Arlklarn yeni deerleri;

Benzer ekilde eik deer nitesinin de arlklarn deitirmek gerekmektedir. Ara katman eik deer arlklar a ile gsterilirse deiim miktar;

Arlklarn yeni deerleri ise t. iterasyonda yle hesaplanacaktr.

Bylece an arlklarnn hepsi deitirilmi olacaktr.

Bir iterasyon hem ileri hem de geriye doru hesaplamalar yaplarak tamamlanm olacaktr.

ok Katmanl An alma
ekli

rneklerin toplanmas

An topolojik yapsnn belirlenmesi

renme parametrelerinin belirlenmesi

An balang deerlerinin atanmas

renme setinden rneklerin seilmesi ve aagsterilmesi

renme srasnda ileri hesaplamalarn yaplmas

Gerekleen ktnn beklenen kt ile karlatrlmas

Arlklarn deitirilmesi