Hamming Yapay Sinir Ağı (Sunu)

/

Hamming A ve renmesi

Murat zalpBilecik eyh Edebali niversitesiYapay Sinir Alar (doktora) ders devi2015, Bilecik

1915 - 1998

This work is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.

indekiler

Giri

Hamming Mesafesi

Hamming A

rnek Hamming A

Hamming A'nn Karakteristik zelikleri

Yapay Sinir Alar Snflandrmas

Matematiksel likiler

Arlklarn Hesaplanmas

rnek Uygulama

Giri

Richard Hamming, 1915-1998 yllar arasnda yaad.

1940'l yllarda delikli kartlarla alrken, veri iletiiminde hata dzeltme zerine almaya balad.

Hata dzeltme zerine alrken; iki vektrn (dize'nin, metnin) birbirine benzerliini ifade etmek iin, 1950 ylnda Hamming Mesafesi kavramn ortaya koydu.

Literatrde kaba bir aratrma sonucunda; yapay sinir alar konusunda Hamming mesafesi ifadesinin bulabildiim en eski kullanm, Hopfield tarafndan 1982 ylnda yaynlanan Neural networks and physical systems with emergent collective computational abilities isimli makale oldu. (referans)

Hamming alar tanm ise ilk kez 1987'de Lippmann tarafndan, An Introduction to Computing with Neural Nets isimli almada ifade edilmitir. (referans)

Hamming Mesafesi

ki vektrn birbirine uzakln bulmak iin kullanlan bir ok yntemden birisi Hamming mesafesidir. En yaygn yntemlerden birisi olan klid mesafesi ve benzerleri, saysal verilerle ilem yaparlar.

Hamming mesafesi ise iki ifade arasnda ka tane farkl sembol olduuna bakarak mesafe lm yapar.

rnekler:

11110000 10110001Mesafe: 2

abc123 abc120Mesafe: 1

Antakya Antalya Mesafe: 1

Hamming A

Desen eletirme (pattern matching) ve snflandrma (classification) gibi amalarla kullanlmaktadr. An giriinde vektr biiminde verilen bir desenin, eldeki bilinen desenlerden en ok hangisine benzediini syleyebilir.

x1

x2

x3

x4

B

y1

y2

B

rnek Hamming A

x1

x2

x3

x4

B

y1

y2

B

klar, 0-9 aras rakamlar temsil eder

0-9 aras rakamlar tanyan an temsili gsterimi

10 tane kolmaldr.5x3=15 tanegiri olmaldr.

Hamming A'nn Karakteristik zelikleri

Sabit arlkl yarmac alardandr (fixed weight competitive nets). Bu kategorideki dier a trleri ise MaxNet ve Meksika apkas'dr.

Bir giri vektr verildiinde; nceden aa verilmi olan rnek (exemplar ~ prototip, snf, class) vektrler ile karlatrlarak, giriin hangi rnee en yakn olduuna baklr. Bu ekilde snflandrma yaplmaktadr.

Vektrlerde; genellikle {-1,1} eklinde iki semboll alfabe kullanlr.

En yakn komu snflandrmasnn Hamming mesafesi kullanlan zel bir trdr.

Hamming a, tek katmandan oluur. Bu tek katmann grevi; giri vektrlerinin, rnek vektrlerden hangisine daha ok benzediine karar vermektir. Hamming ana genellikle, en yksek girii bulan bir MaxNet a ilave edilir.

Hamming ann yapt i; desen eletirme (pattern matching, inner product) eklinde de ifade edilmektedir.

Eiticisiz Yarmac AlarMaxNet

Hamming Net

Mexican Hat Net

Self-Organizing Map (SOM)

Adaptive Resonance Theory (ART)

Eiticili Yarmac AlarLearning Vector Quantization (LVQ)

Counterpropagation

Yapay Sinir Alar Snflandrmas

Hamming, MaxNet, Mexican Hat


a ve b, iki farkl vektr olsun. Bu vektrler iin;Birbirleri ile ayn olan eleman says: A(a,b) eklinde (A: Agree) gsterilir.

Farkl olan elemanlarn says ise H(a,b) eklinde (H: Hamming) gsterilir.

Bu ili vektrn skaler arpmlar (dot product); ayn elaman saysnn, farkl eleman saysndan farkna eittir. Yani;

rnek:

a vektr = [1, -1, -1, -1]b vektr = [1, 1, -1, -1] olsun.

A(a,b) = 3 ve H(a,b)=1 olacaktr.A(a,b) - H(a,b) = 3-1 = 2 olur.

a.b skaler arpm da = (1*1) + (-1*1) + (-1*-1) + (-1*-1) = 1-1+1+1 = 2 olur.


Hamming alarnda; A(a,b) deeri kullanlmaktadr.

Aa nceden belirli sayda rnek vektr verilmektedir. Bu vektrleri c(1), c(2), c(M) eklinde (c: class ~ snf) M tane olacak ekilde ifade edebiliriz.

Giri vektr (rnein x), c(j) vektrleri ile karlatrlmakta ve en yakn olan vektr belirlenmektedir.

Matris ilikileri:x vektr [.]1xN biimindedir.c(j) vektrleri de = [.]1xN biimindedir.

Bu durumda; c(j) vektrleri, Hamming ann arlk matrisini oluturmak iin, stun vektr haline getirilip, NxM boyutunda bir matris elde edilir.

rnek vektrler:

c(1)

c(2)

c(M)


n: vektrdeki sembol says
a: karlatrlan iki vektrde ayn olan sembol says olmak zere;H(x,c) = n-aolduunu bir kez daha hatrlayalm ve sonra benzerlii ifade etmek zere ifadeyi yeniden dzenleyelim:

Skaler arpm ifadesini biraz dzenleyelim. Vektrlerden birisi x giri vektr olsun. Dieri de e rnek vektr olsun.veya

stteki ifadede her iki taraf ikiye blp biraz dzenleyelim:

Arlklarn Hesaplanmas

nceki eitliklerden yararlanarak, yukardaki formldeki arlk (w) ve
eik (b) deerlerini belirtelim:

B

Arlk Matrisi

rnek Uygulama
(2002, Bow, Pattern Recognition and Image Preprocessing, Sayfa: 240)

3x3 piksel ile ifade edilen C, H ve L harflerini tanyan
(snflandran) bir Hamming a olsun. Harflerin ekli
yanda gsterilmitir.Bu harflerin vektr ile ifadesi yledir:
c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi
c3=(1 -1 -1; 1 -1 -1; 1 1 1) L harfix=(1 1 1; 1 1 -1; 1 1 1) giriinin, bu aa gre snfn bulmaya alalm.

An 9 tane girii (n=9) ve 3 tane k (3 snf iin: net1, net2, net3) olacaktr.Arlk matrisini (w) ve eik (b) deerini hesaplayalm:

rnek Uygulama

c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi


rnek Uygulama

c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi


rnek Uygulama

c1=(1 1 1; 1 -1 -1; 1 1 1) C harfi
c2=(1 -1 1; 1 1 1; 1 -1 1) H harfi
c3=(1 -1 -1; 1 -1 -1; 1 1 1) L harfix1=(1 1 1; 1 -1 -1; 1 1 1) giriinin, bu aa gre snfn bulmaya alalm.


An klar aadaki gibi bulunmutur.Net1=8

Net2=6

Net3=6

Byk olan deer, Hamming mesafesi asndan, x giri vektrne en yakn olan deerdir. Burada Hamming ann grevi tamamlanmtr.

Kaynaklar

Pattern Recognition and Image Preprocessing,Sing-Tze Bow,
2002, Marcel Dekker Yaynevi

Fixed Weight Competitive Nets, K. Ming Leung,
2007, Polytechnic University ders notlar

Neural Networks Based on Competition, M. Bennamoun,
CS407 Neural Computation ders notlar

Technology

Hamming Yapay Sinir Ağı (Sunu)