repository.usu.ac.id › bitstream › handle › 123456789 › 34773 › Chapter II.pdf?sequence=4... BAB II LANDASAN TEORIkarakteristik penting, yaitu fungsi aktivasi harus bersifat

BAB II

LANDASAN TEORI

Bab ini akan dibahas mengenai teori-teori pendukung pada penelitian ini. Adapun

teori tersebut yaitu teori jaringan saraf tiruan dan algoritma backpropragation.

2.1. Jaringan Saraf Biologi

Jaringan saraf biologi merupakan kumpulan dari sel-sel saraf (neuron) yang memiliki

tugas untuk mengolah informasi (Puspitaningrum, 2006). Komponen-komponen

utama dari sebuah neuron dapat dikelompokkan menjadi 3 bagian, yaitu:

1. Dendrit yang bertugas untuk menerima informasi.

2. Badan sel (soma) yang berfungsi sebagai tempat pengolahan informasi.

3. Akson (neurit) yang bertugas mengirimkan impuls-impuls ke sel saraf lainnya.

Gambar 2.1 Sel Saraf Biologi

Pada gambar 2.1 sebuah neuron menerima impuls-impuls sinyal dari neuron

yang lain melalui dendrit dan mengirimkan sinyal yang dibangkitkan oleh badan sel

melalui akson. Akson dari sel saraf biologi bercabang-cabang dan berhubungan

Universitas Sumatera Utara

8

dengan dendrit dari sel saraf lainnya dengan cara mengirimkan impuls melalui

sinapsis, yaitu penghubung antara dua buah sel saraf. Sinapsis memiliki kekuatan

yang dapat meningkat dan menurun tergantung seberapa besar tingkat propagasi yang

diterimanya.

2.2. Jaringan Saraf Tiruan

Jaringan saraf tiruan (JST) merupakan sistem pemrosesan informasi yang mengadopsi

cara kerja otak manusia (Fausset, 1994). JST memiliki kecenderungan untuk

menyimpan pengetahuan yang bersifat pengalaman dan membuatnya siap untuk

digunakan. Ada tiga elemen penting dalam JST (Rojas, 1996), yaitu:

1. Arsitektur jaringan beserta pola hubungan antar neuron.

2. Algoritma pembelajaran yang digunakan untuk menemukan bobot-bobot

jaringan.

3. Fungsi aktivasi yang digunakan.

JST terdiri dari sejumlah besar elemen pemrosesan sederhana yang sering

disebut neurons, cells atau node. Proses pengolahan informasi pada JST terjadi pada

neuron – neuron. Sinyal antara neuron – neuron diteruskan melalui link – link yang

saling terhubung dan memiliki bobot terisolasi. Kemudian setiap neuron menerapkan

fungsi aktivasi terhadap input jaringan.

2.2.1 Arsitektur Jaringan Saraf Tiruan

Arsitektur jaringan yang sering dipakai dalam JST antara lain :

1. Jaringan layar tunggal (single layer network)

Jaringan ini hanya memiliki satu buah lapisan bobot koneksi. Jaringan lapisan

tunggal terdiri dari neuron-neuron input yang menerima sinyal dari dunia luar,

dan neuron-neuron output dimana kita bisa membaca respons dari jaringan

saraf tiruan tersebut.


9

Gambar dibawah menunjukkan arsitektur jaringan dengan n neuron

input (X1, X2, X3, ..., Xn) dan m buah neuron output (Y1, Y2, Y3, ..., Ym). Semua

neuron input dihubungkan dengan semua neuron output, meskipun memiliki

bobot yang berbeda-beda. Tidak ada neuron input yang dihubungkan dengan

neuron input lainnya. Begitu juga dengan neuron output.

X1

X3

X2

Y1

Y2

Y3

W11

Wj1

Wm1

W1jWji

Wmi

W1nWjn

Wmn

Gambar 2.2 Single Layer Network

Besaran Wji menyatakan bobot hubungan antara ubit ke-i dalam input

dengan neuron ke-j dalam output. Bobot-bobot ini saling independen. Selama

proses pelatihan, bobot – bobot saling dimodifikasi untuk

menigkatkankeakuratan hasil. Metode ini tepat digunakan untuk pengenalan

pola karena kesederhanaannya.

2. Jaringan Layar Jamak (multi layer network)

Jaringan ini memiliki satu atau lebih lapisan tersembunyi. Jaringan layar jamak

memiliki kemampuan lebih dalam memecahkan masalah dibandingkan dengan

jaringan layar tunggal, namun pelatihannya lebih kompleks dan relatif lebih

lama.


10

Gambar 2.3 Multilayer Network

Pada gambar diatas jaringan dengan n buah neuron input (X1, X2, ..., Xn),

sebuah layer tersembunyi yang terdiri dari p buah neuron (Z1, Z2, .. Zp) dan m

buah neuron output (Y1,Y2, ... Ym).

3. Competitive layer network

Jaringan ini mirip dengan jaringan layar tunggal ataupun ganda. Hanya saja,

ada neuron output yang memberikan sinyal pada neuron input (sering disebut

feedback loop). Sekumpulan neuron bersaing untuk mendapatkan hak menjadi

aktif.

Al Am

Ai Aj

11

11

Gambar 2.4 Competitive layer network


11

2.2.2. Fungsi Aktivasi

Fungsi aktivasi pada jaringan saraf tiruan digunakan untuk memformulasikan output

dari setiap neuron. Argumen fungsi aktivasi adalah net masukan (kombinasi linier

masukan dan bobotnya). Jika net = XiWi, maka fungsi aktivasinya adalah 𝑓 𝑛𝑒𝑡 =

𝑓( 𝑋𝑖𝑊𝑖 ).

Fungsi aktivasi dalam jaringan Backpropagation memiliki beberapa

karakteristik penting, yaitu fungsi aktivasi harus bersifat kontinu, terdiferensial

dengan mudah dan tidak turun (Fausset, 1994). Beberapa fungsi aktivasi yang sering

dipakai adalah sebagai berikut :

1. Fungsi aktivasi linier

𝑓 𝑥 = 𝑥 (1)

Fungsi aktivasi linier sering dipakai apabila keluaran jaringan yang

diinginkan berupa sembarang bilangan riil (bukan hanya pada range [0,1]

atau [-1,1]. Fungsi aktivasi linier umumnya digunakan pada neuron output.

2. Fungsi aktivasi sigmoid biner

𝑓 𝑥 =1

1+𝑒−𝑥 (2)

Fungsi aktivasi sigmoid atau logistik sering dipakai karena nilai fungsinya

yang terletak antara 0 dan 1 dan dapat diturunkan dengan mudah.

𝑓′ 𝑥 = 𝑓 𝑥 (1 − 𝑓 𝑥 ) (3)

3. Fungsi aktivasi sigmoid bipolar.

𝑓 𝑥 =2

1+𝑒−𝑥 − 1 (4)


12

Fungsi aktivasi ini memiliki nilai yang terletak antara -1 dan 1 dengan

turunannya sebagai berikut:

𝑓′ 𝑥 = 1+𝑓 𝑥 (1−𝑓 𝑥 )

2 (5)

4. Fungsi aktivasi tangen hiperbola

Fungsi aktivasi ini juga memiliki nilai yang terletak antara -1 dan 1.

Formulanya yaitu:

𝑡𝑎𝑛𝑕 𝑥 =(𝑒𝑥−𝑒−𝑥 )

(𝑒𝑥 +𝑒−𝑥 )=

1−𝑒−2𝑥

1+𝑒−2𝑥 (6)

dengan rumus turunannya sebagai berikut:

𝑡𝑎𝑛𝑕′ 𝑥 = 1 + tanh 𝑥 (1 − tanh 𝑥 ) (7)

2.2.3. Bias

Bias dapat ditambahkan sebagai salah satu komponen dengan nilai bobot yang selalu

bernilai 1. Jika melibatkan bias, maka fungsi aktivasi menjadi:

(8)

Dimana:

𝑥 = 𝑏 + 𝑥𝑖𝑤𝑖𝑖 (9)


13

2.2.4. Laju Pembelajaran / learning rate (𝜼)

Penggunaan parameter learning rate memiliki pengaruh penting terhadap waktu yang

dibutuhkan untuk tercapainya target yang diinginkan. Secara perlahan akan

mengoptimalkan nilai perubahan bobot dan menghasilkan error yang lebih kecil

(Fajri, 2011). Variabel learning rate menyatakan suatu konstanta yang bernilai antara

0.1-0.9. Nilai tersebut menunjukkan kecepatan belajar dari jaringannya.

Jika nilai learning rate yang digunakan terlalu kecil maka terlalu banyak

epoch yang dibutuhkan untuk mencapai nilai target yang diinginkan, sehingga

menyebabkan proses training membutuhkan waktu yang lama. Semakin besar nilai

learning rate yang digunakan maka proses pelatihan jaringan akan semakin cepat,

namun jika terlalu besar justru akan mengakibatkan jaringan menjadi tidak stabil dan

menyebabkan nilai error berulang bolak-balik diantara nilai tertentu, sehingga

mencegah error mencapai target yang diharapkan. Oleh karena itu pemilihan nilai

variable learning rate harus seoptimal mungkin agar didapatkan proses training yang

cepat (Hermawan, 2006).

2.3. Metode Backpropagation

Backpropagation adalah salah satu bentuk dari jaringan saraf tiruan dengan pelatihan

terbimbing. Ketika menggunakan metode pelatihan terbimbing, jaringan harus

menyediakan input beserta nilai output yang diinginkan. Nilai output yang diinginkan

tersebut kemudian akan dibandingkan dengan hasil output aktual yang dihasilkan oleh

input dalam jaringan.

Metode Backpropagation merupakan metode yang sangat baik dalam

menangani masalah pengenalan pola-pola kompleks. Backpropagation melatih

jaringan untuk mendapat keseimbangan antara kemampuan jaringan mengenali pola

yang digunakan selama pelatihan serta kemampuan jaringan untuk memberikan

respon yang benar terhadap pola masukan yang serupa dengan pola yang dipakai

selama pelatihan (Siang, 2009).


14

Pelatihan jaringan Backpropagation meliputi tiga langkah, yaitu langkah maju

(feedforward) dari pola pelatihan input, perhitungan langkah mundur

(Backpropagation) dari error yang terhubung dan penyesuaian bobot-bobot (Fausset,

1994). Langkah maju dan langkah mundur dilakukan pada jaringan untuk setiap pola

yang diberikan selama jaringan mengalami pelatihan.

2.3.1. Arsitektur Backpropagation

Jaringan Backpropagation memiliki beberapa neuron yang berada dalam satu atau

lebih lapisan tersembunyi (hidden layer). Setiap neuron yang berada dilapisan input

terhubung dengan setiap neuron yang berada di hidden layer. Begitu juga pada hidden

layer, setiap neuronnya terhubung dengan setiap neuron yang ada di output layer.

Jaringan saraf tiruan Backpropagation terdiri dari banyak lapisan (multi layer),

yaitu:

1. Lapisan masukan (input layer)

Input layer sebanyak 1 lapis yang terdiri dari neuron – neuron input, mulai dari

neuron input pertama sampai neuron input ke-n. Input layer merupakan

penghubung yang mana lingkungan luar memberikan sebuah pola kedalam jaringan

saraf. Sekali sebuah pola diberikan kedalam input layer, maka output layer akan

memberikan pola yang lainnya (Heaton, 2008). Pada intinya input layer akan

merepresentasikan kondisi yang dilatihkan kedalam jaringan. Setiap input akan

merepresentasikan beberapa variabel bebas yang memiliki pengaruh terhadap

output layer.

2. Lapisan tersembunyi (hidden layer)

Hidden layer berjumlah minimal 1 lapis yang terdiri dari neuron-neuron

tersembunyi mulai dari neuron tersembunyi pertama sampai neuron tersembunyi

ke-p. Menentukan jumlah neuron pada hidden layer merupakan bagian yang

sangat penting dalam arsitektur jaringan saraf.

Ada beberapa aturan metode berdasarkan pengalaman yang dapat digunakan

untuk menentukan jumlah neuron yang akan digunakan pada hidden layer. Menurut

Haykin (1999) jumlah hidden neuron 2 sampai dengan 9 sudah dapat menghasilkan


15

hasil yang baik dalam jaringan, namun pada dasarnya jumlah hidden neuron yang

digunakan dapat berjumlah sampai dengan tak berhingga (~). Sedangkan menurut

Heaton (2008), ada beberapa aturan yang dapat digunakan untuk menentukan

banyaknya jumlah neuron pada hidden layer yaitu:

a. Jumlah hidden neuron harus berada diantara ukuran input layer dan output

layer.

b. Jumlah hidden neuron harus 23 dari ukuran input layer, ditambah ukuran

output layer.

c. Jumlah hidden neuron harus kurang dari dua kali jumlah input layer.

Aturan-aturan tersebut hanya berupa pertimbangan dalam menentukan

arsitektur jaringan saraf tiruan. Bagaimanapun, penentuan arsitektur jaringan akan

kembali pada trial and error sesuai dengan masalah yang ditangani oleh jaringan.

3. Lapisan keluaran (output layer)

Output layer berjumlah satu lapis yang terdiri dari neuron-neuron output mulai dari

neuron output pertama sampai neuron output ke-m. Output layer dari jaringan saraf

adalah pola yang sebenarnya diberikan oleh lingkungan luarnya (external

environment). Pola yang diberikan output layer dapat secara langsung ditelusuri

kembali ke input layernya. Jumlah dari neuron output tergantung dari tipe dan

performa dari jaringan saraf itu sendiri.

X1

Xi

Xn

Z1

Zj

Zp

Y1

Y2

Y3

bb

V11

Vj1

Vp1

V1iV1i

Vpi

V1nVn1

Vpn

w11

wj1

Wp1

w1jwji

wpi

w1pwp1

wpn

Gambar 2.5 Arsitektur Backpropagation

Gambar 2.5 adalah arsitektur Backpropagation dengan n buah masukan

(ditambah dengan bias), sebuah layar tersembunyi Z1 (Vji merupakan bobot garis


16

yang menghubungkan bias di neuron input ke neuron layar tersembunyi Zj). Wkj

merupakan bobot dari neuron layar tersembunyi Zj ke neuron keluaran Yk ( Wk0

merupakan bobot dari bias di layar tersembunyi ke neuron keluaran Yk). Pelatihan

Backpropagation meliputi tiga fase, yaitu :

1. Fase I: Propagasi maju

Selama propagasi maju, sinyal masukan dipropagasikan ke hidden layer

menggunakan fungsi aktivasi yang telah ditentukan hingga menghasilkan keluaran

jaringan. Keluaran jaringan dibandingkan dengan target yang harus dicapai. Selisih

antara target dengan keluaran merupakan kesalahan yang terjadi. Jika kesalahan

lebih kecil dari batas toleransi, maka iterasi dihentikan. Akan tetapi jika kesalahan

lebih besar, maka bobot setiap garis dalam jaringan akan dimodifikasi untuk

mengurangi kesalahan yang terjadi.

2. Fase II: Propagasi mundur

Kesalahan yang terjadi di propagasi mundur mulai dari garis yang berhubungan

langsung dengan neuron-neuron dilayar keluaran.

3. Fase III: Perubahan bobot

Pada fase ini, bobot semua garis dimodifikasi secara bersamaan. Ketiga fase

tersebut diulang- ulang terus hingga kondisi penghentian dipenuhi. Kondisi

penghentian yang sering dipakai adalah jumlah maksimal iterasi (epoch) atau

minimal kesalahan (error).

2.3.2. Algoritma Pelatihan Backpropagation

Berikut adalah algoritma pelatihan Backpropagation dengan arsitektur satu hidden

layer (Fausset, 1994):

Langkah 0 Inisialisasi bobot (set dengan bilangan acak kecil)

Langkah 1 Jika kondisi berhenti masih belum terpenuhi, lakukan langkah 2-9.

Langkah 2 Untuk setiap pasang pelatihan, lakukan langkah 3-8

Feedforwad

Langkah 3 Setiap neuron input (𝑋𝑖 , 𝑖 = 1, … , 𝑛) menerima sinyal input 𝑋𝑖 dan

meneruskan sinyal ini kesemua neuron pada lapisan di atasnya (hidden


17

neuron). Berikut merupakan ilustrasi bagaimana sinyal dipropagasikan

keseluruh input layer. 𝑊(𝑥𝑚 )𝑛 merupakan bobot penghubung pada

input layer.

Gambar 2.6 Propagasi sinyal ke neuron pertama pada input layer

(www.home.agh.edu.pl)

Gambar 2.7 Propagasi sinyal ke neuron kedua pada input layer


Gambar 2.8 Propagasi sinyal ke neuron ketiga pada input layer


Langkah 4 Setiap hidden neuron (𝑍𝑗 , 𝑗 = 1, … , 𝑝) menjumlahkan bobot dari

sinyal-sinyal inputnya.

𝑍_𝑖𝑛𝑗 = 𝑉0𝑗 + 𝑋𝑖𝑉𝑖𝑗𝑛𝑖=1 (10)

Kemudian gunakan fungsi aktivasi untuk menghitung nilai sinyal

outputnya.


18

𝑍𝑗 = 𝑓(𝑍_𝑖𝑛𝑗 ) (11)

Dan kirimkan sinyal ini ke semua neuron yang berada pada lapisan

diatasnya (output neuron). Gambar berikut merupakan ilustrasi

bagaimana sinyal dipropagasikan keseluruh hidden layer.

𝑊𝑚𝑛 merupakan bobot penghubung pada hidden layer.

Gambar 2.9 Propagasi sinyal ke neuron pertama pada hidden layer


Gambar 2.10 Propagasi sinyal ke neuron kedua pada hidden layer


Langkah 5 Setiap output neuron (𝑌𝑘 , 𝑘 = 1, … , 𝑚) menjumlahkan bobot dari

sinyal-sinyal inputnya.

𝑌_𝑖𝑛𝑘 = 𝑊0𝑘 + 𝑍𝑘𝑊𝑗𝑘𝑝𝑗 =1 (12)

Dan menerapkan fungsi aktivasinya untuk menghitung nilai sinyal

outputnya.

𝑌𝑘 = 𝑓(𝑦𝑖𝑛 𝑘) (13)

Gambar 2.11 merupakan ilustrasi yang dapat menjelaskan bagaimana

sinyal dipropagasikan ke output layer.


19

Gambar 2.11 Propagasi sinyal ke neuron output (www.home.agh.edu.pl)

Backpropagation error

Langkah 6 Setiap neuron output (𝑌𝑘 , 𝑘 = 1, … , 𝑚) menerima sebuah pola target

yang sesuai pada input pola pelatihan, kemudian menghitung

informasi kesalahannya.

𝛿𝑘 = 𝑡𝑘 − 𝑦𝑘 𝑓′ (𝑦_𝑖𝑛𝑘) (14)

Hitung koreksi bobot (yang nantinya akan dipakai untuk merubah

bobot 𝑊𝑗𝑘 )

∆𝑊𝑗𝑘 = 𝛼𝛿𝑘𝑍𝑗 (15)

Hitung koreksi bias (yang nantinya akan digunakan untuk merubah

bobot 𝑊0𝑘

∆𝑊0𝑘 = 𝛼𝛿𝑘 (16)

Dan kirim 𝛿𝑘 ke neuron pada lapisan dibawahnya. Berikut ini adalah

ilustrasi dari prosesnya.

Gambar 2.12 Perbandingan sinyal keluaran dan target (www.home.agh.edu.pl)

Langkah 7 Setiap hidden neuron (𝑍𝑗 , 𝑗 = 1, … , 𝑝) menjumlahkan delta input (dari

neuron yang berada dilapisan bawahnya),

𝛿_𝑖𝑛𝑗 = 𝛿𝑘𝑊𝑗𝑘𝑚𝑘=1 (17)


20

Mengalikan dengan turunan dari fungsi aktivasinya untuk menghitung

informasi errornya.

𝛿𝑗 = 𝛿_𝑖𝑛𝑗𝑓′ (𝑍_𝑖𝑛𝑗 ) (18)

Hitung koreksi bobotnya (yang nantinya akan digunakan untuk

mengupdate 𝑉𝑖𝑗

∆𝑉𝒊𝒋 = 𝛼𝛿𝑗𝑋𝑖 (19)

Dan hitung koreksi biasnya (yang nantinya akan digunakan untuk

mengupdate 𝑉0𝑗 .

∆𝑉0𝑗 = 𝛼𝛿𝑗 (20)

Prosesnya dapat dilihat dari ilustrasi gambar 2.13 dan 2.14 berikut ini:

Gambar 2.13 Propagasi sinyal error Δ Ke f4(E)


Gambar 2.14 Propagasi sinyal error Δ Ke f5(E)

(www.home.agh.edu.plx)

Koefisien bobot Wmn digunakan untuk mempropagasikan error

kembali adalah sama dengan bobot sebelumnya selama

mengkomputasikan nilai keluaran. Hanya ketika arah alur data berubah


21

(sinyal di propagasikan dari keluaran ke masukan). Teknik ini

digunakan untuk semua lapisan jaringan. Apabila propagasikan error

datang dari beberapa neuron, seperti yang terlihat pada gambar 2.14

sampai 2.16 berikut:

Gambar 2.15 Propagasikan Sinyal Error Δ Ke f1(E) (www.home.agh.edu.pl)

Gambar 2.16 Propagasikan Sinyal Error Δ Ke f2(E) (www.home.agh.edu.pl)

Gambar 2.17 Propagasikan Sinyal Error Δ Ke f3(E) (Fajri, 2011)


22

Update weight and bias

Langkah 8 Setiap neuron output (𝑌𝑘 , 𝑘 = 1, … , 𝑚) mengupdate bias dan bobot-

bobotnya ( j=0, . . . ,p):

𝑊𝑗𝑘 𝑏𝑎𝑟𝑢 = 𝑊𝑗𝑘 𝑙𝑎𝑚𝑎 + ∆𝑊𝑗𝑘 (21)

Setiap hidden neuron (𝑍𝑗 , 𝑗 = 1, … , 𝑝) mengupdate bias dan bobot-

bobotnya (i= 0, . . ., n)

𝑉𝑖𝑗 𝑏𝑎𝑟𝑢 = 𝑉𝑖𝑗 𝑙𝑎𝑚𝑎 + ∆𝑉𝑖𝑗 (22)

Gambar 2.17 sampai dengan gambar 2.22 merupakan ilustrasi dari

proses pengupdate-an bobot:

Gambar 2.18 Modifikasi Bobot Δ1 (www.home.agh.edu.pl)



23





24


Langkah 9 Tes kondisi berhenti dapat dilakukan ketika error yang dihasilkan oleh

jaringan berada pada nilai yang lebih kecil sama dengan (≤) error

target yang diharapkan atau ketika telah mencapai iterasi (epoch)

maksimal yang telah ditetapkan.

Berikut ini adalah contoh perhitungan sederhana dari arsitektur

Backpropagation yang dilakukan secara manual:

X2

X3

X4

X1

b

X5

Z2

Z3

Z1

Y1

b

V11

V12V13

V21

V22

V23

V31

V32

V33

V41V42

V43

V51V52

V53

Z11

Z21

Z22

Gambar 2.24 Contoh Arsitektur Backpropagation

Arsitektur Backpropagation yang terdiri dari 5 buah neuron ditambah sebuah bias

pada input layer dan 3 buah neuron pada hidden layer ditambah sebuah bias dan satu


25

buah output layer. Nilai target pada jaringan adalah 1 dan learning rate 𝛼 = 0.25.

Mula-mula bobot diberi nilai acak pada range [-1, 1]. Misal terdapat bobot seperti

tabel 2.1 (bobot dari input layer ke hidden layer = 𝑉𝑖𝑗 ) dan tabel 2.2 (bobot dari

hidden layer ke output layer =𝑊𝑘𝑗 ).

Tabel 2.1 Bobot dari input layer ke hidden layer

𝒁𝟏 𝒁𝟐 𝒁𝟑

𝑿𝟏 = 4 -1 0.75 -0.25

𝑿𝟐 = 7 0.4 0.23 0.11

𝑿𝟑 = 11 0.17 0.05 -0.18

𝑿𝟒 = 6 0.29 0.55 0.03

𝑿𝟓 = 21 0.21 1 0.15

b = 1 0.2 -08 1

Tabel 2.2 Bobot dari hidden layer ke output layer

Y

𝒁𝟏 0.1

𝒁𝟐 0.03

𝒁𝟑 0.5

b=1 0.1

Normalisasi data input kedalam range [0, 1] dengan menggunakan rumus berikut:

x′ =0.8 x − min

max − min+ 0.1

(Siang, 2004)

Keterangan:

x’ = x yang telah dinormalisasi

x = x sebelum dinormalisasi

min = nilai minimum dari seluruh data

max = nilai maksimum dari seluruh data


26

Maka didapatkan hasil input normalisasi dengan nilai minimum = 4 dan nilai

maksimum = 21.

X1′ =

0.8 4 − 4

21 − 4+ 0.1 = 0.1

X2′ =

0.8 7 − 4

21 − 4+ 0.1 = 0.24

X3′ =

0.8 11 − 4

21 − 4+ 0.1 = 0.33

X4′ =

0.8 6 − 4

21 − 4+ 0.1 = 0.19

X5′ =

0.8 21 − 4

21 − 4+ 0.1 = 0.9

Hitung nilai output dari masing-masing hidden neuron dengan persamaan (10):

𝑍_𝑖𝑛𝑗 = 𝑉0𝑗 + 𝑋𝑖𝑉𝑖𝑗𝑛𝑖=1

𝑍𝑖𝑛 1= 1 0.2 + 0.1 −1 + 0.24 0.4 + 0.33 0.17 + 0.19 0.29 + 0.9 0.21

= 0.2 + −0.1 + 0.096 + 0.561 + 0.551 + 0.189

= 1.48

𝑍𝑖𝑛 2= 1 −0.8 + 0.1 0.75 + 0.24 0.23 + 0.33 0.05 + 0.19 0.55 + 0.9 1

= −0.8 + 0.75 + 0.552 + 0.165 + 0.104 + (0.9)

= 1.67

𝑍𝑖𝑛 3= 1 1 + 0.1 −0.25 + 0.24 0.11 + 0.33 −0.18 + 0.19 0.03 + 0.9 0.15

= 1 + −0.25 + 0.026 + (−0.059) + 0.006 + 0.135

= 0.86

Kemudian terapkan fungsi aktivasi untuk masing-masing neuronnya menggunakan

persamaan (11), dalam soal ini diterapkan fungsi aktivasi sigmoid biner.

𝑍𝑗 = 𝑓 𝑍_𝑖𝑛 𝑗 =

1

1+𝑒−(𝑧𝑖𝑛 𝑗

)


27

𝑍1 =1

1+𝑒−1.48 = 1.23

𝑍2 =1

1+𝑒−1.67 = 1.19

𝑍3 =1

1+𝑒−0.86 = 1.42

Hitung nilai output dari neuron Y menggunakan persamaan (12) seperti berikut:

𝑌_𝑖𝑛𝑘 = 𝑊0𝑘 + 𝑍𝑘𝑊𝑗𝑘𝑝𝑗 =1

Karena jaringan hanya memiliki sebuah output Y, maka

𝑌𝑛𝑒𝑡 = 1 0.1 + 1.23 0.1 + 1.19 0.03 + 1.42(0.5)

= 0.97

𝑌 = 𝑓 𝑌𝑛𝑒𝑡 =1

1+𝑒−(𝑌𝑛𝑒𝑡 ) = 1

1+𝑒−(0.97) = 1.38

Hitung faktor 𝛿 pada neuron output Y𝑘 sesuai dengan persamaan (14)

𝛿𝑘 = 𝑡𝑘 − 𝑦𝑘 𝑓′ (𝑦_𝑖𝑛𝑘) = 𝑡𝑘 − 𝑦𝑘 𝑦𝑘 (1 − 𝑦𝑘 )

= 1 − 1.38 1.38 1 − 1.38

= 0.20

Suku perubahan bobot 𝑊𝑘𝑗 (dengan 𝛼 = 0.25) adalah sebagai berikut:

∆𝑊𝑗𝑘 = 𝛼𝛿𝑘𝑍𝑗 ; 𝑗 = 0,1 … 3

∆𝑊10 = 0.25 0.20 1 = 0.05

∆𝑊11 = 0.25 0.20 1.23 = 0.01

∆𝑊12 = 0.25 0.20 1.19 = 0.06

∆𝑊13 = 0.25 0.20 1.42 = 0.07

Hitung penjumlahan kesalahan di hidden neuron (= 𝛿):

𝛿_𝑛𝑒𝑡𝑗 = 𝛿𝑘𝑊𝑘𝑚𝑘=1 karena jaringan hanya memiliki sebuah neuron output maka

𝛿_𝑛𝑒𝑡𝑗 = 𝛿𝑊1𝑗

𝛿𝑛𝑒𝑡 1= 0.20 0.1 = 0.20

𝛿_𝑛𝑒𝑡2 = 0.20 0.03 = 0.01

𝛿_𝑛𝑒𝑡3 = 0.20 0.5 = 0.1


28

Faktor kesalahan 𝛿 di hidden neuron:

𝛿𝑗 = 𝛿_𝑛𝑒𝑡𝑗𝑓′ (𝑍_𝑛𝑒𝑡𝑗 ) = 𝛿_𝑛𝑒𝑡𝑗 𝑍𝑗 (1 − 𝑍𝑗 )

𝛿1 = 0.20 1.23 1 − 1.23 = −0.06

𝛿2 = 0.01 1.19 1 − 1.19 = −0.002

𝛿3 = 0.1 1.42 1 − 1.42 = −0.06

Suku perubahan bobot ke hidden neuron ∆𝑉𝑗 = 𝛼𝛿𝑖𝑋𝑖 dimana 𝑗 = 1,2,3; 𝑖 =

0,1, … 5 .

Tabel 2.3 Suku Perubahan Bobot Hidden Neuron

𝒁𝟏 𝒁𝟐 𝒁𝟑

𝑿𝟏 ∆𝑉11

= 0.25 −0.06 0.1

= −0.0015

∆𝑉21

= 0.25 −0.002 0.1

= −0.00005

∆𝑉31

= 0.25 −0.06 0.1

= −0.0015

𝑿𝟐 ∆𝑉12

= 0.25 −0.06 0.24

= −0.004

∆𝑉22

= 0.25 −0.002 0.24

= −0.0012

∆𝑉32

= 0.25 −0.06 0.24

= −0.004

𝑿𝟑 ∆𝑉13

= 0.25 −0.06 0.33

= −0.005

∆𝑉23

= 0.25 −0.002 0.33

= −0.000165

∆𝑉33

= 0.25 −0.06 0.33

= −0.005

𝑿𝟒 ∆𝑉14

= 0.25 −0.06 0.19

= −0.003

∆𝑉24

= 0.25 −0.002 0.19

= −0.000095

∆𝑉34

= 0.25 −0.06 0.19

= −0.003

𝑿𝟓 ∆𝑉15

= 0.25 −0.06 0.9

= −0.01

∆𝑉25

= 0.25 −0.002 0.9

= −0.00045

∆𝑉35

= 0.25 −0.06 0.9

= −0.01

b=1 ∆𝑉10

= 0.25 −0.06 1

= −0.02

∆𝑉20

= 0.25 −0.002 1

= −0.0005

∆𝑉30

= 0.25 −0.06 1

= −0.02


29

Perubahan bobot neuron output:

𝑊𝑗𝑘 𝑏𝑎𝑟𝑢 = 𝑊𝑗𝑘 𝑙𝑎𝑚𝑎 + ∆𝑊𝑗𝑘 𝑘 = 1; 𝑗 = 0, … ,3

𝑊11 𝑏𝑎𝑟𝑢 = 0.1 + 0.01 = 0.11

𝑊12 𝑏𝑎𝑟𝑢 = 0.03 + 0.06 = 0.09

𝑊13 𝑏𝑎𝑟𝑢 = 0.5 + 0.07 = 0.57

𝑊10 𝑏𝑎𝑟𝑢 = 0.1 + 0.05 = 0.15

Perubahan bobot hidden neuron:

𝑉𝑗𝑖 𝑏𝑎𝑟𝑢 = 𝑉𝑗𝑖 𝑙𝑎𝑚𝑎 + ∆𝑉𝑗𝑖 𝑘 = 1; 𝑖 = 0, … ,5

Tabel 2.4 Perubahan Bobot Hidden Neuron

𝒁𝟏 𝒁𝟐 𝒁𝟑

𝑿𝟏 ∆𝑉11 𝑏𝑎𝑟𝑢

= −1 + (−0.0015)

= −1.0015

∆𝑉21 𝑏𝑎𝑟𝑢

= 0.75 + (−0.00005)

= 0.75

∆𝑉31

= −0.25

+ −0.0015

= (−0.25)

𝑿𝟐 ∆𝑉12

= 0.4 + −0.004

= 0.40

∆𝑉22

= 0.23 + −0.0012

= 0.23

∆𝑉32

= 0.11 + −0.004

= 0.11

𝑿𝟑 ∆𝑉13

= 0.17 + −0.005

= 0.17

∆𝑉23 = 0.055 +

−0.000165

= 0.55165

∆𝑉33

= −0.18 + 0.005

= (−0.18)

𝑿𝟒 ∆𝑉14

= 0.29 + −0.003

= 0.29

∆𝑉24

= 0.55

+ −0.000095 = 0.55

∆𝑉34

= 0.03 + −0.003

= 0.3

𝑿𝟓 ∆𝑉15

= 0.21 + −0.01

= 0.2

∆𝑉25 = 1 + −0.00045

= 0.9995

∆𝑉35

= 0.15 + −0.01

= 0.15

b=1 ∆𝑉10 = 0.2 + −0.02

= 0.18

∆𝑉20

= −0.8 + −0.0005

= −0.8

∆𝑉30 = 1 + −0.02

= 0.98

Ulangi iterasi hingga maksimal epoch atau Error Jaringan ≤ Error target.


30

2.3.3. Inisialisasi Bobot Awal dan Bias

Bobot merupakan salah satu faktor penting agar jaringan dapat melakukan generalisasi

dengan baik terhadap data yang dilatihkan kedalamnya (Fitrisia dan Rakhmatsyah,

2010). Pemilihan inisialisasi bobot awal akan menentukan apakah jaringan mencapai

global minimum atau hanya lokal minimum dan seberapa cepat konvergensi

jaringannya.

Peng-update-an antara dua buah neuron tergantung dari kedua turunan fungsi

aktivasi yang digunakan pada neuron yang berada pada lapisan diatasnya dan juga

fungsi aktivasi neuron yang berada pada lapisan bawahnya. Nilai untuk inisialisasi

bobot awal tidak boleh terlalu besar, atau sinyal untuk setiap hidden atau output

neuron kemungkinan besar akan berada pada daerah dimana turunan dari fungsi

sigmoid memiliki nilai yang sangat kecil. Dengan kata lain, jika inisialisasi bobot awal

terlalu kecil, input jaringan ke hidden atau output neuron akan mendekati nol, yang

mana akan menyebabkan pelatihan akan menjadi sangat lambat (Fausset, 1994). Ada

beberapa metode inisilisasi bobot yang dapat digunakan, yaitu:

2.3.3.1. Inisialisasi Acak

Prosedur umum yang digunakan adalah menginisialisasi bobot dan bias (baik dari

input neuron ke hidden neuron maupun dari hidden neuron ke output neuron) dengan

nilai acak antara -0.5 dan 0.5 atau antara -1 dan 1 (atau dengan menggunakan interval

tertentu – 𝛾 dan 𝛾. Nilai bobot menggunakan nilai posotif atau negatatif karena nilai

bobot akhir setelah pelatihan juga dapat bernilai keduanya.

2.3.3.2. Inisialisasi Nguyen-Widrow

Inisialisasi Nguyen-Widrow merupakan modifikasi bobot acak yang membuat

inisialisasi bobot dan bias ke hidden neuron sehingga menghasilkan iterasi lebih cepat.


31

Bobot-bobot dari hidden neuron ke output neuron (dan bias pada output neuron)

diinisialisasikan dengan nilai acak antara -0.5 dan 0.5.

Inisialisasi bobot-bobot dari input neuron ke hidden neuron didesain untuk

meningkatkan kemampuan hidden neuron untuk belajar. Inisialisasi bobot dan bias

secara acak hanya dipakai dari input neuron ke hidden neuron saja, sedangkan untuk

bobot dan bias dari hidden neuron ke output neuron digunakan bobot dan bias diskala

khusus agar jatuh pada range tertentu. Faktor skala Nguyen-Widrow didefinisikan

sebagai berikut:

𝛽 = 0.7(𝑝)1

𝑛 (23)

Keterangan:

n : Banyak input neuron

p : Banyak hidden neuron

β : Faktor skala

Prosedur Inisialisasi Nguyen-Widrow terdiri dari langkah-langkah sederhana

sebagai berikut:

Untuk setiap hidden neuron ( j = 1, ..., p):

𝑉𝑖𝑗 𝑙𝑎𝑚𝑎 = 𝑏𝑖𝑙𝑎𝑛𝑔𝑎𝑛 𝑎𝑐𝑎𝑘 𝑎𝑛𝑡𝑎𝑟𝑎 − 0.5 𝑑𝑎𝑛 0.5 (𝑎𝑡𝑎𝑢 𝑎𝑛𝑡𝑎𝑟𝑎 − 𝛾 𝑑𝑎𝑛 𝛾)

Hitung 𝑉𝑗𝑖 𝑙𝑎𝑚𝑎 = 𝑉1𝑗 (𝑙𝑎𝑚𝑎)2 + 𝑉2𝑗 (𝑙𝑎𝑚𝑎)2 + … + 𝑉𝑛𝑗 (𝑙𝑎𝑚𝑎)2 (24)

Bobot yang dipakai sebagai inisialisasi:

𝑉𝑖𝑗 =𝛽 𝑉𝑖𝑗 (𝑙𝑎𝑚𝑎 )

| 𝑉𝑖𝑗 | (25)

Bias yang dipakai sebagai inisialisasi:

𝑉0𝑗 = 𝑏𝑖𝑙𝑎𝑛𝑔𝑎𝑛 𝑎𝑐𝑎𝑘 𝑎𝑛𝑡𝑎𝑟𝑎 − 𝛽 𝑑𝑎𝑛 𝛽


32

2.3.4. Momentum (𝜶)

Pada standard Backpropagation, perubahan bobot didasarkan atas gradient yang

terjadi untuk pola yang dimasukkan pada saat itu. Modifikasi yang dapat dilakukan

adalah dengan menggunakan momentum yaitu dengan melakukan perubahan bobot

yang didasarkan atas arah gradient pola terakhir dan pola sebelumnya yang

dimasukkan. Penambahan momentum dimaksudkan untuk menghindari perubahan

bobot yang mencolok yang diakibatkan oleh adanya data yang sangat berbeda dengan

yang lain. Variabel momentum dapat meningkatkan waktu pelatihan dan stabilitas dari

proses pelatihan (Al-Allaf, 2010). Berikut merupakan rumus dari Backpropagation:

∆𝑊 = 𝜂 ∗ 𝛿 ∗ 𝑛𝑖 (26)

Keterangan:

η : learning rate. Nilainya 0.25 atau 0.5

𝑛𝑖 : nilai dari neuron ke i

Perubahan bobot dilakukan dengan cara menambahkan bobot yang lama

dengan ∆w. Akan tetapi, bobot pada iterasi sebelumnya memberikan pengaruh besar

terhadap performa jaringan saraf. Oleh karena itu, perlu ditambahkan dengan bobot

yang lama dikalikan momentum, menjadi :

∆𝑊 = 𝜂 ∗ 𝛿 ∗ 𝑛𝑖 + 𝛼 ∗ Δ𝑊′ (27)

Keterangan :

α : momentum faktor, nilainya antara 0 dan 1.

∆w’ : bobot pada iterasi sebelumnya.

Teknik momentum tidak menutup kemungkinan dari konvergensi pada lokal

minimum, akan tetapi penggunaan teknik ini dapat membantu untuk keluar dari lokal

minima (Li et al, 2009).


33

2.3.5. Perhitungan Error

Perhitungan error bertujuan untuk pengukuran keakurasian jaringan dalam mengenali

pola yang diberikan. Ada tiga macam perhitungan error yang sering digunakan, yaitu

Mean Square Error (MSE), Mean Absolute Error (MAE) dan Mean Absolute

Percentage Error (MAPE).

MSE merupakan error rata–rata kuadrat dari selisih antara output jaringan

dengan output target. Tujuan utama adalah memperoleh nilai errorsekecil-kecilnya

dengan secara iterative mengganti nilai bobot yang terhubung pada semua neuron

pada jaringan. Untuk mengetahui seberapa banyak bobot yang diganti, setiap iterasi

memerlukan perhitungan error yang berasosiasi dengan setiap neuron pada output dan

hidden layer. Rumus perhitungan MSE adalah sebagai berikut (Bayata et al, 2011):

𝑀𝑆𝐸 =1

𝑁 (𝑡𝑘 − 𝑦𝑘 )2𝑁

𝑖=1 (28)

Keterangan:

𝑡𝑘 = nilai output target

𝑦𝑘 = nilai output jaringan

N = jumlah output dari neuron

MAE merupakan perhitungan error hasil absolute dari selisih antara nilai hasil

system dengan nilai aktual. Rumus perhitungan MAE adalah sebagai berikut:

𝑀𝐴𝐸 =1

𝑁 |𝑡𝑘 − 𝑦𝑘 |𝑁

𝑖=1 (29)

MAPE hampir sama dengan MAE, hanya hasilnya dinyatakan dalam

persentase. Rumus perhitungan MAPE adalah sebagai berikut:

𝑀𝐴𝑃𝐸 =1

𝑁 |𝑡𝑘 − 𝑦𝑘 |𝑁

𝑖=1 x 100% (30)

2.3.6. Penggantian bobot

Penggantian bobot jaringan dilakukan jika error yang dihasilkan oleh jaringan tidak

lebih kecil sama dengan (≤) nilai error yang telah ditetapkan. Bobot baru didapat


34

dengan menjumlahkan bobot yang lama dengan ∆𝑤. Rumus untuk mengganti bobot

adalah sebagai berikut:

∆𝑤 = η ∗ δi ∗ 𝑛𝑖 (31)

Keterangan:

η = learning rate

δi = error yang berasosiasi dengan neuron yang dihitung

𝑛𝑖 = nilai error dari neuron yang dihitung

Berikut adalah rumus penggantian bobot tanpa momentum:

𝑤𝑗𝑘 𝑡 + 1 = 𝑤𝑗𝑘 𝑡 + ∆𝑤𝑗𝑘 (32)

∆𝑤𝑗𝑘 = −𝛼 𝜕𝐸 (𝑤 𝑗𝑘 )

𝜕𝑤 𝑗𝑘 (33)

𝑣𝑖𝑗 𝑡 + 1 = 𝑣𝑖𝑗 𝑡 + ∆𝑣𝑖𝑗 (34)

∆𝑣𝑖𝑗 = −𝛼 𝜕𝐸 (𝑣𝑖𝑗 )

𝜕𝑣𝑖𝑗 (35)

Rumus penggantian bobot menggunakan momentum:

𝑤𝑗𝑘 𝑡 + 1 = 𝑤𝑗𝑘 𝑡 + ∆𝑤𝑗𝑘 + η ∆wjk (𝑡 − 1) (36)

∆𝑤𝑗𝑘 = −𝛼 𝜕𝐸 (𝑤 𝑗𝑘 )

𝜕𝑤 𝑗𝑘 (37)

𝑣𝑖𝑗 𝑡 + 1 = 𝑣𝑖𝑗 𝑡 + ∆𝑣𝑖𝑗 + η ∆vij (𝑡 − 1) (38)

∆𝑣𝑖𝑗 = −𝛼 𝜕𝐸 (𝑣𝑖𝑗 )

𝜕𝑣𝑖𝑗 (39)

2.3.7. Testing

Pada proses testing JST hanya akan diterapkan tahap propagasi maju. Setelah training

selesai dilakukan, maka bobot-bobot yang terpilih akan digunakan untuk

menginisialisasi bobot pada proses testing JST. Adapun tahapannya adalah sebagai

berikut:

1. Masukkan nilai input dari data testing.

2. Lakukan perhitungan neuron-neuron pada hidden layer dengan rumus:


35

𝑍𝑖𝑛𝑗 = 𝑉0𝑗 + 𝑋𝑖 . 𝑉𝑖𝑗𝑛𝑖=1 (40)

3. Hitung hasil output dari masing-masing hidden layer dengan menerapkan

kembali fungsi aktivasi.

𝑍𝑗 = 𝑓(𝑍𝑖𝑛𝑗 ) (41)

= 1

1+𝑒−𝑍_𝑖𝑛𝑗 (42)

Sinyal tersebut kemudian akan diteruskan kesemua neuron pada lapisan

berikutnya yaitu output layer.

4. Setiap neuron pada output layer (Yk, k=1,..,5) menjumlahkan sinyal-sinyal

output beserta bobotnya:

𝑌𝑖𝑛𝑘 = 𝑊0𝑘 + 𝑍𝑗 . 𝑊𝑗𝑘𝑛𝑖=1 (43)

5. Menerapkan kembali fungsi aktivasi untuk menghitung sinyal output

𝑌𝑘 = 𝑓(𝑌_𝑖𝑛𝑘) (44)

= 1

1+𝑒−𝑌_𝑖𝑛𝑘 (45)

2.3.8. Metode Resilient Backpropagation

Resilient backpropagation (Rprop) dikembangkan oleh Martin Riedmiller dan

Heinrich Braun pada tahun 1992. Metode ini adalah salah satu modifikasi dari proses

standard Backpropagation yang digunakan untuk mempercapat laju pembelajaran

pada pelatihan jaringan syaraf tiruan Backpropagation. Rprop dikembangkan untuk

menghindari perubahan gradien yang terlalu kecil selama proses update dengan fungsi

aktivasi sigmoid, yang menyebabkan pembentukan jaringan menjadi lambat. Dalam

proses update weight, Rprop memiliki faktor delta, dimana nilai delta akan mengikuti

arah perubahan weight. Jika perubahan weight kecil, nilai delta akan membesar,

sebaliknya, ketika perubahan weight aktif, nilai delta akan mengecil.


36

Rprop melaksanakan dua tahap pembelajaran yaitu tahap maju (forward)

untuk mendapatkan error output dan tahap mundur (backward) untuk mengubah nilai

bobot-bobot. Proses pembelajaran pada algoritma RPROP diawalai dengan definisi

masalah, yaitu menentukan matriks masukan (P) dan matriks target (T). kemudian

dilakukan proses inisialisasi yaitu menentukan bentuk jaringan, MaxEpoch,

Target_Error, delta_dec, delta_inc, delta0, deltamax, dan menetapkan nilai-nilai

bobot sinaptik vij dan wjk secara acak.

Besarnya perubahan setiap bobot ditentukan oleh suatu faktor yang diatur pada

parameter yang disebut delt_inc dan delt_dec. Apabila gradien fungsi error berubah

tanda dari satu iterasi ke iterasi berikutnya, maka bobot akan berkurang sebesar

delt_dec. Sebaliknya apabila gradien error tidak berubah tanda dari satu iterasi ke

iterasi berikutnya, maka bobot akan berkurang sebesar delt_inc. Apabila gradien error

sama dengan 0 maka perubahan sama dengan perubahan bobot sebelumnya. Pada

awal iterasi, besarnya perubahan bobot diinisalisasikan dengan parameter delta0.

Besarnya perubahan tidak boleh melebihi batas maksimum yang terdapat pada

parameter deltamax, apabila perubahan bobot melebihi batas maksimum perubahan

bobot, maka perubahan bobot akan ditentukan sama dengan maksimum perubahan

bobot.


Documents

repository.usu.ac.id › bitstream › handle › 123456789 › 34773 › Chapter II.pdf?sequence=4... BAB II LANDASAN TEORIkarakteristik penting, yaitu fungsi aktivasi harus bersifat