1
Architecture Net, Simple Neural Net
2
Materi
1. Model Neuron JST
2. Arsitektur JST
3. Jenis Arsitektur JST
4. MsCulloh Pitts
5. Jaringan Hebb
3
Model Neuron JST
X1
X2
X3
Y1
Y2
Y3
W1
W2
W3
Fungsi aktivasi
Masukkan Keluaran
)(;1
zHyxwzn
i
ii
Bobot
Y1 = X1.W1 + X2.W2 + X3.W3; dst
4
Model Neuron JST
Pada JST, neuron-neuron akan dikumpulkan dalam lapisan lapisan yang disebut dengan layers
Neuron dalam satu lapisan akan dihubungkan dengan neuron pada lapisan lainnya
Kadang muncul juga layer tersembunyi (hidden layer) untuk menambah keakuratan pelatihan
Informasi tersebut bisa dirambatkan secara forward ataupun backward
5
Istilah dalam JST
Neuron: sel syaraf tiruan yang merupakan elemen pengolah JST
Jaringan: bentuk arsitektur JST, kumpulan neuron yang saling berhubungan dan membentuk lapisan
Input: sebuah nilai input yang akan diproses menjadi nilai output
Output: solusi dari nilai input Hidden layer: lapisan yang tidak terkoneksi secara
langsung dengan lapisan input atau output, memperluas kemampuan JST
Bobot: nilai matematis dari sebuah koneksi antar neuron Fungsi aktivasi: fungsi yang digunakan untuk mengupdate
nilai-nilai bobot per-iterasi dari semua nilai input. Fungsi aktivasi sederhana adalah mengakalikan input dengan
bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma)
Berbentuk linier atau tidak linier, dan sigmoid
Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning
6
JST dengan 3 Layer
7
Arsitektur Jaringan
Pola di mana neuron-neuron pada JST disusun berhubungan erat dengan algoritma belajar yang digunakan untuk melatih jaringan.
Secara umum arsitektur jaringan dapat dibagi menjadi empat, yaitu:
Single layer feedforward networks
Multi layer feedforward networks
Recurrent Networks
Lattice Structure
8
Single layer Feedforward Net
Suatu JST biasanya diorganisasikan dalam bentuk lapisan-lapisan (layer).
Pada bentuk paling sederhana hanya terdapat input layer dan output layer, seperti pada gambar di samping
9
Multilayer Feedforward Net
Kelas kedua dari feedforward neural network adalah jaringan dengan satu atau lebih lapis tersembunyi (hidden layer).
10
Recurrent Networks
Recurrent neural network adalah jaringan yang mempunyai minimal satu feedback loop.
Sebagai contoh, suatu recurrent network bisa terdiri dari satu lapisan neuron tunggal dengan masing-masing neuron memberikan kembali outputnya sebagai input pada semua neuron yang lain
11
Recurrent Networks
12
Recurrent Networks
13
Lattice Structure
Sebuah lattice (kisi-kisi) terdiri dari array neuron berukuran satu dimensi, atau dua dimensi, atau lebih.
Berikut adalah lattice satu dimensi dengan 3 neuron yang mendapatkan masukan dari 3 node sumber.
14
Lattice Structure
Berikut adalah lattice dua dimensi dengan 3 kali 3 neuron yang mendapatkan masukan dari 3 node sumber
15
Pengelompokan JST
JST Feed Forward
Tidak mempunyai loop
Contoh: single layer perceptron, mutilayer perceptron, radial basis function
JST Feed Backward (Recurrent)
Memiliki loop, lapisan output akan memberi input lagi bagi lapisan input
Contoh: competitive networks, kohonen, hopfield, ART
16
McCulloch Pitts
Fungsi aktivasi biner Besar bobotnya sama Memiliki threshold yang sama
Contoh buat fungsi logika and, input X1 dan X2, dan Y = 1 jika dan hanya jika inputan 1 X1 X2 Y 1 1 1 1 0 0 0 1 0 0 0 0
)(;1
zHyxwzn
i
ii
17
McCulloch Pitts
Contoh buat fungsi logika or, input X1 dan X2, dan Y = 0 jika dan hanya jika inputan 0 X1 X2 Y 1 1 1 1 0 1 0 1 1 0 0 0
)(;1
zHyxwzn
i
ii
18
Learning
Proses belajar dalam konteks JST dapat didefinisikan sebagai berikut:
Belajar adalah suatu proses di mana parameter-parameter bebas JST diadaptasikan melalui suatu proses perangsangan berkelanjutan oleh lingkungan di mana jaringan berada.
Metode belajar, yaitu:
Supervised learning (belajar dengan pengawasan)
Unsupervised learning (belajar tanpa pengawasan)
Hibrida learning (Gabungan Supervised dan Unsupervised)
19
Supervised Learning
Supervised learning adalah proses belajar yang membutuhkan guru, yaitu sesuatu yang memiliki pengetahuan tentang lingkungan.
Guru bisa direpresentasikan sebagai sekumpulan sampel input-output.
Pembangunan pengetahuan dilakukan oleh guru dengan memberikan respons yang diinginkan kepada JST.
Parameter-parameter jaringan berubah-ubah berdasarkan vektor latih dan sinyal kesalahan, yaitu perbedaan antara keluaran JST dan respons yang diinginkan.
Proses perubahan dilakukan dalam bentuk iterasi.
20
UnSupervised Learning
Unsupervised Learning atau self-organized learning tidak membutuhkan guru untuk membantu proses belajar.
Dengan kata lain, tidak ada sekumpulan sampel input-output atau fungsi tertentu untuk dipelajari oleh jaringan.
JST mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu kategori/kelompok2 tertentu
Salah satu contoh unsupervised learning adalah competitive learning, di mana neuron-neuron saling bersaing untuk menjadi pemenang.
21
Algoritma Pembelajaran Umum
Dimasukkan n data pelatihan
Inisialisasi bobot-bobot jaringan, set i = 1
Masukkan contoh ke-i ke dalam input
Cari tingkat aktivasi unit output menggunakan algoritma yang ditetapkan
Jika memenuhi kriteria output then
exit
else:
Update bobot2 menggunakan fungsi galat error, Bobot baru = bobot lama + delta
If i=n then reset i=1, else i=i+1
22
Simple Neuron
Arsitektur dasar dari semua kemungkinan model JST sederhana (single-layer) ditunjukkan pada gambar disamping
Terdiri dari sebuah layer input dan sebuah output
23
Bias dan Threshold
Bias
Threshold
24
Linear Separability
Output yes 1
Output no -1
Decision Boundary
25
Hebb Net
Hebb mengusulkan pembelajaran dengan memodifikasi bobot sedemikian shg dua hubungan neuron on dalam waktu yang bersamaan, kemudian bobot diantara kedua neuron tersebut bertambah
26
Algoritma Hebb Net
1. Inisialisasi bobot
2. Untuk setiap input training dan target output, s:t 1. Set aktifasi untuk input
2. Set aktifasi untuk output
3. Hitung bobot dan bias dengan
27
Fungsi AND (biner input & target)
State Perhitungan bobot
Decision Boundary
Proses
28
Fungsi AND (biner input & bipolar target)
State Perhitungan bobot
Decision Boundary
Proses
Pemilihan pola pembelajaran memberikan peranan penting!
29
Fungsi AND (bipolar input & target)
State Perhitungan bobot
Decision Boundary
Proses
Latihan
Buatlah manual atau implementasi dari pengenalan kedua pola berikut:
30