Probabilistic Neural Network

(PNN)

Yusnia Alfi Syahrin

21120110130069

Sistem Komputer - Undip

Pendahuluan

Probabilistic Neural Network (PNN) dikembangkan pertama kali oleh Donald F. Specht

pada tahun 1988.

PNN adalah suatu metode jaringan saraf tiruan (neural network) yang menggunakan

pelatihan (training) supervised. PNN termasuk dalam struktur Feedforward.

PNN berasal dari jaringan Bayesian dan algoritma statistik bernama Kernel Fisher

Discriminant Analysis. Kaidah Bayes dapat digunakan untuk melakukan klasisfikasi

terhadap sejumlah kategori. Pengambilan keputusan didasarkan pada hasil perhitungan

jarak antara fungsi kepekatan peluang dari vector ciri.

PNN biasanya digunakan untuk masalah klasifikasi.

PNN Layers

Secara garis besar, PNN mempunyai tiga lapisan yaitu (Haykin, 1998):

Input layer

Input layer merupakan layer data input bagi PNN.

hidden layer

Pada layer ini menerima data dari input layer yang akan diproses dalam PNN.

output layer

Pada layer ini, node output berupa binary yang menghasilkan keputusan klasifikasi.

PNN Layers

PNN Structures

Struktur PNN lebih detail terdiri dari 3 bagian yaitu input layer, radial basis layer dan

competitive layer (Wu, 2007]

Biasanya digunakan untuk klasifikasi pengenalan struktur daun.

Radial Basis Layer melakukan evaluasi jarak vektor antara vektor input dan baris weight

dalam matriks bobot (weight). Jarak tersebut diskala oleh radial basis function non lineary.

Pada competitive layer dilakukan pencarian jarak terpendek dan menemukan training

pattern dari input pattern berdasarkan jaraknya.

PNN Structures

PNN Architecture

Kerja PNN didasarkan pada penghitungan nilai fungsi kepekatan peluang (fi(x)) untuk setiap

data (vector). Fungsi (f(x)) merupakan fungsi pengambilan keputusan Bayes (g(x)), untuk

data (vector) x dan xij yang telah dinormalisasi. Persamaan fungsi fi(x) atau gi(x) dituliskan

sebagai berikut (Specht 1992, Zaknich 1995)

PNN Architecture

Sampel data untuk pelatihan tidak sama dengan sampel data untuk data pengujian PNN.

Blok diagram arsitektur PNN :

PNN Architecture

Posisi node – node yang dialokasikan dalam PNN setelah lapisan input, adalah:

1. Node Lapisan Pola ( Pattern Layer)

2. Node Lapisan Penjumlahan (Summation Layer)

3. Node Lapisan Keluaran ( Output Layer )

PNN Architecture – Pattern Layer

Node lapisan pola (Pattern Layer), digunakan 1 node pola untuk setiap data pelatihan yang

digunakan. Setiap node pola, merupakan perkalian titik (dot product) dari vector masukkan

x yang akan diklarifikasikan, dengan vector bobot xij , yaitu Zi = x . xij , kemudian dilakukan

operasi non – linier terhadap Zi sebelum menjadi keluaran yang akan mengaktifkan lapisan

penjumlahan, operasi non – linier yang digunakan exp[(Zi – 1) / σ2 ], dan bila x dan xij

dinormalisasikan terhadap panjang vector, maka persamaan yang digunakan pada lapisan

pola, adalah:

PNN Architecture – Summation Layer

Node lapisan penjumlahan (Summation Layer), menerima masukan dari node lapiran pola

yang terkait dengan kelas yang ada, persamaan yang digunakan pada lapisan ini adalah:

PNN Architecture – Output Layer

Node lapisan keluaran (Output layer), menghasilkan keluaran biner (0,1), dan hanya

mempunyai variabel bobot tunggal Ck. Ck dihitung menggunakan persamaan:

Dimana

mik = Jumlah pelatihan pola dari kelas ϴik

mjk = Jumlah pelatihan pola dari kelas ϴjk

How PNN works

Jaringan syaraf probabilistik dapat digunakan untuk menyelesaikan masalah klasifikasi.

Misalkan terdapat Q pasangan vektor input & target, dengan target terdiri-dari K elemen,

maka pada target, satu elemen akan bernilai 1, dan elemen-elemen lainnya akan

bernilai 0. Sehingga tiap-tiap vektor input akan berhubungan dengan 1 vektor dari K

kelas.

How PNN works

Bobot-bobot input pada lapisan pertama akan bernilai sama dengan vektor input, (misal :

P). Output lapisan pertama, a1, merupakan hasil aktivasi dari jarak antara vektor input

dengan bobot input dikalikan dengan bias. Nilai a1 ini akan mendekati 1 apabila vektor

input mendekati vektor bobot, (jarak mendekati 0). Apabila input vektor dekat dengan

beberapa bobot input, maka akan ada beberapa elemen a1 yang dekat dengan 1.

Ouput lapisan pertama ini akan menjadi input bagi lapisan output.

How PNN Works

Pada lapisan output, bobot-bobot lapisan akan dibuat sama dengan vektor-vektor

target. Tiap-tiap vektor target ini akan bernilai 1 hanya pada baris yang berhubungan

dengan vektor input tertentu, yang lainnya akan bernilai 0. Neuron pada lapisan output

akan menjumlahkan hasil perkalian antara bobot output dikalikan dengan a1 (n2).

Output jaringan akan bernilai 1 apabila n2 besar, sebaliknya akan bernilai 0 jika n2 kecil.

PNN Algorithm

Langkah-langkah pelatihan pada PNN adalah sebagai berikut :

Inisialisasi

Melakukan inisialisasi bobot (weight) awal pada radial basis layer yang dilambangkan sebagai W dengan transpose matriks R x Q dari vektor training.

Melakukan inisialisasi bobot bias.

Menghitung jarak (distance) dari data input (P) dengan bobot awal (W).

Menghitung nilai aktivasi dari jarak antara bobot awal dengan data input (W-P), denganmenggunakan fungsi radial basis (radbas).

Mencari bobot baru dan bobot bias yang baru dengan menggunakan metode LMS

Masuk ke dalam competitive layer, menghitung output dari jaringan.

Simpan bobot awal dan bobot akhir ke dalam database berupa file.

PNN Algorithm

Sedangkan untuk langkah-langkah recognition (pengenalan) adalah sebagai berikut :

Mengambil target, bobot awal dan bobot akhir dari database

Meneruskan sinyal input ke hidden layer (radial basis layer) dan mencari jarak antara data

input dengan bobot awal.

Mencari nilai aktivasi dengan menggunakan fungsi radial basis (radbas).

Menghitung output dari jaringan

Membandingkan hasil output dengan target.

Menampilkan hasil pengenalan.

Advantages of PNN

Beberapa kelebihan dari algoritma PNN:

PNN jauh lebih cepat dan lebih akurat daripada jaringan multilayer perceptron.

Jaringan PNN relatif tidak sensitif terhadap outlier.

Jaringan PNN menghasilkan nilai prediksi probabilitas target yang akurat.

Kemudahan yang diberikan untuk modifikasi jaringan, ketika dilakukan penambahan

atau pengurangan data pelatihan (training) yang digunakan.

Disadvantages of PNN

Beberapa kelemahan algoritma PNN adalah:

PNN lebih lambat dari jaringan multilayer perceptron pada saat mengklasifikasikan kasus

baru.

Terjadinya peningkatan penggunaan ruang memori komputer, dan waktu komputasi,

ketika pengunaan data pelatihan bertambah besar, karena semua data pelatihan harus

dimasukkan ke dalam algoritma PNN (Bolat et al. 2002, Zaknich 1995)

Implementation of PNN

Berikut ini merupakan beberapa contoh aplikasi dari implementasi jaringan syaraf tiruanprobabilistik :

Penerapan jaringan syaraf tiruan probabilistik dan transformasi wavelet untuk mengkonversisinyal suara ke string ucapan suku kata bahasa Indonesia.

Klasifikasi Penyakit Daun Teh Menggunakan Transformasi Wavelet & Jaringan Syaraf TiruanProbabilistic (PNN)

Aplikasi Pengenalan Daun untuk Klasifikasi Tanaman dengan Metode Jaringan Syaraf TiruanProbabilistik

Peramalan Harga Saham Menggunakan Jaringan Syaraf Tiruan Metode Probabilistik

Pengenalan Pola Objek 2D Menggunakan Jaringan Syaraf Tiruan Dengan Model PendekatanProbabilistik (PNN)

Pengenalan Huruf Tulisan Tangan Berderau dan Terskala Berbasis Ekstrasi Ciri DCT denganMenggunakan Jaringan Syaraf Probabilistik

References

cicie.files.wordpress.com/2008/06/snati_cicie-uii_.pdf

http://en.wikipedia.org/wiki/Probabilistic_neural_network

http://repository.ipb.ac.id/handle/123456789/9462

http://www.academia.edu/4457378/Gunadarmapnn