1

สอนโดย ดร.หทั�ยร�ตน เกต�มณี�ชั�ยร�ตน ภาควิ�ชัาการจั�ดการเทัคโนโลย�การผล�ตและสารสนเทัศ

บทัทั�! 7: การจั"าแนกประเภทัข้%อม&ล 3

(Classification 3)

Neural Network

Basic Concepts of Neural Networks

โครงข้(ายประสาทั (NN) หร)อ โครงข้(ายประสาทัเทั�ยม (artificial neural network (ANN))เทคโนโลยีคอมพิ วเตอร์�ท�ซึ่��งท��ก�ร์สร์��งคอมพิ วเตอร์�ท�ส�ม�ร์ถปฏิ บั�ต ง�นเหม!อนสมองมน"ษยี� โดยีเคร์!�องจั�กร์มก�ร์ปร์ะมวลผลคล��ยีก�บัหน(วยีคว�มจั��ท�เก)บัไว�ในสมองและส�ม�ร์ถท��ง�นร์(วมก�บัส�ร์สนเทศท�ไม(ชั�ดเจัน

2

Basic Concepts of Neural Networks

การประมวิลผลเชั�งประสาทั (Neural computing) ก�ร์ออกแบับัคอมพิ วเตอร์�เชั งอ�ศ�ยีปร์ะสบัก�ร์ณ์�เพิ!�อสร์��งคอมพิ วเตอร์�แบับัอ�จัฉร์ ยีะท�ท��ง�นโดยีใชั�แบับัจั��ลองต�มฟั2งก�ชั�นของสมองมน"ษยี�

Perceptron โคร์งสร์��งของโคร์งข(�ยีปร์ะส�ทแบับัท�ไม(มชั� 4นแฝงเร์�น (hidden layer)

3

Basic Concepts of Neural Networks

โคร์งข(�ยีปร์ะส�ทเทยีมและของมน"ษยี� (Biological and artificial neural networks) น�วิรอน (Neurons)

เซึ่ลล� (หน(วยีปร์ะมวลผล (processing elements)) ของ biological หร์!อ artificial neural network

น�วิเคล�ยส (Nucleus)ส(วนปร์ะมวลผลกล�งของน วร์อน

เดรนไดน (Dendrite)ส(วนของ biological neuron ท�ร์ �บัอ นพิ"ตเข��ส6(เซึ่ลล�

4

Basic Concepts of Neural Networks

แอ+กซอน (Axon)จั"ดต(อด��นออก(i.e., terminal) จั�ก biological neuron

ไซแนพส (Synapse)ก�ร์เชั!�อมต(อ (ท�ซึ่��งมก�ร์ให�ค(�น�4�หน�ก (weights)) ร์ะหว(�งส(วนปร์ะมวลผลต(�ง ๆ ในโคร์งข(�ยีปร์ะส�ท

5

Basic Concepts of Neural Networks

6

Basic Concepts of Neural Networks

7

Basic Concepts of Neural Networks

องค ประกอบข้อง ANN โทัโพโลจั� (Topology)

ปร์ะเภทของน วร์อนต(�ง ๆ ท�ถ"กจั�ดร์ะเบัยีบัในโคร์งข(�ยีปร์ะส�ทหน��ง ๆ

การแพร(กล�บ (Back propagation)อ�ลกอร์ ธึ�มของก�ร์เร์ยีนร์6 �ท�เป:นท�ร์6 �จั�กก�นดในก�ร์ค��นวณ์เชั งปร์ะส�ท ก�ร์เร์ยีนร์6 �ถ6กกร์ะท��โดยีก�ร์เปร์ยีบัเทยีบัเอ�ต�พิ"ตท�ค��นวณ์ได�ก�บัเอ�ต�พิ"ตท�ต�องก�ร์ (ซึ่��งร์6 �ม�แล�วจั�กอดต)

8

Back Propagation

9

Artificial Neural Network โคร์งข(�ยีปร์ะส�ทเทยีม หร์!อ เคร์!อข(�ยีปร์ะส�ทเทยีม (Artificial

Neural Network : ANN)” หม�ยีถ�ง คอมพิ วเตอร์�ท�ส�ม�ร์ถเลยีนแบับัก�ร์ท��ง�นของสมอง

มน"ษยี�ได� ด�วยีก�ร์ปร์ะมวลผลข�อม6ลส�ร์สนเทศ และองค�คว�มร์6 �ได�ในคร์�วละม�กๆ เป:นร์วมกล"(มแบับัขน�นของหน(วยีปร์ะมวลผลยี(อยีๆ ซึ่��งก�ร์เชั!�อมต(อในโคร์งสร์��งท��ให�เก ดคว�มร์6 � ปร์ะสบัก�ร์ณ์� คว�มฉล�ดของข(�ยีง�น

10

Artificial Neural Network

โคร์งสร์��งของสมองมน"ษยี� vs คอมพิ วเตอร์�

เซึ่ลล�ปร์ะส�ทส(งส�ญญ�ณ์ได�ในอ�ตร์�ส6งส"ดปร์ะม�ณ์ 1000 คร์�4ง/ ว น�ท

ข�4นอยี6(ก�บัคว�มเร์)วของคอมพิ วเตอร์�

ในป2จัจั"บั�นคว�มเร์)ว

ก�ร์ค��นวณ์เลขคณ์ ต สมองคน

ก�ร์จัดจั��และแยีกแยีะร์6ปภ�พิ, เสยีง

สมองคน คอมพิ วเตอร์�

คอมพิ วเตอร์�

11

Artificial Neural Network

Cell body (soma)

DendriteNucleus

ภ�พิเซึ่ลล�ปร์ะส�ท (Neuron)

Axon

Myelin sheath

Synapse

จั�กก�ร์เร์ยีนร์6 �น4ไปใชั�ในก�ร์ว เคร์�ะห� ตคว�มหร์!อคว�มหม�ยีของข�อม6ลท�อยี6(ในล�กษณ์ะคล��ยีก�น ซึ่��งว ธึก�ร์ด�งกล(�วจัะเป:นก�ร์เลยีนแบับัว ธึก�ร์ท��ง�นของสมองมน"ษยี� ใน 2 ล�กษณ์ะด�งน4

1. คว�มร์6 � ปร์ะสบัก�ร์ณ์� หร์!อคว�มฉล�ดน�4นเก ดจั�กกร์ะบัวนก�ร์เร์ยีนร์6 � (learning process)

2. คว�มร์6 �ถ6กเก)บัท� ก�ร์เชั!�อมต(อร์ะหว(�งเซึ่ลล�ปร์ะส�ท หร์!อ น วร์อน (neurons) และ จั"ดปร์ะส�นปร์ะส�ท (synapses) เร์ยีกว(� synaptic weights

12

Artificial Neural Network เลยีนแบับัก�ร์ท��ง�นของสมองมน"ษยี� โดยีใชั�หน(วยี

ปร์ะมวลผลง(�ยีๆ จั��นวนม�ก ต(อก�นเป:นโคร์งสร์��งข�4นม�

13

Artificial Neural Network

ข้%อด� ทนท�นต(อชั"ดข�อม6ลสอนท�มค(�ผ ดพิล�ด ม�กจัะให�คว�มแม(นยี��ในก�ร์ท��น�ยีส6ง ให�ผลล�พิธึ�เป:นเวกเตอร์�ค"ณ์ล�กษณ์ะค(�จัร์ ง หร์!อค(�ไม(ต(อ

เน!�อง ใชั�ได�ดก�บัป2ญห�ก�ร์ร์6 �จั��เสยีง (voice) ล�ยีม!อ

(handwriting) หร์!อ ร์6ปภ�พิ (image)

ข้%อด%อย ใชั�เวล�สอนหร์!อเร์ยีนร์6 �น�น ผลล�พิธึ�หร์!อค(�น�4�หน�กของต�วแปร์ฟั2งก�ชั�นท�ได�จั�กก�ร์

เร์ยีนร์6 �ค(อนข��งเข��ใจัยี�ก14

ประเภทัข้องการเร�ยนร&%แบบโครงข้(ายประสาทัเทั�ยม ก�ร์เร์ยีนแบับัมก�ร์สอน (Supervised Learning)

เป:นก�ร์เร์ยีนแบับัท�มก�ร์ตร์วจัค��ตอบัเพิ!�อให�วงจัร์ข(�ยีปร์�บัต�ว ชั"ดข�อม6ลท�ใชั�สอนวงจัร์ข(�ยีจัะมค��ตอบัไว�คอยีตร์วจัด6ว(�วงจัร์ข(�ยีให�ค��ตอบัท�ถ6กหร์!อไม( ถ��ตอบัไม(ถ6ก วงจัร์ข(�ยีก)จัะปร์�บัต�วเองเพิ!�อให�ได�ค��ตอบัท�ดข�4น (เปร์ยีบัเทยีบัก�บัคน เหม!อนก�บัก�ร์สอนน�กเร์ยีนโดยีมคร์6ผ"�สอนคอยีแนะน��)

ก�ร์เร์ยีนแบับัไม(มก�ร์สอน (Unsupervised Learning)เป:นก�ร์เร์ยีนแบับัไม(มผ6�แนะน�� ไม(มก�ร์ตร์วจัค��ตอบัว(�ถ6ก

หร์!อผ ด วงจัร์ข(�ยีจัะจั�ดเร์ยีงโคร์งสร์��งด�วยีต�วเองต�มล�กษณ์ะของข�อม6ล ผลล�พิธึ�ท�ได� วงจัร์ข(�ยีจัะส�ม�ร์ถจั�ดหมวดหม6( ของข�อม6ลได� (เปร์ยีบัเทยีบัก�บัคน เชั(นก�ร์ท�เร์�ส�ม�ร์ถแยีกแยีะพิ�นธึ"�พิ!ชั พิ�นธึ"�ส�ตว�ต�มล�กษณ์ะร์6ปร์(�งของม�นได�เองโดยีไม(มใคร์สอน)

15

สถาป/ตยกรรมข้องโครงข้(ายประสาทัเทั�ยม เป:นก�ร์แบั(งล�กษณ์ะของก�ร์ท��โคร์งสร์��งและว ธึก�ร์ท��ง�นของ

โคร์งข(�ยีปร์ะส�ทเทยีมออกเป:นแบับัต(�ง ๆ ด�งน4 1. โครงข้(ายการส(งข้%อม&ลแบบไม(ย%อนกล�บ

(Feedforward Network)เป:นสถ�ป2ตยีกร์ร์มท�ก��หนดให�ก�ร์ส(งข�อม6ลจั�กข�อม6ลในชั�4นข�อม6ลข�เข�� (Input Layer) เข��ม�ภ�ยีในชั�4นซึ่(อน (Hidden Layer) และส(งไปยี�งข�อม6ลข�ออก (Output Layer) จัะมท 4ศท�งในก�ร์ไหลของข�อม6ลไปในท ศท�งเดยีวก�น ข�อม6ลท�ปร์ะมวลผลในวงจัร์ข(�ยีจัะถ6กส(งไปในท ศท�งเดยีวจั�ก Input ส(งต(อม�เร์!�อยี ๆ จันถ�ง Output โดยีไม(มก�ร์ยี�อนกล�บัของข�อม6ล หร์!อแม�แต( Nodes ใน layer เดยีวก�นก)ไม(มก�ร์เชั!�อมต(อก�น

Input nodes Output nodes16

สถาป/ตยกรรมข้องโครงข้(ายประสาทัเทั�ยม2. โครงข้(ายการส(งข้%อม&ลแบบย%อนกล�บ (Feedback

Network) เป:นสถ�ป2ตยีกร์ร์มท�ก��หนดให�ก�ร์ส(งข�อม6ลจั�กข�อม6ลในชั�4นข�อม6ล

ข�เข�� (Input Layer) เข��ม�ภ�ยีในชั�4นซึ่(อน (Hidden Layer) และส(งไปยี�งข�อม6ลข�ออก (Output Layer) จัะมท ศท�งในก�ร์ไหลของข�อม6ลไปในท ศท�งเดยีวก�น ข�อม6ลท�ปร์ะมวลผลในวงจัร์ข(�ยีจัะถ6กส(งไปในท ศท�งเดยีวจั�ก Input ส(งต(อม�เร์!�อยี ๆ จันถ�ง Output โดยีมก�ร์ยี�อนกล�บัของข�อม6ล เพิ!�อให�ก�ร์จั��แนกน�4นมปร์ะส ทธึ ภ�พิม�กข�4นน�4นเอง

Input nodes Output nodes17

ก�ร์แบั(งปร์ะเภทต�มร์ะด�บัชั�4นของโคร์งข(�ยี Single-layer Perceptron :: SLP

Multi-layer Perceptron :: MLP

Input layer Output layer

Input layer

Hidden layer

Output layer

18

A Single Layer Perceptron Network

เพิอร์�เซึ่ปตร์อน เป:นโคร์งข(�ยีปร์ะส�ทเทยีมแบับัง(�ยีมหน(วยีเดยีว ท�จั��ลองล�กษณ์ะของเซึ่ลล�ปร์ะส�ท (neuron) ของมน"ษยี�

ถ!อเป:นหน(วยียี(อยีท�ส"ดของข(�ยีง�นปร์ะส�ทเทยีม ซึ่��งท��หน��ท�ร์ �บัอ นพิ"ตเป:นเวกเตอร์�จั��นวนจัร์ งเข��ม�แล�วค��นวณ์ห�ผลร์วมเชั งเส�น (linear combination)

Input node (x1, x2, x3) ค(�น�4�หน�กของอ นพิ"ต (wi1, wi2, wi3)

ฟั2งก�ชั�นกร์ะต"�น(Activate Function)

wi1

wi2

wi3 mi

S yi

x1

x2

x3

19

A Single Layer Perceptron Network

จั��นวนอ นพิ"ตข�4นอยี6(ก�บัจั��นวนแอตทร์ บั วท�ของ input data ฟั2งก�ชั�นกร์ะต"�น (Activation function) ข�4นอยี6(ก�บัล�กษณ์ะข�อม6ล

ของ Output เชั(น ถ�� output ท�ต�องก�ร์เป:น ใชั( หร์!อ ไม(ใชั( เร์�จัะต�องใชั� “ ” “ ”Threshold Function

ถ�� output เป:นค(�ต�วเลขท�ต(อเน!�อง เร์�ต�องใชั� continuous function เชั(น Sigmoid function

Tx

Tx xf

if 0

if 1)(

xนexf

1

1)(

20

ฟั/งก ชั�นกระต�%น (Activation function)

-10 -5 0 5 10-0.2

0

0.2

0.40.6

0.81

1.2

-10 -5 0 5 10-0.2

0

0.2

0.40.6

0.81

1.2

Threshold function

Sigmoid function

a = 2 a = 4

a = 0.5 a = 1

21

การทั"างานข้องวิงจัร A Single Layer Perceptron Network

สมม"ต ว(�มวงจัร์ข(�ยี perceptron ท�ม 2 input nodes และม activation function เป:น threshold function มผลล�พิธึ�แบับั binary output ค!อ 0 และ 1

0 if 0

0 if 1

2211

2211

xwxw

xwxwy

y = 0

x1

x2

+

++

-

-y = 1

ถ�� (x1,x2) อยี6(เหน!อเส�นตร์ง L จัะได� y = 1

ถ�� (x1,x2) อยี6(ใต�เส�นตร์ง L จัะได� y = 0

เส�นตร์ง L = 02211 xwxw

y

w1

w2

x1

x2

^

22

การเร�ยนร&% A Single Layer Perceptron Learning

1. ป<อน Input เข�� Network2. ค��นวณ์ห�ค(� Network Output3. ค��นวณ์ค(� Error 4. ปร์�บัค(� Weight ท"กค(�

5. กล�บัไปท��ข�อ 1 ใหม(จันกว(� Error จัะต���ลงจันยีอมร์�บัได�

yxx output Desired ),(Input 21

)(ˆ 2211 xwxwfyyy ˆ

oldnewwww oldnew ,

t

ส6ตร์ก�ร์ปร์�บัค(� weight

ii xyyw )ˆ( )ˆ( yy rate Learning

23

ต�วิอย(างป/ญหา

humidity Rain Growth0 0 0

0 1 0

1 0 0

1 1 1

w1 = 0.5w2 = 2.5q = 1.0a = 0.2

ค(�เร์ �มต�น

yw1= 0.5

w2= 2.5

humidity(x1)

rain(x2)

x1 x2 y

^

24

ต�วิอย(างการเร�ยนร&%n x1 x2 y y^ Err W1

New

Dw1 W2

New

Dw2QNew

0 0.5 2.5 1

1 0 0 0 0 0 0.5 0 2.5 0 1

2 0 1 0 1 -1 0.5 0 2.3 -0.2 1.2

3 1 0 0 0 0 0.5 0 2.3 0 1.2

4 1 1 1 1 0 0.5 0 2.3 0 1.2

5 0 0 0 0 0 0.5 0 2.3 0 1.2

6 0 1 0 1 -1 0.5 0 2.1 -0.2 1.4

7 1 0 0 0 0 0.5 0 2.1 0 1.4

8 1 1 1 1 0 0.5 0 2.1 0 1.4

9 0 0 0 0 0 0.5 0 2.1 0 1.4

10 0 1 0 1 -1 0.5 0 1.9 -0.2 1.6

… … … … … … … … … … …

)(ˆ 2211 xwxwfy

yy ˆ

ii xyyw )ˆ( )ˆ( yy

new old

new old

w w w

25

กราฟัผลล�พธ์ จัากการเร�ยนร&%

-0.2 0 0.2 0.4 0.6 0.8 1 1.2-0.2

0

0.2

0.4

0.6

0.8

1

1.2

ปร์�บัคร์�4งท� 4ปร์�บัคร์�4งท� 8ปร์�บัคร์�4งท� 12ปร์�บัคร์�4งท� 16

เร์ �มต�น

เส�นตร์งท�ส�ม�ร์ถแบั(งกล"(มได� (linearly separate function)

(1,1)(1,0)

(0,0) (0,1)

26

ต�วิอย(างป/ญหาทั�!ไม(สามารถใชั%เส%นตรงเส%นเด�ยวิได%

humidity Rain Growth0 0 0

0 1 1

1 0 1

1 1 0

x1

x2

(0,0)

(0,1)

(1,0)

Class y = 1

(1,1)

Class y =0

เป:นเส�นตร์งท�ไม(ส�ม�ร์ถแบั(งได�

เป:นต�วอยี(�งท�ใชั� a single layer perceptron ไม(ได�และไม(ส�ม�ร์ถใชั� เส�นตร์งเส�นเดยีวในก�ร์แบั(งแยีก Class y=0 ก�บั Class y=1 ได�

x1 x2 y

27

Higher Dimension Feature space

ในกร์ณ์ท�ม input ค!อ x1, x2,…, xn

ด�งน�4น output ของ Perceptron ค!อ

0 if 0

0 if 1

2211

2211

xwxwxw

xwxwxwy

NN

NN

28

Higher Dimension Feature space

0332211 xwxwxw

Class B

Decision planeX1

X3

X2

Class A

สมก�ร์น4เป:นสมก�ร์ของร์ะน�บั 3 ม ต

29

การประมาณีค(าฟั/งก ชั�น ผลล�พิธึ�อยี6(ในร์6ปก�ร์ปร์ะม�ณ์ค(�ฟั2งก�ชั�น

ส�ม�ร์ถใชั� a single layer perceptron ปร์ะม�ณ์ค(�

function น4humidity Rain temperature

0 0 0.0

0 1 2.0

1 0 1.0

1 1 3.0

x1 x2 y = x1 +2x2

y

w1

w2

x1

x2

^

โดยีม output ในร์6ป2211ˆ xwxwy

- เร์�ต�องก�ร์ปร์�บั w1และ w2 ท�ท��ให� y ใกล�เคยีงก�บั y ม�กท�ส"ด ^

(ในกร์ณ์น4 activation function ค!อ identity function f(x) = x )

30

การปร�บค(าน"4าหน�กในการประมาณีค(าฟั/งก ชั�น

พิ จั�ร์ณ์�ค(�เฉล�ยีของค(�คว�มผ ดพิล�ดก��ล�งสอง (Mean Square Error, MSE)

22211

22

)(

)ˆ(

xwxwy

yy

หม�ยีถ�ง ค(�เฉล�ยี

เร์�จัะได� e2 ในร์6ปของ function ของ w1และ w2 ด�งในร์6ปข��งล(�ง

w1w2

MS

E เราเร�ยกร&ปน�4วิ(า error surface

(ในกรณี�น�4เป5นร&ป parabola ควิ"!า)

31

การปร�บค(าน"4าหน�กในการประมาณีค(าฟั/งก ชั�น

0 0.5 1 1.5 21

1.2

1.4

1.6

1.8

2

2.2

2.4

2.6

2.8

3

w2

w1

Mean square error e2 as a function of w1 and w2

จั"ดต���ส"ดอยี6(ท� (1,2) ซึ่��งให�ค(�MSE = 0

เร์�จัะต�องปร์�บั w1และ w2 ให�เข��ส6(จั"ดต���ส"ดใน error surface

32

การปร�บค(าน"4าหน�กในการประมาณีค(าฟั/งก ชั�น

0 0.5 1 1.5 21

1.2

1.4

1.6

1.8

2

2.2

2.4

2.6

2.8

3

w2

w1

ล�กษณ์ะก�ร์ปร์�บั w1และ w2 ให�เข��ส6(จั"ดต���ส"ดใน error surface

จั"ดเร์ �มต�นของ(w1,w2)

ปร์�บัคร์�4งท� 1ปร์�บัคร์�4งท� 2ปร์�บัคร์�4งท� 3

ปร์�บัคร์�4งท� kเป<�หม�ยี

33

Gradient Descent Method เร์�ต�องก�ร์จัะปร์�บั w1และ w2 ให�เข��ส6(จั"ดต���ส"ดใน error

surface โดยีก�ร์เอยีงลงไปห�ค��ตอบัของพิ!4นท�ท�เร์�ต�องก�ร์ม�กท�ส"ด

หล�กก�ร์เด นลงเข�ไปในท ศท�งท�พิ!4นเอยีงลงม�กท�ส"ดเร์ยีกว(� Gradient Descent Method1. ค��นวณ์ห� gradient ของพิ!4นผ ว (error surface) ในต��แหน(งท�เร์�ยี!นอยี6((ต��แหน(ง (w1,w2) ในป2จัจั"บั�น) gradient ท�ได�จัะชั4ไปในท ศท�งท�ชั�นท�ส"ด (ท ศข�4นเข�)2. เด นไปในท ศท�งตร์งข��มก�บั gradient ท�ค��นวณ์ได�ในร์ะยีะท�งส�4น (ก�ร์ปร์�บัค(� w1,w2)3. ไปท��ข�4นตอนท� 1 ใหม(จันกว(�จัะถ�งจั"ดต���ส"ด

34

ข้%อเส�ยข้อง Gradient Descent Method

Local minimum

Global minimum

ว ธึก�ร์ gradient descent method อ�จัจัะท��ให�เร์�ต ดอยี6(ท� local minima ซึ่��งยี�งไม(ใชั�จั"ดท�ต���ส"ดจัร์ ง ๆ

35

การประมาณีค(าฟั/งก ชั�นเม)!อม� higher dimension

)(ˆ1

N

jjj xwfy

w1

y

x4

w2

w4

w3

x1

x2

x3

Network output ค��นวณ์ได�จั�ก

Square error e2 ค��นวณ์ได�จั�ก

2

1

22

))((

ˆ

j

N

jj xwfy

yy

Slope e2 เทยีบัก�บั wj ค��นวณ์ได�จั�ก

jj

N

jjj

N

jj

j

N

jj

jj

xxwfxwfy

xwfyww

))())((2

))((

11

2

1

2

36

การประมาณีค(าฟั/งก ชั�นเม)!อม� higher dimension

Slope e2 เทยีบัก�บั q ค��นวณ์ได�จั�ก

))())((

))())((

11

11

j

N

jjj

N

jj

jj

N

jjj

N

jjj

xwfxwfy

xxwfxwfyw

))())((211

2

j

N

jjj

N

jj xwfxwfy

a, a > 0, เร์ยีกว(� Learning rate

ด�งน�4นเร์�จัะได�

oldnew

joldj

newj www

สมก�ร์ก�ร์ปร์�บั weight จัะเป:น

37

ทั"าไมถ6งการปร�บค(า weight ทั�ละน%อย

0 0.5 1 1.5 21

1.2

1.4

1.6

1.8

2

2.2

2.4

2.6

2.8

3

w2

w1

จั"ดเร์ �มต�นของ

(w1,w2)

ปร์�บัคร์�4งท� 1

ปร์�บัคร์�4งท� 2

ปร์�บัคร์�4งท� 3

ปร์�บัคร์�4งท� k

ก�ร์ปร์�บั weight ถ��ปร์�บัโดยีใชั�learning rate ค(�ม�ก ๆ จัะท��ให�network ปร์�บัต�วเข��ส6(จั"ดต���ส"ดได�ชั��หร์!ออ�จัไม(ได�เลยี (unstable)

เป<�หม�ยี38

ทั"าไมถ6งการปร�บค(า weight ทั�ละน%อย

0 0.5 1 1.5 21

1.2

1.4

1.6

1.8

2

2.2

2.4

2.6

2.8

3

w2

w1

เป<�หม�ยี

จั"ดเร์ �มต�นของ(w1,w2)

ปร์�บัคร์�4งท� 1ปร์�บัคร์�4งท� 2ปร์�บัคร์�4งท� 3ปร์�บัคร์�4งท� k

ก�ร์ปร์�บั weight ทละน�อยีจัะท��ให�network ปร์�บัต�วเข��ส6(จั"ดต���ส"ดได�ดและชั(วยีลดเร์!�องก�ร์ไม(เสถยีร์ unstable ได�

39

ข้%อจั"าก�ดข้อง A Single Layer Perceptron

Concept หร์!อ Function ท�ส�ม�ร์ถเร์ยีนได�โดยีเพิอร์�เซึ่ปตร์อนเด�ยีว จัะต�องเป:นฟั2งก�ชั�นแยีกเชั งเส�นได� (linearly separate function) ถ��เป:นฟั2งก�ชั�นแยีกเชั งเส�นไม(ได� (linearly nonseparable)

ก�ร์ฝ=กวงจัร์ข(�ยีโดยีก�ร์ปร์�บัค(� weight อ�ศ�ยีหล�กก�ร์ของ gradient descent method เพิ!�อท�จัะลดค(�คว�มผ ดพิล�ดให�ต���ท�ส"ด

Gradient descent method มจั"ดอ(อนค!อว ธึก�ร์น4อ�จัจัะท��ให�วงจัร์ข(�ยีต ดอยี6(ท� local minima ของ error surface ได�

40

เคร)!องม)อทั�!ใชั%งานประย�กต เก�!ยวิก�บโครงข้(ายประสาทัเทั�ยม MathLab มฟั2งก�ชั�นพิร์�อมก�ร์ใชั�ง�นส��หร์�บัก�ร์ทดลองท��ง�น

ว จั�ยี NeuroXL Predictor

http://www.neuroxl.com/financial_forecasting_software.htm

เป:นซึ่อฟัต�แวร์�ท�พิ�ฒน�ข�4นโดยีใชั�เทคโนโลยีโคร์งข(�ยีปร์ะส�ทเสม!อน ร์(วมก�บักร์ะด�ษค��นวณ์อ เล)กทร์อน กส�ของโปร์แกร์ม Microsoft Excel เพิ!�อเป:นเคร์!�องม!อในก�ร์ว เคร์�ะห�และพิยี�กร์ณ์�ในเร์!�องต(�ง ๆ ท�งด��นธึ"ร์ก จั เชั(น ตล�ดห"�นใชั�ในก�ร์พิยี�กร์ณ์�ห"�นและก�ร์ลงท"นได� ใชั�ในก�ร์พิยี�กร์ณ์�ท�งด��นก�ร์ตล�ด เชั(น พิยี�กร์ณ์�ยีอดข�ยีได� ใชั�สน�บัสน"นก�ร์ว�งแผนท�งก�ร์เง นได� ใชั�พิยี�กร์ณ์�ท�งด��นเศร์ษฐศ�สตร์�ได� ค�ดก�ร์ณ์�อ�ตร์�แลกเปล�ยีนเง นตร์�ต(�งปร์ะเทศได�

41

การประย�กต ใชั%งานโครงข้(ายประสาทัเทั�ยม Synface ก�ร์ชั(วยีเหล!อก�ร์สนทน�ท�งโทร์ศ�พิท�ด�วยีใบัหน��จั��ลอง

ซึ่ นเฟัส ได�ร์�บัก�ร์ทดสอบัท�สถ�บั�นคนห6หนวกในปร์ะเทศอ�งกฤษ UK’s Royal National Institute for the Deaf (RNID) พิบัว(� 84 % ของผ6�ท�ได�ร์�บัก�ร์ทดสอบัส�ม�ร์ถเข��ใจับัทสนทน� และส�ม�ร์ถพิ6ดค"ยีก�นท�งโทร์ศ�พิท�ได�อยี(�งปกต

42

การประย�กต ใชั%งานโครงข้(ายประสาทัเทั�ยม ก�ร์ร์6 �จั��ต�วอ�กษร์ ต�วเลข หร์!อ ล�ยีเซึ่)นต� โดยีใชั�น วร์อลเน)ตเว ร์�ค เป:นว ทยี�น พินธึ�ท�เสนอก�ร์ใชั�คว�มค ดในก�ร์ออกแบับั และสร์��งร์ะบับั

คอมพิ วเตอร์�ให�มโคร์งสร์��งท�งสถ�ป2ตยีกร์ร์มเลยีนแบับัก�ร์ท��ง�นของเซึ่ลล�ในสมองมน"ษยี� (Neuron)

43

การประย�กต ใชั%งานโครงข้(ายประสาทัเทั�ยม ง�นเก�ยีวก�บัก�ร์พิยี�กร์ณ์� หร์!อก�ร์ท��น�ยี เชั(น ก�ร์ท��น�ยีตล�ดห"(น

ก�ร์ท��น�ยีปร์ ม�ณ์น�4�ฝน เป:นต�น

44

การประย�กต ใชั%งานโครงข้(ายประสาทัเทั�ยม น��ม�ปร์ะยี"กต�ใชั�ในก�ร์ฝ=กห�ดก�ร์ผ(�ต�ดผ6�ปAวยีแบับัจั��ลอง

45

46

HW#7 What is Neural Networks? Please example the biological and artificial

neural networks? Please explain how many components of

artificial neural networks? Please explain the advantage and

disadvantage of artificial neural networks? How many types of artificial neural networks

learning? Please explain the architectures of artificial

neural networks?

47

HW#7 Please calculation for learning by the backpropagation

algorithm. The figure shows a multilayer feed-forward neural network. Let the learning rate be 0.9. The initial weight and bias values of the network are given in the table, along with the first training tuple X=(1,0,1), with class label of 1. Please calculate net input and output, error at the each node and weight and bias updating.

48

LAB 7 Use weka program to construct a neural

network classification from the given file. csvColorExample.arff eurodata.arff