第 23 章　類神經網路

企業研究方法第 23章

第 23 章　類神經網路

本章的學習主題 1. 類神經網路的基本概念2. 類神經網路之應用3. 倒傳遞類神經網路4. 類神經網路之運算注意事項5. 類神經網路 STATISTICA 軟體操作範例說明

1


23.1 類神經網路的基本概念

一種計算系統，包括軟體與硬體，它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬，它從外界環境或者其它人工類神經元取得資訊，並加以運算，再輸出其結果到外界環境或者其它人工神經元。

2



神經節

神經樹神經核

神經軸

fj neti Yj

處理單元淨值

輸出訊號

轉換函數

閥值

連結加權值

輸入訊號

X1X2...Xi...Xn

Wij

3

圖 23 - 1 生物神經網路結構圖 23 - 2 人工神經元結構



輸出層

隱藏層

輸入層

4

圖 23 - 3 簡單的類神經網路



一、類神經網路的分類 ( 一 ) 依學習策略分類

1. 監督式學習網路 (supervised learning

network)

2. 無監督式學習網路 (unsupervised learning

network)

3. 聯想式學習網路 (associate learning network)

4. 最適化應用網路 (optimization application

network)5



輸出層

隱藏層

輸入層

6

( 二 ) 依網路架構分類1. 向前式架構：神經網路由神經元分層排列，形成輸

入層、隱藏層、輸出層。每一層只接受前一層的輸出作為輸入，稱前向式架構。

圖 23 - 4 前向式架構



2. 回饋式架構：即輸出層神經元的資訊回饋到輸入層，或層內各神經元間有連結者，或神經元不分層排列，只有一層，各神經元均可相互連結者稱回饋式架構。

7

圖 23 - 5 回饋式架構



二、類神經網路運作範例類神經網路的運作範例大致上分為三種：( 一 ) 訓練範例

1. 監督式訓練範例：由代表範例特徵的輸入變數資料，與代範例預測或分類的目標輸出變數資料共同組成。

2. 無監督式訓練範例：由代表範例特徵的輸入變數資料組成。

3. 聯想式訓練範例：由代表範例特徵的狀態變數資料組成，該變數值既是輸入亦是輸出，以替代方式決定變數值。

8

未學習網路 + 訓練範例 + 學習演算已學習網路加權值

加權值



( 二 ) 測試範例測試範例為評估已學習網路之學習效果所使用的範例，其形式與

訓練範例相同。該範例只使用回想演算法得到推論輸出值，之後與目標輸出值比較，以評估網路學習的精確度。

( 三 ) 待推案例網路學習完後，可用網路推論待推案例的結果。待推案例沒有目

標輸出變數資料。網路根據待推案例之輸入變數資料，透過回想演算法，推論出輸出值。

9

已學習網路 + 測試範例 + 回想演算法已學習網路評估

精度

已學習網路 + 待推案例 + 回想演算法待推案例推論

推論輸出值



三、類神經網路的基本架構

類神經網路的基本架構可分三個層次：

( 一 ) 處理單元的作用可用三個函數來說明

( 二 ) 層 (layer)

( 三 ) 網路 (network)

10



1. 集成函數 (summation function) ：將輸入變數資料或前一層神經元之輸出與連接加權值加以綜合，即 I = f (W, X) 。常用的函數包括加權乘積和與歐氏距離等。

2. 作用函數 (activity function) ：將集成函數值與神經元狀態加以綜合，通常是直接使用集成函數輸出，即 netjn = Ijn

11

( 一 ) 處理單元的作用可用三個函數來說明

企業研究方法第 23章12

3. 轉換函數 (transfer function) ：將作用函數輸出值轉換成處理單元輸出，即 Yj = f (netj) 。常用函數包括硬限函數、線性函數與非線性數函數。




( 二 ) 層 (layer)

若干個具有相同作用的處理單元集合成「層」。層本身有三個作用：

1. 正規化輸出：將同層中的處理單元的原始輸出值加以正規化，作為「層」的輸出。

2. 競爭化輸出：在同層的所有處理單元之原始輸出值中，選擇一個或數個最強值的處理單元，令其值為 1 ，其餘為 0後，再作為「層」的輸出。

3. 競爭化學習：在同層的所有處理單元之原始輸出值中，選擇一個或數個最強值的處理單元，網路將只調整與該單元相連的下層網路連結。

13



( 三 ) 網路 (network)

網路本身有兩種作用：1. 學習過程 (learning) ：從範例中學習，以調整網路連接

加權值的過程。2. 回想過程 (recalling) ：以輸入資料決定網路輸出資料的

過程。

14


23.2 類神經網路之應用

類神經網路的應用極為廣泛，在工業與工程方面的應用包含工業與工程資料分析、工業與工程故障診斷、工業與工程決策諮詢、工業與工程製程監控、工業與工程最適化問題求解。

在商業與金融方面的應用包括商業決策、商業預測、商業分析；在科學與資訊方面的應用包括醫學疾病診斷、醫學影像診斷、氣象預測、化學儀器分析解釋、複雜現象映射與模式化、感測資料分類、軍事目標追蹤、犯罪行為聚類分析、性向測驗分析、資料庫聯想搜尋、電腦輔助教學、電腦音樂、專家系統等。

15


23.2 類神經網路之應用

網路架構學習策略向前式架構回饋式架構

監督式學習

認知機倒傳遞網路 (BPN)

機率神經網路 (PNN)

學習向量量化網路 (LVQ)

反傳遞網路 (CPN)

波茲曼機 (BM)

時空樣本識別網路 (STPR)

新認知機 (也可作無監督式學習 )

無監督式學習自組織映射圖 (SOM) 自適應共振理論 (ART)

聯想式學習霍普菲爾網路 (HNN)

雙向聯想記憶網路 ( BAM)

最適化應用霍普菲爾—坦克網路 (HTN)

退火神經網路 (ANN)

16

表 23 - 1 類神經網路架構模式


23.3 倒傳遞類神經網路

　　倒傳遞網路是應用一個訓練範例的一輸入值向量 X ，與一目標輸出向量 T，修正網路加權值W ，而達到學習的目的。基本原理是利用最陡坡降法的觀念，將誤差函數予以最小化。

17

• 誤差函數

–Tj= 輸出層目標輸出值 –Aj= 輸出層推論輸出值

j

jj ATE 2)(2

1


一、網路架構輸入層：輸入變數資料，該層處理單元數目依問題而定。處

理單元之轉換函數為線性函數，亦即 f(x)=x 。

隱藏層：表現輸入層處理單元間的交互影響。處理單元之轉換函數為非線性函數。

輸出層：輸出變數，該層處理單元數目依問題而定。處理單元之轉換函數為非線性函數。

18

)1(

1)(

xexf

倒傳遞網路在隱藏層與輸出層之非線性轉換函數，最常使用雙彎曲函數，即




19

圖 23 - 6 倒傳遞類神經網路模型

輸出層

隱藏層

輸入層

輸出向量

輸入向量


23.4 類神經網路運算注意事項

資料的準備—樣本數

20

• 若樣本數接近所需估計的權重數時，就會產生過度配適(over-fitting) 的情形，使模型失去通則性(generalizability) 。

• 樣本數應為 5 至 10倍的連結權重數。

• 連結權重數未知時：

– 樣本數則為輸入變數數目的平方值

– 樣本數≧ c×( 輸入變數數目×輸出變數數目 )

• 隨機分配樣本為訓練樣本與測試樣本



資料的準備—檢視資料

21

• 輸入變數應使用計量資料：對於非計量變數值應

重新編碼。

• 極端值應被仔細地考慮甚至刪除。

• 變數標準化。



22

定義模型架構• 隱藏層層數

– 一般問題可取一層隱藏層，較複雜的問題則取二層隱藏層。

• 隱藏層處理單元數目 – ( 輸入層單元數 + 輸出層單元數 )/2

– ( 輸入層單元數 * 輸出層單元數 )1/2

– 若問題複雜度較高，隱藏層單元數目宜多。 – 若測試範例之誤差值遠高於訓練範例之誤差值，則隱

藏層單元數目應減少，反之，則應增加。



23

模型估計

• 在網路的訓練過程中，訓練範例與測試範例的誤差值均會逐漸降低，但若測試範例的誤差停止下降，甚至開始上升時，則表示有過度訓練的情形發生，因此研究者應在測試範例之誤差上升前即停止訓練。



24

評估模型結果

• 評估模型包括評估輸出變數的預測或分類水準。在預測的問題上，通常使用誤差均方根來評估模型；在分類的問題中，可利用分類矩陣 (classification

matrix) 來計算出個案被正確分類的機率是多少。



25

模型效度

• 最後一步是要確認所找到的解是整體最適且要盡可能的一般化。研究者應該使用不同的處理單元數目去測試，以確定不可能再達到更好的解。


模型之評估指標

26

誤差均方根 (RMSE)

絕對誤差平均 (MAD)

絕對百分比誤差平均(MAPE)

誤差平均 (ME)

S. D. Ratio

R2 1 － (S. D. Ratio)

n

e 2

ne

nAe

ne

d

eS

S



六、使用類神經網路之優缺點

27

• 類神經網路的能力可處理複雜的關係，特別是非線性的關係。

• 預測及分類。• 無法針對輸入變數的相對重要性以及變數間的相關提供解釋。


範例

從屬動機(AFM)

認同基礎(IDT)

資訊基礎(IFT)

與公司分享(KS_CO)

與會員分享(KS_KS)

能力(AB)

成就動機(ACM)

權力動機(PM)

隱藏層 1

隱藏層 2

隱藏層 3

隱藏層 4

隱藏層 5

行為意圖(BI)


範例結果—類神經網路權重 H1 H2 H3 H4 H5

Threshold -0.5708 -1.0318 -0.2104 0.1838 0.5564從屬動機 (AFM) 1.0144 -0.8577 -0.5338 0.7152 0.0135權力動機 (PM) -0.0691 -0.3014 -0.6934 -0.6048 0.0231成就動機 (ACM) -0.8043 0.6255 0.9140 -0.6311 -0.9096能力 (AB) 0.7037 0.1983 -0.6980 -0.9401 0.7491與公司分享 (KS_CO) 0.8147 -0.1990 -0.3247 0.6751 -0.7579與會員分享 (KS_KS) -0.2836 -0.1314 0.7024 0.2659 0.9349資訊基礎 (IFT) 0.6626 0.7198 -0.9963 -0.5894 0.0337認同基礎 (IDT) -0.8966 0.4535 -0.5187 0.4382 -1.0227

隱藏層處理單元行為意圖 (BI)H1 0.4850H2 -0.3958H3 -0.6878H4 -0.8250H5 0.6034


範例結果—各輸入變數之重要程序排序

AFM PM ACM AB KS_CO KS_KS IFT IDT

訓練範例 7 4 3 2 5 8 1 6

測試範例 6 4 2 3 7 8 1 5

由敏感度分析可得知，影響「行為意圖 (BI) 」最重要的變數為「資訊基礎 (IFT) 」與「能力 (AB) 」，次要變數為「與會員分享 (KS_KS) 」。


範例結果—模式之評估

評估指標計算方式類神經網路

誤差均方根 (RMSE) 0.646

絕對誤差平均 (MAD) 46.26%

絕對百分比誤差平均 (MAPE) 10.62%

誤差平均 (ME) 0.082

S. D. Ratio 0.619

R2 1－ (S. D. Ratio)

0.381

註 1： e＝目標輸出值 (T)－推論輸出值 (A) 。

註 2： n 為樣本數。

註 3： Sd 表樣本資料之標準差； Se 表誤差之標準差

n

e 2

ne

nAe

ne

d

eS

S

Documents

第 23 章 類神經網路

第 23 章　類神經網路