Embed Size (px)
DESCRIPTION
屏東科技大學工業管理系 吳繼澄 102.9.27. A Network Traffic Analysis System Based on the Statistical Process Control Mechanism 基於統計製程管制之網路流量分析系統. 大綱. 研究動機與背景 現有的網路安全防護機制 研究目的 網路行為分析 網路流量分析系統 系統架構、設計與功能 系統設計工具. 大綱. 網路流量分析系統 單變量管制圖 多變量管制圖 模擬分析與最佳參數選擇 結論與建議. 2014/9/23. JCWU. 3. 研究動機與背景. - PowerPoint PPT Presentation
Citation preview
A Network Traffic Analysis System Based on the Statistical Process
Control Mechanism
基於統計製程管制之網路流量分析系統
1120421 JCWU 1
屏東科技大學工業管理系 吳繼澄102927
1120421 JCWU 2
大綱bull 研究動機與背景bull 現有的網路安全防護機制bull 研究目的bull 網路行為分析bull 網路流量分析系統
bull 系統架構設計與功能 bull 系統設計工具
1120421 JCWU 3
大綱bull 網路流量分析系統
bull 單變量管制圖bull 多變量管制圖
bull 模擬分析與最佳參數選擇bull 結論與建議
1120421 JCWU 4
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1960 年 代 美 國 國 防 部 設立 了 高等 研 究計 畫 署(Advanced Research Projects Agency ARPA) 以封包交換 方 式 發 展 出 網 路 通 訊 技 術 與 通 訊 協 議(Communications Protocol) 建立 ARPANET 提供穩定且不受限各種品牌通訊設備之網路架構
bull 1970 年代 ARPA 機構的學者提出 TCPIP 通訊協定定義了網路上通訊傳輸的技術
bull 1980 年代 TCPIP 正式成為網際網路標準之通訊協定ARPANET 從原本 NCP 通訊協定變成以 TCPIP 作為網路的核心並將網路分成學術及軍事網路
1120421 JCWU 5
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1986 年 美 國 國 家 科 學 基 金 會 (National Science Foundation NSF) 架設了各大學之間的互聯骨幹網路 1990 年代網際網路開放給商業及社會大眾事實上自 1989 年 Tim Berners-Lee 提出全球資訊網(World Wide Web) 的網路架構後網際網路廣泛已在商業及學術上使用
bull 隨著網際網路的蓬勃發展使用網路的人口逐年增加根據 Internet World Stats 統計全球上網人口從 2000年到 2012 年成長超過 500 使用網路人數佔全球總人口數約 327
1120421 JCWU 6
研究動機與背景bull 隨著多元化的網路平台與資訊技術不斷發展各式各
樣的網路服務相繼推出例如 e-Bay Amazon 網路 訂 票 系 統 等 電 子 商 務 平 台 Facebook Skype Twitter 等社群網站服務報稅天 氣 與 路 況 查 詢 等 公 共 資 訊 系 統 FTP P2P YouTube 等文字影像語音檔案傳輸與分享等然而在電腦與網路大量運用之際不法之徒悄悄地利用病毒程式電腦系統漏洞隱碼攻擊網路釣魚社交工程等手段入侵及竊取電腦中重要資料檔案個人資訊或帳號密碼藉以獲取不法所得使得網路的安全性及服務品質備受質疑
1120421 JCWU 7
研究動機與背景bull 根據賽門鐵克 (Symantec) 公司 2011 年網路調查報告指出過去 12 個月台灣就有 67 公司遭受網路攻擊且有 96 的公司因網路攻擊而受其損失在服務品質方面而中華電信資安辦公室的統計資料亦顯示 2009 年中華電信每天平均發生大約37 次的分散式阻斷服務攻擊 (Distributed Denial of Service DDoS) 其中較大規模的攻擊是以每秒流量約 8GB進行攻擊嚴重影響網路所提供的服務品質
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 2
大綱bull 研究動機與背景bull 現有的網路安全防護機制bull 研究目的bull 網路行為分析bull 網路流量分析系統
bull 系統架構設計與功能 bull 系統設計工具
1120421 JCWU 3
大綱bull 網路流量分析系統
bull 單變量管制圖bull 多變量管制圖
bull 模擬分析與最佳參數選擇bull 結論與建議
1120421 JCWU 4
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1960 年 代 美 國 國 防 部 設立 了 高等 研 究計 畫 署(Advanced Research Projects Agency ARPA) 以封包交換 方 式 發 展 出 網 路 通 訊 技 術 與 通 訊 協 議(Communications Protocol) 建立 ARPANET 提供穩定且不受限各種品牌通訊設備之網路架構
bull 1970 年代 ARPA 機構的學者提出 TCPIP 通訊協定定義了網路上通訊傳輸的技術
bull 1980 年代 TCPIP 正式成為網際網路標準之通訊協定ARPANET 從原本 NCP 通訊協定變成以 TCPIP 作為網路的核心並將網路分成學術及軍事網路
1120421 JCWU 5
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1986 年 美 國 國 家 科 學 基 金 會 (National Science Foundation NSF) 架設了各大學之間的互聯骨幹網路 1990 年代網際網路開放給商業及社會大眾事實上自 1989 年 Tim Berners-Lee 提出全球資訊網(World Wide Web) 的網路架構後網際網路廣泛已在商業及學術上使用
bull 隨著網際網路的蓬勃發展使用網路的人口逐年增加根據 Internet World Stats 統計全球上網人口從 2000年到 2012 年成長超過 500 使用網路人數佔全球總人口數約 327
1120421 JCWU 6
研究動機與背景bull 隨著多元化的網路平台與資訊技術不斷發展各式各
樣的網路服務相繼推出例如 e-Bay Amazon 網路 訂 票 系 統 等 電 子 商 務 平 台 Facebook Skype Twitter 等社群網站服務報稅天 氣 與 路 況 查 詢 等 公 共 資 訊 系 統 FTP P2P YouTube 等文字影像語音檔案傳輸與分享等然而在電腦與網路大量運用之際不法之徒悄悄地利用病毒程式電腦系統漏洞隱碼攻擊網路釣魚社交工程等手段入侵及竊取電腦中重要資料檔案個人資訊或帳號密碼藉以獲取不法所得使得網路的安全性及服務品質備受質疑
1120421 JCWU 7
研究動機與背景bull 根據賽門鐵克 (Symantec) 公司 2011 年網路調查報告指出過去 12 個月台灣就有 67 公司遭受網路攻擊且有 96 的公司因網路攻擊而受其損失在服務品質方面而中華電信資安辦公室的統計資料亦顯示 2009 年中華電信每天平均發生大約37 次的分散式阻斷服務攻擊 (Distributed Denial of Service DDoS) 其中較大規模的攻擊是以每秒流量約 8GB進行攻擊嚴重影響網路所提供的服務品質
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 3
大綱bull 網路流量分析系統
bull 單變量管制圖bull 多變量管制圖
bull 模擬分析與最佳參數選擇bull 結論與建議
1120421 JCWU 4
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1960 年 代 美 國 國 防 部 設立 了 高等 研 究計 畫 署(Advanced Research Projects Agency ARPA) 以封包交換 方 式 發 展 出 網 路 通 訊 技 術 與 通 訊 協 議(Communications Protocol) 建立 ARPANET 提供穩定且不受限各種品牌通訊設備之網路架構
bull 1970 年代 ARPA 機構的學者提出 TCPIP 通訊協定定義了網路上通訊傳輸的技術
bull 1980 年代 TCPIP 正式成為網際網路標準之通訊協定ARPANET 從原本 NCP 通訊協定變成以 TCPIP 作為網路的核心並將網路分成學術及軍事網路
1120421 JCWU 5
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1986 年 美 國 國 家 科 學 基 金 會 (National Science Foundation NSF) 架設了各大學之間的互聯骨幹網路 1990 年代網際網路開放給商業及社會大眾事實上自 1989 年 Tim Berners-Lee 提出全球資訊網(World Wide Web) 的網路架構後網際網路廣泛已在商業及學術上使用
bull 隨著網際網路的蓬勃發展使用網路的人口逐年增加根據 Internet World Stats 統計全球上網人口從 2000年到 2012 年成長超過 500 使用網路人數佔全球總人口數約 327
1120421 JCWU 6
研究動機與背景bull 隨著多元化的網路平台與資訊技術不斷發展各式各
樣的網路服務相繼推出例如 e-Bay Amazon 網路 訂 票 系 統 等 電 子 商 務 平 台 Facebook Skype Twitter 等社群網站服務報稅天 氣 與 路 況 查 詢 等 公 共 資 訊 系 統 FTP P2P YouTube 等文字影像語音檔案傳輸與分享等然而在電腦與網路大量運用之際不法之徒悄悄地利用病毒程式電腦系統漏洞隱碼攻擊網路釣魚社交工程等手段入侵及竊取電腦中重要資料檔案個人資訊或帳號密碼藉以獲取不法所得使得網路的安全性及服務品質備受質疑
1120421 JCWU 7
研究動機與背景bull 根據賽門鐵克 (Symantec) 公司 2011 年網路調查報告指出過去 12 個月台灣就有 67 公司遭受網路攻擊且有 96 的公司因網路攻擊而受其損失在服務品質方面而中華電信資安辦公室的統計資料亦顯示 2009 年中華電信每天平均發生大約37 次的分散式阻斷服務攻擊 (Distributed Denial of Service DDoS) 其中較大規模的攻擊是以每秒流量約 8GB進行攻擊嚴重影響網路所提供的服務品質
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 4
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1960 年 代 美 國 國 防 部 設立 了 高等 研 究計 畫 署(Advanced Research Projects Agency ARPA) 以封包交換 方 式 發 展 出 網 路 通 訊 技 術 與 通 訊 協 議(Communications Protocol) 建立 ARPANET 提供穩定且不受限各種品牌通訊設備之網路架構
bull 1970 年代 ARPA 機構的學者提出 TCPIP 通訊協定定義了網路上通訊傳輸的技術
bull 1980 年代 TCPIP 正式成為網際網路標準之通訊協定ARPANET 從原本 NCP 通訊協定變成以 TCPIP 作為網路的核心並將網路分成學術及軍事網路
1120421 JCWU 5
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1986 年 美 國 國 家 科 學 基 金 會 (National Science Foundation NSF) 架設了各大學之間的互聯骨幹網路 1990 年代網際網路開放給商業及社會大眾事實上自 1989 年 Tim Berners-Lee 提出全球資訊網(World Wide Web) 的網路架構後網際網路廣泛已在商業及學術上使用
bull 隨著網際網路的蓬勃發展使用網路的人口逐年增加根據 Internet World Stats 統計全球上網人口從 2000年到 2012 年成長超過 500 使用網路人數佔全球總人口數約 327
1120421 JCWU 6
研究動機與背景bull 隨著多元化的網路平台與資訊技術不斷發展各式各
樣的網路服務相繼推出例如 e-Bay Amazon 網路 訂 票 系 統 等 電 子 商 務 平 台 Facebook Skype Twitter 等社群網站服務報稅天 氣 與 路 況 查 詢 等 公 共 資 訊 系 統 FTP P2P YouTube 等文字影像語音檔案傳輸與分享等然而在電腦與網路大量運用之際不法之徒悄悄地利用病毒程式電腦系統漏洞隱碼攻擊網路釣魚社交工程等手段入侵及竊取電腦中重要資料檔案個人資訊或帳號密碼藉以獲取不法所得使得網路的安全性及服務品質備受質疑
1120421 JCWU 7
研究動機與背景bull 根據賽門鐵克 (Symantec) 公司 2011 年網路調查報告指出過去 12 個月台灣就有 67 公司遭受網路攻擊且有 96 的公司因網路攻擊而受其損失在服務品質方面而中華電信資安辦公室的統計資料亦顯示 2009 年中華電信每天平均發生大約37 次的分散式阻斷服務攻擊 (Distributed Denial of Service DDoS) 其中較大規模的攻擊是以每秒流量約 8GB進行攻擊嚴重影響網路所提供的服務品質
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 5
研究動機與背景bull 網際網路 (Internet) 的發展歷史
bull 1986 年 美 國 國 家 科 學 基 金 會 (National Science Foundation NSF) 架設了各大學之間的互聯骨幹網路 1990 年代網際網路開放給商業及社會大眾事實上自 1989 年 Tim Berners-Lee 提出全球資訊網(World Wide Web) 的網路架構後網際網路廣泛已在商業及學術上使用
bull 隨著網際網路的蓬勃發展使用網路的人口逐年增加根據 Internet World Stats 統計全球上網人口從 2000年到 2012 年成長超過 500 使用網路人數佔全球總人口數約 327
1120421 JCWU 6
研究動機與背景bull 隨著多元化的網路平台與資訊技術不斷發展各式各
樣的網路服務相繼推出例如 e-Bay Amazon 網路 訂 票 系 統 等 電 子 商 務 平 台 Facebook Skype Twitter 等社群網站服務報稅天 氣 與 路 況 查 詢 等 公 共 資 訊 系 統 FTP P2P YouTube 等文字影像語音檔案傳輸與分享等然而在電腦與網路大量運用之際不法之徒悄悄地利用病毒程式電腦系統漏洞隱碼攻擊網路釣魚社交工程等手段入侵及竊取電腦中重要資料檔案個人資訊或帳號密碼藉以獲取不法所得使得網路的安全性及服務品質備受質疑
1120421 JCWU 7
研究動機與背景bull 根據賽門鐵克 (Symantec) 公司 2011 年網路調查報告指出過去 12 個月台灣就有 67 公司遭受網路攻擊且有 96 的公司因網路攻擊而受其損失在服務品質方面而中華電信資安辦公室的統計資料亦顯示 2009 年中華電信每天平均發生大約37 次的分散式阻斷服務攻擊 (Distributed Denial of Service DDoS) 其中較大規模的攻擊是以每秒流量約 8GB進行攻擊嚴重影響網路所提供的服務品質
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 6
研究動機與背景bull 隨著多元化的網路平台與資訊技術不斷發展各式各
樣的網路服務相繼推出例如 e-Bay Amazon 網路 訂 票 系 統 等 電 子 商 務 平 台 Facebook Skype Twitter 等社群網站服務報稅天 氣 與 路 況 查 詢 等 公 共 資 訊 系 統 FTP P2P YouTube 等文字影像語音檔案傳輸與分享等然而在電腦與網路大量運用之際不法之徒悄悄地利用病毒程式電腦系統漏洞隱碼攻擊網路釣魚社交工程等手段入侵及竊取電腦中重要資料檔案個人資訊或帳號密碼藉以獲取不法所得使得網路的安全性及服務品質備受質疑
1120421 JCWU 7
研究動機與背景bull 根據賽門鐵克 (Symantec) 公司 2011 年網路調查報告指出過去 12 個月台灣就有 67 公司遭受網路攻擊且有 96 的公司因網路攻擊而受其損失在服務品質方面而中華電信資安辦公室的統計資料亦顯示 2009 年中華電信每天平均發生大約37 次的分散式阻斷服務攻擊 (Distributed Denial of Service DDoS) 其中較大規模的攻擊是以每秒流量約 8GB進行攻擊嚴重影響網路所提供的服務品質
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 7
研究動機與背景bull 根據賽門鐵克 (Symantec) 公司 2011 年網路調查報告指出過去 12 個月台灣就有 67 公司遭受網路攻擊且有 96 的公司因網路攻擊而受其損失在服務品質方面而中華電信資安辦公室的統計資料亦顯示 2009 年中華電信每天平均發生大約37 次的分散式阻斷服務攻擊 (Distributed Denial of Service DDoS) 其中較大規模的攻擊是以每秒流量約 8GB進行攻擊嚴重影響網路所提供的服務品質
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 8
研究動機與背景bull 新版個資法已於 2012年 10月 1 號正式上路其適用對象包括了自然人法人或其他任何 3 人以上的團體對公司企業而言如果洩露消費者的個資天價的損害賠償金額很嚴重因此對於網站與資料的保護已成為現今刻不容緩的重要資安議題
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 9
現有的網路安全防護機制
防護機制 安全防護對象 說明網路入侵偵測系統
(Intrusion Detection System IDS)
防護區域性多主機解析進出的流量封包內容與特徵資料庫比對分析判斷藉以偵測及阻止異常封包
流量分析系統 防護區域性多主機藉由過去所蒐集的網路封包流量建構正常網路使用的流量模式藉以偵測異常流量
網路防火牆系統
軟體形式大多為防護單一主機硬體形式大多為防護區域性多主機
使用軟體或硬體防火牆設定進出規則 (Rules)或權限表(AccessList)用以控管網路封包 (Packets)的進出權限可防止大多數非法入侵行為
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 10
現有的網路安全防護機制防護機制 安全防護對象 說明
日誌分析系統 防護單一主機
藉由過去所搜集的系統服務日誌建構正常網路使用的行為模式藉以分析及偵測主機是否有異常行為
電腦主機系統 防護單一主機利用系統工具網管軟體或修補漏洞等達到防止駭客入侵主機偵測系統異常與入侵行為
網路頻寬管理系統 防護區域性多主機
分配網路服務的執行優先順序與頻寬大小管控封包進出區域網路的流量控制以達到最好的網路服務品質 (Quality of Service)及防止網路頻寬資源的濫用及破壞
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 11
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 網 路 型 入 侵 偵 測 系 統 (Network-Based Intrusion Detection System NIDS)
防火牆路由器 NIDS
網際網路
集線器
集線器
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 12
現有的網路安全防護機制bull IDS依部署方式的不同主要可以分成兩類
bull 主機型入侵偵測系統 (Host-Based Intrusion Detection System HIDS)
防火牆
路由器
HIDS HIDS
HIDS HIDS
網際網路
集線器
HIDS HIDS
HIDS HIDS
集線器
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 13
優點 缺點
NIDS
設置的成本較低 即時偵測和回應 不受作業系統影響 可偵測區域性多主機的入侵行為
不會影響網路的傳輸效率 不易造成系統當機 防止入侵的證據被移除
無法偵測未知的攻擊行為 網路流量超出系統處理負荷時無法偵測所有網路封包的傳輸資訊
無法偵測加密的傳輸封包 無法判斷攻擊行為是否成功 不能檢測在不同網段的網路封包
HIDS
可根據日誌紀錄判斷攻擊行為是否成功
可適用於偵測加密封包及交換網路環境
監控系統特定的活動 誤報率較 NIDS低 不需額外增加硬體設備
有可能針對 HIDS缺陷進行攻擊
無法偵測未知的攻擊行為 可能無法相容於各主機之作業平台
部署及維護工作較複雜 僅偵測佈署 HIDS主機所接收的封包資訊
伺服器的服務效率降低
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 14
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 線上型 (In Line) 分析 - 直接擷取即時的網路封包Internet入侵攻擊
線上型分析系統（ Firewall IDS ）
擷取封包及解析封包表頭(Header) 及內容 (Content)
封包延遲
系統當機
駭客攻擊
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 15
現有的網路安全防護機制bull IDS依運行模式大致可分為兩類
bull 離線型 (Off Line) 分析 Internet
入侵攻擊
防火牆安全系統
連外路由器
連內路由器
離線型分析系
統
伺服器 (SMTP DNShellip) 伺服器 (WWW PROXYhellip)
不擷取封包及解析封包可接收遠端系統傳來之網路封包資訊
日誌資訊
流量資訊
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 16
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 誤用偵測系統 (Misuse Detection System) 誤用偵測系統又稱為特徵型偵測 (Signature-Based
Detection) 其檢測的方法類似防毒軟體的作業方式利用先前已知的事件建立各種網路攻擊手法入侵行為及作業系統漏洞將其相關資料分析整理成入侵特徵 (Signature) 模式庫入侵偵測系統藉由比對特徵模式庫與主機或是網路封包所蒐集的資料特徵進行判斷是否符合攻擊者入侵行為若符合攻擊特徵即發出警告
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 17
現有的網路安全防護機制bull IDS依偵測的方法亦可以分為兩類
bull 異常偵測系統 (Anomaly Detection System) 異常偵測系統藉由蒐集過去主機或網路之正常活動
數據建立正常行為模組將目前蒐集數據與正常行為模組進行比較分析若比較結果違反正常活動規律時該使用行為即被判定為可能入侵攻擊因此建構異常偵測系統通常藉由統計方法預測模型類神經網路或資料採礦等技術將正常使用的電腦負載率記憶體利用率歷史活動資料訪問時間和次數等行為記錄進行分析建構出正常行為模組以提供比較未來的活動行為
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 18
現有的網路安全防護機制
誤用偵測系統 異常偵測系統
優點
維護一個入侵特徵的資料庫
準確性較高
不需具備安全漏洞之專業知識即可建立模型
可偵測出新型的攻擊行為
缺點
無法辨識未知的攻擊網路流量超出偵測能力時某些封包就會被丟棄高速網路的環境可能會導致偵測率降低
較高的誤報率攻擊者可透過緩慢改變的情況來躲過系統偵測
在動態環境中效果較差
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 19
分析技術分類
統計分析(Statistical Analysis)
蒐集過去的歷史資料建立正常模式 運 用 統 計 學 中 的 分 類(Classification) 方法將原始資料
ldquo rdquo進行分類透過比較 正常模式與目前行為決定是否為異常行為此 技 術 具 代 表 性 的 有ARGUS SPAD WampS 和NIDAS
類神經網路技術(Neural Network
Techniques)
利用類神經學習方式使用正常行為的操作行為資料來訓練建立一個正常行為的模型以提供未來比對不正常行為此技術具代 表 性 的 有 HyperView 和ACME
現有的網路安全偵測技術
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 20
分析技術分類
貝氏網路技術(Bayesian Network
Techniques)
運用貝氏定理的條件機率分析原理建立各個特徵值發生的機率最後依據特徵之間屬性的關係計算出條件機率關係建立完整的貝氏網路
架構圖此技術具代表性的有 ICE
資料挖掘技術(Data Mining Techniques)
運用資料庫儲存大量數據以資料挖掘的方法找出整體趨勢或規則使用挖掘出的規則監控異常使用行為可用來偵測未知的攻擊模式此技術具代表性的有 FIRE
現有的網路安全偵測技術
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 21
現有的網路安全防護機制bull 網路安全偵測系統已經發展許多年但偵測系統尚存在一些待解決的問題 bull 高誤判率 bull 產品適應能力低bull 大型網路的管理問題bull 可擴展性差bull 處理速度上的瓶頸bull helliphellip
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 22
研究目的bull 無論哪種形式的偵測系統網路安全終究需要專業人員進行必要的管理網管人員為了維持良好的網路傳輸品質必須經常透過修補主機漏洞建構防火牆規則設置入侵偵測系統分析日誌紀錄檔等判斷目前網路是否屬於正常的使用行為另一方面也需處理更新入侵特徵值系統當機處理網路效率降低等維護工作因此網管人員需要高度的專業知識才能維護上述防護活動
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 23
研究目的bull 故本研究在不更動既定的網路架構下考量現有網路安全偵測系統的缺點以及減輕網管人員工作負擔與壓力基於統計製程管制 (Statistical Process Control SPC) 的原理及方法同時參照網路流量資料的特性開發一套離線型網路流量分析系統 (Network Traffic Analysis System) 透過自動蒐集流量繪製管制圖資料整理與篩選計算管制界限以及查詢相關資訊等功能提供網管人員隨時監控網路安全的一種視覺化工具以滿足現今高速傳輸大量封包的網路環境
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 24
網路行為分析bull 網路管理需要了解用戶應用和設備的行為包括用戶之間的交互行為用戶與設備或系統的交互行為亦即進行網路行為分析 (Network Behavior Analysis NBA) bull 長記憶性 (long memory)bull 相似性 (similarity)bull 非常態性 (non-normality)bull 相關性 (correlation)
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 25
網路行為分析 - 長記憶性bull 網路正常流量 Netflow 封包資料 繪製時間序列圖 (time sequence plot) 如下圖所示圖中顯示正常流量 Netflow 約略呈現非平穩但週期性規律變化
tX
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 26
網路行為分析 - 長記憶性
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 27
網路行為分析 - 長記憶性bull 重標極差分析法 (簡稱 RS 分析法 )
其中 為樣本平均
為樣本標準差bull Hurst 指數 H=b=093025 故時間序列差分階數
d=H-05=043025 並非整數且介於 (0 05) 之間表示網路流量資料具有正向長記憶特性
])(min)(max[1
)(1111
k
jnj
nk
k
jnj
nknn MXMX
SSR
n
iin X
nM
1
1
n
inin MX
nS
1
2)(1
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 28
網路行為分析 - 長記憶性bull 最 適 週 期 性 分 數 整 合 移 動 平 均 模 型 為
SARFIMA(20430252)(111)144tX
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 29
網路行為分析 - 相似性bull 許多實證的網路流量資料顯示在單位內部的網路系統架構和網路服務等條件沒有太大改變的情況下網路流量會因為使用者上網的習性在同一時段出現特定形式的模式使用者的群體行為可能蘊含某些相似的表現例如學校學期內學生每週上課時間及課後的生活起居大致相同網路的使用人數習性 (何時上網連線目的地 ) 單位時間流量以及藉由哪個 IP或 port來提供服務(WEB E-MAIL FTP BBShellip) 等也都會具有一定的規律
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 30
網路行為分析 - 相似性
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081110 - 1201
20081110 20081117 20081124 2008121
0
1000
2000
3000
4000
5000
6000
7000
8000
9000
10000
1 7 13
19
25
31
37
43
49
55
61
67
73
79
85
91
97
10
3
10
9
11
5
12
1
12
7
13
3
13
9
14
5
15
1
15
7
16
3
16
9
17
5
18
1
18
7
19
3
19
9
20
5
21
1
21
7
22
3
22
9
23
5
24
1
24
7
25
3
25
9
26
5
27
1
27
7
28
3
PacketsOut20081111 - 1202
20081111 20081118 20081125 2008122
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 31
網路行為分析 - 相似性bull 本研究首次提出以時間縱斷面進行分析利用相同時間點的流量資料建構管制界限不同的時間點就有不同的管制界限最後將各時點的管制界限匯總成一張監控一天網路流量變化之管制圖以銘傳大學流量資料為例若定義每 5 分鐘為一抽樣時點一天 24小時便有 288 個時點樣本為每 5 分鐘封包數量的平均值樣本期數為網路流量蒐集之周數進而計算出各時點的管制界限最後將各時點之管制界限合併成監控一天的網路流量管制圖如下圖所示
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 32Control Chart
UCL
CL
1 2 288 LCL
訓練資料
時點1
時點2
時點288
第 1 周第 2 周
第m 周
μ1 μ2 μ288
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 33
網路行為分析 -非常態性bull 常用的計量值管制圖均假設製程資料為來自常態分配 (normal distribution) 故管制界限常取為平均數加減 3倍標準差然而網路流量資料不一定服從常態分配若是流量資料不具有常態分配管制界限的參數又該如何選擇
bull 將銘傳大學所蒐集實際的網路流量依時間縱斷面方式整理分別針對各時點進行常態檢定底下以早上十點下午三點及晚上九點的實際網路流量 資 料 為 例 繪製其常態機率圖 (normal probability plot) 並進行 S-W 檢定 (Shapiro-Wilk Test)
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 34
- 常態機率圖 RealTime10 ( 3v81c)
SW-W = 06957 p = 00000
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime15( 3v81c)
SW-W = 0843 p = 000000008
0 1000 2000 3000 4000 5000 6000 7000 8000 9000-3
-2
-1
0
1
2
3
期望常態值
- 常 態 機 率 圖 RealTime21 ( 3v81c)
SW-W = 09061 p = 000002
-1000 0 1000 2000 3000 4000 5000 6000-3
-2
-1
0
1
2
3
期望常態值
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 35
網路行為分析 - 相關性bull 在異常或入侵偵測系統中一項重要工作是通過分析有用的歷史資料提取出用戶的行為特徵與規律從而建立起比較完備的規則庫進行檢測過去有關網路流量分析的研究多為單一流量特徵 ( 單變量 ) 為大宗事實上反應流量異常的特徵通常不只一項若能適當地從流量資料當中提取更多的有用資訊必定能增進偵測系統的效能
bull 本研究提取了三個流量特徵變量分別為連結數目 (Connect Number) 封包數量 (Packets) 與封包大小 (Octets)
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 36
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 37
網路行為分析 - 相關性
C_Num Packets Octecs
C_NumPearson 相關 1 611 408
P值 000 000
PacketsPearson 相關 611 1 814
P值 000 000
OctecsPearson 相關 408 814 1
P值 000 000
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 38
網路流量分析系統系統架構設計與功能
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 39
網路流量分析系統系統架構設計與功能
Port mirror
Netflow 封包完整封包
Internet(config) ip flow-export destination ip porthellip(config-if) ip route-cache flow
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 40
將封包mirror到另外一個 port產生 Netflow資料導
送給 loop address接收傳來的 Netflow封包分析後寫入資料庫
分析系統對資料庫的資料做分析且處理管理者下的查詢
藉由網頁呈現給管理者
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 41
網路流量分析系統系統架構設計與功能
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 42
i 模組名稱 意義0 all 所有流量的模組1 weekday 所有上課日的流量模組2 weekend 所有休假日的流量模組3 class 寒暑假上課日的流量模組4 holiday 寒暑假休假日的流量模組5 mon 星期一的流量模組6 tue 星期二的流量模組7 wed 星期三的流量模組8 thu 星期四的流量模組9 fri 星期五的流量模組
10 sat 星期六的流量模組11 sun 星期日的流量模組
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 43
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢bull 流量分析bull 比對分析bull 異常查詢
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 44
網路流量分析系統系統架構設計與功能
bull 網站的主要功能項目分為bull 流量與排行查詢
bull 當天即時流量圖查詢bull 當天 IP 使用率 Application排行榜查詢bull 即時單位時間流量圖查詢
packetin Out of Control 第 22筆 實際封包數 361 PI_EWMA統計量 48482622465134
管制上限 26147249970231
管制下限 54088790620267
第 23筆 實際封包數 346 PI_EWMA統計量 46925413497925
管制上限 25128276326905
管制下限 57078527053528
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 47
網路流量分析系統系統設計工具
bull 系統設計工具有bull Cisco Netflow 協定bull C 語言bull PHP 語言bull PostgreSQL 資料庫bull nProbe 程式bull JpGraph繪圖工具bull Ajax 技術
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 48
網路流量分析系統單變量管制圖
bull X-bar 管制圖bull 符號定義
m訓練資料筆數 第 i筆資料時點 j內的封包大小 j=1hellipT i=1
hellipm 在時點 jm筆訓練資料的樣本平均數 在時點 jm筆訓練資料的樣本變異數 L管制界限寬度傳統工業製程建議設為 3 修正樣本標準差為母體標準差之不偏估計的常數
jiX
jX2jS
4c
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 49
網路流量分析系統單變量管制圖
bull 在時點 j X-bar 管制圖之管制界限為
j=1hellipT
mc
SLXLCL
XCLmc
SLXUCL
jjj
jj
jjj
4
4
管制界限寬度L=
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 50
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
j抽樣時點 j = 1T m訓練資料集 I 的筆數n訓練資料集 II 的筆數λ EWMA 管制圖之平滑指數L EWMA 管制圖管制界限的寬度 訓練資料集 I 中第 i筆資料於時點 j 之流量資料 i = 1m j = 1T
0 jiX
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 51
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull 符號定義
訓練資料集 I於時點 j 之平均數即
j = 1T
訓練資料集 II 中第 i筆資料於時點 j
之流量 i = 1n j = 1T 訓練資料集 I 於時點 j 之之變異數
即
j = 1T 在時點 j之 EWMA 統計量 i = 0n
j = 1T
0jX
m
ijij X
mX
1
0
0 1
jiX
20jS
20
1
20
20
1
1j
m
ijij XmX
m)(S
jiM
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 52
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量
其中 0ltλle1為 EWMA 平滑指數初始值
bull EWMA 統計量的性質
(1)
(2)
TjniMX M jijiji 1 1 )1( 1 0
0 jj X M
TjniMλ)(Xλ)( λM ji
jki
i
k
kji 1 1 11 0
1
0
jjiME ][ )1(
)1(12
222
mMVar
ii
jji
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 53
網路流量分析系統單變量管制圖
bull 正常流量下時點 j j= 1T 的母體平均數
及母體變異數 通常是未知可分別用樣本平均數與樣本變異數估計之另一方面為了進行流量的比對需要長時間蒐集流量數據並詳細紀錄與儲存資料但網路流量資料的數量相當龐大通常一個月內的資料量就高達數百 GB 若要長時間將所蒐集的流量資料儲存在系統硬碟是不可行的
j2j
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 54
網路流量分析系統單變量管制圖
bull 採用ldquo自調式 (Self-Adaptive)rdquo 樣本平均 與樣本變異數 分別估計未知的母體平均數 與變異數
其中
i=1hellipn j=1hellipT
ijX
2ijS
im
XXimX ji
iji
j
1)1(
22 )(1
1 ij
ij
ij Xim T
im)(S
21
jiij
ij XTT
m
kjij XT
1
20
0
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 55
網路流量分析系統單變量管制圖
bull 第 i筆資料於時點 j之 EWMA 管制圖之管制中心上及下界限
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
Tjni 1 1
平滑指數 λ=管制界限寬度L=
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 56
網路流量分析系統單變量管制圖
bull 上述 EWMA 管制圖的建構仍基於資料彼此獨立的假設前提至於平滑指數的決定則有賴模擬分析的結果而定
bull 假設時點 j 之網路封包大小 為一時間序列且滿足平穩過程 (stationary process) 即
21 iX ji
2 jjijji XVarXE
2 jkjkiji XXCov
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 57
網路流量分析系統單變量管制圖
bull EWMA 管制圖bull EWMA 統計量定義
其中
bull EWMA 統計量性質
10 ˆ)1(ˆ11 jjijijjijjiji XXX
jjjX 01ˆ
jjijiXE ]ˆ[ 1
1
1
)(22221 )1(
1
)1(2)1(
1
1)ˆ(
t
kk
kij
kjj
j
jj
ij
j
jjijiXVar
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 58
網路流量分析系統單變量管制圖
bull 考慮一步預測均方誤差 (one-step ahead MSPE)
其中變異數 與相關係數 可由樣本變異數 和樣本自我相關係數 估計得之
i
kk
kjjj
i
kk
kij
kjj
j
j
ji
jj
jjje
1
12
1
1
)(22
222
)1(2
)1(1
)1(2
)1(1
1)1(
2j k
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 59
網路流量分析系統單變量管制圖
bull 基於一步預測均方誤差極小化的原則將一步預測均方誤差 對平滑指數 微分即可求出使得一步預測均方誤差 極小化之最佳參數 最後再將最佳參數 代入 EWMA 管制圖模型
)1( je j
j
j
111
2
111
2
22
22
mSLXLCL
XCL
mSLXUCL
iii
jij
ij
ij
ij
iii
jij
ij
管制界限寬度 L=
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 60
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 61
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖bull Hotellingrsquos T2 統計量
其中平均數向量
與共變異數矩陣
)()( 12jjjjjjT xxSxx
Tjm
m
ijij 1
1
1
xx
Tjm
m
ijjijjij 1
1
1
)x)(xx(xS
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 62
網路流量分析系統多變量管制圖
bull Hotellingrsquos T2 管制圖的管制上界為
其中 p 為流量特徵 ( 變量 ) 個數此處 p=3F pm-pα 為自由度 p及m-p之 F 分配的上 α 百分位數
bull 當 Hotellingrsquos T2 統計值 超出管制上界 UCL時則判定該時點的流量可能出現異常
pmpFpmm
mmpUCL
)(
)1)(1(
管制界限參數 α=
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 63
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
m訓練資料集中資料筆數n樣本個數每個時點只有一個樣本故 n=1C_Num第 i筆資料於時點 j 的連結數目 i=12hellipm j=12hellipT Packets第 i筆資料於時點 j 的封包數量 i=12hellipm j=12hellipT Octecs第 i筆資料於時點 j 的封包大小 i=12hellipm j=12hellipT λj各變量在時點 j 的權重矩陣 j=12hellipT
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 64
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 符號定義
xij由三個變量（ C_Num Packets Octecs）組成在第 i筆資料於時點 j 的觀察值向量 i=12hellipm j=12hellipT
zij第 i筆資料於時點 j的MEWMA 統計量 i=12
hellipm j=12hellipT 時點 j 的平均值向量 j=12hellipT 時點 j 的共變異矩陣 j=12hellipT h正常流量下的平均連串長度（ ARL）
jx
jΣ
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 65
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 時點 j 第 i筆觀察值向量的 MEWMA 統計量
其中 z0j=0 λj= 為 3x3的對角矩陣 為介於 0到 1 的常數 k=123 I為 3x3 的單位矩陣
bull 當 時 zij 的共變異數矩陣為
mijijjjijji 1 1 )zλ(Ixxλz
321 jjjdiagonal jk
jjjj 321
j
j
ijj
ji λ
λλΣΩ
2
11 2
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 66
網路流量分析系統多變量管制圖
bull MEWMA 管制圖bull 當 T2 統計值 時則判定時點 j第 i筆流量可能出現異常
hT jijijiji
2 zΩz 1
權重 λj=管制界限 h=
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 67
模擬分析與最佳參數選擇 NS2 模擬器
bull 在評估管制圖監控流量變化之偵測能力時必須先蒐集正常與異常的網路流量然而真實生活中網路流量較難界定是否屬於正常流量因此本研發以學術界廣泛採用的NS2 網路模擬器用以產生 HTTP 網路流量並根據模擬之流量資料分別計算管制圖的誤報率與漏報率最後得到管制圖參數的合理範圍
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 68
模擬分析與最佳參數選擇 NS2 模擬器
bull NS2是一種以 C++與 TCL兩種程式語言所組合而成屬於引發非連續事件 (Discrete-Event Driven) 及物件導向 (Object Oriented)的網路模擬器透過結合兩種不同的程式語言可兼具彈性與執行速度藉由 TCL撰寫引發事件的腳本達到因應各種模擬環境再以 TCL驅動 C++物件來產生網路行為可以模擬路由器 (Router) 鏈路 (Link) 網路的節點 (End Point) 封包的延遲 (Packets Delay) 或封包的丟棄 (Packets Drop) 等網路性質
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 69
模擬分析與最佳參數選擇 NS2 模擬器
bull 網路模擬架構bull 建構 250 個內部與 250 個外部客戶端網路節點兩者差異性在於網路連線延遲時間
bull 建構 2個Web伺服端節點bull 客戶端網路節點連接到 1 個匯整路由器節點再由路由器節點連線到各伺服端節點
bull 每一個客戶端節點都產生 PackMimeHTTP 模組之網路流量並且依照均等分配指定到伺服端1 或伺服端 2
bull 模擬時間長度為 120秒
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 70
模擬分析與最佳參數選擇 NS2 模擬器
產生正常流量
管制圖建模
產生正常流量與
異常流量
調整管制圖 參數
計算 誤判率漏報率
合適的管制圖參數
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 71
模擬 120 秒之流量平均正常流量 異常流量
組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit) 組數 流量 (Mbit)
1 902 25 963 1 1290 25 1351
2 1004 26 899 2 1287 26 1299
3 917 27 951 3 1304 27 1304
4 974 28 940 4 1386 28 1319
5 951 29 921 5 1272 29 1260
6 974 30 962 6 1285 30 1292
7 976 31 903 7 1259 31 1361
8 1038 32 960 8 1266 32 1260
9 888 33 992 9 1277 33 1328
10 917 34 1012 10 1451 34 1285
11 923 35 926 11 1306 35 1406
12 927 36 941 12 1288 36 1260
13 938 37 940 13 1299 37 1304
14 896 38 904 14 1333 38 1255
15 927 39 953 15 1334 39 1287
16 918 40 910 16 1311 40 1294
17 896 41 906 17 1306 41 1296
18 874 42 993 18 1278 42 1395
19 914 43 970 19 1278 43 1294
20 912 44 884 20 1312 44 1337
21 926 45 914 21 1326 45 1320
22 913 46 919 22 1294 46 1288
23 916 47 967 23 1290 47 1298
24 982 24 1355 總平均 937 總平均 1308
標準差 03657 標準差 04084
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 72
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 73
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 74
模擬分析與最佳參數選擇判準
bull 最佳參數選擇之判準bull F測度
bull 精確度 (Precision)bull 召回率 (Recall)
bull 控制誤報率極小化漏報率bull 平均首次偵測連串長度
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 75
模擬分析與最佳參數選擇判準
bull F測度正常流量下 異常流量下
判定為正常 正確 tn 漏報 fp
判定為異常 誤報 fn 正確 tp
fntp
tprecall
fptp
tpprecision
12
2
recallprecision
recallprecisionF
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 76
模擬分析與最佳參數選擇模擬結果
bull X-bar 管制圖 ndash F測度
β1 秒 2 秒 3 秒 5 秒
L F L F L F L F
05 65 9503 7 9682 85 9763 10 9863
1 75 9297 75 9465 95 9598 105 9785
2 95 9362 105 9539 11 9594 115 9716
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 77
bull X-bar 管制圖 ndash 控制誤報率極小化漏報率1 秒 2 秒 3 秒 5 秒
L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率3 4628 011 3 4642 007 3 4809 005 3 4805 000
35 3956 012 35 3929 011 35 4048 005 35 4149 000
4 3230 020 4 3270 011 4 3457 005 4 3537 000
45 2755 041 45 2681 014 45 2856 005 45 3050 000
5 2254 069 5 2230 021 5 2367 005 5 2562 000
55 1897 103 55 1837 032 55 1941 005 55 2057 000
6 1582 163 6 1521 043 6 1617 016 6 1578 000
65 1275 252 65 1230 060 65 1351 027 65 1348 000
7 1018 376 7 1046 106 7 1128 048 7 1179 000
75 851 532 75 865 167 75 984 069 75 966 000
8 707 720 8 798 280 8 846 074 8 824 000
85 589 995 85 670 394 85 739 096 85 691 000
9 514 1216 9 550 528 9 649 181 9 594 035
95 429 1546 95 454 688 95 548 245 95 505 044
10 360 1906 10 369 950 10 473 356 10 417 062
105 300 2270 105 291 1181 105 436 511 105 337 089
11 262 2617 11 248 1472 11 356 697 11 310 177
115 216 3005 115 213 1762 115 287 904 115 293 310
12 188 3392 12 195 2071 12 245 1191 12 266 434
125 156 3807 125 163 2440 125 223 1484 125 257 656
13 138 4264 13 138 2823 13 202 1718 13 239 824
135 126 4651 135 124 3181 135 191 2090 135 213 1011
14 103 5039 14 096 3645 14 165 2484 14 195 1321
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 78
bull X-bar 管制圖 ndash平均首次偵測連串長度1 秒 2 秒 3 秒 5 秒
L 平均長度 L 平均長度 L 平均長度 L 平均長度3 1 3 1 3 1 3 1
35 1 35 1 35 1 35 1
4 1 4 1 4 1 4 1
45 1 45 1 45 1 45 1
5 1 5 1 5 1 5 1
55 1 55 1 55 1 55 1
6 1 6 1 6 1 6 1
65 1 65 1 65 1 65 1
7 1 7 1 7 1 7 1
75 10212 75 1 75 1 75 1
8 10638 8 1 8 1 8 1
85 10851 85 1 85 1 85 1
9 12340 9 1 9 1 9 1
95 12553 95 10212 95 1 95 1
10 13404 10 10212 10 1 10 1
105 15106 105 10212 105 10425 105 1
11 16382 11 10425 11 10425 11 1
115 16808 115 10425 115 10425 115 1
12 11914 12 10638 12 11063 12 1
125 21914 125 10851 125 11063 125 1
13 26808 13 11489 13 11063 13 1
135 28297 135 12340 135 11276 135 1
14 30425 14 13404 14 11914 14 1
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 79
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
05
01 1 6544 1 6636 1 6896 1 7237
02 1 8437 1 8787 1 8948 1 9241
03 1 9160 1 9366 15 9479 15 9760
04 1 9328 15 9602 15 9756 15 9850
05 15 9461 15 9699 15 9780 2 9888
06 15 9556 15 9739 2 9813 2 9914
07 15 9606 15 9717 2 9833 2 9908
08 15 9621 2 9725 2 9859 2 9906
09 15 9620 2 9762 2 9864 2 9902
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 80
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
1
01 15 7131 15 7156 15 7334 15 7543
02 15 8387 15 8684 15 8934 15 9263
03 15 9009 15 9323 15 9467 15 9638
04 15 9288 15 9484 15 9590 2 9775
05 15 9360 2 9544 2 9709 2 9816
06 15 9355 2 9611 2 9767 25 9824
07 2 9376 2 9666 2 9749 25 9858
08 2 9427 2 9667 2 9742 25 9866
09 2 9447 2 9680 2 9731 25 9848
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 81
模擬分析與最佳參數選擇模擬結果
bull EWMA 管制圖 ndash F測度
β λ1 秒 2 秒 3 秒 5 秒
L Fβ L Fβ L Fβ L Fβ
2
01 25 8399 25 8460 2 8520 2 8577
02 15 9031 15 9144 15 9235 2 9418
03 15 9287 2 9460 2 9596 2 9781
04 2 9432 2 9628 2 9710 2 9793
05 2 9516 2 9678 2 9737 25 9852
06 2 9545 2 9653 25 9754 25 9866
07 2 9530 25 9677 25 9769 3 9843
08 2 9531 25 9693 25 9766 3 9854
09 2 9521 25 9698 25 9743 3 9875
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 82
bull EWMA 管制圖 ndash 控制誤報率極小化漏報率
λ1 秒 2 秒 3 秒 5 秒
誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L 誤報率 漏報率 L
01 362 7888 2 440 7351 2 388 6793 2 434 6197 2
02 482 3179 15 096 4521 2 106 3691 2 106 2633 2
03 099 3528 2 103 2411 2 117 1612 2 080 789 2
04 149 2372 2 167 1230 2 186 723 2 195 257 2
05 222 1598 2 230 702 2 245 340 2 301 062 2
06 291 1152 2 319 465 2 309 154 2 381 009 2
07 363 920 2 362 305 2 388 106 2 408 009 2
08 399 768 2 429 230 2 447 059 2 452 000 2
09 429 691 2 454 177 2 484 043 2 470 000 2
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 83
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)Hotellingrsquos T2 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=003 此時平均漏報率為 93750 bull 誤報率不超過 10 最佳管制圖參數
α=009 此時平均漏報率為 03125
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 84
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) Hotellingrsquos T2
管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳管制圖參數
α=002 此時平均漏報率高達 6125 bull 誤報率不超過 10 最佳管制圖參數
α=005 此時平均漏報率同樣達到 25
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 85
模擬分析與最佳參數選擇模擬結果
bull 雙變數之 Hotellingrsquos T2 管制圖不論在誤報率或是漏報率皆優於三變數之 Hotellingrsquos T2
管制圖bull 當誤報率不超過 5時 X-bar 管制圖最佳參數 L=95 平均漏報率為 1546 而雙變數之 Hotellingrsquos T2 管制圖的最佳參數α=003 平均漏報率為 93750 低於 X-bar 管制圖之平均漏報率顯示雙變數Hotellingrsquos T2 管制圖的偵測能力亦優於單變量 管制圖
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 86
模擬分析與最佳參數選擇模擬結果
bull 雙變數 ( 封包數量 Packets 及封包大小Octets)MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh)為 (09200) 此時漏報率為 581 bull 誤報率不超過 10 最佳參數的組合
(λh)為 (0950) 此時漏報率為 000
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 87
模擬分析與最佳參數選擇模擬結果
bull 三變數 ( 封包數量 Packets 封包大小Octets 及連結數目 C_Num) MEWMA 管制圖ndash 控制誤報率極小化漏報率bull 誤報率不超過 5 最佳參數的組合
(λh) 為 (09400) 此時漏報率高達為1331
bull 誤報率不超過 10 最佳參數的組合(λh)為 (09200) 此時漏報率為 1119
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 88
模擬分析與最佳參數選擇模擬結果
bull 當要求誤報率不超過 5 時雙變數MEWMA 管制圖模型中最佳參數組合(λh)=(09200) 漏報率為 581 最優單變數 EWMA 管制圖模型中最佳參數組合(λL)=(092) 漏報率為 691 其次三變數 MEWMA 管制圖模型中最佳參數組合(λh)=(09400) 漏報率則為 1331 最差
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 89
結論與建議 結論
bull 本研究考量現有網路安全偵測系統的缺點在不變更網路系統架構且無需投資額外建置成本下基於統計製程管制的原理及方法同時參照網路流量資料的特性開發了一套離線型網路流量分析系統 (Network Traffic Analysis System)
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 90
結論與建議結論
bull 所開發之網路流量分析系統除了具備MRTG及 PRTG 的即時監控流量功能之外本系統還提供自動蒐集流量建立網路流量資料庫資料整理與篩選計算管制界限繪製流量與管制圖以及查詢相關資訊等功能提供網管人員追蹤分析異常流量透過本系統可降低網管工作負荷減少網路資源浪費提昇網管及網路傳輸效能並強化網路流量相關研究
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 91
結論與建議結論
bull 本系統自 2010 年建置完成並開始監控銘傳大學資訊學院每日網路流量的變化至今實證結果顯示本系統具有低誤報率 (約 5) 可擴展性高對於網路環境適應能力強以及可簡化網路管理等成效
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 92
結論與建議建議
bull 發展其他流量偵測方法例如支援向量機(SVM) 類神經網路模糊統計法hellip
bull 利用真實網路流量資料庫 (DARPAhellip) 分析系統的偵測能力
bull 針對特殊網路攻擊型式 ( 分散阻斷攻擊服務DDoS 僵屍病毒hellip ) 設計不同的偵測模式
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 93
Botmaster
Bot Bot Bot Bot Bot
目標銀行 企業網站
CampC Server(s)
散佈垃圾郵件竊取重要機密和帳密
hellip
阻斷服務攻擊
命令傳遞方向
封包傳送方向
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 94
Botnet 系統架構設計
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 95
正常使用者網路瀏覽行為
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 96
Bot固定連線流量圖
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 97
一般網頁瀏覽目的 IP 數
Bot連線目的 IP 數
1120421 JCWU 98
1120421 JCWU 98
