59
1 網網網網網網網網網網網 (Network Intrusion Analysi s and Mining)

網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

Embed Size (px)

DESCRIPTION

網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining). 內容概要. 簡介 網路入侵 網路入侵與攻擊行為 入侵偵測系統 網路入侵行為分析與探勘 資料來源分析與整合:以 KDD CUP ’99 為例 入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 總結. 簡介 (1). 網際網路普及與網路應用蓬勃發展 優點:資訊傳遞、交換的便利性 缺點:利用網路作為攻擊各類重要應用的管道、破壞與癱瘓網路或主機 非法侵入並竊取機密 寄發廣告與垃圾信件 佔據網路頻寬並癱瘓網路或主機 - PowerPoint PPT Presentation

Citation preview

Page 1: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

1

網路入侵行為分析與探勘 (Network Intrusion Analysis and Mi

ning)

Page 2: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

2

內容概要 簡介 網路入侵 網路入侵與攻擊行為 入侵偵測系統 網路入侵行為分析與探勘 資料來源分析與整合:以 KDD CUP ’99 為例 入侵偵測的資料分析與探勘:以 KDD CUP ’9

9 為例 總結

Page 3: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

3

簡介 (1)

網際網路普及與網路應用蓬勃發展 優點:資訊傳遞、交換的便利性 缺點:利用網路作為攻擊各類重要應用的管道、破壞與癱瘓網路或主機 非法侵入並竊取機密 寄發廣告與垃圾信件 佔據網路頻寬並癱瘓網路或主機

如何對網路入侵與破壞行為進行偵測、防範與緊急處理,成為網路時代重要的議題

Page 4: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

4

簡介 (2) 入侵偵測系統 (IDS)

透過專家與領域知識,找出網路攻擊行為的特徵與模式,瞭解現階段網路行為和可能遭遇的弱點,來輔助管理人員對網路異常行為的偵測與緊急處理

資料探勘對入侵偵測系統所提供的幫助 隨著網路行為的複雜化,越來越多可供侵入的弱點,導致許多既存的保護機制因無法調整或更新其防禦方式,無法阻絕攻擊發揮保護能力

利用資料探勘技術,從網路資訊、流量及系統記錄檔中探勘出有用的知識

對於傳統防護機制設定固定規則來阻斷可疑攻擊的方式,資料探勘技術可以分析正常與異常網路使用上的差異,動態更新防禦機制

Page 5: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

5

網路入侵 (1)

網路入侵與攻擊事件通報的趨勢 根據電腦網路危機處理暨協調中心 (CERT/CC) 所提供的的統計資訊,網路入侵與攻擊事件逐年不斷的攀升,自 1999 年後更是年年呈倍數的成長

2003 年電腦入侵與攻擊事件的通報數量相較於 1992 年便增加了約 37 倍之多

FBI 於 2002 年提出的一項電腦安全調查報告顯示,有 90% 的單位發現過去一年內有安全入侵事件發生, 74% 指出網路為常見的入侵管道,內部系統入侵為 33% ,損失總額高達 455,848,000 美元

Page 6: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

6

網路入侵 (2)

CERT/CC所接獲之網路攻擊事件通報趨勢

0

20,000

40,000

60,000

80,000

100,000

120,000

140,000

160,000

1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003

年度

攻擊事件數量

Page 7: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

7

網路入侵 (3)

根據美國國防部資訊部門的統計顯示,透過網路入侵被發現的比例卻低於百分之四 電腦系統與網路應用的多樣,增加了被入侵的管道 系統與軟體公司為了市場競爭,壓縮產品發展時程,造成系統與軟體出現瑕疵與漏洞

入侵者也由早期針對單一主機、猜測密碼與手動處理的方式,演變為以下的趨勢

透過各方技術知識以及對網路結構、作業方式的了解,採用了更加複雜的攻擊手法。

不單只針對提供主機入侵與攻擊,對於網路基礎建設的攻擊事件也越來越常見。

利用各種隱藏身分的技巧,並採用自動化的攻擊工具進行攻擊

Page 8: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

8

網路入侵 (4)

攻擊者進行網路入侵與攻擊的流程入侵的動機

隱藏身分

尋找攻擊目標

進行攻擊與入侵

瞭解目標的相關網路服務與系統資訊

Page 9: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

9

網路入侵 (5)

入侵動機 報復心態、商業競爭、竊取資料等等

隱藏身份 為了保護自己,攻擊者會盡力將自己真正的身分以及網路位址 (IP) 隱藏起來,以防止被追踨

也可能利用假造他人、間接入侵 ( 或稱跳板入侵 ) 的方式,藉由他人身分來攻擊目標主機

攻擊目標選擇 透過正常管道先來了解對方的網路位址,或利用普及的網路位址掃描工具,隨機尋找下手的目標

Page 10: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

10

網路入侵 (6)

瞭解目標主機存在之網路服務或系統弱點 利用掃瞄工具對主機進行服務與系統資訊掃瞄

主機必須透過不同的通訊埠 (port) 來提供不同的網路服務 (WWW 通常利用 80此通訊埠、 FTP 通常利用 21 通訊埠等等 )

得知目標主機有哪些服務通訊埠是開啟的 進行攻擊與入侵

針對目標主機之網路服務或系統本身所存在的弱點進行攻擊 癱瘓與阻絕服務攻擊 (DoS) 利用緩衝區溢位 (buffer overflow) 使主機當機或取得主控權

Page 11: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

11

網路入侵 (7)

入侵和攻擊階段的主要步驟 (1) 攻擊端利用特定程式,對目標主機的網路服務或系統資訊發動惡意掃瞄,確認目標主機所提供之網路服務或系統本身存在的弱點

(2)若受害端在不知情或是疏忽的狀況下,回應這些惡意掃瞄,攻擊端便可得到受害端的弱點資訊

(3) 分析與確認受害端的弱點,攻擊端便可發動正式的攻擊,使受害端服務癱瘓或是使其遭受感染而成為攻擊端的跳板主機

(4) 利用遭受感染的主機,對其他目標主機發動下一波的惡意掃瞄或是攻擊

Page 12: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

12

網路入侵 (8)

入侵和攻擊階段的主要步驟

攻擊端 受害端

(1)

(2)

(3)

(4)

Page 13: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

13

網路入侵與攻擊行為 Probe User to Root (U2R) Remote to Local (R2L) Denial of Service (DoS)

Page 14: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

14

Probe User to Root (U2R) Remote to Local (R2L) Denial of Service (DoS)

Page 15: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

15

Probe(1)

概念 利用正常的網路連線行為,來嘗試取得特定主機的各類資訊 目標主機提供哪些公用服務 (WWW服務、 FTP服務等等 ) ,或取得詳細的系統資料 ( 作業平台等等 )

此類行為並不能算是攻擊行為,而是在為後續的攻擊行為做試探的動作

雖然 Probe 不會對系統或網路造成直接損害,但是因其伴隨而來的攻擊行為可能非常猛烈,因此各種入侵偵測系統 (IDS) 、防火牆 (firewall) 乃至防毒軟體,都致力於偵測與防堵此類探測行為

Page 16: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

16

Probe(2)

Probe 類型的攻擊行為 Ping sweep :利用合法的 ICMP (Internet Control

Message Protocol) 封包 (pocket) 對網路內多台電腦進行偵測,瞭解主機是否在線上並且可連線 工具程式 “ ping” 即為使用 ICMP echo封包來偵測一台主機是否在線上

Port scan :對主機進行通訊埠的連線偵測動作。網路服務通常透過特定的網路連接埠提供服務,對這些通訊埠進行連線動作,就可瞭解目標主機上提供服務的狀態

Page 17: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

17

Probe User to Root (U2R) Remote to Local (R2L) Denial of Service (DoS)

Page 18: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

18

U2R 和 R2L(1)

概念 企圖利用各種方式來控制目標主機,其中 U2R通常是指攻擊者已擁有目標主機的使用者群限,並企圖取得主機最高權限 (root);而 R2L 通常是指攻擊者利用目標主機某些網路服務的弱點,企圖取得主機最高權限的攻擊行為

Page 19: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

19

U2R 和 R2L(2)

U2R 和 R2L 類型的攻擊行為 大量嘗試密碼或監聽的方式 利用程式緩衝區溢位 (buffer overflow) 的弱點,將程式原本要回傳的位址,改成入侵者想要執行的攻擊程式,對系統的安全性帶來極大的威脅

緩衝區溢位的杜絕 要防堵 U2R 或 R2L 攻擊,應該要避免緩衝溢位的狀況發生。然而,緩衝區溢位問題常常在標準測試期間是不會被發現的,而且即使程式正發生緩衝溢位,但可能沒有任何異常跡象產生,造成除錯上異常棘手

Page 20: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

20

Probe User to Root (U2R) Remote to Local (R2L) Denial of Service (DoS)

Page 21: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

21

DoS(1)

概念 利用對目標主機要求大量的網路服務,或者進行大量而錯誤的連線動作,使得受攻擊主機忙於處理這些大量、不正常或偽裝的連線,導致無法對其他正常使用者提供服務,甚至造成該主機因消耗過多資源而當機

雖然其運作原理相當簡單,但是到目前為止,也是最難以防堵的攻擊行為

Page 22: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

22

DoS(2)

網路連線:握手機制 (three-way handshaking)

SYN

SYN-ACK……

...

ACK

接收端傳送端

t0

t3

ti

t1

t2

ti+1

Page 23: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

23

DoS(3)

握手機制存在問題 如果攻擊者一直未回覆已收到連線許可的封包

(ACK) 給目標主機,或者利用 “ IP Spoofing” 的技術假造其他主機身分發送封包給目標主機,則目標主機將因為等待對方發出回覆訊息 (ACK) ,而保留相關資源給這些未完成的連線 SYN flood Land

Page 24: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

24

DoS(4)

DoS 類型的攻擊行為 SYN flood :藉由開啟大量半開 (half-open) 、未完成的網路連線,來佔用網路服務的系統資源

ICMP flood :利用大量的 ICMP連線,使受攻擊方主機忙於回應 ICMP封包而無法提供正常服務

UDP flood : UDP (User Datagram Protocol) 協定為一非同步式協定,意即傳送端無須確認接收端是否有收到傳送端送出去的訊息;攻擊方可送出巨量的 UDP封包,使目標主機忙於接受與處理這些封包

Land :送出大量建立網路連線的請求封包 (SYN)給網路上的目標主機,並且利用 “ IP Spoofing” 的技術讓目標主機以為這些封包都是他自己發送的。當系統在處理這些packet時,由於他自己無法回應給自己,而造成系統當機

Page 25: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

25

DoS(5)

分散式阻絕服務攻擊 (Distributed Denial of Service, DDoS) 以 DoS 為基礎之分散式攻擊,相對於 DoS僅有單一攻擊來源端, DDoS 則利用多個攻擊來源,企圖讓整個 DoS 的威力更為強大,並且讓攻擊者的身分更為隱匿

Page 26: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

26

DoS(6)

DDoS 攻擊的架構圖攻擊者

主控台 主控台 主控台

代理人 代理人 代理人 代理人 代理人 代理人

目標主機

Page 27: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

27

DoS(7)

DDoS 攻擊程序 首先利用盜用、竊聽取得其他主機上的合法帳號,將入侵程式或後門程式安裝在該主機上面,使該機器成爲控制發動攻擊的主控台 (handler or master) 或者發動攻擊的前端代理人 (agent or zombie)

當整個攻擊架構完整而且數量達到一定的程度之後,攻擊者將利用遠端操控對主控台下達攻擊指令,於是主控台將驅動所管轄之代理人同時間對目標機器發動大量的 DoS 攻擊

Page 28: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

28

入侵偵測系統 (1)

防火牆的重要性 利用設定過濾法則,有效的偵測與阻擋攻擊行為 企業或組織的網路服務都會架設在防火牆之內,由防火牆來保護企業內部網路的主機和伺服器 為了防止機器被使用 “ land” 攻擊,可以在防火牆上設定「禁止外部網路來的封包其網路位址 (IP) 是內部網路位址」,因為對於一個內部網路而言,外部封包的來源位址絕對不可能是內部的位址

Page 29: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

29

入侵偵測系統 (2)

入侵偵測系統的重要性 用以輔助防火牆,提供完整的規則設定甚至更高階的封包追蹤功能;將偵測到的可疑結果回報給網路管理者或利用防火牆進行阻擋工作 內部網路所產生的攻擊行為 隱匿於正常封包、分散多層次、針對系統安全漏洞等等複雜的攻擊行為

入侵偵測系統的類型 網路型入侵偵測系統 (Network-based IDS, NIDS) 主機型入侵偵測系統 (Host-based IDS, HIDS)

Page 30: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

30

入侵偵測系統 (3)

防火牆、 NIDS 和 HIDS 在內部網路示意圖

區域網路網路伺服器

網際網路

防火牆

路由器

HIDS

NIDS

Page 31: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

31

入侵偵測系統 (4)

網路型入侵偵測系統 針對網路上的封包傳輸、連線狀態內容進行偵測與監控

是否有惡意掃瞄的行為 是否有大量不正常的網路連線或封包

對於系統與網路服務程式所存在的安全漏洞、內部攻擊事件等等,較難偵測

主機型入侵偵測系統 透過分析系統日誌 (system log) 、進出主機的封包內容,除了補足網路型入侵偵測系統的不足,並針對特定主機提供客製化的偵測

由於主機型入侵偵測系統幾乎是最後一道防線,因此除了偵測任務外,必須另外扮演主機防火牆的角色,阻擋可能的攻擊行為

Page 32: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

32

網路入侵行為分析與探勘 (1)

目的 希望利用電腦高速的運算,從龐大的網路連線資料中探勘可能潛在的異常網路行為,甚至能夠察覺到網路行為的細微變化,協助網路管理者建立網路行為模型與執行進階的網路控管機制

動態調整與更新防禦機制 減少網路管理者與專家的負擔

Page 33: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

33

網路入侵行為分析與探勘 (2) 可能遭遇的困難

網路資料來源的多樣化 底層封包資料、封包資訊所產生的網路連線資料外,作業系統系統日誌、甚至其他給定或設計的網路統計資訊等等

網路資料龐大且變化快速 起始階段的網路攻擊行為通常是少量且隱含於正常網路行為中

不同網路應用服務和攻擊行為將有不同的行為模式、不同的行為評估標準 以 telnet 網路應用服務而言,系統呼叫 (system call) 的資訊遠比封包資料與網路連線資料來得重要許多

Page 34: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

34

網路入侵行為分析與探勘 (3)

網路入侵行為分析與探勘之處理步驟

資料來源分析與整合

攻擊行為特質分析與建構 資料前置處理

資料分析與探勘 結果呈現與部署

Page 35: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

35

網路入侵行為分析與探勘 (4)

資料來源分析與整合 對所要分析的網路應用服務或攻擊行為定義相關的資料來源,並且對這些資料來源進行整合、轉換的動作

不同網路架構、不同網路應用服務或不同的攻擊行為,選擇單一或多個較具代表性的資料來源,制訂不同資料來源內容的關連性,將使得後續的處理能夠更為準確和有效率 攻擊行為特質分析與建構 資料前置處理

Page 36: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

36

網路入侵行為分析與探勘 (5)

資料分析與探勘 對產生的資料集合,根據資料特性和所提供的資訊,利用或修改合適的資料探勘演算法來找出偵測與判斷的法則與知識

結果呈現與部署 利用視覺化的方式來呈現相關結果,幫助管理者與專家瞭解知識的意義,進而作進一步的決策與部署這些知識,以杜絕可能的攻擊行為

Page 37: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

37

資料來源分析與整合:以 KDD CUP ’99為例 (1)

KDD CUP ’99 之資料描述 利用一個模擬實驗的網路環境,進行為期 9週的網路資料收集,其間除了蒐集正常的封包資料外,更模擬蒐集了多種不同攻擊行為的封包資料

所收集到的封包資料轉換成網路連線資料與系統存取資料,並且加入專家所建議的其他網路統計與系統資訊

約 40個與基本網路連線、網路統計和系統資訊相關的資料維度

對每一筆資料記錄給予正常或屬於哪種攻擊行為的標籤

Page 38: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

38

資料來源分析與整合:以 KDD CUP ’99為例 (2)

KDD CUP ’99 所包含之攻擊行為與其所歸屬的攻擊類型

攻擊類型 攻擊名稱

U2R

buffer_overflow

loadmodule

neptune

perl

rootkit

攻擊類型 攻擊名稱

DoS

back

land

neptune

pod

smurf

teardrop

攻擊類型 攻擊名稱

R2L

ftp_write

guess_passwd

imap

multihop

phf

spy

warezclient

warezmaster

攻擊類型 攻擊名稱

Probe

ipsweep

nmap

portsweep

satan

Page 39: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

39

資料來源分析與整合:以 KDD CUP ’99為例 (3)

KDD CUP ’99 提供了一份以網路連線資訊為基礎、加入相關統計資訊和系統資訊的資料集合 基本的網路連線資料來源 統計資訊資料來源 統計資訊資料來源

Page 40: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

40

資料來源分析與整合:以 KDD CUP ’99為例 (4)

基本的網路連線資料來源 底層的封包資料通常是根據封包格式由一串 0 與

1 所組成的資料流,較不具顯著的意義與代表性 將所有封包資料轉換為網路連線資料 根據 TCP/IP 協定,由封包資料中所記載的來源端和目的端是否相同,可將屬於同一網路連線的封包,依據封包順序,加以重組還原為基本的網路連線資料

Page 41: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

41

資料來源分析與整合:以 KDD CUP ’99為例 (5)

timestamp service src_host dst_host src_bytes dst_bytes flag ……

1.1 http 140.113.1.1 140.113.23.1 0 0 S0 ……

1,1 http _i 140.113.1.2 140.113.23.1 0 0 S0 ……

1.1 http 140.113.1.3 140.113.23.1 0 0 S0 ……

1.1 http 140.113.1.4 140.113.23.1 0 0 S0 ……

1.1 http 140.113.1.5 140.113.23.1 0 0 S0 ……

1.1 http 140.113.1.6 140.113.23.1 0 0 S0 ……

…… …… …… …… …… …… …… ……

10.1 ftp A D 210 SF ……

13.2 Smtp B D 230 SF ……

15.7 telnet C E 300 13000 SF ……

Page 42: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

42

資料來源分析與整合:以 KDD CUP ’99為例 (6)

部分基本網路連線資料維度資料維度名稱 描述 資料維度類型連線時間 (duration) 連線的時間長度 連續性協定名稱 (protocol_type) 所屬的協定類型,如: tcp, udp等等 類別性網路服務名稱 (service) 目的端的網路服務,如: http, telnet等等 類別性傳送資料量 (src_bytes) 從來源端 (source) 傳輸到目的端的資料量 連續性接收資料量 (dst_bytes) 從目的端 (destination) 傳輸到來源端的資料

量連續性

狀態 (flag) 代表某連線正常或異常的狀態 類別性land 假如來源端和目的端都來自相同主機和

通訊埠則設為 1,反之設為 0類別性

錯誤區段數量 (wrong_fragment)

錯誤區段的數量 連續性

緊急封包數量 (urgent) 緊急封包的數量 連續性

Page 43: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

43

資料來源分析與整合:以 KDD CUP ’99為例 (7)

統計資訊資料來源 由於 Probe 與 DoS這兩種類型的攻擊是利用正常的網路連線,企圖取得有關主機的各類資訊與癱瘓網路服務,因此可能在短暫的時間內,對特定主機或區域網路產生大量的網路連線資料

因此必須增加相關的統計資訊

Page 44: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

44

資料來源分析與整合:以 KDD CUP ’99為例 (8)

統計資訊之決定 透過專家與領域知識分析相關的攻擊行為 以 santan此種 Probe 攻擊而言,其透過某些探測程式對同一主機進行通訊埠掃瞄,企圖找尋此主機上存在的服務以及其可能的弱點,因此可以加入以下三個統計資訊 某一短暫時間內連接到同一主機之連線數量或比例 某一短暫時間內連接到同一主機但要求不同網路服務之連線數量或比例

某一短暫時間內出現狀態為 REJ 之連線數量或比例

Page 45: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

45

資料來源分析與整合:以 KDD CUP ’99為例 (9)

統計資訊之決定 以 SYN flood此種 DoS 攻擊而言,其藉由一短暫時間內大量未完成的連線,來佔用網路服務的系統資源,因此可以加入以下三個統計資訊: 某一短暫時間內連接到同一主機之連線數量或比例。 某一短暫時間內要求同一網路服務之連線數量或比例。 某一短暫時間內出現狀態為 S0 之連線數量或比例。

Page 46: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

46

資料來源分析與整合:以 KDD CUP ’99為例 (10)

部分統計資訊資料維度 資料維度名稱 描述 資料維度類型連線數量(count)

過去 2秒內,與目前連線 (current connection)一樣是連接到相同主機的連線數量

連續性

SYN錯誤比例(serror_rate)

過去 2秒內,連接到與目前連線相同主機所產生SYN錯誤(亦即狀態 (flag) 為 S0)的連線比例

連續性

REJ錯誤比例(rerror_rate)

過去 2秒內,連接到與目前連線相同主機所產生REJ錯誤(狀態為 REJ)的連線比例

連續性

相同服務比例(same_srv_ra)

過去 2秒內,連接到與目前連線相同主機、並要求相同服務的連線比例

連續性

不同服務比例(diff_srv_rate)

過去 2秒內,連線到與目前連線相同主機,但要求不同服務的連線比例

連續性

服務數量(srv_count)

過去 2秒內,連接到與目前連線相同服務的連線數量 連續性

Page 47: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

47

資料來源分析與整合:以 KDD CUP ’99為例 (11)

系統資訊資料來源 對 U2R 和 R2L這兩種類型的攻擊而言,攻擊者透過探測程式去探測機器上所提供的服務,瞭解這些服務是否存在一些弱點

通常不會在短暫的時間內產生大量的網路連線資料,因此並無法由基本網路連線資料或統計資料來看出端倪;反而是解譯封包內容 (data_payload) 以及利用系統日誌檔的記錄,瞭解使用者對主機所下的指令與要求,較能有效判定這兩類的攻擊行為

Page 48: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

48

資料來源分析與整合:以 KDD CUP ’99為例 (12)

系統資訊之決定 同樣需透過專家與領域知識分析相關的攻擊行為 以 guess_passwd這種 R2L 攻擊而言,攻擊者通常從遠端對同一主機進行多次嘗試登入,由於其為非合法使用者,因此嘗試過程中將出現多次登入失敗的封包或者登入失敗的系統日誌,故可以加入以下之系統資訊:『登入失敗的次數』

以 rootkit這種 U2R 攻擊而言,攻擊者通常是合法的本機使用者或已取得本機使用者權限,但其企圖取得最高權限者的權限,因此過程中將出現多次嘗試 root 的次數,此時可以加入以下之系統資訊:『嘗試 root 的次數』

Page 49: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

49

資料來源分析與整合:以 KDD CUP ’99為例 (13)

部分系統資訊資料維度 資料維度名稱 描述 資料維度類型路由器數量(hot)

通過的路由器數量 連續性

登入失敗次數(num_failed_logins)

企圖登入失敗的次數 連續性

登入狀態(logged_in)

登入成功設為 1,反之設為 0 類別性

危害連線(num_compromise

d)

危害的連線個數 連續性

嘗試 root的次數(num_root)

嘗試轉換最高權限者 (root) 的次數 連續性

root權限狀態(root_shell)

假如最高權限被獲得則設為 1,反之設為 0 類別性

存取控制檔案次數(num_access_files)

存取並操作控制檔案 (control file) 的次數 連續性

guest權限狀態(is_guest_login)

如果是以來賓 (guest) 身分登入則設為 1,反之設為 0

類別性

Page 50: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

50

資料來源分析與整合:以 KDD CUP ’99為例 (14)

KDD CUP ’99 之資料前置處理...0101000111001...

...0110011100001...

...1100111011001...

封包i

封包i+1

封包i+2

資料前置處理

基本網路連線資料還原

統計資料加入

系統資料加入

...0101000111001...

...0110011100001...

...1100111011001...

Duration Count Service…… ……

…duration…flag…service… … count… serror_rate…rerror_rate…

封包資料

網路連線資料

統計資料網路連線資料

…duration…flag…service… … count… serror_rate…rerror_rate…

統計資料網路連線資料…hot…num_failed_logins…

系統資料

KDD CUP資料格式

Page 51: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

51

入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 (1)

分類法則探勘 由於 KDD CUP ’99 所提供的模擬資料記錄已給予正常或屬於哪種攻擊行為的標籤,因此可以利用分類法,從資料集合中找出可以用來判斷攻擊行為的分類法則

分類法則探勘之考量點 資料記錄的挑選 資料維度的挑選

Page 52: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

52

入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 (2)

資料集合中 Probe 類型攻擊行為的分類法則 透過簡單的資料選取,將資料集合中屬於 Probe這類型的資料記錄與標示正常的資料記錄抽取出來進行分析

…… service src_bytes dst_bytes

…… count serror_rate rerror_rate …… class

…… private 1 1 …… 1 0 0 …… normal

…… eco_i 1 0 …… 1 0 0 …… ipsweep

…… …… …… …… …… …… …… …… …… ……

…… private 0 0 …… 1 0 0 …… portsweep

Page 53: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

53

入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 (3)

flag

dst_host_srv_diff_host_rate service

protocol_type

SH

auth

Port sweep

private, http_443, systat

duration

Normal

1

Port sweep

0

srv_count NormalNormal

Normal

0, 2, 3 1

IP sweep

6

service

RSTOREJ

Nmap

SFS1, S2, S3

Normal

udp, tcp

IP sweep

icmp

Normal

01~710

dst_host_count

Normal

5

IP sweep

1

Normal

http, …, private eco_i

Page 54: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

54

入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 (4)

只針對 ipsweep 、 nmap 、 portsweep 、 satan 其中一種攻擊行為作分類法則分析 ipsweep 攻擊行為之決策樹

dst_host_srv_diff_host_rate

protocol_type Normal

udp, tcp

IP sweep

icmp

Normal

01~710

service

dst_host_count

Normal

5

IP sweep

1

Normal

http, …, private eco_i

count

Normal

1

IP sweep

6

ecr_i

Page 55: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

55

入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 (5)

只針對 ipsweep 、 nmap 、 portsweep 、 satan 其中一種攻擊行為作分析分類法則 portsweep 攻擊行為之決策樹

flag

service

auth

Port sweep

private, http_443, systat

duration

Normal

1

Port sweep

0

Normal

RSTOREJS1, S2, S3,

SF

Normal

Page 56: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

56

入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 (6)

關連式法則探勘 利用關連式法則探勘,在使用者所設定適當的支持度和信心水準下,將可以幫助我們瞭解各類型的攻擊行為具有哪些特徵

當特定類型的攻擊行為發生時,通常就會出現哪些特徵 SYN flood 攻擊出現時,狀態 S0 之連線數量通常偏高 guess_passwd 攻擊出現時,登入失敗的次數通常偏高

除了攻擊特徵外,也可以從正常資料記錄中找出正常的行為特徵,用以偵測違反正常使用行為的封包

Page 57: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

57

入侵偵測的資料分析與探勘:以 KDD CUP ’99 為例 (7)

分群法 面對未知封包與網路連線資料時,有時候必須利用分群法的技巧來找出異常行為的群集。

以 KDD CUP ’99 的資料當作分群法的資料來源時,可以將 KDD CUP ’99 所提供資料的最後一個標籤欄位去除掉,其餘欄位則送進所設計的分群機制,得到結果後檢視看看所分出來的群集是否同為相對應的攻擊行為

分群法之考量點 資料記錄的挑選 類別性資料維度的處理 相似度計算公式的設計以及分群法的選擇

Page 58: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

58

總結 (1)

網路應用快速的發展,如何保留網路所帶來資訊傳遞、交換的便利,同時防範有心人士利用網路做為攻擊各類重要應用的管道,成為網路時代重要的議題

防火牆與傳統入侵偵測系統的瓶頸 對於新型、無法由存在規則來判別之入侵行為,可能因無法隨時調整或更新過濾法則

網路管理者與專家通常需要長時間才有辦法分析出潛藏在龐大網路資料中的入侵行為

Page 59: 網路入侵行為分析與探勘 (Network Intrusion Analysis and Mining)

59

總結 (2)

資料探勘技術應用於網路行為探勘 希望利用電腦高速的運算,從龐大的網路連線資料中探勘與分析出可能潛在的異常網路行為

協助建立網路行為模型與執行進階的網路控管機制,並回饋到現有的網路儲存設備,增加其偵測與防禦能力,確保系統及網路的安全

目前的入侵偵測系統仍存在兩個重大缺點 假警報 (false alarm) 情況發生頻率很高 無法達到全線速度 (wire speed)