ビッグデータ解析によるサイバー脅威の検知と対策の ... - JST...Hayabusa-マルチコアを使い切った速な並列検索-柔軟なデータ形式での蓄積-

ビッグデータ解析によるサイバー脅威の検知と対策のアシスト

東京⼤学情報基盤センター関⾕勇司NML Project https://nml.ai/

2019年6⽉24⽇

12019年6⽉24⽇ CREST課題 : サイバー脅威ビッグデータの解析によるリアルタイム攻撃検知と予測

狙われています§APT : 標的型攻撃§フィッシング§ランサムウェア§データ流出・漏えい§組織的攻撃§Shadow Brokers§DDoS§ダーク Web

2019年6⽉24⽇ CREST課題 : サイバー脅威ビッグデータの解析によるリアルタイム攻撃検知と予測 2

常に攻撃者の⽅が先⼿を⾏く世界現場の担当者は疲弊している

背景と動機§⽇々セキュリティインシデントが発⽣する

- 様々なユーザが存在- アカウントを狙った標的型攻撃も多数

§被害を最⼩限に抑える⼯夫を-攻撃者の痕跡を発⾒し対策を⾏う

§でもね。。。- セキュリティエキスパートを雇えるわけではない-担当者の知⾒に頼って経験則にて⾏われている

§もっと属⼈的ではない対策ができないだろうか︖- インシデント発⽣時の分析と対策をアシスト


AI を⽤いたアシストを実現しよう︕︕

属⼈的

本⼿法のアプローチ


Prediction of trends of cyber threats by natural language

analysis of social data

攻撃の動機をとらえ攻撃の動向予測に利⽤

SNS

IncidentResponse

DarkWeb

攻撃の予兆検知攻撃の影響範囲特定

Collect cyber threat data aimed at network devices,

servers, client terminals, etc.

Router

Server

EndPoint

アシスト

攻撃の動機・兆候・証拠の発⾒

Proactive Reactive

経験が⾜りないセキュリティ管理者を

アシスト

ソーシャル系データセット

インフラ系データセット

実現するワークフロー


%!$+-��

��

��#- &-��

#- �!$)�* �'��,��"'

��()"��

ワークフローによるセキュリティ対策

AI による攻撃予測

%!$+-��()"��

AI による攻撃(異常)検知と対策の提案

予防策の実施

結果のフィードバック

攻撃事例のオープンデータ化

Public Cloud 上のシステムとして提供可

能

⼿法としての新規性や特徴


特徴量抽出

サイバーセキュリティ分野へのAI技術の適⽤

⼈間が認識するセマンティクスを無視

ビットパターンとして処理

振る舞いの画像化

Picturization : ホストや通信のパターンを画像化

画像処理の⼿法をそのまま利⽤した深層学習処理が可能

特許出願済み

対策アシストの実現

「対策」をアシスト

発⽣した事象を⾃然⾔語で処理

現在までの成果

データ蓄積・検索システムの開発とデータ処理⼿法の⾼速化

CREST課題 : サイバー脅威ビッグデータの解析によるリアルタイム攻撃検知と予測 2019年6⽉24⽇ 7

データセットには関連性がある

2019年6⽉24⽇

CREST課題 : サイバー脅威ビッグデータの解析によるリアルタイム攻撃検知と予測

8

Access to malicious site(key = dst addr)

(value = src addr)

Infectedhost

The destination address of Infected Host(key = src addr)

(value = dst addr)

The host accessed to the same site(key = dst addr)(value = src addr)

SNS

Domain Name resolved by infected host

(key = src addr)(value = domain)

Articles related tothe domain name

(key = domain)(value = sentences)

External BlackList(key = dst addr)

(value = src addr)

User Authentication DB(key = mac addr)

(value = username)

DarkWeb

既存のシステムではだめ︖§ インフラから得られるデータ量が膨⼤すぎて蓄積も解析も困難

- 全てを蓄積しようとすると基盤インフラ以上の投資が必要- クラウドを利⽤する場合は情報の機密性が問題となる場合も

§ 既存の商⽤システムやオープンソースでは難しい- この種のデータをパブリッククラウドに保存するのは難しい- データ量が多くなりすぎる- オンプレミスの⾼速蓄積・検索システムは⾮常に⾼価

§ 「完全性」を有したデータセットを構成することが重要- 攻撃の⼿法や影響範囲を特定するためには複数の

データセットを分析しその関連性を発⾒することが重要


？

データセット収集インフラ開発§⾼速データ蓄積・検索プラットフォームの設計と実装§Hayabusa

- マルチコアを使い切った⾼速な並列検索- 柔軟なデータ形式での蓄積- ⾼速な全⽂検索- 100k lines / sec 以上のデータ

収集を実現


Hiroshi Abe, Keiichi Shima, Yuji Sekiya, Daisuke Miyamoto, Tomohiro Ishihara, and Kazuya Okada, “Hayabusa: Simple and Fast Full-Text Search Engine for Massive System Log Data”, Proceedings of the 12th International Conference on Future Internet Technologies, ACM, DOI: 10.1145/3095786.3095788, June 2017

システムとしての実現性§クラウドとオンプレの融合

- 分散アーキテクチャへの拡張- コスト⾼なストレージをオンプルへ- AWS Direct connectの利⽤- 計算エンジンをクラウドへ- 必要に応じて計算エンジンをスケールアウト

§研究的成果- 阿部博, 島慶⼀, 宮本⼤輔, 関⾕勇司, ⽯原知洋, 岡⽥和也, 中村遼, 松浦知史, 篠

⽥陽⼀, "時間軸検索に最適化したスケールアウト可能な⾼速ログ検索エンジンの実現と評価", 情報処理学会論⽂誌, 60巻3号, pp. 728-737, 2019年3⽉

- 阿部博, "⼤規模ネットワーク環境における⾼速なログ解析基盤と異常検知に関する研究", 博⼠論⽂, 北陸先端科学技術⼤学院⼤学, 2019年3⽉

client

worker

RequestBroker

worker worker

NFS

LogWriter

クラウド環境

Direct Connect（VPN）

オンプレ環境


エッジ側への処理機構の展開

§⼩型スイッチ型 PC にて実装§ Intel DPDK 技術を⽤いてスイッチ内部で⼀

次処理§処理可能なデータはスイッチ内部にて処理§⼀次処理したデータをクラウドに転送


汎⽤NICを利⽤した分類機構の実装と基礎評価

NIC

Classifier

TX

Parser

NullRX DPDK

Classification module(s)

HardwareKernel spaceUser space

Forwarding process

FeatureExtractor

file:///home/ga-su-/Downloads/implementation_en.svg

1 of 1 2018/11/30 14:53

●

●●

●

●

●●●●●●●●●●●●

●●●

●

●

●●●●●●●

●

●

●●

●●●

●●

●●●●

●

●●●●●●●●

●

●●

●●●●●

●

●

●

●●●●

●●

●●●●●

●

●

●

●

●

●

●

●●●●

●●●

●

●

●

●●●●

●

●●●

●●●●●●●

●

●●●●

●●●

●

●●●●●●●

●

●

●

●●●●

●●●●

●

●●

●

●

●

●●●

●●●●

●

●

●●

●

●

●●●●

●

●

●●●

●●●●●●●●●●●

●

●●●●●●

●●●●●●

●

●

●●●

●●●

●

●●●●●●●

●●●●●

●

●

●●

●

●

●

●●●●●●●

●●●●●

●

●●●

●

●●●

●

●

●●●

●●

●●●

●

●

●●●

●

●●

●●●●●

●

●●

●

●

●

●

●

●

●●

●

●●●

●●

●

●

●

●●●●

●●

●●●

●

●●●●

●●●●

●●

●●

●●●●

●●●

●

●

●●●

●

●●

●

●

●●●●●●

●●●●●

●●●●●

●

●●●●●●

●

●

●●●

●●

●

●●●

●●

●

●

●

●●

●●●●●

●

●●●●●

●

●

●

●

●●

●

●●

●

●●

●●●●●●●●●●●●●●

●

●

●●●●●●●

●

●●●●●●

●●●

●

●

●●●●●

●

●●

●●

●●●

●

●

●

●●●●

●●●●●●●

●●

●

●●●●●●●●●●●

●●●

●●

●

●●●●●

●

●

●●●●

●

●

●●●●●

●

●●●

●●●●

●●●

●●●●

●

●●

●●●●●●●●●

●

●●●●●●

●●

●●●●

●●●●●

●●●●●

●●●●

●

●●●●●●●●

●●

●

●●●●●●

●

●

●●●●●●

●●

●

●

●●

●●●●

●

●

●

●

●●

●

●●

●●●

●

●

●

●

●

●

●●●●●●

●

●

●

●●●

●

●●●

●

●

●

●

●

●

●

●

●●

●

●

●●

●●●

●●

●

●

●

●●

●

●●

●

●●●●

●

●●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●●●●●

●

●

●

●●

●●

●

●

●●●●

●

●●

●

●

●

●

●

●

●

●●

●

●

●●●

●●

●

●

●●●

●

●

●

●

●

●●●

●

●●

●●

●

●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●●●●

●

●

●

●

●

●

●

●●

●

●

●●

●

●

●●

●

●

●

●●●

●

●

●

●●

●

●

●

●

●

●

●●●

●

●

●●

●

●●

●

●

●

●●●●●

●

●●●●●●

●

●

●●●●●●●●●●●●●●●●

●

●●●●

●

●

●●

●●●●

●

●●●●

●

●●

●

●●●●

●

●

●

●

●

●

●

●●●●●●●●●●●

●

●

●

●

●

●

●

●

●

●●

●●●●●

●●

●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●

●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●

●●●●●

●

●●●●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●

●

●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●

●●●●●●●●●●●

●

●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●

●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●

●●

●●

●

●●●●●●●●●●●●

●

●●●●●●

●

●●

●

●

●

●●●●●

●

●

●

●●

●●

●

●●●

●

●

●

●●●●●●●

●

●●●

●

●

●

●●●●●●●●

●

●●●●●●

●

●●●●●●●●●●

●

●●

●

●●●●

●●●●●●

●

●

●●

●●●●●●●●

●●

●●●●●●

●

●

●●

●

●

●

●

●

●●●

●

●●

●●●

●●

●●●●●●

●●●

●

●●

●●

●

●

●●

●●

●

●

●

●●●●

●

●

●

●

●

●●●

●●●●●●

●

●

●

●●●●

●

●

●

●●

●

●●

●●●●●●●

●●●●

●●●●●●●●●●●●●●●●

●

●●

●●

●

●●●●●●

●●

●●

●

●

●

●

●

●●●●●●●●●●

●●●●

●●●●●●●●●●●

●●●●

●●

●●●●●●●●●●●●

●

●●●●

●

●●●

●

●

●●●●●●●●

●

●●●●●●●●

●

●●

●●

●●●

●

●●

●

●●●

●

●

●

●

●

●

●

●

●

●●

●

●●●●●●●

●

●

●●

●

●

●●●●●●

●●●●●●●●●●

●

●●●

●

●

●●●●●●●●●●●

●

●●●●●

●●●●●

●●●

●●●

●

●●

●

●

●●●●●●●●

●●●●●●●●

●

●

●

●●●●●●●●●●●●

●

●

●●●●

●●

●●●●●●●

●●●●●

●●●●●●

●

●

●●

●●●●●●●●

●

●

●

●●

●

●●

●

●

●

●

●

●●●●

●●●●●

●●

●

●●

●●●●●●

●●●●●●

●

●

●

●

●

●●●

●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●●

●

●

●●

●●●

●●●

●●●●

●●

●●●●●●

●

●●●

●●

●●●

●

●

●

●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●●●

●●

●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●●

●●●●●

●

●●●●

●

●●●●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●●●

●●●

●

●●●●●●●●●●

●●●●●●●●●●●●●

●●●●●●●●●●●●●●●●●●●

●●

●●●●●●●●●●●

●

●●

●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●●●●

●

●●

●●

●

●●

●●

●●●

●

●●

●

●●

●

●

●

●●

●

●

●

●

●●

●

●

●●

●

●

●

●●●

●

●●●●

●

●●●●●●

●●

●●●●●●

●

●

●

●

●

●●●●

●

●●●●●

●

●●●●

●

●

●

●

●

●●

●

●

●

●●●●●●●●●●●

●

●●

●

●

●●●

●

●●

●

●●

●

●●

●

●

●

●●

●●●●

●

●

●

●●●●

●

●

●

●●

●●●●●●

●

●●●●●●

●

●●●●●

●●●

●●

●●●

●●●

●

●●●●●●●●●●

●

●

●

●●●●●●●

●

●●

●

●●●●●

●

●●

●

●●●●●

●

●●●●●●●●●●

●●●

●

●

●●●●

●

●●●●

●

●●

●

●

●

●●

●

●

●

●●●●

●

●●●●

●●●

●●●

●

●

●

●●●

●

●●

●

●

●

●●

●

●●●●●

●

●●●●

●●

●●●●

●●

●●

●

●

●●

●●●●

●

●

●

●●●●●

●

●●●●●●●●●●●●●●●●

●●

●●

●

●

●

●●

●

●

●

●●●●●

●●●●●●●●●●●●

●

●●●●

●

●●●●

●

●

●

●

●●●

●

●●●●●

●

●●●●●●●

●

●●●

●●

●●

●

●

●●●

●

●●●●●●●●

●

●●●●

●

●

●●●

●

●●●●●●

●

●

●

●

●

●●●●●●●●

●

●●●●●●

●●

●●

●

●

●

●

●●●●●●

●

●●●

●

●●

●

●●

●

●●●●●●

●

●●●

●●●●●●●

●

●●

●

●

●

●

●●

●

●

●

●●

●

●●

●

●

●●●●

●

●

●●

●

●●

●

●

●●●●●

●

●●

●●

●

●●

●

●●●

●●●

●

●

●●

●●●

●

●●●

●●

●●●●

●●●

●●●

●●●●

●

●

●●●●

●●

●

●●

●

●●●●●

●

●

●●●

●

●

●●

●●●

●

●

●●

●

●

●

●●

●●●●

●

●●●

●

●●●●●

●●●●

●

●

●●●●

●●●

●

●

●

●

●

●●●

●

●●●●●●

●●●●●

●

●

●●●

●●

●

●●

●●●

●

●

●

●●

●●●

●

●●

●●

●●

●●

●●

●

●

●

●

●●●●●

●●●●●●●

●

●

●●

●●●●●●

●●

●●●●●

●

●●●●

●●

●●●●

●

●●

●

●

●

●

●●●

●●

●

●

●

●

●

●●●

●

●●

●

●●

●●●●●●

●●●

●

●

●●●

●●●●

●

●●

●●

●

●

●●●●

●

●

●

●●●

●●●●●

●●

●

●●●●●

●●●

●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●

●

●

●

●●

●

●●●●●●●●●●●

●

●●●

●

●

●

●

●●

●

●

●

●

●

●

●

●●●

●

●

●

●

●

●●●

●

●

●

●●●●●●●●●

●●

●

●

●

●

●●●●●●●●●

●

●●

●●

●●●

●

●●●●●

●

●

●●

●●

●

●

●

●●

●

●

●

●●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●

●

●●●

●●

●

●●●

●

●

●

●

●

●●

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●●●

●

●

●

●●●

●

●

●

●

●

●●

●

●

●

●

●●●●●

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

●●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

●●

●

●

●

●

●

●●

●

●●

●

●

●

●●

●

●

●●●

●

●●

●

●

●

●

●

●

●

●

●

●

●●

●

●

●●

●●

●

●

●●●

●●

●●

●

●

●●

●●

●

●

●

●

●●

●

●●

●

●●

●●

●●

●

●

●

●●●

●

●

●

●●

●●

●

●

●

●

●

●

●

●●●

●●

●

●

●

●

●

●●

●●

●●

●●

●

●

●

●

●

●

●

●●

●

●

●

●

●●

●

●

●

●

●●

●

●

●

●

●●

●

●●

●

●

●

●

●

●

●●

●

●●●●

●

●

●

●●●●●

●●

●

●

●

●

●

●

●

●

●

●

●

●

●●●●●●●

●●

●

●

●

●

●

●

●

●

●

●

●

●●

●●

●

●

●

●

●

●

●●●●

●

●

●●

●

●

●●

●

●●

●

●

●

●

●

●●

●

●

●

●

●

●

●●

●

●

●

●

●●●

●

●●

●

●

●

●

●

●●

●

●●●

●

●

●

●●●

●

●●●●●●

●

●●●●●●●●●

●

●●●●●●●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●●

●●●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●●

●●●

●

●

●

●

●

●

●

●

●●

●●

●●●●●

●

●

●

●●●

●

●

●●●●●●●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●●

●

●

●●●●●●●●

●

●

●●●

●●●

●●●●●●

●

●●●●●

●●●●●●●●●●

●

●

●●●●

●

●●●

●

●●●

●●●

●●

●

●

●

●

●●●●●●●

●

●

●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●

●●●●●●●●

●

●

●●●●●

●●●●●●●●

●

●●●●●●●●●●●●●●

●

●

●

●●●●●●●●●

●

●

●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●

●

●●●

●

●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●

●

●

●●●●

●

●

●●●●

●

●

●●●●●

●

●

●●●●●●●●●●●●●●●

●

●

●●

●●

●

●●●●

●

●●

●●

●

●

●●

●●●

●

●

●●

●

●●●●●●

●

●●●

●

●●●●●●●●●●

●

●

●●●

●●

●●●

●

●●

●

●●●●

●

●●●●

●●

●●●●

●●●●

●

●●

●

●

●

●

●●●●

●●●●●●

●

●

●●●●●●

●●●●●

●●

●

●●

●●●

●●●

●●●●●●●●●●●

●●●

●

●

●

●●●●●●●●●●●

●

●

●

●

●

●●

●●●●●●●●●●●●●●●●●●●

●

●

●●●●●●●●

●

●●●

●●

●

●●●●

●

●

●

●●●●

●

●

●●●

●

●

●

●●●●●

●●

●

●●●●

●

●●

●●●

●●●●●●●●●●●●●●●●●●●●●

●●●●●●●●●●●●●●

●●●●●●●●●

●●●

●

●

●

●●●

●●●

●

●

●

●●●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●

●●

●●

●●●

●

●

●

●

●

●●●

●

●

●

●

●

●

●

●●

●●●

●

●

●

●

●

●

●

●

●

●●

●●

●●●●●

●

●

●

●●●

●

●

●●●●●●●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●●

●

●

●●●●●●●●

●

●

●

●●●

●●●

●●●●●●

●

●●●●●●

●●●●●●●●●●

●

●

●●●●●

●●

●

●●●

●●

●●

●

●

●

●

●●●●●●●

●

●

●●●●●

●

●

●

●●●●●●●●●●●●●●●●●●●●●●●●●●●

●

●

●

●●●●●●●●

●

●

●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●

●

●

●●●●●●●●●●

●

●

●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●●●●●

●

●●●●●●●●●●●●

●

●●●●

●●●●●●●●●●

●

●●●●●●●●●●●●●●●●●●●●●●

●

●

●●●●●●●●

●

●●

●●●●●

●

●

●●●●●●●●●●●●●●●

●●

●

13

アーキテクチャ各パートで処理時間

• DGA検知アルゴリズムをLIBSVM, Tensorflowで実装• 転送完了までに数⼗μsec〜100msec程度• 10Gのワイヤーレートは難しい• 1G のスイッチとしてシステム実装

• Intel DPDKフレームワークにて実装• FPGAによる実装も考えらえるが，分類モジュール

の柔軟性が損なわれるためソフトウェア実装を選択



ビットパターンによる認識と画像化


TCP 挙動の画像化§ホストの“SYNパケットのふるまい”を画像化(SYN画像)§ニューラルネットでSYN画像を学習§ネットワークトラフィック中からSYNパケットを採取、画像化して

IPアドレスごとに悪性ホストか良性ホストかを判定する§ポイントは「画像化」するということ

- 画像処理の機械学習⼿法が適⽤できる§通信ブロックの指標として利⽤


SYNパケットの採取

SYN画像の学習と分類

このIPアドレスは悪性 or 良性?

ネットワーク SYN画像ニューラルネット判定

SYNパケットに着⽬したホスト分類機械学習による悪性ホスト判定の試み


⽬的: トラフィック中から悪性ホストを特定し、リアルタイムな防御や感染検知に役⽴てる

⽅針: 特定の攻撃やマルウェアに特化するのではなく、パケット送信の振る舞いを特徴としてホストの良性、悪性を判定する

⼿法: ⼀連のTCP SYNパケットを繋げて画像化し、機械学習を⽤いて分類する

TCP SYNパケット

• インターネット上のホストが、良性か悪性かに関わらず通信開始時に送信するパケット

• SYNパケットのみを⽤いることで、ホストの種類に関わらず幅広く挙動を学習、分類

通信開始: SYNパケット送信

⼀連のSYNパケットの画像化と学習

• 悪性/良性のネットワークで得られたSYNパケット群をそれぞれ画像化• この画像を学習、未知のSYNパケットからホストの挙動を分類

悪性

良性

現状• エッジネットワークとハニーポッドで収集したデータを⽤いて学習• 別のハニーポッドで収集したデータを⽤いて検証、有効性を確認

Ryo Nakamura, Yuji Sekiya, Daisuke Miyamoto, Kazuya Okada, Tomohiro Ishihara, “Malicious Host Detection by Imaging SYN Packets and A Neural Network”, International Symposium on Networks, Computers and Communications (ISNCC 2018), Rome, Italy, June 2018

トラフィックデータの画像化§ Bag of Features の例

- 8bit (0x00 – 0xFF) から、16bit (0x0000 – 0xFFFF) への拡張により、特徴量の数は増えるが、⼀⽅でデータセットのサイズが増える

§ 画像で表現可能なデータ- 画像の x 軸の位置- 画像の y 軸の位置- 画像の内容（ R, G, B 成分）

§ データ1⾏あたりの内容- 0x0000 – 0xFFFF のデータは 256 x 256 で

表現できる• X 軸、y 軸を表現可能• すなわち⾼さ 256 ドット、横 256 ドットの画像と同じ• 256 x 256 x 256 (RGB) x その割合を⼊れたら、⾊が定まる

0x0000 0x0001 0x0002 … 0xFFFFデータ1 0.0001 0.0000 0.0001 … 0.0001

65536種類の特徴量

正常な通信の例異常な通信の例


URL⽂字列のビット判定§2018年度に開発したURL⽂字列の機械学習判定技術Phish

Finder[1]をリアルタイムトラフィックに応⽤

監視対象ネットワーク

[1] Keiichi Shima, Daisuke Miyamoto, Hiroshi Abe, Tomohiro Ishihara, Kazuya Okada, Yuji Sekiya, Hirohchika Asai, Yusuke Doi, “Classification of URL bitstreams with Bag of Bytes”, First International Workshop on Network Intelligence (NI2018), 20-22 February 2018

PhishFinderパケット

キャプチャ

HTTPプロキシ URL情報

リアルタイム監視

学習モデル

良性URL情報

悪性URL情報

インシデントレスポンスシステム

情報集約および提⽰



インシデントレスポンスのアシスト


知⾒の蓄積に関する取り組み

20

トリアージハンドリング

・東工大CERTを例とした正規化・意思決定(判断)に基づくフローの簡素化・対応の自動化を見据えたデータセット

セキュリティ事案対応フローにおける情報の正規化

GitLabを利用した対応フローの実装とセキュリティ現場における運用

・対応の迅速さ/知見蓄積のバランスを考慮・現場の意見を多く取り入れた設計/実装


アシスト実現のフロー


��

��1. ��2. ��N.

��

��2.

��

�

��

知見の蓄積知見の再利用

1 �2:81�7(.'�&AI/ML��%�$��

2 G �I��AI/ML��0��/A��

3 G �;D��9��>-*,1EF�0��

4�B��5)��

��.'"H

�0�+C G �.'/�0�!?4�B��#� ��2:81�7(.'

G �I��

��2.

G �I��

AI/ML��

;D@<��

3=

/A

;D�69

まとめ

22

本研究におけるチャレンジ1. データセットと機械学習を用いた攻撃兆候・異常挙動の検知

- 既存の IDS/IPS との組み合わせ- 機械学習・深層学習を利用した攻撃兆候の発見

2. 社会的データセットを用いた攻撃動機の発見- Web / SNS 等における社会的動向とサイバー世界の関連性発見- ダーク Web 等の情報を用いた攻撃兆候の発見

3. 機械学習と過去事例を用いたインシデントレスポンスのアシスト- 過去事例を学習セットとした一次対策のアシストシステム実現- インシデントの手法と影響範囲特定のアシストシステム実現

4. オープンデータセットの提供- プライバシーに考慮したオープンデータセットの提供


何をアシストするか


データからの異常検知攻撃の動機に関する情報

攻撃の種類と影響範囲の推定対応⼿法の提案

⾃動発⾒

過去のインシデント対応事例

被害を最⼩化する対抗策

セキュリティ担当者

対策の決定と開始

アシスト

確認

事例分類からの推定

アシスト

本研究が提案する⼿法の利点


⾃組織内部の情報を活⽤した攻撃検知が可能

• 現存するクラウドを利用したセキュリティサービスは主に外部情報の利用• オンプレミスにて利用可能なデータ蓄積・検索システムの開発• ハイブリッドなシステムを構築可能

対策のアシスト

• 攻撃情報を提供するだけのサービスは数多く存在

• ⼈間が介在しない対策のアシストを提供

知⾒の共有

• 学習結果を共有したアシストエンジンを利⽤

実⽤化 : 攻撃検出・予測とインシデント対策サポートクラウドシステム


リアルタイムログデータ

学習モデル学習モデル学習モデル攻撃ごとの特徴抽出

サイバー攻撃サーベイ

リアルタイムデータ処理

新しいサイバー攻撃検出・予測サービスフレームワークの創出

攻撃検出・予測フレームワーク

検出・予測動作

ソーシャル情報

• 適切な特徴点の選択が実⽤化のために必要• 過去の成果から攻撃痕跡の情報を⼊⼿• サイバー攻撃サーベイと過去の情報から、

攻撃特性に応じた特徴を捕捉可能• ソーシャル情報を学習⼊⼒として活⽤

既存成果による

攻撃痕跡情報

精度の⾼い攻撃検出と予測のために

社会動向を考慮するサイバー攻撃学習モデルを構築

• ソーシャル情報を⼊⼒に加えることで従来のログデータのみでは検出できない兆候を発⾒

• 攻撃に応じたモデル構築による精度の⾼い識別を実現

サービス事業者によるクラウドサービス

インターネット事業者と連携したクラウドサービスとしての展開

パッケージ化による⼩中規模組織への展開

Documents

ビッグデータ解析による サイバー脅威の検知と 対策の ... - JST...Hayabusa-マルチコアを使い切った 速な並列検索-柔軟なデータ形式での蓄積-

ビッグデータ解析によるサイバー脅威の検知と対策の ... - JST...Hayabusa-マルチコアを使い切った速な並列検索-柔軟なデータ形式での蓄積-