o-checker:悪性文書ファイル検知ツール～ファイルサイズからにじみ出る悪意 by 大坪雄平

CODE BLUE Feb.17 (Mon) - 18 (Tue), 2014 Tokyo, Japan

o-checker：悪性文書ファイル検知ツール～ファイルサイズからにじみ出る悪意

大坪雄平

1


目次

2

１．はじめに２．バイナリエディタで見る

悪性文書ファイルの構造３．o-checkerの概要４．o-checkerの検知の仕組み５．デモンストレーション６．o-checkerの応用例７．おわりに


１．はじめに

3


標的型攻撃の増加①

4

１．はじめに

http://www.symantec.com/threatreport/topic.jsp?aid=industrial_espionage&id=malicious_code_trends


標的型攻撃の増加②

5

政府機関等への標的型メールに関する注意喚起の件数

※GSOC：Government Security Operation Coordination team政府機関情報セキュリティ横断監視・即応調整チーム

１．はじめに


標的型攻撃の増加③

6

20112007

5.4% → 33%

出典：経済産業省委託調査（2007年、2011年）

標的型と見られるサイバー攻撃を受けたことがある（企業）

１．はじめに


標的型攻撃の例

7

１．はじめに

機密情報

マルウェア付きメールを送信

添付ファイルを開く

マルウェアに感染

特定の企業や個人のネットワーク

攻撃者受信者

機密情報の漏えい

①

②

③

④


標的型メール攻撃の添付ファイル

8標的型メール攻撃の添付ファイル拡張子の傾向（2013年上半期トレンドマイクロ調べ）http://is702.jp/special/1431/

実行ファイル形式：５９％文書ファイル形式：４１％

１．はじめに


２．バイナリエディタで見る悪性文書ファイルの構造

9


文書ファイル

exploit

shell code

RAT（実行ファイル）

表示用（ダミー）ファイル

実行ファイルが埋め込まれた悪性文書ファイルの構造

10

閲覧ソフトの脆弱性を突くコード

ＲＡＴ・表示用ファイルのデコード出力実行・表示

様々な方式でエンコード文書ファイルの表示内容と関係しない部分



悪性文書ファイルの具体例～バイナリエディタを中心に

11

Bitmap View Hex View



悪性PDFファイル具体例：exploit(1/2)

12

３１番のオブジェクトJavaScript本体（exploit）Flate圧縮されている


２９番のオブジェクトJavaScript実際の中身は３１番のオブジェクト


悪性PDFファイル具体例：exploit(2/2)

13

Flate圧縮されているデータを展開すると…

↓エスケープ処理をされたshellcode



悪性PDFファイル具体例：shellcode

14



悪性PDFファイル具体例：shellcode

15

デコーダ 40 Byte

印刷可能な文字に変換されたshellcode本体



悪性PDFファイル具体例：実行ファイル(1/2)

16


エンコードされた実行ファイル


悪性PDFファイル具体例：実行ファイル(2/2)

17

デコードした実行ファイル



悪性PDFファイル具体例：表示用（ダミー）ファイル

18



３．O-CHECKERの概要

19


不正なコードを静的解析・動的解析し得られた特徴を検知に利用する

文書ファイル

exploit

shell code

RAT（実行ファイル）


従来の悪性文書ファイルの検知

20

不正なコード

３．o-checkerの概要

従来の手法

・不正なコードをエンコードすることにより静的解析から得られる特徴を容易に書換可能

・特定の条件でのみ動作するマルウェアは動的解析が難しい

課題


イタチごっこ

21

攻撃者が任意に記述できる部分（不正なデータの中身）を検知に利用すると…

イタチごっこ


不正なコードを元にシグネチャを作成

防御側

シグネチャに引っかからないように不正なコードを作成

攻撃側


イタチごっこからの脱出

22

攻撃者が任意に記述できない部分（例えばファイルフォーマット）を検知に利用すると…

イタチごっこ


ファイルフォーマットに着目した静的解析を元にシグネチャを作成

防御側

シグネチャに引っかからないように不正なコードを作成

攻撃側

シグネチャに引っかからないようにファイルフォーマットを変更


ファイルフォーマットから見る悪性文書ファイルの特徴

23

文書ファイルは画像、テキスト、補助的なデータなど様々なデータの集合体

閲覧ソフトが処理しないデータは文書ファイルの中に通常は入れない

閲覧ソフトが処理するデータか否か

理由

exploit ○ 閲覧ソフトの脆弱性を攻撃するため

shellcode ○ 通常はexploitの中に組み込み

実行ファイル × 閲覧ソフトが読み込むと文字化けや誤作動して攻撃の成功確率が下がる


× 閲覧ソフトが読み込むと文字化けや誤作動して攻撃の成功確率が下がる


それぞれのデータには何かしら役目がある


o-checkerの検知の仕組み（簡略版）

内部構造と表示内容が対応

表示内容内部構造

内部構造と表示内容が対応しない

表示内容内部構造

一般的な文書ファイル悪性文書ファイル

内部構造を検査して検知



o-checkerの効果

25

・高速かつ高い検知率検知率 98.9% 平均実行時間約0.3秒

・メンテナンスフリー

更新頻度備考

ウイルス対策ソフト毎日１日あたり２０万個の新種マルウェア（2012年）※

o-checker ほぼなし新しい文書ファイル形式が出れば更新

msanalysis.py入力

実行ファイルが埋込まれたファイル

pdfanalysis.py入力

検知


※：http://www.kaspersky.com/about/news/virus/2012/2012_by_the_numbers_Kaspersky_Lab_now_detects_200000_new_malicious_programs_every_day


４．O-CHECKERの検知の仕組み

26


o-checkerの検査項目

27

①EOFの後にデータがついていないか

②ファイルサイズが異常でないか

③FATで参照できない領域が追加されていないか

④ファイル末端がFree Sectorでないか

⑤使途不明のsectorがないか

⑥分類できないセクションがないか

⑦参照されないオブジェクトがないか

⑧偽装されたStreamがないか

Rich Text

CFB

PDF

o-checker

４．o-checkerの検知の仕組み


Rich Text形式のファイルの基本構造

28

{¥rtfHello!¥parThis is some {¥b bold} text.¥par}

RTFのデータはテキスト形式を用いており、プレーンテキストに装飾やレイアウトのための制御用の文字列を付加した形式となっている※

※：wikipediaより引用

図：Rich Text形式のファイルの例

RTFファイルであることを示すシグネチャ

最初の`{`に対応する`}`がファイルの最後（EOF）




29

{¥rtfHello!¥parThis is some {¥b bold} text.¥par}MZ・ｸ

・ｺｴﾍ!ｸL!This program cannot be run in DOS mode.$ 猝t讀ｫｵ､ｫｵ､ｫｵｭﾓ招ｦｫｵｭﾓ楫喚ｵ､ｫｵ0ｪｵｭﾓ卸・ｵｭﾓ匏ｳｫ

Rich､ｫｵPE d・ﾔﾉ[J ・ "

表示に影響を与えないファイル末尾に実行ファイルを挿入

図：実行ファイルを埋め込まれたRich Text形式のファイルの例

EOFの後にデータが存在



CFB形式のファイル（doc、xls、ppt、 jtd/jtdc ）

30

Root Storage

Storage 1 Storage 2

Storage 3

Stream A

Stream B Stream C

引用：[MS-CFB] – v20130118 Compound File Binary Format （http://msdn.microsoft.com/en-us/library/dd942138.aspx）

ファイルシステムでいうとStream → ファイルStorage → フォルダ

CFB：Compound File Binary複数のデータを階層構造で１つのファイルに格納できるMicrosoft社が作成したアーカイブ形式Micrsoft Word等で使用されている

doc,ppt,xls,jtd/jtdc※


※：Justsystem社が開発した日本語ワープロソフトで使用する拡張子


CFB（doc、xls、ppt、jtd/jtdc）のファイル構造

31

header

FAT0

Directory Entry

Stream A

Stream A

Free Sector

Stream B

1

2

3

4

5

Physical Structure

-2

-2

3

-2

-1

-2

Directory Entry

index

sector


Stream Name:a.txtSize:696 Index:2

Stream Name:b.txtSize:318 Index:5

Storage Name:rootSize:- Index:-

FAT(File Allocation Table)


CFB（doc、xls、ppt、jtd/jtdc）のファイル構造

32

header

FAT0

Directory Entry

Stream A

Stream A

Free Sector

Stream B

1

2

3

4

5

Physical Structure

512 Byte

(512 or 4096) x N Byte

FileSize = 512 + (512 or 4096) x N= 512 x M

正規のCFBファイルのファイルサイズは必ず512の倍数




33

header

FAT0

Directory Entry

Stream A

Stream A

Free Sector

Stream B

1

2

3

4

5

Physical Structure

-2

-2

3

-2

-1

-2


Directory Entry

malware6

7

ヘッダを除いたファイルサイズがsectorサイズ単位でない 512 で割ったら余りが出る







34

header

FAT0

Directory Entry

Stream A

Stream A

Free Sector

Stream B

1

2

3

4

5

Physical Structure

-2

-2

3

-2

-1

-2

Directory Entry

malware6

7

FATで参照可能な領域にファイルが収まっていない

-1

FATで参照可能な領域:(FATセクタ数)×128×512 (Byte)






?



35

header

FAT0

Directory Entry

Stream A

Stream A

Free Sector

Stream B

1

2

3

4

5

Physical Structure

-2

-2

3

-2

-1

-2

Directory Entry

malware6-1

sectorサイズが512バイトの場合n = (ファイルサイズ-512)/512

n






ファイルの最後に対応するsector（n番目のsector）がFree Sector



36

header

FAT0

Directory Entry

Stream A

Stream A

Free Sector

Stream B

1

2

3

4

5

Physical Structure

-2

-2

3

-2

-1

-2

Directory Entry

malware6

FAT（DI-FAT、miniFATを含む）、DE、Stream、Free Sectorに分類できないsectorがある

-2







PDFファイル

PDFの基本構造：ファイル構造

コメント（ヘッダ）

本体

相互参照テーブル

トレーラーコメント（EOF）

ページコンテンツやグラフィックスコンテンツ、多くの補助的な情報がオブジェクト一式としてエンコードされている

1 0 obj

2 0 obj

n 0 obj

ファイルの終端を示すマーカー

x 0 obj <</R2 /P-64 /V 2 /O (dfhjaklgk… …>>

PDFは大量のオブジェクト（整数、文字列、バイナリデータ等）の集合体

４種類のセクション



PDFの基本構造：オブジェクト型

38

基本的なオブジェクト①整数や実数②文字列③名前④ブーリアン値⑤nullオブジェクト

複合オブジェクト⑥配列⑦辞書

その他⑧Stream（バイナリデータを格納するためのもの）⑨間接参照

（PDF32000-1:2008 7.3）



PDFの基本構造：Streamのエンコード

39

PDF標準の機能としてStreamにフィルタをかけることができ、そのデコード処理を行う。主なフィルタは下表のとおり。

名称概要

/ASCIIHexDecode 2桁の16進数で表現された文字列から1バイトのデータを復元

/ASCII85Decode !からzまでの印字可能文字を使用して表現された文字列からデータを復元

/LZWDecode TIFF画像形式で用いられているLZW圧縮されたデータを展開

/FlateDecode Zlibライブラリで用いられているFlate圧縮されたデータを展開

/RunLengthDecode バイト単位の単純なランレングス圧縮されたデータを展開

/CCITTFaxDecode ファックス機器で使用されているエンコーディング形式のデータを展開

/JBIG2Decode JBIG2圧縮されたデータを展開

/DCTDecode JPEGによる不可逆圧縮されたデータを展開

/JPXDecode JPEG2000による不可逆圧縮されたデータを展開


（PDF32000-1:2008 7.4）


PDFの基本構造：ドキュメント構造

40

トレーラ

ドキュメント情報辞書

ドキュメントカタログ

ドキュメントアウトライン

ページリスト

ページ１ページ２

ページ１のコンテンツ

ページ１のリソース

ページ２のコンテンツ

ページ２のリソース

：オブジェクト

図：２ページからなる一般的なPDFファイルのドキュメント構造

：参照リンク

トレーラ辞書オブジェクトからリンクをたどっていくとすべてのオブジェクトを参照することができる



PDFの基本構造：ドキュメントの暗号化

41

トレーラ




ページリスト







図：暗号化されたPDFファイル

：参照リンク

基本的に文字列及びStreamのみが暗号化復号しなくてもドキュメント構造にアクセスできる（ObjStmに格納されているオブジェクトは除く）



PDFの基本構造：ObjStm（オブジェクトストリーム）

42

PDF1.5以降で、複数のオブジェクトを単一のStreamに格納しそのStream全体を圧縮することでPDFファイルをさらにコンパクトなものにするというObjStmというものが導入されている（ PDF32000-1:2008 7.5.7）

１つにまとめて

圧縮（暗号化PDF）暗号化




43

PDFファイル

コメント（ヘッダ）

本体

相互参照テーブル

トレーラーコメント（EOF）

実行ファイル

ファイルの先頭から順番に読み込みどのセクションに該当するか分類しようとすると分類できない部分がある




44

トレーラ




ページリスト







：参照リンク

実行ﾌｧｲﾙ

図：実行ﾌｧｲﾙが埋め込まれたPDFファイルのドキュメント構造

ドキュメント構造を無視して実行ﾌｧｲﾙが埋め込まれるとどこからも参照されていないオブジェクトとなることが多い

実行ﾌｧｲﾙ：実行ﾌｧｲﾙが埋め込まれたオブジェクト



実行ﾌｧｲﾙ


45

フィルタ偽装

Stream末端に追加

正規のStream EOD

データの終了を示す情報

デコードに使用されるデータ（通常どおりデコード可能）

デコードに使用されないデータ

FlateDecode、DCTDecodeおよびJBIG2Decodeの場合

エントロピー

プレーンテキスト小

FlateDecode 大

実行ファイル大

エントロピーの値が近いフィルタを使用しているように偽装（デコードしようとすると失敗する）



悪性文書ファイル通常の文書ファイル

ファイル形式

拡張子検体数平均容量（KB）

検体数平均容量（KB）

Rich Text rtf 98 266.5 199 516.2

doc 36 252.2 1,195 106.1

CFB xls 49 180.4 298 191.7

jtd/jtdc 17 268.5 - -

PDF pdf 164 351.2 9,109 101.7

合計 364 291.8 10,801 322.7

実験

46

2009年から2012年までに標的型メール攻撃に使用された文書ファイル※１

マルウェアダンプサイトcontagioでclean（マルウェアではない）とされた文書ファイル※２

※１：docに拡張子が偽装されたRich Textはrtfでカウント※２：http://contagiodump.blogspot.jp/2013/03/16800-clean-and-11960-malicious-files.html



o-checkerの検査項目と検知率

47









Rich Text

CFB

PDF

o-checker 99.0%

77.5%

90.2%

97.1%

96.1%

49.4%

43.9%

63.4%

99.0%

98.0%

99.4%



５．デモンストレーション

48


o-checkerのログ

49

C:¥tmp>pdfanalysis.py a.pdf

00000000-00000008:comment,00000009-0000000F:comment,00000010-00000110:obj 25 0 old(not used)00000111-00000197:obj 26 0 old(not used)

:00003622-000036B0:trailer000036B1-000036C2:startxref 00003617000036C3-000036C9:comment,000036CA-0000E9E2:unknown0000E9E3-0000E9E9:comment,0000E9EA-0000EAEA:obj 25 0 ObjStm [7, 8, 13]

:0001209D-000120A3:comment,000120A4-000120A7:unknownFFFFFFFF-FFFFFFFF:obj 7 0 xref from NoneFFFFFFFF-FFFFFFFF:obj 8 0 xref from None

:

offset address 分類結果

Dummy Document

ObjStm



判定オプション

50

C:¥tmp>pdfanalysis.py a.pdf -j

00000000-00000008:comment,00000009-0000000F:comment,00000010-00000110:obj 25 0 old(not used)00000111-00000197:obj 26 0 old(not used)

::

0001209D-000120A3:comment,FFFFFFFF-FFFFFFFF:obj 7 0 xref from NoneFFFFFFFF-FFFFFFFF:obj 8 0 xref from None

:Malicious!

-j判定オプションログの最後に

Malicious!Suspicious!None!

の３段階表示



51

DEMO 1


６．O-CHECKERの応用例

52


NIDSとo-checker

53

LANケーブル

NIDS

o-checker

パケットキャプチャ

メール復元

通知

既存のシステムをほとんど変更することなくo-checkerを導入可能

６．o-checkerの応用例


NIDS

NIDSとo-checkerの課題

54

LANケーブル

o-checker


メール復元

通知

メールの復元に失敗～2%

壊れた文書ファイル～2%

フォルス・ポジティブup ～2%

ネットワークフォレンジック製品の仕様または性能に応じて誤検知が発生



NIDS

NIDSと改良型o-checker

55

LANケーブル

newo-checker


メール復元

通知

メールの復元に失敗～2%

壊れた文書ファイル～2%

フォルス・ポジティブup ～0%

ファイルフォーマットに着目した構造解析で壊れた文書ファイルを除外



o-checker

Android端末へのo-checkerの適用その１

56

メールサーバ

Manual delete

Manual check


57

DEMO 2


E-mailer

o-checker

Android端末へのo-checkerの適用その２

58

メールサーバ

Auto delete

Auto check


７．おわりに

59


まとめ

60

• 従来の検知法には限界がある• 実行ファイルを埋め込んだ文書ファイル

に対しファイルフォーマットに着目した構造解析は有効

• o-checkerは高速に高確率で悪性文書ファイルを検知するため様々な応用が考えられる

７．おわりに


61

ありがとうございました

Technology

o-checker:悪性文書ファイル検知ツール～ファイルサイズからにじみ出る悪意 by 大坪 雄平

o-checker:悪性文書ファイル検知ツール～ファイルサイズからにじみ出る悪意 by 大坪雄平