兵庫県情報セキュリティクラウドと県システムの強靭性向上 …web.pref.hyogo.lg.jp/kk26/documents/shiryou.pdf自治体情報システム強靭性向上モデル（県と市町）

@H29 Hyogo Prefecture Government.

兵庫県情報セキュリティクラウドと県システムの強靭性向上対策

兵庫県情報セキュリティクラウドと県システムの強靭性向上対策

平成２９年３月２４日

兵庫県電子自治体推進協議会

第４回電子自治体推進セミナー

兵庫県情報企画課システム管理室津川誠司

@H29 Hyogo Prefecture Government. 2

目次

１．兵庫県セキュリティクラウド

（１）総務省の自治体情報強靭性向上モデル

（２）兵庫県セキュリティクラウドの全体構成図

（３）安定運用と災害時の事業継続性の確保

（４）コスト削減と安定運用の確保

（５）対策概要

（６）標的型攻撃対策の徹底

（７）安全なメール受配信システム

（８）市町向け基本サービス

（９）統合ログ解析

２．兵庫県システムの強靭性向上対策

（１）兵庫県システムのネットワーク分離構成

（２）仮想デスクトップの導入

（３）ファイル無害化

（４） Web閲覧の制御

３．全体スケジュール


１．兵庫県情報セキュリティクラウド１．兵庫県情報セキュリティクラウド


1.(１)総務省の自治体情報強靭性向上モデル

個人番号利用事務系

住基ネット LGWAN網

税既存住基

社会保障

団体宛名統合

人事給与

庶務事務

文書管理

財務会計

LGWANメール掲示板等

国等

LGWAN接続系

高度なセキュリティ対策

IPS/IDS

ふるまい検知等

メールサーバ

Webサーバ

プロキシサーバ

情報収集

インターネットメール

ホームページ作成

インターネット接続系

自治体情報システム強靭性向上モデル（県と市町）

●高度なセキュリティ対策

●端末からの情報持ち出し不可設定

●強力なアクセス制御（二要素認証）

抜本的な対策として、自治体システムの強靭性の向上及び情報セキュリティクラウドの共同利用を推進

●ファイル/メール無害化


LGWAN接続系


自治体情報セキュリティクラウド

各市町


LGWAN接続系


情報ハイウェイ


1.(２) 兵庫県情報クラウドの全体構成図


県ﾌﾟﾛｷｼ(URLﾌｨﾙﾀ)

Internet

メール用サンドボックス

市町ｽﾊﾟﾑﾒｰﾙ対策

代表MTA

市町ﾌﾟﾛｷｼ(URLﾌｨﾙﾀ)

IIJ大阪データセンタIIJ大阪データセンタ

兵庫県庁兵庫県庁

県ﾌﾟﾛｷｼ(URLﾌｨﾙﾀ)

県ｽﾊﾟﾑﾒｰﾙ対策

代表MTA

各市町

データセンタの分散

ISPの分散

通信ルートの分散

兵庫情報ハイウェイ

市町Web用サンドボックス

県Web用サンドボックス

メール用サンドボックス

市町ﾌﾟﾛｷｼ(URLﾌｨﾙﾀ)

県ｽﾊﾟﾑﾒｰﾙ対策

市町ｽﾊﾟﾑﾒｰﾙ対策

代表MTA

通信ルートの分散

NTT神戸データセンタNTT神戸データセンタISPの分散

機器の冗長/分散

複数のデータセンタに主要機器を分散配置し、安定したサービスの提供と災害時の事業継続性を確保

1.(３) 安定運用と災害時の事業継続性の確保

負荷分散装置(Netwiser)


標準化された機器構成と検証実績により高品質なシステムを短期間で導入可能

効率的なリソース活用とライセンス費用等の低減を実現

高速で安定したネットワーク環境を低コストで提供可能

1.(４)コスト削減と安定運用の確保

物理サーバUCS-B/CUCS Manager

統合ネットワークNexus

NetApp統合ストレージFASシリーズ

FlexPod

FlexPodの導入

KVM、オープンソースの採用

兵庫情報ハイウェイの利用西脇

明石神戸

西神戸

洲本

西宮尼崎

三田

篠山

社

三木

浜坂

村岡

八鹿

和田山

柏原

龍野

加古川

山崎佐用

姫路

福崎

豊岡

上郡

伊丹

宝塚

支線化

基幹網

支線網

ｱｸｾｽﾎﾟｲﾝﾄ

西脇

明石神戸

西神戸

洲本

西宮尼崎

三田

篠山

社

三木

浜坂

村岡

八鹿

和田山

柏原

龍野

加古川

山崎佐用

姫路

福崎

豊岡

上郡

伊丹

宝塚

支線化

西脇

明石神戸西神戸

洲本

西宮尼崎

三田

篠山

社

三木

浜坂

村岡

八鹿

和田山

柏原

龍野

加古川

山崎佐用

姫路福崎

豊岡

上郡

伊丹宝塚

基幹網

支線網

ｱｸｾｽﾎﾟｲﾝﾄ



総務省から提示された、実施すべき内容を踏まえた対策の実施

■インターネット接続(メール、Web)の集約/入口・出口対策(1)FW(IDS/IPS)(2)サンドボックス（メール、Web）(3)ウイルスチェック、スパムメール対策(4)プロキシ（URLフィルタリング）(5)ログ分析システム

多層防御による高度セキ

リテ

対策の実現

■高度監視運用（ログ分析）①メール（ウイルスチェック、スパムメール対策、MTA）②プロキシ（URLフィルタリング）③FW(IDS/IPS)④サンドボックス（メール、Web）

サーバ、FW、セキュリティ機器の監視・ログ分析

専門アナリスト・SIEMによる高度セキュリティ監視

インターネットの入口・出口の基本的な対策

不要なWEBサイト閲覧への対策

未知のマルウェア・脆弱性攻撃等を検知・防御既知マルウェア対策、不要なメールを遮断

1.(５) 対策概要 ①インターネット接続の集約、高度監視運用等


通信区分セキュリティ対策項目実施内容

県市町

メール受信（SMTP）

ウイルスチェック・代表MTA（IMSVA: InterScan Messaging Security Virtual Appliance）

・代表MTA（IMSVA: InterScan Messaging Security Virtual Appliance）

スパムメール対策

・代表MTA（IMSVA: InterScan Messaging Security Virtual Appliance）・スパムメール対策装置(MatrixScan APEXⅢ)

■ユーザ権限運用県職員によるポリシー運用（AD連携）

・代表MTA（IMSVA: InterScan Messaging Security Virtual Appliance）・スパムメール対策装置(MatrixScan APEXⅢ)

■管理者権限運用（基本）市町管理者によるポリシー運用（AD連

携）

HTMLメール振舞検知添付ファイル振舞検知

メール用サンドボックス（FierEye-EX5400）

メール用サンドボックス（FierEye-EX5400）

Web閲覧（HTTP/S）

DLファイル振舞検知Web用サンドボックス(FierEye-NX7400)

Web用サンドボックス（FortiSandbox 3000D）＋FortiGate UTM フルバンドル版

URLフィルタリングＳＳＬコンテンツフィルタリング

県Proxy (i-filter)市町配布設備■管理者権限運用Local-Proxy (i-filter) 導入運用

Web公開(HTTP/S)

Webコンテンツ改竄検知 Web改ざん検知 Web改ざん検知

1.(５) 対策概要 ②実施項目



１.(６) 標的型攻撃対策の徹底 ①Web閲覧対策（プロキシ等）

市町Proxy負荷分散装置で安定した通信を提供し、市町ProxyサーバとUTMにより強固なセキュリティ環境を実現

市町Proxy負荷分散装置Netwiser

Internet

ISP-2 ISP-5


各ISPへ負荷分散

市町Proxyｻｰﾊﾞ(URLﾌｨﾙﾀ)

i-Filter

市町UTM（ｳｲﾙｽ対策）

FortiGate

各市町

SandBox連携

ISP-6 ISP-4 ISP-3

NTT神戸データセンタNTT神戸データセンタ

市町ｻﾝﾄﾞﾎﾞｯｸｽFortiSandbox


(1) FortiGate（＋UTM）によるＮＷ検査

■既知のウイルスを検知

アラート画面を表示しダウンロードを

停止する。

(2)FortiSandboxによるファイル検査

■未知のウイルスを検出

»FortiGateで不審なコンテンツを発見すると、 FortiSandboxへコピーを送信

»FortiSandboxでウイルスと判定した場合、各管理者へアラートを配信

»１つのFortiSandboxで、複数の市町のFortiGateと連携が可能

FortiGate

FortiSandbox

FortiGateFortiGate

市町A 市町C市町B

FortiManager

インターネット

不審コンテンツ緊急ｼｸﾞﾈﾁｬ通常ｼｸﾞﾈﾁｬ

情報ハイウェイ

１.(６) 標的型攻撃対策の徹底 ②UTMとサンドボックスによる検査

FortiGate(+UTM)とFortiSandboxにより不審コンテンツを検疫


メール中継 SandBox

代表MTA

IMSVA

マルウェア・スパム対策

Matrixscan

メール中継MTA

FW、IPSによるNWセキュリティ対策

・ウイルス対策・簡易Email Reputation・第三者不正中継対策・セキュリティ制限・ドメイン名の書き換え（@pref.hyogo.jp→ @pref.hyogo.lg.jp

・個別ホワイトリスト（市町毎に設定）

・スパムメール対策

・振る舞い検知（FierEye-EX5400）

・県、市町とのメール中継サービス

Internet

メールチェック用Sandbox

兵庫県庁兵庫県庁

１.(６) 標的型攻撃対策の徹底 ③メール対策


・各データセンタへの主要機器の分散配置及び複数メールルートの確保により、安定したメールサービスを提供・市町の規模により２つにグループ化し負荷分散

県

市町

NTT神戸データセンタNTT神戸データセンタ兵庫県庁兵庫県庁

メール中継MTA

メール中継MTA

スパムメール対策（県）

Matrixscan

スパムメール対策（県,市町）

Matrixscan

メール中継 SandBox メール中継 SandBox

代表MTAIMSVA

代表MTAIMSVA


メール中継MTA

スパムメール対策（市町）

Matrixscan

代表MTA

IMSVA

１.(７) 安全なメール受配信システム


Internet


市町ごとにUTM、サーバ等の機器を設置することで個別ポリシーの設定を可能

１.(８) 市町向け基本サービス ①接続構成

ＬＧＷＡＮセグメント

内部メールBOX

公開WebCMSｻｰﾊﾞ

公開Web その他公開ｻｰﾊﾞ

公開DMZセグメント

市町UTM

ProxyWSUSVirusPtn

Log

市町仮想サーバ

市町配布設備

内部管理セグメント

URLﾌｨﾙﾀ

③ ④

⑤ ⑥

兵庫県情報セキュリティクラウド兵庫県情報セキュリティクラウド

③


区分機能概要提供条件カスタマイズ

対応項目

市町管理者

インタフェース

基

本

サ

ー

ビ

ス

DNS系ネームサーバ機能管理ゾーン情報の維持管理機能を提供

■対象ドメイン.LG.JPドメインHYOGO.JPドメイン

電子メール系

ＭＴＡ機能インターネットとの電子メールの送受信機能と簡易スパム対策機能提供

■対象メールドメインLG.JP HYOGO.JP等

※学校系のサブドメインは対象外

・添付ﾌｧｲﾙ最大ｻｲｽﾞ

スパムメール対策電子メールドメイン毎にスパムメール対策機能を提供

有

サンドボックス機能添付ファイルのサンドボックス検査機能を提供

Ｐｒｏｘｙ系

Ｐｒｏｘｙ機能http/s‐Proxy機能を提供 i‐Filter ver9必須有

サンドボックス機能ダウンロードファイルのサンドボックス検査機能を提供

Log系ロギング機能

MTA,Proxyアクセスログ蓄積機能を提供

有分析用LGWAN－FWログ一時保存機能

■基本サービス ※ＭＴＡ、Proxy、ログ機能は、市町の他、県側にも用意

１.(８) 市町向け基本サービス ③基本サービス内容(１/2)


提供サービスサーバ実装形態提供条件市町管理者

インタフェース

Webホスティングクラウド共有Webサーバ Webサーバ機能の提供対応コンテンチは静的HTMLファイルのみ

sshsftp

公開サーバセグメント

市町資産（オンプレミス）・広報Web・図書館ライブラリ・施設予約

・議会中継等

割当のグローバルセグメントにサーバを接続して利用ＦＷにて必要通信セッションのみ許可

（ＦＷ運用はセキュリティクラウド側で対応）

オンプレミス実装による

■公開サーバ環境

サービス機能概要提供条件

LGWAN接続系ｾｷｭrﾃｨｱｯﾌﾟﾃﾞｰﾄ・サーバ

WSUS配信 Microsoft社が提供する更新プログラム適用機能

Microsoft Updateサーバよりダウンロードした更新プログラムをWSUSサーバ内に保管、配布

インターネット接続環境・ＬＧＷＡＮ接続環境

VirusPTN配信Symantec社、Trend Micro社のVirus更新パターンファイルを適用する機能

Symantec社、Trend Microよりダウンロードしたパターンファイルをサーバ内に保管、配布

インターネット接続環境・ＬＧＷＡＮ接続環境

■LGWAN接続系セキュリティアップデート・サーバ

１.(８) 市町向け基本サービス ④基本サービス内容(２/2)



市町Proxy

市町Proxy

市町Proxyサーバ

WSUS（データ収集用）

WSUS（データ配信用）

１G ﾍﾞｽﾄｴﾌｫｰﾄ

インターネット接続系サーバ

LGWAN接続系サーバ

CIFSストレージ

セキュリティクラウド網 LGWAN接続系網

UTM


セキュリティクラウド（センター側）

市町配布設備

市町配布サーバ

①

② ③

④

① WSUS（データ収集用）から、市町Proxyを経由し、マイクロソフト社からデータを収集

② 運用管理者がWSUS（データ収集用）から更新プログラムをエクスポートし、CIFSストレージに格納

③ 運用管理者がWSUS（データ配信用）から、 CIFSストレージに格納されているデータファイルをインポート

④ WSUS （データ配信用）が、市町LGWAN接続系の端末へ、配信

＜実現方法＞＜実現方法＞

LGWANへのセキュリティパッチ配信は、LGWAN接続系とインターネット接続系を分離して情報を管理分離されたWSUSサーバ間で情報を受け渡す方法として、中間サーバ（CIFSストレージ）を設置します。

インポート時は②のＮＩＣを切断し③のＮＩＣに接続↓

媒体渡しの欠点（媒体の紛失、手作業）を改善

１.(８) 市町向け基本サービス ⑤WSUS配信


ＬＧＷＡＮへのＶｉｒｕｓ更新パターンファイルは、市町様の運用性を考慮して、県側にシマンテック用（Live updateadministrator）サーバ、トレンドマイクロ用（Trend Micro Control Maneger）サーバを設置して市町設置Virus配信サーバ（Sep Maneger ・Corp サーバ）へ配信します。

１.(８) 市町向け基本サービス ⑥ウイルスパターン更新


市町Proxy

市町Proxy

市町Proxyサーバ

WSUS（データ収集用）

WSUS（データ配信用）

インターネット接続系 LGWAN接続系・Sep Maneger・CORPサーバ

中間サーバ

セキュリティクラウド網 LGWAN接続系網

UTM


セキュリティクラウド（センター側）

市町配布設備

市町配布サーバ

・SEP Live update administrator・Trend Micro Control Maneger

・Sep Maneger・CORPサーバ

①

② ③

① インターネット上からパターンファイルを自動ダウンロード

②インターネット接続系：市町設置配信サーバへ自動配信

③ＬＧ－ＷＡＮ接続系：市町設置配信サーバへ自動配信

＜実現方法＞＜実現方法＞


市町管理者

１.(９) 統合ログ解析 ①SIEMの導入

兵庫県情報セキュリティクラウド網のサーバーやファイアウォールのログをSIEMで統合管理デバイス間の跨いだ時系列分析を行い、高度標的型攻撃の早期発見

セキュリティクラウド各市町

外部F/W SC接続F/WIDS/IPS IDS/IPS

SandBoxProxy

ログ収集サーバ

ログログ

ウィルス・スパム対策

相関分析

SIEM

NTT高度SOCTier2アナリスト

分析結果報告（1時間以内）

ｱﾗｰﾄ通知高度分析

ｴｽｶﾚｰｼｮﾝ

ﾘｱﾙﾀｲﾑ監視

Tier1アナリスト

AD

ｱﾗｰﾄ通知（初報）


各機器ごとでは認識できない攻撃でも、横断的な視点により攻撃と判断できる検知が可能①複数のデバイスの組み合わせ ②単一のデバイス内の複数のイベントキーの組み合わせからインシデントを分析

攻撃の段階偵察武器化デリバリエクスプロイトインストール C＆C 目的の実行

概要対象組織の情報を取得

マルウェア等を作成

なりすましメールを送付

マルウェアを実行させる

マルウェアに感染する

C&Cサーバと通知させ遠隔操作等

探し出した内部情報を持ち出す

ファイアウォール BLOCK BLOCK

IPS BLOCK

メールｻﾝﾄﾞﾎﾞｯｸｽ BLOCK

メールサーバ BLOCK

Webｻﾝﾄﾞﾎﾞｯｸｽ条件①11:53攻撃検知

Webプロキシ条件②11:54不審通信

12:10不審通信12:15不審通信

AD、OS

相関分析① －対応対応対応－

相関分析② 対応対応対応対応対応

高度標的型攻撃の検知例

①縦串にイベントを紐づけ、攻撃成功の可能性が高いと判断されたものをSIEMで警報

②横串にイベントを紐づけ、攻撃成功の可能性が高いと判断されたものをSIEMで警報

１.(９) 統合ログ解析 ②SIEMによる相関分析


兵庫県における攻撃防御・検知装置例と相関ルール

ロッキード・マーティン社が提唱した、サイバーキルチェーンモデル（段階的に進行するサイバー攻撃モデル）に基づき、攻撃の段階にあわせて対策装置を導入。検知ログから統合ログ解析にて早期発見ができるよう、以下の相関分析ルール（一部）で監視

FireEyeEX、FortiSandbox、IMSVAなどマルウェアが添付され、危険度が高いと判定されたが転送されたメールイベント

FireEyeNX、FortiSandbox、FortiGate、i-FILTERセキュリティ装置を通過した脆弱性を突いた攻撃の捕捉(攻撃と推測される通信があるが、影響があるかは要調査)

FireEyeNX、FortiSandbox、i-FILTERマルウェア感染により、追加のマルウェアダウンロード

FortiGate、FireEyeNX、FortiSandbox、i-FILTER、AD不審な接続先への定期的なアクセス

i-FILTER(不審なアドレスへ、)大きなサイズのファイルアップロード

統合ログ解析で早期発見する攻撃の段階

出典：一般社団法人 JPCERT コーディネーションセンター(JPCERT/CC.「高度サイバー攻撃への対処におけるログの活用と分析方法」１．１版

１.(９) 統合ログ解析 ③相関分析ルール


サイバーキルチェーンモデル、年金機構事例等のセキュリティインシデントの教訓、SIEMに集約されるログ内容等から監視強化するにあたっての外部脅威に対するイベントの確認ポイントを示す。

分類イベントの確認ポイント防御・検知装置

１メールサーバFrom フィールドの表示名偽装を手掛り IMSVA

実行ファイルが添付されたメールを手掛りFireEye EXFortiSandbox

２ Firewall 組織内から組織外への拒否通信を手掛り各種Firewall

異なるセグメントに収容された PC 間の不正な通信を手掛り (Firewall)

３ Web プロキシサーバ

不審な送信先への通信を抽出 i-FILTER、各種Firewall

CONNECT メソッドで 80、443 以外ポートへの通信を抽出

i-FILTER標準利用以外の User Agent によるアクセスを抽出

定期的に発生する HTTP 通信を抽出

業務時間外に発生する HTTP 通信を抽出

大量の HTTP 通信を抽出するログ分析

４認証サーバ

管理者が通常使用するIPアドレスと異なるIPアドレスからの管理者権限要求県AD

通常の運用では発生しない特殊な操作要求

出典：一般社団法人 JPCERT コーディネーションセンター(JPCERT/CC.「高度サイバー攻撃への対処におけるログの活用と分析方法」１．１版

１.(９) 統合ログ解析 ④外部脅威に対するイベントの確認ポイント


分類イベントの確認ポイント検知装置

１メールサーバ

フリーアドレス(gmail.com/yahoo.co.jp/など)や、プライベートアドレスへのメール転送

IMSVA

明らかに業務利用されないメールアドレスへの転送

２ Web プロキシサーバ

業務時間における違反カテゴリへのアクセス(ギャンブル、掲示板、アダルトなど)

i-FILTERオンラインストレージなど、外部サーバへのデータアップロード

ポリシ違反に該当するアプリケーション利用

重要情報の漏えいは外部の脅威だけでなく、セキュリティポリシに違反した内部のユーザによっても発生する。SIEMの内部脅威に対するイベントの確認ポイント（一部）を示す。

１.(９) 統合ログ解析 ⑤内部脅威に対するイベントの確認ポイント


Feb 03 15:47:28allow

Feb 05 10:10:11 callback detect

Feb 01 12:20:08detect

Feb 04 13:24:11allow

ユーザーAマルウェアコールバック通信

情報漏えいの疑い！？

ユーザーA送信元偽装メール受信

ユーザーA不審なURL(ﾌﾞﾗｯｸﾘｽﾄ)との通信

ユーザーA30MBのデータアップロード

アナリスト調査

ログ収集/蓄積

Proxy

追跡調査例：C&Cサーバへのコールバック通信が発生

SIEMエンジン

端末ログ調査

プロキシログ調査

Sandbox

ｳｨﾙｽ対策

同一ユーザー（端末）による一連の不審な活動

SIEMエンジン（RSA Security Analytics）を活用し、膨大なログからデータを絞込み（ドリルダウン）追跡調査迅速に追跡調査を行うことでインシデントを早期発見・対処

PC

ユーザーA（端末）根本原因のファイル

Feb 01 12:20:10 メール受信ログ調査

ユーザー（端末）による各種ログの串刺し分析

１.(９) 統合ログ解析 ⑥追跡調査事例


SIEMに統合されたイベントに加え、様々な情報を組み合わせて新たな情報を導出する分析を行うイベント内容のみでは得られないインシデント管理に必要となる情報を発見・提供

不正URL不正IPアドレス情報

メール情報メールヘッダ情報メールタイトル

添付ファイル名/形式添付ファイルハッシュ値メール内容[抜粋]）

ﾏﾙｳｪｱﾊｯｼｭ値(ﾌｧｲﾙﾊｯｼｭ値)

MD5、SHA1ハッシュ値

マルウェア本体（ファイル本体）

外部情報マルウェア情報、

攻撃キャンペーン情報、不正URL/不正IP脅威情報

SOC情報SOCオペレータ分析結果アンチウイルスアラート

FWアラート各種イベントアラート

添付ファイル名やメールタイトルが利用される攻撃キャンペーン情報を過去・現在進行形の攻撃で同様の攻撃（手口）がないか調査

アンチウイルスアラートやFWアラート、SOCオペレータの分析結果を他の分析と突合し、分析結果を高める

外部サイトから得られる断片的な脅威情報を他の分析結果と突合することで情報を高める

マルチモーダル分析

関連する攻撃キャンペーンやマルウェア情報を調査・分析

マルウェアハッシュ値から公開されているマルウェア情報等を調査し、どのようなマルウェアであるか分析

SOCの解析環境を用いて動的解析

１.(９) 統合ログ解析 ⑦マルチモーダル分析


• 月次レポートで通知 • メールで通知件名：【8】端末所属市町セキュリティアラート通知[#【1】アラート識別番号#]----------------------------------------------------------兵庫県CSIRT様

お世話になっております。*セキュリティオペレーションセンターです。

SIEMにてアラートを検知致しましたのでご報告いたします。=================================■イベント情報1.イベント名【2】相関ルールID

2.アラート時刻【4】検知日時

3.インシデント内容【5】インシデント内容

4.接続先情報接続先URL：【6】接続先URL※http→hxxpに置換しております。※FQDNの.を●に置換しております。

■対象情報対象市町：【8】端末所属市町IPアドレス：【7】端末IP

◆分析結果1.初動対応案【9】初動対応案=================================

• メールと電話で通知件名：【8】端末所属市町セキュリティアラート通知[#【1】アラート識別番号#]----------------------------------------------------------兵庫県CSIRT様

お世話になっております。*セキュリティオペレーションセンターです。

SIEMにてアラートを検知致しましたのでご報告いたします。=================================■イベント情報1.イベント名【2】相関ルールID

2.アラート時刻【4】検知日時

3.インシデント内容【5】インシデント内容

4.接続先情報接続先URL：【6】接続先URL※http→hxxpに置換しております。※FQDNの.を●に置換しております。

■対象情報対象市町：【8】端末所属市町IPアドレス：【7】端末IP

◆分析結果1.初動対応案【9】初動対応案=================================

Critical（重要）Information（警告）Warning（情報）

情報セキュリティインシデントのレベルによる的確な初動対応を実現

Emergency（緊急）

• 重大かつ情報漏えい確定のインシデント

• 明らかに攻撃が成功しており、端末からの異常な通信、Webサイトの改ざん等が確認された場合

• 放置すれば情報漏えいの可能性があるインシデント

• 攻撃が成功した可能性が非常に高い（定期的な不審な通信）、あるいはパケット解析を要する

定義

インシデントのレベル

• 安全と判断される情報セキュリティイベント

• 実害を狙ったが、攻撃の失敗（端末にて対策済みも含む）が確認できる場合

通知方法

１.(９) 統合ログ解析 ⑧インシデントレベルに応じた対応


２．兵庫県システムの強靱性向上対策２．兵庫県システムの強靱性向上対策


２. (1)兵庫県システムのネットワーク分離構成

共通PC

個人番号利用事務系インターネット接続系LGWAN接続系

仮想端末用サーバ（XenDesktop）

仮想端末用サーバ（XenApp）

仮想端末用サーバ（XRDP）

ADサーバ等

仮想端末認証PassLogic

仮想デスクトップ（VDI)

Windows Server SBC

Linux XRDP

ストレージ(NetApp)

AD認証

税福祉・・・

ADサーバ等ADサーバ等

ストレージ(NetApp)

AD認証

専用端末等

AD認証

物理端末認証RSA SecurID

SBC/XRDP接続VDI接続

兵庫県情報セキュリティクラ

ウド


RSA認証

ファイルサーバ

ファイル無害化Votiro FlowServer


ファイル無害化Votiro Update

ファイル無害化Votiro SDS

RSAサーバ


２. (2)仮想デスクトップの導入 ①用途に応じて複数種類を導入

個人番号利用事務 → ＶＤＩインターネット利用 → ＳＢＣとＸＲＤＰ（分離の負荷分散、バックアップ機能を実現するため）

職員A（共通PC利用）仮想デスクトップ環境


インターネット接続系LGWAN接続系

FW

兵庫県セキュリティクラウド

仮想デスクトップの比較

比較項目 VDI SBC XRDP

サーバ台数 UCS（ﾌﾞﾚｰﾄﾞ） 12+1台 UCS（ﾌﾞﾚｰﾄﾞ） 25+1台 Dell PowerEdge 10台

CPU性能 2.3MHz（18Core×2） 2.3MHz（18Core×2） 2.3MHz（18Core×2）

搭載メモリ 448GB 256GB 256GB

ローカルディスク／プロファイル容量300G（SAS）×2 300G（SAS）×2

800G（SSD）×4（Raid5）/7500GB /9000GB

想定ユーザー数 1,500人 6,000人 2,000人

仮想化ソフトウェア Citrix XenDesktop Citrix XenApp XRDP、Docker 1.12.1

仮想マシンのOS Windows 2012R2 CentOS 7.2

仮想マシンのアプリオフィス Microsoft Office Libre Office 4.3.7.2

ブラウザ Internet Explorer Firefox 45.5.1


共通PC

仮想端末用サーバ（XenDesktop）

PassLogic認証サーバ

ロードバランサ①AD及びICカードで認証

LGWAN接続系ドメインコントローラ

③ADによるユーザ（PW）認証

②ワンタイムパスワード認証

④仮想端末にログイン

ワンタイムパスワード画面イメージ

PassLogicＧＷサーバ

個人番号利用事務系 LGWAN接続系

個人番号利用事務系ドメインコントローラ

ユーザ情報連携

二要素認証

共通PCから個人番号利用事務系のシステムを起動する際には、VDI にログインする必要ありPassLogicを利用したワンタイムパスワード認証とADのユーザ認証を行うことで二要素認証を実現

２. (2)仮想デスクトップの導入 ②VDIの利用（共通PCから）


SecurID認証サーバ

専用端末

①ＩＤとトークンコードを入力

個人番号利用事務系ドメインコントローラ

③入札されたトークンコードと、サーバ側で計算したトークンコードを比較して判定

②ADでユーザIDを参照

専用端末を利用する職員にトークンを配布

SecurID


所属導入の専用端末から個人番号利用事務系のシステムを起動する際には、RSA SecurIDを利用したワンタイムパスワード認証とADのユーザ認証を行うことで二要素認証を実現

(2) ADによるユーザ・PW認証

(1) ワンタイムパスワード認証

二要素認証

２. (2)仮想デスクトップの導入 ③VDIの利用（専用端末から）


共通PCから直接インターネットの閲覧の禁止 → インターネット接続環境を経由して閲覧

※庁内システム（総務事務、文書管理、財務会計、人事給与、CMS等）は、これまでどおり職員のPCのデスクトップからブラウザ経由で利用

２. (2)仮想デスクトップの導入 ④SBCの利用（共通PCから）

ＡＤと連携し、シングルサインオン


XRDPは、仮想基盤からアプリケーションまですべてOSSで構築し（低コストで安定したシステム）機能、操作性において可能な限りユーザーの馴染みがあるWindowsに似せるようカスタマイズ

アプリケーションをアイコンで配置

スタートメニューを画面左下に表示

XRDPの機能一覧XRDPのデスクトップ

機能備考

WEB閲覧動画、音声も対応

WEBメールの利用受信専用

Microsoft Office相当のアプリケーショ

Microsoft Officeと互換性あり

ファイル圧縮・解凍 Zip対応

印刷共通プリンタに出力可

無害化ソフト Votiroを利用

ＡＤと連携し、シングルサインオンを実現

Votiroによる無害化

２. (2)仮想デスクトップの導入 ⑤XRDPの利用

Dockerコンテナを利用した冗長構成


障害時の補完普段はＳＢＣを利用し、障害時にはＸＲＤＰに切り替えることで事務が停止しない

２. (2)仮想デスクトップの導入 ⑥SBCとXRDPの運用状況


職員A（共通PC利用）

LGWAN接続系


SBC




Votiro SDSStation

Votiro FlowServer

Votiro UpdateServer

Mail

Web

②

③

⑤

④

Votiro-INVotiro-OUT

個人ﾌｫﾙﾀﾞ

File File File ・・・

A CB

個人ﾌｫﾙﾀﾞ個人ﾌｫﾙﾀﾞ

File ・・・

A CB

個人ﾌｫﾙﾀﾞ

File File

インターネット接続系LGWAN接続系

FW

無害化済ファイル

無害化処理

無害化前ファイル

兵庫県情報セキュリティクラウド

インターネットからダウンロードしたファイル及びメールの添付ファイルをIN用の個人フォルダに保存SDS Stationで無害化した後で、OUT用の個人フォルダに保存ウイルス感染などのリスクを未然に防止

２. (３) ファイル無害化 ①Votiro SDSの導入


SBCとVotiroによる取り込み手順 → 処理状況が分かるように取り込み用のアプリを作成

２. (３)ファイル無害化 ②Votiro SDSへの取込み手順


インターネット受信メールの添付ファイルは直接確認を禁止 → ＳＢＣ、XRDPを経由してWebmailで確認

２. (３)ファイル無害化 ③インターネットメールの添付ファイルの確認

Webmail (OSSのSquirrelMailを改造)


２. (３)ファイル無害化 ④Votiro SDSの利用状況

利用人数は1200人程度（全体の１割）→利用者数の低減による負荷分散インターネットメールの添付ファイルをＳＢＣの中のみでチェックする傾向インターネットからのダウンロードも多くない（特定プロキシの効果もあり）

強靱化に一定の効果があったが、処理時間に問題がある。

1200人程度の利用に抑制MTAで利用した場合は全員が対象

遅延事例も多発→利用者の不満

日付利用職員数処理件数

計 0～3分～5分～10分 10分以上

3月2日 1,309 5,068 4,378 433 248 9

3月3日 1,066 4,090 3,475 299 94 222

3月6日 1,307 5,265 4,683 372 210 0

3月7日 1,393 5,712 5,147 253 195 117

3月8日 1,269 5,095 4,283 241 213 358

3月9日 1,322 4,801 4,728 66 6 1

3月10日 1,252 4,847 4,516 289 41 1

3月13日 1,267 6,242 4,601 587 498 556

3月14日 1,331 5,245 5,131 111 2 1

3月15日 1,261 5,711 5,121 420 96 74

3月16日 1,180 4,019 3,734 146 108 31

3月17日 1,113 4,219 4,128 89 0 2


２. (３)ファイル無害化 ⑤Votiro SDSの問題点

運用上で次の問題点が判明平均処理時間は３分程度とやや遅い。無害化の途中でハングした場合、後続のファイルの無害化も停止する → １時間以上の停止が複数件発生

件数時間

製品スペック及びサイジング上の問題点が発覚→改善を検討


２. (３)ファイル無害化 ⑥Votiro SDSの改善検討

案１、２１つのフォルダを複数のSDSソフトで無害化（２は開始ファイルをずらす）案３、４複数のフォルダを複数のSDSソフトで個々に無害化（４は1台のみ共有）

SDS1 SDS2 SDS3 SDS4

・・・

構成案１、２【フォルダ構成数「１」】

SDS1 SDS2

・・・

・・・

SDS3 SDS4

・・・

・・・

構成案３、４【フォルダ構成数「４」】

※SDS1のみ4Core※SDS1のみ4Core

長所：1台でも正常であれば運転可能短所：毎回同じフォルダから処理開始されるため後尾のフォルダが遅くなる。

長所：各SDSの受持数が少ないため、処理が速い。短所：１台故障すれば25％の職員が影響を受ける。

→ 案２は開始ファイルをずらす → 案４は一台のみ共有


SDS1

SDS2

・・・

・・・

SDS3

SDS4

・・・

・・・

案３【SDSごとに担当フォルダを分割】

SDS1 SDS2 SDS3 SDS4

・・・

案１【SDSごとに開始フォルダをずらしスキャン】案４【SDSごとに担当フォルダを分割し、１台のみ共有】

SDS1 SDS2 SDS3 SDS4

・・・

案２【全てのSDSが同じ開始フォルダからスキャン】

SDS1

SDS2

・・・

・・・

SDS3 SDS4

・・・

２. (３)ファイル無害化 ⑦Votiro SDSの実証実験と改善方針の決定

処理ファイル数：300ファイル/分を15分間→75ファイル/分を105分間稼働で実験 ‒はロック数結果、案１を採用して改善予定（H29年3月中）

案３、４は最大処理時間が長い。

案１は案２より最大処理時間が短い。

案１が理論的に最速

0:00:00

0:12:00

0:24:00

0:36:00

0:48:00

1:00:00

1:12:00

1:24:00

1:36:00

0:00:00

0:12:00

0:24:00

0:36:00

0:48:00

1:00:00

1:12:00

1:24:00

1:36:00

サニタイズ（平均）スキャン（平均）サニタイズ（最大）スキャン（最大）


特定Proxy（2台）SBC Proxy（５台）

DMZ公開Web

内部Web

特定サイト

LGWANWeb

Proxy.pac

WinHTTPﾌﾟﾛｷｼ

ﾌﾟﾛｷｼ指定

SBCXRDP

通信可

通信不可

インターネット接続系 LGWAN接続系


２. (４)Web閲覧の制御 ①プロキシ構成

複数のProxy導入によりWeb閲覧の負荷分散、安定稼働を実現

XRDP Proxy（２台）


２. (４)Web閲覧の制御 ②特定プロキシについて

認証サイトや国・自治体系の特定サイトは特定プロキシを介してLGWAN接続系からアクセス可能

区分対象サイトの例

1 認証局系 Verisign,Symantec,LGPKI 等

2 Office365 Microsoft,PC起動時に通信するURL 等

3 ライセンス系 Adobe,java,一太郎,Autodesk 等

4 アップデート系Windows Update,TrendMicro,Symantec,Mcafee,F-Secure,Kaspersky,Canon ESET等

5 業務アプリFirefox,Chrome,Mac,Skype for Business,Google Earth,Google Map,証明書導入、VPN接続アプリ等

6 国、地方自治体 *.go.jp, *.lg.jp, *.hyogo.jp 等

7 県業務関係県と県関係公社等が運用管理するサイト（県がセキュリティチェック実施済）

8 その他システム稼動で必要なもの等

LGWAN接続系特定通信用プロキシの対象例

・強靱化済（予定）

・国等の資料のダウンロード需要が多い。


３. 全体スケジュール

スケジュール平成28年度平成29年度

1Q 2Q 3Q 4Q 1Q 2Q

全体

ｾｷｭﾘﾃｨｸﾗｳﾄﾞ

ｾｷｭﾘﾃｨ

強靭化対策

セキュリティクラウド

設計/構築/試験

メールシステム移行

（県庁）

市町移行（順次）

県システムの強靭化対策

設計/構築/試験

NW分離

▲公告

▲SOC運用開始▲業者決定 ▲10/8 サービス開始

▲構築開始

▲構築完了

・兵庫県は全国に先駆けてセキュリティクラウドシステムを構築し、平成28年１０月にメールシステムを移行・市町についても順次移行し、6月末には移行完了予定・平成29年2月には県インターネット閲覧方法の変更が完了

システム順次移行

各市町ごとに順次移行

▲2/16 NW分離完了▲公告

▲業者決定

▲構築開始

Documents

兵庫県情報セキュリティクラウドと 県システムの強靭性向上 …web.pref.hyogo.lg.jp/kk26/documents/shiryou.pdf自治体情報システム 強靭性向上モデル（県と市町）

兵庫県情報セキュリティクラウドと県システムの強靭性向上 …web.pref.hyogo.lg.jp/kk26/documents/shiryou.pdf自治体情報システム強靭性向上モデル（県と市町）