CAE & HPC の新常識 HPCにおけるAWSの活用と実現したい世界¯Œ士... · jaws-ug hpc (hpc専門支部立ち上げメンバ) jaws-ug cli (awsをコマンドラインから操作する専門支部)

HPC 最前線クラウドで拓く CAE & HPC の新常識

2015年11月26日

基盤技術研究所長尾太介

富士ゼロックスのHPCにおけるAWSの活用と実現したい世界

© 2015 Fuji Xerox Co., Ltd. All rights reserved.

【名前】

長尾太介

【所属】

富士ゼロックス株式会社基盤技術研究所

【役割】

電子写真シミュレータの開発/設計者への展開

High Performance Computing (以後 HPC) 環境の導入・保守

自己紹介

© 2015 Fuji Xerox Co., Ltd. All rights reserved. 1

【私に会える Amazon Web Service (以後 AWS) のユーザグループ】

JAWS-UG HPC (HPC専門支部立ち上げメンバ)

JAWS-UG CLI (AWSをコマンドラインから操作する専門支部)

名称富士ゼロックス株式会社

(Fuji Xerox Co., Ltd.)

創立 1962(昭和37)年2月20日

資本金 200億円

株主富士フイルムホールディングス 75%

ゼロックス・リミテッド 25%

本社〒107-0052 東京都港区赤坂9-7-3

社員数 45,899人（2014年3月期連結）

8,592 人（2014年3月期単独）

会社概要


事業構造

4つの事業領域を横断し、お客様の業種や課題に応じてさまざまなソリューションサービスを提供しています。

3© 2015 Fuji Xerox Co., Ltd. All rights reserved.

© 2015 Fuji Xerox Co., Ltd. All rights reserved.

ソリューションサービス事業拡大生産性向上

富士ゼロックスの経営課題は・・・

4

生産性向上のための取り組みプロセス改革とシミュレーション


プロセス改革とシミュレーション


光学設計

電子写真プロセス設計

生産準備

物流設計

包装落下衝撃

製品落下衝撃

IEMITSUのCPU部シミュレーション結果

熱熱電源/GND放射EMI

ソフト開発

IOT-SWシミュレータ

エレ/メカ/ソフト連動

エレキ設計

メカ系設計

強度

用紙搬送

振動

熱変形

機構

実機からデジタルへ

システム全体評価のためのシミュレータ群を構築デジタルで評価を行い結果を設計へフィードバック

機内温昇

公差設計

反り解析

樹脂流動

FXDWW: Fuji Xerox Digital Work Way

手戻りレスを狙いに

バーチャルフェーズで，設計及び生産準備品質をデジタルで作りこみ(デジタル設計・デジタル生準)，デジタルで評価(D.D.I)し，リアルフェーズで検証する

電子写真シミュレーション


画像入力

画像出力トナー

用紙用紙

感光体

電磁場と粉体を中心とする複合物理現象のモデル化

感光体

現像ロール

トナー（赤）

キャリア（グレー）

Vl: -300 VVh: -720 V Vh: -720 V

電磁界は有限要素方（FEM）で計算.

粒子運動は個別要素方（DEM）で計算.

電位分布

粒子数:　8448

TC: 8.5%

Vbias DC:　-600V

Vbias AC freq.: 6kHz

Vbias AC P-P.: 920 V

Vbias AC duty: 65 %

負荷の大きいシミュレーションを中心にHPC(オンプレミス)を活用中特徴として画像形成エンジン部分のシミュレータは内製ツールが多い

内製ツールを活用した電子写真シミュレーション解析

市販CAEツールを活用した構造・熱・流体・電磁場解析

画像形成エンジン

HPC で AWS を導入した理由


• オンプレミスの課題を解決したい– 導入までの長いリードタイムと多大な導入運用工数

– HPC利用者増加に伴う計算リソースの逼迫

• 利用環境が整っていた– 富士ゼロックスはAWSへ専用線が敷設済み(社内システムとプライベート接続を確立)

– 活発なコミュニティー(JAWS-UG) の存在

• アプリケーション的にも問題がなかった– ライセンスの問題がない内製ツール等，積極的に活用している

– 通常利用する計算規模で比較的良好なパフォーマンス(C3.8xlarge 以降)

AWS導入理由


まずは，計算負荷が高くライセンスの問題がない内製の電子写真シミュレータを対象としその解析環境としてAWSを選択した

電子写真シミュレータとそのパフォーマンス


DEM(Distict Element Method)による粒子シミュレータ。現像ローラ付近のキャリアの挙動を計算

磁性ローラ

ハウジング

剥離した現像剤（ピックオフ）

再付着した現像剤 MPIとOpenMPのハイブリッド並列（8ノード固定）ソケット毎にMPIプロセスを割り当て（ピニングなし）オンプレミスのインターコネクトはInfiniband (QDR) を利用シングルコアの計算速度を1として測定．

※ 通常計算時より小規模の計算モデルでかつノード数も多くAWSに不利な状況

0

10

20

30

40

50

60

0 32 64 96 128 160

calc

sp

ee

d [

au]

COREs （16MPIプロセス × Threads)

c4.8xlarge

c3.8xlarge

cc2.8xlarge

on-premise(Xeon: Ivy Bridge)

導入効果


Job1 Job2 Job3 Job4

Job1

Job2Job3

Job4

トータルの計算時間

AWSによる計算時間短縮効果

トータルの計算時間

AWSの弱点，Infinibandを利用できなくても，Instance(計算ノード)を複数同時に立ち上げることによりトータルとして計算時間が短縮化される．【実例】- オンプレで全ケース数カ月の計算がAWSで数日で完了．- 利用料金：50万～ 200万円程度

※ 50万円はすべてスポットインスタンスを使ったとき

オンプレミス

AWS

システム構成と課題


基本構成（現状）


for the case1

for the caseN

HPC(Cluster)

incetance社内ユーザ

StarCluster

HPCはファイル容量が大きいため Amazon S3 までのファイルステージングがキーとなる

AWSへの専用線VPC(Virtual Private Cloud)内は社内のIPを割り当て

StarCluster(クラスタコンピューティングツールキット．MITのオープンソース)

CPU負荷監視(負荷が無い場合は、HPCを構成するインスタンスをターミネートする)

StarClusterコマンド(構築/削除/ログイン/ファイル転送・・・)

計算結果の蓄積(Amazon S3)

計算ジョブのメタ情報格納

アンチパターン1: Volumeアタッチ/デタッチ/たらい回し


HPC

ファイルステージング

StarCluster

HPC

計算実行

再計算ポスト処理可視化

計算モデル格納

全データVolumeの削除

削除

削除

削除

過去のデータ参照

アタッチ

アタッチ

アタッチ

アンチパターン1: 発生した課題


HPC

HPC

ポスト処理可視化


計算実行

再計算

全データVolumeの削除

削除

削除

削除

アタッチ

アタッチ

ユーザはすぐにポスト処理するとは限らない①ボリュームの氾濫，管理困難へ②高額な利用料金の発生

設計者からファイルステージングが複雑で面倒とのクレーム「オンプレのように使いたい！」


StarCluster

アンチパターン2: オンプレライクなファイルステージング


HPC

HPC

計算実行


過去データ参照


数TB

ファイルステージング

NFSマウント

削除

削除

削除

StarCluster& FileServer

アンチパターン2: 発生した課題


HPC

HPC

計算実行


過去データ参照

数TB

削除

削除

削除

Volumeの容量不足発生（予測が困難）- システムが一時的にダウン- Volumeを追加し高額な請求の発生

ユーザはデータを動かさない．もう一回ポスト処理するかもしれない・・・計算した場所にデータを置いておきたい心理

StarCluster& FileServer

現在開発中のシステムのコンセプトアンチパターンを越えて・・・


• 大容量のデータを主役としてシステムを設計する• 安価で高信頼な Amazon S3 を使いこなしAWSらしいシステムを構成する

データを中心に，Amazon S3 を中心に・・


再計算

計算実行過去のデータ参照クラスタ動的構築

ターミネート

ポスト処理&

可視化


結果をS3へUL

Down Load

Up Load

ソルバ実行

S3 を中心(グラビティー)とする．必ずデータはS3にある安心感（設計者に意識させる）EBS Volume は計算実行時の一時利用とする（設計者に意識させない）

開発パートナー



再計算

計算実行

ポスト処理&

可視化

Down Load

Up Loadジョブ管理に・・・・株式会社アンクルShareTask

可視化に・・・サイバネットシステムAVS/Express

クラスタ動的構築

ターミネート

結果をS3へUL


計算実行はオンプレとの整合性とハイブリッドにする目的でShareTaskを利用する可視化は並列処理により高速実行可能なAVS/Expressを利用する

ソルバ実行


ShareTask株式会社アンクル齊藤隆之

AVS/Expressサイバネットシステム株式会社黒木勇

• オンプレミスの問題を解決するためにAWSを導入し、内製の電子写真シミュレー

ターで利用を開始した

• 通常の計算規模でAWSのパフォーマンスに問題はなく、多ケースを一度に流せる

というメリットを享受することができた

• 大容量データにおけるファイルステージングの課題を抽出し、対策としてS3を中

心としたシステムを提案した

• S3を中心としたシステムは、ジョブ管理にShareTask、可視化にAVS/Express

を利用することにより実現する

まとめ


Xerox、Xeroxロゴ、およびFuji Xeroxロゴは、米国ゼロックス社の登録商標または商標です。

Documents

CAE & HPC の新常識 HPCにおけるAWSの活用と実現したい世界¯Œ士... · jaws-ug hpc (hpc専門支部立ち上げメンバ) jaws-ug cli (awsをコマンドラインから操作する専門支部)