National Institute of Advanced Industrial Science and Technology

Is Grid ready for e-Science?

産業技術総合研究所産業技術総合研究所

グリッド研究センターグリッド研究センター

田中田中 良夫良夫

yoshio.tanaka@aist.go.jpyoshio.tanaka@aist.go.jp

自己紹介

19951995慶應大学で学位取得

Parallel GC (Garbage Collection)1996~1999: 1996~1999: 新情報処理開発機構（ＲＷＣＰ）新情報処理開発機構（ＲＷＣＰ）

SMPクラスタにおけるプログラミングモデル、性能評価グリッド

2000: 2000: 電子技術総合研究所電子技術総合研究所

グリッド2001~: 2001~: 産業技術総合研究所産業技術総合研究所

グリッド研究センター 基盤ソフトチーム長専門専門プログラミング環境セキュリティ性能評価

産総研

国内最大規模の研究所国内最大規模の研究所

研究テーマ研究テーマEnvironmentMaterialBio/Life scienceStandards (JIS/OSI)Geographical surveySemiconductor deviceComputer Scienceetc.

3,500 3,500 常勤職員常勤職員 + 3,000 + 3,000 非常勤職員非常勤職員

年間約年間約15001500億の予算

AIST Tsukuba Main Campus

国内に７つのキャンパス

億の予算 成田

東京

つくば

50km40km

50km

グリッド研究センター

2002/2002/11

20032003/1/1

20042004/1/1

ResearchersResearchers

2020

1212

3333

6565

11

88

Full timeFull time 1414 1919

FellowshipFellowship 11 99

CollaboratorsCollaborators 77 3232

6060

11

99

Sub totalSub total 2222

StaffStaff

AdministrationAdministration 22

SupportSupport 55

設立設立Since Jan. 1, 20027 years term24th Research Center of AIST

オフィスオフィスTsukuba CentralUmezono 1-1, TsukubaTokyo Office秋葉原クロスフィールド30 people for software development

グリッド技術の研究開発グリッド技術の研究開発年間約年間約1010億円の予算億円の予算

チーム構成

National Institute of Advanced Industrial Science and Technology

センター長：センター長： 関口関口 智嗣智嗣 副センター長：副センター長： 横川横川 美津夫美津夫

科学技術応用チーム科学技術応用チーム （（Leader: Leader: 長嶋長嶋 雲兵雲兵））

R&D on Scientific Applications on Grid. QC Grid / Gaussian Portal

ビジネス応用チームビジネス応用チーム （（Leader: Leader: 伊藤伊藤 智智））

R&D of Middleware and Applications for Business on Grid. R&D of Middleware and Applications for Business on Grid. Grid PSE BuilderGrid PSE Builder

データグリッドチームデータグリッドチーム （（Leader: Leader: 小島小島 功功））

Data Grid / Database and Grid (OGSA-DAIS, etc.)

科学技術基盤チーム科学技術基盤チーム （（Leader: Leader: 横川横川 美津夫美津夫））

E-Science

基盤ソフトチーム基盤ソフトチーム （（Leader: Leader: 田中田中 良夫良夫））

Programming Middleware, Testbed Development, Grid Security. NinfNinf--G, G, ApGridApGrid

クラスタ技術チームクラスタ技術チーム （（Leader: Leader: 工藤工藤 知宏知宏））

Interconnection, GFarm

話の内容

ee--ScienceScienceとは？とは？

グリッドとは？グリッドとは？

技術的課題（さらっと）技術的課題（さらっと）

今、何ができているか？今、何ができているか？

Is Grid ready for eIs Grid ready for e--Science?Science?

ｅサイエンスとは

情報技術の高度利用に立脚した新しい科学技術研究手法情報技術の高度利用に立脚した新しい科学技術研究手法

ネットワークで接続された様々な高機能資源（高性能計算機、高速ネットワーク、大規模データベース、実験装置など）を統合的に活用することにより、科学技術における新たな発見や融合研究領域などの新たな研究分野を創出することを目指す。

センサー、装置

記憶装置

高性能計算機ソフトウェア

専門家視覚装置

高速ネットワーク

ユーザ ユーザ

ユーザ

ｅサイエンスの例

DB @Thailand

DB @Japan Mirror DB

Satellite

地質情報科学

resourceinvestigation

disasterprevention Environment

Web Service: Meta Database

Data Grid: Grid File Systems

Storage

ClusterComputer

ClusterComputer

user

国際的情勢

ｅサイエンスに関する研究はｅサイエンスに関する研究は20002000年頃より活発化年頃より活発化

諸外国諸外国

欧州： 年間数億ユーロの研究投資UK-eScience, 2000年11月～Enabling Grid for E-Science in Europe (EGEE), 2004年4月～

米国： 年間数億ドルの研究投資International Virtual Data Grid Laboratory (iVDGL), 2001年9月～Open Science Grid, 2004年9月～NEESit, 2004年10月～

アジア：韓国、中国、タイ等でネットワークの科学技術応用をｅサイエンスとして統合する動きが見られるようになってきたが、アジア全体を視野に含めるには至っていない。平成16年3月22日に日中韓の科学技術担当局長による会合において”CJK e-Science Testbed”の提案があり、積極的に推進することが議論された。

我が国我が国

文部科学省NAREGI(National Research Grid Initiative)プロジェクトにおいて、ナノサイエンスをターゲットにグリッドミドルウェア開発および実証実験を進めている。

National Institute of Advanced Industrial Science and Technology

グリッドとは？

３年位前の新聞記事から読売新聞 2002年３月２６日（夕刊）

日本経済新聞 2002年２月４日

日本経済新聞 200１年１２月３０日

日経産業新聞 2002年５月１５日

2002.09.19

The Grid Problem (definition)

Flexible, secure, coordinated resource Flexible, secure, coordinated resource sharing among dynamic collections of sharing among dynamic collections of individuals, institutions, and resourcesindividuals, institutions, and resourcesFrom “The Anatomy of the Grid: Enabling Scalable Virtual Organizations”

グリッドのもう少し分かりやすい定義仮想組織仮想組織(Virtual Organization)(Virtual Organization)がインターネット上にがインターネット上に分散並列分散並列 「仮想計算「仮想計算環環境境」」(Virtual computing environment)(Virtual computing environment)を動的に形成を動的に形成

計算計算機機などの資源が「どこにあるか」を抽象化⇒などの資源が「どこにあるか」を抽象化⇒ サービスの質サービスの質((QoSQoS))はグリッドはグリッド

が判断が判断

計算インフラ・セキュリティインフラ・データインフラなど⇒資源の共用、抽象化さ計算インフラ・セキュリティインフラ・データインフラなど⇒資源の共用、抽象化された標準のアクセス法れた標準のアクセス法 (Web(Webのようにのように))

ストレッジストレッジリソースリソース

超高速超高速ネットワークネットワーク

計算リソース計算リソース

会社B

仮想組織研究所A

仮想計算機

グリッドの歴史

9090年代はじめ年代はじめ

広域分散計算、グローバルコンピューティング、 メタコンピューティング

9090年代中ごろ～終わり年代中ごろ～終わり

（アカデミック）ソフトウェアの開発、実証実験

“Grid”という用語が会議・論文等ではじめて使われたのは97年9月（たぶん）

現在現在

科学技術計算分野における多数のプロジェクト、コミュニティ

テストベッドの構築NASA IPG, TeraGrid, UK-eScience, EUDG, EGEE, ApGrid, …

大規模実証実験

事実上の標準ソフトウェアの登場： Globus ToolkitTM

技術的にはかなりmatureになってきている。産業界からも注目

Global Grid Forum: ~1000 people, 30+ countries

グリッド協議会 http://www.jpgrid.org/

20022002年年66月月1717日発足日発足

産総研コンソーシアム設置規定産総研コンソーシアム設置規定

法人会員法人会員5757社（社（163163名）、個人会員名）、個人会員9090名名 (4(4月月2727日時点日時点))国内におけるグリッド技術の情報交流と人的交流国内におけるグリッド技術の情報交流と人的交流

活動内容活動内容

調査会：GGFを中心に標準化・技術動向の調査と報告ワークショップ：特定技術に焦点を持つ小規模討論会

講習会：チュートリアルによる技術普及

講演会・シンポジウム：対象を広く取った複数の講演

GridWorldGridWorld2004GridWorld2004世界初のグリッドに関する展示会・シンポジウム

3000人登録、2000人来場、20団体による展示GridWorld2005GridWorld2005はは55月月1111--1212日＠東京国際フォーラム日＠東京国際フォーラム

入場無料

基調講演：村井純先生

チュートリアル等

http://www.jpgrid.org/GridWorld2006GridWorld2006は来年は来年66月（月（GGFGGFと同時開催）と同時開催）

National Institute of Advanced Industrial Science and Technology

基本的なことのreview

単位の確認

Flops (floating ops. per second)-計算機の性能を表す単位- 1秒間に何回の小数点演算を実行できるかを表す

bps (bits per second)-ネットワークのデータ転送の性能を表す単位- 1秒間に何ビットのデータを転送できるかを表す

１０３

１０４

１０６

１０７

１０８

１０９

１０１２

１０１５

１０１６

１０１８

１０２０

１０２１

１０２４

K－Ｍ－－ＧＴＰ－Ｅ－ＺＹ

kilo－mega－－gigaterapeta－exa－zetayota

千万－－億－兆－京－垓－

秭（し）

コンピュータの性能と値段

パソコンパソコン (PC)(PC)～数Gflops, ～ 100万円

WorkstationsWorkstations～数十Gflops, ～ 1000万円

SupercomputersSupercomputers～ Tflops, 数億円～数百億円As of Nov. 2004

No. 1: BlueGene/L (IBM/DOE)0.7GHz PowerPC 440 / 32768cpu70.72 / 91.75 TFlops

No. 2: Columbia (NASA/Ames Research Center)SGI Altix 1.5GHz / 10160cpu51.87 / 60.96 TFlops

No. 3: Earth Simulator (The Earth Simulator Center)5120cpu35.86 / 40.96 TFlops

No. 4: MareNostrum (Barcelona Supercomputer Center)PowerPC 970 2.2GHz / 3564cpu20.53 / 31.363 TFlops

No. 5: Thunder (Lawrence Livermore National Laboratory)Intel Itanium2 Tiger 4 1.4GHz – Quadrics / 4096cpu19.94 / 22.938 TFlops

クラスタコンピュータ －手づくりのスパコンー

数台～千台規模のパソコンを高速数台～千台規模のパソコンを高速ネットワーク（イーサネット、ネットワーク（イーサネット、MyrinetMyrinetなど）で接続し、並列計算機（スパコなど）で接続し、並列計算機（スパコン）とみたてるン）とみたてる利点利点コストパフォーマンスが良いアバウトに1Tflops == 1億地球シミュレータは400億で約40Tflops

最先端のCPUを利用可能ご自由な構成台数、ネットワーク、CPUなど

今の高性能計算機は実質クラスタ型今の高性能計算機は実質クラスタ型

AIST Super ClusterP32: IBM eServer325Opteron 2.0GHz, 6GB2way x 1074 nodeMyrinet 20008.59TFlops/peak

10,800mm

10,200mm

M64: Intel Tiger 4Madison 1.3GHz, 16GB4way x 131 nodeMyrinet 20002.72TFlops/peak

F32: Linux NetworxXeon 3.06GHz, 2GB2way x 260+ nodeGbE3.13TFlops/peaktotal 14.44TFlops/peak, 3192 CPUs

あくなき要求

より速く計算したいより速く計算したい

より大きなデータを解析したいより大きなデータを解析したい

より大きなデータベースを作成・利用したいより大きなデータベースを作成・利用したい

手元にない装置を使いたい手元にない装置を使いたい

……

National Institute of Advanced Industrial Science and Technology

Gridの概要、アプリケーション

グリッド技術のめざすところ

次世代の情報通信基盤として、すべてのサービス、ユーティリ次世代の情報通信基盤として、すべてのサービス、ユーティリティを提供する手段ティを提供する手段

TCP/IP や Internet Browserに相当ネットワークで接続された情報資源（コンピュータ、人、実験装置、ネットワークで接続された情報資源（コンピュータ、人、実験装置、可視化、ＤＢ、ソフトウエア、可視化、ＤＢ、ソフトウエア、PDAPDA、など）に対して、など）に対して

だれでも、どこからでも、いつでも、$5K PC @ NY = $500 PC @ Africa (by CeC)

ネットワーク/サーバそのものを意識することなくBandwidth, routing, scheduling, Accounting, SecurityServers/Clients’ location, OS, CPU, etc

必要なときに必要なサービスを即座／瞬時／簡便に享受できるようになる／なって欲しい

もともとは電力網のもともとは電力網のPower GridPower Gridからきた用語からきた用語

これを実現する技術をグリッド(GRID)と呼ぶこれを実現する技術をグリッドこれを実現する技術をグリッド(GRID)(GRID)と呼ぶと呼ぶ

目的

ペタフロップス超の能力を確保（アーキテクチャ的興味）ペタフロップス超の能力を確保（アーキテクチャ的興味）Supercomputer (100G x 20台→10T x 100台)PC群 (1GFlops x 100,000台) e.g. SETI@HOME

Grand Challenge (Grand Challenge (超大規模応用、計算科学的興味超大規模応用、計算科学的興味))高エネルギー物理学ゲノム・バイオインフォマティクス地球科学など

ビジネスアプリケーションへの展開ビジネスアプリケーションへの展開高対費用効果高耐故障性

日常業務への波及展開（産業活動支援）日常業務への波及展開（産業活動支援）中小企業等の裾野への機会提供HPC計算資源交換市場の創出新たな計算センターの形態、ASP、Virtual Laboratory

危機管理対応計算環境（危機管理）危機管理対応計算環境（危機管理）緊急時にネットワーク接続された計算機による負荷分散ネットワーク技術との連携…

What Grid makes it possible?Online Access to Remote InstrumentsOnline Access to Remote Instruments

PetabytePetabyte--scale Data Analysisscale Data Analysis

Detector for ALICE experiment

Detector forLHCb experiment

What Grid makes it possible? (cont’d)LargeLarge--scale Distributed Computingscale Distributed Computing

LargeLarge--scale scale MetacomputingMetacomputing

What Grid makes it possible? (cont’d)High Throughput ComputingHigh Throughput Computing

Integration of Human ResourcesIntegration of Human Resources

今日の話は計算グリッドに着目その他：データグリッド、センサーグリッド

計算機をたくさん使えばハッピーになれるか？

グリッドにおけるプログラミングは何が違う？

グリッド（固有）の性質グリッド（固有）の性質

複数のサイト

複数の計算機

非均質性

非集中管理

不安定

…プログラミングは？プログラミングは？

意識したくない

グリッドにおけるプログラミング方法およびそれらをサポートするソフトウェアの現状

使いやすいが

柔軟性に欠けるポータル特定のアプリケーションを利用するためのWebインタフェースを提供。ユーザはプログラミングの必要なし。NPACI HotPage, GridPort, Ninf-G Portal, QC Portalなど

産総研で開発を進めているシステム

(Ninf-G)を高レベルミドルウェアの標準的なシステムの１つとして普及させる。本システムを基にしたプロトコル、API等をGGFにおいて標準化。

高レベルミドルウェア並列・分散プログラミングを容易に行うためのシステム。低レベルミドルウェアが提供するグリッドに必要な機能を容易に利用する手段を提供。ほとんどのアプリケーションプログラマは高レベルミドルウェアを利用することになる。ポータルにおけるバックエンドとしても必要不可欠。

この階層においては、競争が激しい

低レベルミドルウェアセキュリティ、資源管理、（安全な）通信、データ転送、情報サービスなど、グリッドにおいて必要な要素技術を提供。豊富な機能と柔軟な利用方法を提供するが、一般ユーザが直接利用するのは難しい。

米国で開発されたGlobus Toolkitが事実上の標準

基本機能、プリミティブOperating Systemレベルでの通信機能および認証機能などの基本機能およびプリミティブ。低レベルミドルウェアはこれらの機能を元に実装されている。

難しいが柔軟な処理が記述できる

代表的な並列プログラミング手法：MPIデータ並列（計算対象のデータを分割し、複数のプロデータ並列（計算対象のデータを分割し、複数のプロセスで並列に実行するモデル）に適しているセスで並列に実行するモデル）に適している

例： 行列の足し算

＋ ＝

各プロセスに分配

各自足し算

結果を集める

代表的な並列プログラミング手法：MPI (cont’d)

すべてのプロセスが同じプログラムを実行する。ただすべてのプロセスが同じプログラムを実行する。ただし計算の対象となるデータが違うし計算の対象となるデータが違う

SPMD (Single Program Multiple Data)プロセス間でデータを送受信するためのプログラミンプロセス間でデータを送受信するためのプログラミングインタフェースを規定（仕様）グインタフェースを規定（仕様）

MPI_Send(), MPI_Recv()MPI_Barrier()MPI_Reduce()などなど

並列計算のプログラミング方法として超有名並列計算のプログラミング方法として超有名

代表的な並列プログラミング手法：multi thread

複数の複数のthreadthreadと呼ばれるプログラムを実行する実体と呼ばれるプログラムを実行する実体

を生成し、並列処理。を生成し、並列処理。

１つのプロセス内に複数の１つのプロセス内に複数のthreadthreadを生成。データはメを生成。データはメ

モリを使って共有する。モリを使って共有する。

共有メモリ型並列計算機でしか使えない。共有メモリ型並列計算機でしか使えない。

代表的？な並列プログラミング手法：RPC

タスク並列（行なうべき計算がたくさんある）に適してタスク並列（行なうべき計算がたくさんある）に適している。いる。

遠隔手続き呼び出し遠隔手続き呼び出し(Remote Procedure Call)(Remote Procedure Call)をを使ってリモート計算機上で計算を実行。使ってリモート計算機上で計算を実行。

Structural Optimization Vehicle Routing Problem

rpc rpc rpc

GridRPC とは？遠隔手続き呼び出し（ＲＰＣ）に基づくプログラミングモデル

GridRPCスーパーコンピュータの遠隔利用

ユーザ

Internet

①関数呼び出し

②結果の通知

特殊なライブラリの遠隔呼び出し

グリッド上の複数の高性能計算機を利用した大規模計算ポータル、ＡＳＰのバックエンドとして利用

クライアント・サーバモデルにもとづき、独立する1つ以上の計算（タスク）を遠隔計算機で実行

同期RPCと非同期RPC非同期非同期RPCRPC同期同期RPC RPC

サーバ側の処理が終了するまでクライアントの処理はブロック

通常の関数呼び出しと同一のセマンティクスを提供

サーバ側の処理終了を待たずに呼び出しが終了

複数タスクの並列実行を支援

grpc_call_async(...);grpc_wait_*(…);grpc_call_asyncgrpc_call_async(...);(...);grpc_waitgrpc_wait_*(_*(……););grpc_call(...);grpc_callgrpc_call(...);(...);

grpc_call_async

Client ServerA ServerB

grpc_call_async

grpc_wait_all

grpc_call

Client ServerA

典型的なシナリオ（その１：デスクトップスーパーコンピューティング）

手元の計算機（手元の計算機（PC,PC,ワークステーション）から遠隔スーワークステーション）から遠隔スー

パーコンピュータに計算を依頼パーコンピュータに計算を依頼

ライブラリの集中管理が可能ライブラリの集中管理が可能

ASPASPライクアプローチライクアプローチ

Numerical LibrariesApplications

Ninf_call(FUNC, arg1, ...)

client

server

arguments

results

典型的なシナリオ（その２：パラメータサーベイ）

独立する大量の計算（タス独立する大量の計算（タスク）を大量の遠隔計算機上ク）を大量の遠隔計算機上にばらまいて実行にばらまいて実行

eg. TDDFT, 気象シミュレーション

障害ノードは適宜捨てる・リ障害ノードは適宜捨てる・リトライトライ

新たなノードを動的に追加新たなノードを動的に追加Client

Servers Servers

典型的なシナリオ（その３：GridRPC+MPI）粒度の大きな並列プログラム粒度の大きな並列プログラム（（MPI)MPI)を複数のクラスタで実行を複数のクラスタで実行

eg. QM/MDシミュレーション粗粒度並列（粗粒度並列（by by GridRPCGridRPC))と細と細粒度並列粒度並列(by MPI)(by MPI)の組み合わの組み合わ

せせ

利用するクラスタの動的な切り替利用するクラスタの動的な切り替えが可能えが可能

大規模実行へのアプローチとし大規模実行へのアプローチとして非常に現実的て非常に現実的Client

Servers Servers

GridRPC v.s. MPIGridRPCGridRPC

タスク並列タスク並列

クライアント・サーバクライアント・サーバ

GridRPCGridRPC APIAPI

必須ではない必須ではない

対応タスクのみ停止対応タスクのみ停止

利用可能利用可能

動的に指定可能動的に指定可能

既存並列プログラム既存並列プログラム

のグリッド化が容易のグリッド化が容易

並列性並列性

モデルモデル

APIAPIcoco--allocationallocation

障害発生時障害発生時

private IPprivate IPノードノード

利用資源利用資源

その他その他

MPIMPIデータ並列データ並列

SPMDSPMDMPIMPI

必須必須

全体が停止全体が停止

利用不可利用不可

静的に決定＊静的に決定＊

well knownwell known

既存プログラムをその既存プログラムをその

ままグリッドで実行ままグリッドで実行

＊MPI2のspawn機能を使えば動的利用可能

GridRPCの現状NinfNinf、、NetSolveNetSolveプロジェクトはプロジェクトは19941994年頃スタート年頃スタート当初はクライアント・サーバ型(1対1)の計算モデルを想定クラスタの普及に伴い、マスター・ワーカ型(1対多)の計算モデルが主流に

既存のシステムおよびその利用既存のシステムおよびその利用NetSolve細胞生理学向けモンテカルロシミュレーション(MCell)

OmniRPCHMCS-G (GRAPE-6 + CP-PACS)

Ninf数値、組み合わせ最適化問題（BMI, SDPA)レプリカ交換モンテカルロ (HPC Challenge @ SC2002)

Ninf-GApGrid Testbed上での気象シミュレーションQM/MD simulation, TDDFTApGrid/TeraGridでの大規模デモ

Ninf-Gとは?GridRPCGridRPCによるプログラム開発および実行を支援すによるプログラム開発および実行を支援す

るソフトウェアパッケージ。るソフトウェアパッケージ。

NinfNinf--G includesG includesC/C++, Java APIsとライブラリIDL コンパイラシェルスクリプト

クライアントプログラムのコンパイルドライバ

リモートライブラリの構築および管理

例プログラム

マニュアル

今、どんなことができているか？

Ninf-G アプリケーション事例分子シミュレーション分子シミュレーション

レプリカ交換モンテカルロ：分子のポテンシャルエネルギーサーベイ

SC2002においてMetacomputing Testbed上で700CPUを用いた実験を実施

Time Dependent DFTシミュレーション：分子の電子状態を計算

ApGrid テストベッド上で1週間にわたって継続計算最適化問題最適化問題

配送計画問題最短経路探索

Supply Chain Management天気予報シミュレーション天気予報シミュレーション

S-modelプログラム：短中期にわたる広域天気予報シミュレーション

SC2003においてTeraGrid/ApGrid/PRAGMAtestbed上で実験を実施

気象シミュレーション @SC2003

Client(AIST)

TeraGrid SeversNCSA Cluster (225 CPU)

利用CPU数：500 サンプルシミュレーション数：1000実行時間：90秒

利用CPU数：500 サンプルシミュレーション数：1000実行時間：90秒

perturbation

mean

Sample simulation ２

Sample simulation

Sample simulation １

Time evolution

statistics

Time evolution

Time evolution

…

100 ~ 1000

ターゲットアプリケーションの特徴

必要とされる特性必要とされる特性

スケーラビリティ

頑健性

柔軟性

Current targetCurrent target

CPU数

実行時間

10 100 1000 1000011 分

1 時間

1 日

1 週間

1 月

Climatesimulation

TD-DFT REX-MC

100~1000 CPUs1 時間 ~ 1 週間占有環境

1 年

Next TargetNext Target

1000 ~10000 CPUs1 月 ~ 1 年非占有環境

計算資源 A

計算資源 C計算資源 B

時間

Resource A

Resource B

Resource C

application

applicationapplication

実験期間全体にわたり利用可能

実験期間

Resource B

application

Resource C

application

Resource A

application

計算資源 A

計算資源 C計算資源 B

時間

実験期間の一部のみ利用可能

実験期間

Gridプログラミングモデル

既存の既存のGridGridプログラミングモデルではこれらの条件を満足することは困難プログラミングモデルではこれらの条件を満足することは困難

GridRPC動的実行 ☺

co-allocation不要計算機資源の動的変更が容易

障害検知可能 ☺遠隔実行プログラムの障害を検知 他の計算機資源を動的に選択可能

多数の遠隔実行プログラムを効率的に管理することは困難

クライアントがボトルネックになりやすい

Grid-enabled MPI効率的なプロセス間通信 ☺

通信ボトルネックを回避しやすい

静的実行co-allocationの必要性実行中にプロセス数を変化させることは困難

障害に弱い1プロセスに障害発生 全プロセスが実行継続困難に

Fault tolerant MPI はまだ研究段階

GridRPCとMPIの組み合わせによるプログラムのGrid化

両者の長所の組み合わせによる大規模プログラムの両者の長所の組み合わせによる大規模プログラムのGridGrid化化Grid RPC

MPIプログラムを動的に起動クライアントとサーバ間の疎な(loose)通信を支援数十～数百のMPIプログラムを実行管理

MPIサーバプログラム内の密な(tight)通信を支援

疎に連携する疎に連携する(loosely coupled)(loosely coupled)並列プログラムから構成されるアプ並列プログラムから構成されるアプ

リケーションのグリッド化を目的リケーションのグリッド化を目的

多原理 (multi-disciplinary) シミュレーションHybrid QM/MD simulation

GridRPC

Ninf-G client

GridRPC

MPI Programs GridRPC

大規模Atomistic Simulationの必要性

Quantum description of bond breaking

[ Deformation process ][ Stress distribution ]

大規模Atomistic Simulation

適切な実行時間適切な精度保持

微細レベルの解析を通じた詳細な知識を提供微細レベルの解析を通じた詳細な知識を提供次世代半導体素子の設計

マイクロマシンの設計

微細レベル解析の特徴微細レベル解析の特徴ナノスケールの現象を対象

多数の原子を取り扱う

環境に敏感

高精度シミュレーションが必要

Atomistic Simulationの現状22つの条件を満足することは困難つの条件を満足することは困難

MD Simulation: 計算コスト：小 (~10-6 m, 10-9 sec, 108 atoms)精度：低

QM Simulation:計算コスト：大 (< 10-8 m, 10-12 sec, 103 atoms)精度：高

Benchmark tests on 1024-node Cray T3E

適切な計算コスト(~103 sec)

Hybrid QM/MD Simulation大規模な大規模なAtomistic simulationAtomistic simulationの高精度実行を可能にの高精度実行を可能に

MD SimulationとQM simulationを連携MD simulation全領域の原子の振舞いを計算

経験的原子間ポテンシャルを用いた古典MDシミュレーションQM simulation興味のある領域のみを対象に実行，MDの結果を修正Density Functional Theory (DFT)に基づくQMシミュレーション

MD SimulationQM simulationbased on DFT

Hybrid QM/MD Simulation Algorithmシミュレーションアルゴリズムシミュレーションアルゴリズム

Dr. Nakano (USC), Dr. Ogata (Nitech), et.alにより開発

原プログラムは原プログラムはMPIMPIを用いて実装を用いて実装MPICH-G2や他のGrid aware MPIを用いればGrid上で無修正で実行可能幾つかの問題が存在

Co-allocation problemStatic configurationWeak fault tolerance

Ninf-Gを用いた再実装

MD prog. QM prog.

initial set-up

Calculate MD forces of QM+MD regions

Update atomic positions and velocities

Calculate QM force of the QM regionCalculate QM force of the QM regionCalculate QM force of the QM region

Calculate MD forces of QM region

initial set-upInitializationInitializationInitialization

Initial parameters

Data of QM atoms

QM forces

Data of QM atoms

QM forces

Calculate QM force of the QM regionCalculate QM force of the QM regionCalculate QM force of the QM region

SC2004における動作実験

4つのQM領域#0: 69 atoms

including 2H2O+2OH

#1: 68 atoms including H2O

#2: 44 atoms including H2O

#3: 56 atoms including H2O

Close-up view

Stress環境下におけるNano-structured Si systemと水分子の化学反応◆傾斜した柱により接合された2枚のSi slabs◆ 0.11million atoms

実験用テストベッド

P32 (512 CPU)

F32 (256 CPU)

TCS (512 CPU) @ PSC

P32 (512 CPU)

F32 (1 CPU)

QM #0: 69 atoms including 2H2O+2OH

QM #2: 44 atoms including H2O

QM #1: 68 atoms including H2O

QM #3: 56 atoms including H2OMD: 110,000 atoms

TCS@ PSC (512 CPU)ES45 alpha (1.0 GHz) 4-way clusterASC@AIST (1281 CPU)

P32 (1024 CPU)Opteron (2.0 GHz) 2-way cluster

F32 (257 CPU)Xeon (3.06 GHz) 2-way cluster

TCS@ PSC (512 CPU)ES45 alpha (1.0 GHz) 4-way clusterASC@AIST (1281 CPU)

P32 (1024 CPU)Opteron (2.0 GHz) 2-way cluster

F32 (257 CPU)Xeon (3.06 GHz) 2-way cluster

Totally 1792 CPUs on 3 clustersTotally 1792 CPUs on 3 clusters

QM/MD simulation over the Pacific

QM Server

QM Server

initial set-up

Calculate MD forces of QM+MD regions

Update atomic positions and velocities

Calculate QM force of the QM region

Calculate QM force of the QM regionCalculate QM force

of the QM regionCalculate MD forces of QM region

MD Client

P32 (512 CPU)

P32 (512 CPU)

F32 (256 CPU)

TCS (512 CPU) @ PSCTotal number of CPUs: 1792

Ninf-G

実験結果

22日目日目: production run: production run10時間以上にわたる実行継続に成功各マシンのロードバランスは困難実行時間全体の36％はアイドルSCFステップに要する計算時間も実行毎に変化

通信時間はnegligibleQM/MDプログラム間転送データ量: 5 ~ 8 KB/call通信時間

ASC間: 0.08 sec/callASC ~ TCS@PSC: 0.8 sec/call (計算時間の0.001%以下）

化学反応の検証には実験時間が不足実行タイムステップ数: 10 (~ 7 fs に対応)P32 (~1000CPU)を用いてさらに1週間実行を継続実行タイムステップ数：１２５ （~90 fsに対応）

さらに2週間の実行が必要

1 2 3 4 5 6 7 8 9 10 (hour)

1 2 3 4 5 6 7 8 9 10 (SCF)1 2 3 4 5 6 7 8 9 (time step)

Cluster# of CPU

# of atoms

mean (min)

idle (%)

P32 512 69 38.5 34.1

P32 512 68 28.4 51.3

F32 256 44 55.1 5.7

TCS 512 56 22.9 54.5

Simulation time of each time step

今年の計画（現在進行中）

昨年の実績：昨年の実績：1800cpu1800cpuを使ってを使って1010時間時間「実験」のためなら現実的

これを「3週間、あるいはそれ以上」に伸ばすのは難しい

使えるリソースをアズイズで使いながら、長時間実行使えるリソースをアズイズで使いながら、長時間実行する。する。

動的にリソースを渡り歩きながら

あるときは 256 x 4 セット、あるときは 32 x 8セット

数ヶ月～の長時間実行

コケても自動リカバリー

Is Grid ready for e-Science?

答えは答えは YES YES だが、だが、00--11の答えにはならない。の答えにはならない。

いくつかのアプリケーションに対しては、材料はそろっている。

技術的および非技術的な側面において、まだ解決すべき問題はいくつかある。

できるところから始めて知見を積むべしできるところから始めて知見を積むべし

論よりラン（座右の銘）

解決すべき問題

グリッドレベルのスケジューラ（含むグリッドレベルのスケジューラ（含む coco--allocationallocation））まだ実用的なものはない

予約ベースが現実的

耐故障性耐故障性

かならず障害は起こる

実行中ユーザが張り付いているわけにはいかない

セキュリティセキュリティ

アクセス制御、機密保持、暗号化など

人的資源の欠如人的資源の欠如

管理のノウハウを持つ人員が不足している

一番やっかいなもの一番やっかいなもの

技術的な問題ではなく、政治的・ポリシー的なもの

For more Info

産総研産総研

http://www.aist.go.jpグリッド研究センターグリッド研究センター

http://www.gtrc.aist.go.jpNinfNinfプロジェクトプロジェクト / / NinfNinf--GG

http://ninf.apgrid.orgApGridApGrid

http://www.apgrid.orgグリッド協議会グリッド協議会

http://www.jpgrid.orgGlobal Grid ForumGlobal Grid Forum

http://www.ggf.org