Globus World参加報告 · 2019. 12. 6. · 発表手順 National Institute of Advanced Industrial Science and Technology データアクセス統合(Data Access & Integration) OGSA-DAI

National Institute of Advanced Industrial Science and Technology

GlobusGlobus WorldWorld参加報告参加報告

産業技術総合研究所産業技術総合研究所グリッド研究センターグリッド研究センター

Said Said MirzaMirza PahleviPahlevi


発表手順発表手順


データアクセス統合データアクセス統合 (Data Access & Integration)(Data Access & Integration)OGSAOGSA--DAIDAI

資源管理資源管理 (Resource Management)(Resource Management)WSWS--AgreementAgreementCommunity Scheduler Framework (CSF)Community Scheduler Framework (CSF)

情報サービス情報サービス (Information Service)(Information Service)GT3 Monitoring and Discovery Service (MDS3)GT3 Monitoring and Discovery Service (MDS3)

ee--businessbusiness応用応用HP, IBM, HP, IBM, DataSynapseDataSynapse, , EnigmatecEnigmatec

データアクセス統合：データアクセス統合：OGSAOGSA－－DAIDAI


既存のデータベースシステムに対するグリッド接続のミドルウェア既存のデータベースシステムに対するグリッド接続のミドルウェアRelationalRelational: : MySQLMySQL, DB2, Oracle (also , DB2, Oracle (also PostgreSQLPostgreSQL, , SQLServerSQLServer) ) XMLXML: : XindiceXindice

既存のシステムのデータモデルをそのまま見せる既存のシステムのデータモデルをそのまま見せる

データベースに対するデータベースに対するActivityActivity問い合わせ問い合わせ: : Update, Update, BulkloadBulkload, , StoredProcedureStoredProcedure, , XpathXpath, etc., etc.データ変換データ変換: XSLT: XSLT変換、変換、データ圧縮データ圧縮

結果の転送結果の転送: : DeliverToURLDeliverToURL, , DeliverFromURLDeliverFromURL, , OutputStreamOutputStream, , InputStreamInputStream, etc., etc.その他ユーザ定義のその他ユーザ定義のActivityActivity

GGF DAISGGF DAIS--WGWGの活動と密接に連携の活動と密接に連携

DAISDAIS仕様の標準実装を目標としている仕様の標準実装を目標としている

OGSAOGSA--DAIDAIサービス構造サービス構造


DAISGR GDSF GDS

Data resource

locates creates

represents

accesses

リソースアクセスのためのData service

サービス発見のためのRegistry

サービス生成のためのFactory

Service InteractionService Interaction


GDSF

DAISGR

OGSI container

OGSI container

mydb

1. OGSI containerをスタート2. GDSFはmydbデータベースを3. GDSFはDAISGRに登録4. mydbをアクセスするclientはGDSFに直接にアクセスするかDAISGRからmydbのGDSFを求める

5. ClientはGDSFにGDSを生成要6. GDSFはGDSを生成7. Clientはperform documentをGDSに送り、GDSは処理結果を返す

mydb:GSH

findServ

ice:m

ydb

GSH:GDSF

GDScreateService

GSH:GDSPerform document

Response document

GDSGDS構成の種類構成の種類


1つのデータベースを1つのGDSでアクセス

1つ／複数のデータベースを複数のGDSでアクセス

1つのデータベースを１つのGDSで一連の操作でアクセス

OGSA-DQP:分散問合せ処理

1個／複数のデータベースを複数のGDSで一連の操作で

アクセス




資源管資源管 (Resource Management)(Resource Management)WSWS--AgreementAgreementCommunity Scheduler Framework (CSF)Community Scheduler Framework (CSF)

情報サービス情報サービス(Information Service)(Information Service)Monitoring and Discovery Service (MDS3)Monitoring and Discovery Service (MDS3)


WSWS--AgreementAgreement：概要：概要


GRAAPGRAAP--WGWGにおける、資源管理についての新しい標準における、資源管理についての新しい標準

GRAMGRAMのアイデアを一般化のアイデアを一般化

サービスベースサービスベース

Resource Resource Service providerService providerTask Task Negotiated ServiceNegotiated ServiceService Level Agreement (SLA) Service Level Agreement (SLA) Agreement ServiceAgreement Service

AgreementAgreement providerproviderととinitiatorinitiatorとの間の進行中の関係を表すとの間の進行中の関係を表すagreementagreementををnegotiationnegotiationで生成で生成

AgreementAgreement はは agreementagreement terms terms の集合からなるの集合からなる

NegotiationNegotiation は、最終的な条件に至るよう、は、最終的な条件に至るよう、 term statesterm states を更新するを更新する仕様書のコアの部分仕様書のコアの部分

WSWS--AgreementAgreementの構成要素の構成要素


Appl. Service Policy

Appl Service Provider

Consumer

AgreementInitiator

Agreement Provider

AgreementFactoryOps:createService()SDEs:

Ops:renegotiatie()findServiceData()SDEs:

AgreementAgreement

renegotiatemonitor

negotiate

WSWS--AgreementAgreementの使用例の使用例: Community Scheduler : Community Scheduler Framework (CSF)Framework (CSF)


GT3 job submission architecture

Define schedule policy

Send jobs

Reserve resources for job execution

ReservationサービスはWS-Agreementのnegotiationプロトコルを使用するが、それはRM Adapterと行われる




資源管理資源管理 (Resource Management)(Resource Management)WSWS--AgreementAgreementCommunity Scheduler Framework (CSF)Community Scheduler Framework (CSF)

情報サービス情報サービス (Information Service)(Information Service)Monitoring and Discovery Service (MDS3)Monitoring and Discovery Service (MDS3)


情報サービス：情報サービス：MDSMDS３３


GT3 GT3 のの Monitoring and Discovery Monitoring and Discovery サービスサービス

リソース発見リソース発見、、選択選択、、最適化最適化のためにグリッドリソースにのためにグリッドリソースに関する情報を提供関する情報を提供

OGSIOGSIベースベース

すべてのリソースはすべてのリソースはグリッドサービスグリッドサービスとして実装されるとして実装される

Notification/subscriptionNotification/subscriptionServiceGroupRegistrationServiceGroupRegistrationSoftSoft--state registrationstate registrationOGSIOGSIサービスデータアクセス機構サービスデータアクセス機構

MDS3MDS3の構造の構造


Rservice

data Rservice

data Rservice

data

Aggregatormechanism

Providermechanism

Java provider

servicedata

Index service

registration

discovery

lookup

Dynamic registration viaDynamic registration via OGSI OGSI ServiceGroupRegistrationServiceGroupRegistrationサービスの種類サービスの種類

Resource servicesResource services: : サービスデータのサービスデータのlookup/monitorlookup/monitorCollective/Index servicesCollective/Index services: : サービスデータの集成とサービス発見サービスデータの集成とサービス発見

Index ServiceIndex Serviceの構成の構成

AggregatorAggregator：データ収集メカニズムを一般のデータ処理メカニズムと連携：データ収集メカニズムを一般のデータ処理メカニズムと連携

DataAggregationSourceDataAggregationSource とと DataAggregationSinkDataAggregationSinkProviderProvider: : 外部のプログラムでサービスデータの動的な生成外部のプログラムでサービスデータの動的な生成

SimpleDataProviderSimpleDataProvider, , DOMDataProviderDOMDataProvider, , AsyncDataProviderAsyncDataProvider

MDS3MDS3ととMDS2MDS2の相違の相違


MDS2MDS2 MDS3MDS3

Access pAccess protocolrotocol LDAP OGSI operation

Data formatData format LDIF XML

Service Service publishingpublishing

各Hostにおいて、複数のリソースサービスのために一つのGRISを設定

各サービスはサービスデータセットを持つ



データアクセス統合データアクセス統合(Data Access & Integration)(Data Access & Integration)OGSAOGSA--DAIDAI

資源管理資源管理(Resource Management)(Resource Management)WSWS--AgreementAgreementCommunity Scheduler Framework (CSF)Community Scheduler Framework (CSF)

情報サービス情報サービス(Information Service)(Information Service)Monitoring and Discovery Service (MDS3)Monitoring and Discovery Service (MDS3)


ee--businessbusiness応用応用


HPHP: Adaptive Enterprise solution: Adaptive Enterprise solutionIBMIBM: Grid Computing solution: Grid Computing solutionDataSynapseDataSynapse: : GridServerGridServer solutionsolutionEnigmatecEnigmatec Corp.Corp.：： RIF solutionRIF solution

HP Vision: Adaptive EnterpriseHP Vision: Adaptive Enterprise


BusinessBusiness and and ITIT synchronizedsynchronized to capitalize on to capitalize on changechangeビジネスの変化に伴う要求をビジネスの変化に伴う要求をITITが迅速に対応できるが迅速に対応できる

グリッド技術で達成グリッド技術で達成

Architectural transitionsArchitectural transitions with Grid technologieswith Grid technologies特有的なプロセス特有的なプロセス自動・統合的なプロセス自動・統合的なプロセス

垂直に統合された垂直に統合されたIT stacksIT stacks 規格化・仮想的リソース規格化・仮想的リソース

Management and Execution of Management and Execution of Grid&WebGrid&Web serviceserviceTopology designer, Topology designer, SmartFrogSmartFrog, WS, WS--Management Management Framework, Utility Data Center, and etc.Framework, Utility Data Center, and etc.

IBM Grid Computing SolutionIBM Grid Computing Solution


研究コラボレーショングリッド研究コラボレーショングリッドIBM server IBM server pSeries/zSeriespSeries/zSeriesととIBM server cluster 1600/1350IBM server cluster 1600/1350Life sciences, Agricultural chemicalLife sciences, Agricultural chemicalHigher educationHigher education

エンジニアリング・製品設計グリッドエンジニアリング・製品設計グリッドIBM server IBM server pSeries/zSeriespSeries/zSeriesととIBM server cluster 1600/1350IBM server cluster 1600/1350Electronics, aerospace and defense, automotiveElectronics, aerospace and defense, automotive

リテイル・バンキンググリッドリテイル・バンキンググリッドGridServerGridServer, SAS banking intelligence, IBM server , SAS banking intelligence, IBM server BladeCenterBladeCenterFinancial markets, Banking, Insurance, and etc.Financial markets, Banking, Insurance, and etc.

ITIT最適化グリッド最適化グリッドIBM server IBM server pSeries/xSeriespSeries/xSeriesととIBM server cluster 1200/1350IBM server cluster 1200/1350Financial services, petroleumFinancial services, petroleum

高速解析グリッド高速解析グリッドIBM server IBM server pSeriespSeriesととIBM server cluster 1600/1350IBM server cluster 1600/1350GovernmentGovernment

DataSynapseDataSynapse: : GridServerGridServer solutionsolution


金融サービス（金融サービス（businessbusiness--criticalcriticalアプリケーショアプリケーション）に重点ン）に重点

Security firms, commercial banks, asset Security firms, commercial banks, asset management firms, insurance firmsmanagement firms, insurance firms

仮想コンピューティングリソースプール仮想コンピューティングリソースプールで動作するで動作するよう、アプリケーションを拡張よう、アプリケーションを拡張

Flexible approaches to GridFlexible approaches to Grid--Enabling AppsEnabling AppsApplication typesApplication types: web service & compute : web service & compute intensiveintensiveStrategies and patternsStrategies and patterns: service, batch, object: service, batch, objectLanguage supportLanguage support: Java, .NET, C++, COM: Java, .NET, C++, COM

EnigmatecEnigmatec: Reactive Intelligence Framework (RIF): Reactive Intelligence Framework (RIF)


ComplexComplexなビジネスプロセスをなビジネスプロセスをGUIGUIツールで宣言ツールで宣言的に的に (declaratively) (declaratively) モデル可能にするモデル可能にする作成されたプロセスはテスト・モニター可能作成されたプロセスはテスト・モニター可能（（RIF RIF DesignerDesignerととRIF MonitorRIF Monitor））

インフラストラクチャの管理と維持が簡単インフラストラクチャの管理と維持が簡単RIF ManagerRIF Manager

プロセス間のプロセス間のpeerpeer--toto--peerpeer通信を可能にする通信を可能にする

既存ソリューション（既存ソリューション（J2EE, .Net, Web servicesJ2EE, .Net, Web services））を利用を利用

Documents

Globus World参加報告 · 2019. 12. 6. · 発表手順 National Institute of Advanced Industrial Science and Technology データアクセス統合(Data Access & Integration) OGSA-DAI