dashDB データロード方法ガイド

© 2015 IBM Corporation

dashDBへのデータロード方法ご紹介資料

2015年10月

© 2015 IBM Corporation2

本資料掲載事項は、ある特定の環境・使用状況においての正確性がIBMによって確認されていますが、すべての環境において同様の結果が得られる保証はありません。これらの技術を自身の環境に適用する際には、自己の責任において十分な検証と確認を実施いただくことをお奨めいたします。


本資料について

本資料はIBM BlueMixのデータ分析サービスの１つであるdashDB(クラウドデータウェアハウスサービス)に

データをロードするための各種方法についてガイドしています。

dashDBをはじめて使用する方は下記Webサイトの記事を参考ください。

dashDB概要 : URL

さわってみようdashDB:http://www.ibm.com/developerworks/jp/data/library/dashdb/dm-dashdb1-bluemix/

IBM Bluemix : https://console.ng.bluemix.net/

IBM Bluemix developerWorks: http://www.ibm.com/developerworks/jp/bluemix/

http://www-01.ibm.com/common/ssi/cgi-bin/ssialias?subtype=ST&infotype=SA&htmlfid=CD512345JPJA&attachment=CD512345JPJA.PDF

http://www.ibm.com/developerworks/jp/data/library/dashdb/dm-dashdb1-bluemix/

https://console.ng.bluemix.net/

http://www.ibm.com/developerworks/jp/bluemix/


dashDBへのデータロード方法

この資料では以下のデータロード方法をご紹介します

Load from Desktop

Load from Cloud(SoftLayer Object Storage/Amazon S3)

Load with DataWorks

Synchronizing data from Cloudant database

Load from GeoSpacial

また、参考として、以下のデータロード方法もご紹介いたします。

リモートからのDB2 LOADコマンド

DataStage


元データはどのような形で

保存していますか？

Sync from Cloudant(p.46へ)

ファイルの形式は？

Cloudant

ファイル

Load with DataWorks

(p.38へ)

各種DB

シェープファイル(地理情報)

Load Geospatial(p.53へ)

XLSファイル Load from Desktop(p.6へ)

Load from Cloud(p.9へ)

いいえ

区切り記号付きテキストファイル

(CSV)

はい

dashDBへのデータロード方法選択基準

ファイルサイズは20MB以下？

区切り文字形式のデータにエクスポート可能？

はい

いいえ


Load from Desktop

デスクトップのローカルファイルからのデータロード


Load from desktop(1/2)

20 MB以下のファイルであれば、デスクトップからの

ローカルファイルのアップロードを推奨します

dashDBへアップロードするローカルファイルのサイズに制限はありませんが、100 MBを超えるファイルをアップロードする際には、プロンプトが表示されます

大きなファイルをローカルからアップロードするのは時間がかかります。アップロードの時間を短縮したい場合にはdashDB Scheduled Load featureの使用を推奨します（後述）。これにより、IBM SoftlayerのObject StorageをはじめとするSwiftによるオブジェクトストレージ上からのデータのロードが可能になります。

dashDBコンソールの「Load -> Load from Desktop」からご利用ください

サポートされているファイル形式: Excelスプレッドシート, 区切り記号付きASCII (CSV)

既存の表にロードすることも、ロードの過程で新しい表を作成しロードすることもできます


Load from desktop(2/2)


Load from Cloud

オブジェクト・ストレージ(Swift)を用いたデータのロード


Load from Cloud

dashDBでは、クラウドストレージサービスを使用してロードをすることが出来ます。これにより、比較的大きなデータでも時間をかけずにロードすることが出来ます。

次ページ以降で、クラウドストレージサービスを利用するロード方法として、以下を紹介します。

Softlayer Object Storage

• moveToCloudスクリプトを使用しない方法

• moveToCloudスクリプトを使用する方法(5GBを超える場合推奨)

Amazon S3

• moveToCloudスクリプトを使用しない方法

• moveToCloudスクリプトを使用する方法(5GBを超える場合推奨)


SoftLayer Object Storageへのファイルのアップロード

5 GBまでのファイルはデスクトップから

Softlayer Object Storageの

コンソールを使ってアップロード出来ます

様々なサード・パーティのコマンドライン/GUIツールで

アップロードすることもできます（後述）

例: CloudBerry Explorer for OpenStack Storage

• http://www.cloudberrylab.com/free-openstack-storage-explorer.aspx

5 GBを超えるファイルはdashDBが提供している

moveToCloudスクリプトを使用してください

CloudBerry Explorerでの新規アカウント接続の例

http://www.cloudberrylab.com/free-openstack-storage-explorer.aspx


SoftLayer Object Storageを使用したデータロード方法（moveToCloudスクリプトを使用しない場合）

SoftLayerアカウント作成、Object Storage使用開始

SoftLayer オブジェクトストレージ認証情報取得

CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送先設定

CloudBerryツールを使用したSoftLayerオブジェクトストレージへのデータ転送

SoftLayer Object Storage から dashDBへのロード

１

2

3

4

5


SoftLayerアカウント作成、使用するDCを選択、転送フォルダを作成する１

2. SoftLayer ポータルサイトにログインします。https://control.softlayer.com/

1.SoftLayer Object Storageオーダー画面にアクセスhttps://www.softlayer.com/Store/orderService/objectStorage

ユーザー登録情報(クレジットカード情報含む)を入力し情報を送信。数時間後にはアカウントが作成されます。

【 SoftLayer Object Storage 価格設定】

Dallas 5 (dal05)の場合データ容量課金月額 $0.04/GBデータ転送課金(送信のみ) 月額 $0.09/GB

(オブジェクトストレージは上記に使用量に応じての課金のためユーザー登録時点では費用は発生しません。)

3. ユーザー登録後に通知されるSoftLayer IDとパスワードを使用してポータルサイトにログインします。

1

２3

https://control.softlayer.com/

https://www.softlayer.com/Store/orderService/objectStorage


SoftLayer オブジェクトストレージ認証情報取得2

1.SoftLayerポータル画面にて「Sotrage」タブの「Object Storage」をクリックします。

2.Data Centerを選択する画面で任意のDCをクリックします。(例:Dallas5を選択)

3.Dallas5 Object Storageのメイン画面にて「View Credentials」をクリックします

1 2

3 4

4.Account Credetials画面で下記3つの情報を保存しておきます。


3

1.下記URLからCloud Berryツールをダウンロードします。http://www.cloudberrylab.com/free-amazon-s3-explorer-cloudfront-IAM.aspx

3.Add New Software Storageの画面にて②で保存したAccount Credetialsの情報をインプットします。

3

1

2. Cloud Berry Explorerの左側のウィンドウを自分のPC, 右側をクラウド環境として設定を行います。

「File」タブ ⇒ 「New SoftLayer Account」をクリック。「CloudBerry Explorer FREEWARE」をクリック⇒ DownLoadの実行

2

Display Name : 任意 (例 :SoftLayer Dalas Storage ) User Name : SLOS718753-2:XXXXXXXAPI Key : XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXAuthentication Services: https://dal05.objectstorage.softlayer.net/auth/v1.0Acount Location : USDalasKey Stone Version : Don't use

「Test Connection」の実行をクリック⇒接続が問題ないことを確認してファイル転送ターゲット先として指定する。

CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送先設定の実施

http://www.cloudberrylab.com/free-amazon-s3-explorer-cloudfront-IAM.aspx

https://dal05.objectstorage.softlayer.net/auth/v1.0


CloudBerryツールを使用したSoftLayerオブジェクトストレージへの転送5

1.左側ウィンドウ(Source側)転送したファイルが存在するフォルダ右側ウィンドウ(Target側) 転送先フォルダを指定します。(SoftLayer Object Storage側にフォルダを作成する場合はObject Storage画面の「add container」をクリックして任意のフォルダを作成しておきます。)

1

ドラックアンドドロップでファイル転送を開始

← 転送先はdallas

↓ 進行中のファイル転送速度が下のバーに表示される。(5.8MB/sec)


SoftLayer Object Storage から dashDBへのデータ転送実施(1)5

1.dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。

← Swift file system を選択

dallas05を選択

Account Credentials情報を記入。

Browse Swift FilesクリックLoad対象のファイルを選択。(複数選択可能)

CSVファイルの区切り文字を指定

CSVファイルの文字コードを指定(デフォルトUNICODE)

Date型/time型のフォーマット指定(必要な場合指定)

1

2

3

4５

6

7



2. 「Select Tables」タブにてロード先のスキーマ、テーブルを指定します。

ロード先対象表を選択(列定義情報の確認が可能です。)

ロード先対象スキーマを選択

追加データロードもしくは既存データを削除後にロードするかどちらかを選択。

1

2

3



3. 「schedule」タブにて即時実行(RUN NOW)もしくはSchedule for later (後で実行)を選択

4. 「set notifications」タブにて必要な情報を入力後、「Finish」を選択してロードを開始します。

個別に通知が必要な連絡先を指定

どちらかを選択。Schedule for Laterを選択すると時間を指定できる。1

2



5. 「Finish」クリック後はロード進捗を確認することが可能

ロード進捗状況の確認

6. 「Status and history」タブにてロード実行状況を確認可能。終了後は実行ログ詳細を確認することが可能。

7.ロードが完了するとPercent Completeが100％となり、End timeが表示されます。本ロードは2.8GBファイルのPARTSUPP表への初回ロードのため、2分32秒で完了しています。(約18.8MB/sec)。

以上でSoftLayer Object Storageを使用したdashDBへのロードは完了です。



8.警告やエラーが発生しているようなケースでは、個別ロードごとに詳細なログからエラー内容の確認が可能です。(「Viewing Log in browserをクリック」)

特定ジョブレコードをクリック⇒Viewing Log in browserをクリック

1

2

3詳細ログからSQL3107Cがメッセージとして存在していることを確認できる。


Softlayer Object Storage+moveToCloudスクリプトを使用したデータロード方法

このスクリプトは、SoftLayer Object Storage (Swift) やAmazon S3へのファイルアップロードの際に使用することが出来ます

スクリプトを実行すると、入力ファイルをgzipで圧縮し、大きなファイルは分割してアップロードします

分割されたファイルは並列してアップロードを行います

分割されたファイルはdashDBへデータをロードする際に再統合されます

スクリプトの前提条件

UNIX or Linux

Perl (version 5.10以上)

cURL

gzip

圧縮時のスレッド数、一時ディレクトリのロケーション、複数ファイルのバッチロードなどを指定できます

スクリプトはdashDB Knowledge Centerからダウンロード出来ます http://www-01.ibm.com/support/knowledgecenter/SS6NHC/

com.ibm.swg.im.dashdb.console.doc/moveToCloud.zip

http://www-01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.console.doc/moveToCloud.zip


moveToCloud例: SoftLayer Object Storage(1/2)

例: Dallasのロケーションに作成したObeject StorageのdashDBdata1というコンテナにlargeFile.csvというファイルをアップロードする

1.SoflayerのObject Storageからusernameとpassword(APIキー)を確認し、以下のような認証ファイル(credentials.txt)を作成する

2.Object Storageとの接続テストと、moveToCloudスクリプトの前提条件の確認するために、以下のコマンドで実行する

moveToCloud.pl -test

-target softlayer::https://dal05.objectstorage.softlayer.net/auth/v1.0::dashDBdata1::/largeFile

-creds credentials.txt


moveToCloud例: SoftLayer Object Storage(2/2)

3. ファイルをアップロードする

アップロードが完了すると、分割・圧縮されたファイルがObject Storageのコンテナに作成されます

largeFile.gz

largeFile.gz.parts/largeFile.gz_###

• ファイルの数は、アップロードするファイルのサイズにより決まります

分割されたファイルは、dashDBにロードする際に自動的にSoftlayer上で再統合されます

moveToCloud.pl -source largeFile.csv

-target softlayer::https://dal05.objectstorage.softlayer.net/auth/v1.0::dashDBdata1::/largeFile

-creds credentials.txt


Amazon S3へのファイルのアップロード

Amazon S3のコンソールを使用することで、デスクトップから直接ファイルをアップロードできます

アップロードする際には各種ユーティリティを

使用する事が出来ます

例：S3 Browser

•http://s3browser.com/download.php

moveToCloudスクリプトはSoftlayer Object Storageだけでなく、Amazon S3にファイルをアップロードする際にも使用できます

基本的なアップロードの方法は同じですが、認証情報やターゲット情報の入力で異なる部分があります

http://s3browser.com/download.php


AWS S3を使用したデータロード方法（moveToCloudスクリプトを使用しない場合）

AWS アカウント作成、S3バケットの作成

AWS S3 セキュリティ認証情報取得

AWS S3 Webインターフェイスを使用したデータアップロード

AWS S3 から dashDBへのデータロード

１

2

3

4


AWS アカウント作成、S3サービスの開始１

1.AWSアカウント作成画面にアクセスし、ユーザー登録をおこないます。 AWSログインサイト先AWSのログイン作成方法はこちらのリンク先を参照ください。

AWSアカウント作成の流れ : https://aws.amazon.com/jp/register-flow/※ユーザー登録情報(クレジットカード情報含む)を入力し情報を送信。数時間後にはアカウントが作成されます。

参考AWS S3 価格設定についてはこちらを参照ください。https://aws.amazon.com/jp/s3/pricing/

2.作成したアカウントのID、パスワードでAWSコンソールにログイン後、「S3」を選択します。

1 2

https://www.amazon.com/ap/signin?openid.assoc_handle=aws&openid.return_to=https://signin.aws.amazon.com/oauth?response_type%3Dcode%26client_id%3Darn:aws:iam::015428540659:user/awssignupportal%26redirect_uri%3Dhttps://portal.aws.amazon.com/billing/signup?redirect_url%3Dhttps://aws.amazon.com/registration-confirmation%26state%3DhashArgs#%26isauthcode%3Dtrue%26noAuthCookie%3Dtrue&openid.mode=checkid_setup&openid.ns=http://specs.openid.net/auth/2.0&openid.identity=http://specs.openid.net/auth/2.0/identifier_select&openid.claimed_id=http://specs.openid.net/auth/2.0/identifier_select&action=&disableCorpSignUp=&clientContext=&marketPlaceId=&poolName=&authCookies=&pageId=aws.ssop&siteState=registered,ja&accountStatusPolicy=P1&sso=&openid.pape.preferred_auth_policies=MultifactorPhysical&openid.pape.max_auth_age=120&openid.ns.pape=http://specs.openid.net/extensions/pape/1.0&server=/ap/signin?ie%3DUTF8&accountPoolAlias=&forceMobileApp=0&language=ja&forceMobileLayout=0

https://aws.amazon.com/jp/register-flow/

https://aws.amazon.com/jp/s3/pricing/


AWS S3上の任意のリージョンにバケットを作成する.(例:Tokyo DC)１

1. S3コンソール画面にて「バケットを作成」を選択。 2.バケット名とリージョン(データセンター場所)を記入

3.バケット作成完了後、作成したバケットをクリック 4. バケット作成完了後、作成したバケットをクリック

1 2

3 4


AWS S3 セキュリティ認証情報取得２

1. AWSサービス画面にて「IAM」をクリック 2. ユーザを選択し、自分のユーザー名部分をクリック1 2

3.アクセスキー部分の「create Access key」をクリック3 4.認証情報をダウンロードして必要な情報を取得します。4


AWS S3 Webインターフェイスを使用したデータアップロード3

1.作成したバケット(例:e33119)をクリックした画面で「アップロード」を選択します。

1

2.ファイルとフォルダの選択画面にて「ファイルを追加する」をクリック。アップロードしたいファイルを追加します。

2

3.オプションですが、詳細設定画面にてストレージのタイプを選択できます。(ストレージ種類に応じてコスト、SLAが異なります。)

3

標準冗長化ストレージhttp://aws.amazon.com/jp/s3/pricing/

低冗長化ストレージhttp://aws.amazon.com/jp/s3/reduced-redundancy

4.アップロードファイルを選定した後、「アップロード」ボタンをクリックしてファイル転送を開始します。

4

http://aws.amazon.com/jp/s3/pricing/

http://aws.amazon.com/jp/s3/reduced-redundancy


AWS S3 から dashDBへのデータロード(1)4

1. dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。

AWS S3を選択

Asia Pacific(Tokyo)を選択

Account Credentials情報を記入。

1

2

3

CSVファイルの区切り文字を指定

CSVファイルの文字コードを指定(デフォルトUNICODE)

Date型/time型のフォーマット指定(必要な場合指定)

５

6

7

Browse S3 FilesクリックLoad対象ファイルを選択。

(複数選択可能)

4


4

2. 「Select Tables」タブにてロード先のスキーマ、テーブルを指定します。

ロード先対象表を選択(列定義情報の確認が可能です。)

ロード先対象スキーマを選択

追加データロードもしくは既存データを削除後にロードするかどちらかを選択。

1

2

3

AWS S3 から dashDBへのデータロード(2)


3. 「schedule」タブにて即時実行(RUN NOW)もしくはSchedule for later (後で実行)を選択

4. 「set notifications」タブにて必要な情報を入力後、「Finish」を選択してロードを開始します。

個別に通知が必要な連絡先を指定

どちらかを選択。Schedule for Laterを選択すると時間を指定できる。1

2

4 AWS S3 から dashDBへのデータロード(3)


5. 「Finish」クリック後はロード進捗を確認することが可能

ロード進捗状況の確認

6. 「Status and history」タブにてロード実行状況を確認可能。終了後は実行ログ詳細を確認することが可能。

7.ロードが完了するとPercent Completeが100％となり、End timeが表示されます。本ロードは2.8GBファイルのPARTSUPP表への初回ロードのため、2分32秒で完了しています。(約18.8MB/sec)。

以上でSoftLayer Object Storageを使用したdashDBへのロードは完了です。



8.警告やエラーが発生しているようなケースでは、個別ロードごとに詳細なログからエラー内容の確認が可能です。(「Viewing Log in browserをクリック」)

特定ジョブレコードをクリック⇒Viewing Log in browserをクリック

1

2

3詳細ログからSQL3107Cがメッセージとして存在していることを確認できる。



moveToCloud例 – Amazon S3(1/2)

Example: Amazon S3のUS West-2にあるストレージのdashdb-loadfilesというバケットにlargeFile.csvというファイルをアップロードする

1.Amazon S3のaccess key IDとsecret access keyを確認し、以下のようにs3credentials.txtという認証ファイルを作成する

2.Amazon S3への接続テストと、moveToCloudの前提条件を確認するために、以下のコマンドを実行する

moveToCloud.pl -test

-target s3::https://s3-us-west-2.amazonaws.com::dashdb-

loadfiles::/largeFile

-creds s3credentials.txt


moveToCloud例 – Amazon S3(2/2)

3. ファイルをアップロードする

アップロードが完了すると、分割・圧縮されたファイルがAmazon S3のコンテナに作成されます

largeFile.gz

largeFile.gz.parts/largeFile.gz_###

• ファイルの数は、アップロードするファイルのサイズにより決まります

分割されたファイルは、dashDBにロードする際に自動的にSoftlayer上で再統合されます

moveToCloud.pl -source largeFile.csv

-target s3::https://s3-us-west-2.amazonaws.com::dashdb-loadfiles::/largeFile

-creds s3credentials.txt


Load with DataWorks

クラウド上のETLサービスを使用


IBM DataWorksとは

DataWorksとは、クラウド・ベースのETLツールです

現在、パブリック・クラウドのIBM Bluemix上から無料で使用できます

各種APIとDataWorksサービスを含めたアプリケーション開発ツールを提供しています

オンプレミス、クラウドを問わず各種データソースをサポートしています

DB2やdashDB以外にも様々なデータソースをサポートしています

dashDBはターゲットのデータベースとしてサポートされています

現在はデータのロードのみで、データの複製はサポートされていません

内部的にはINSERTではなくLOADを使用しています

DataWorksのAPIやサポートされているソース/ターゲットのシステムは以下でご確認ください http://www.ng.bluemix.net/docs/#services/dataworks1/index-

gentopic1.html

http://www.ng.bluemix.net/docs/#services/dataworks1/index-gentopic1.html


IBM DataWorks Forge

クラウド・ベースで提供されるDataWorksのGUIツールで、データの閲覧、加工クレンジングを行い、データの信頼性を高めます

Bluemix上で無料で使用することが出来ます

現在公開中のものはベータ版です

DataWorksでサポートされるソース/ターゲットのシステムのうち、一部はDataWorks Forgeではサポートされません

DB2、dashDBはソースデータベースとしてサポートされます

dashDBはターゲットとしてもサポートされます

ソース・システム、ターゲット・システム共に接続が定義されていなければなりません

dashDBインスタンスへの接続情報は、dashDBコンソールの「Connect -> Connection Settings」から確認できます（前述）

次ページ以降では、dashDBから別のdashDBへデータを移行する例をご紹介します


IBM DataWorks Forgeを使用したロード(1/5)

データをコピーする際に使用するデータ・ソースを選択します

新しい接続を定義する、もしくは以前に作成した接続のリストから使用する接続を選んでください

データ・ソースとして使用したいシステムを選んでください

選択したデータ・ソースへの接続を追加してください

一度定義したソース・システムの接続を使用する場合は、ここから選んでください



dashDBへの接続情報を入力し、「Connect」をクリックしてください

ソース・システムのどの表をロードするのかを選んでください

（オプションでロードする列を選択することも出来ます）

最後に「Complete」をクリックしてください



オプションで、先ほど追加したデータに結合するデータ・セットを選択出来ます

「Shape」をクリックすることで、データを加工することが出来ます

全て選択・入力し終えたら、「Copy」をクリックしてください



ターゲット・システムを選んでください

新しい接続を作成するか、過去に作成した接続を選んでください

ターゲット・システムに接続し、ターゲット・システムのスキーマを選択してください

ソース側の表と同じ名前の表が、ターゲット側の選択したスキーマの下に作成されます

• 現在は、別の表名を定義することは出来ません

現在存在するデータを上書きするかどうかを選択してください



データ・コピーを実行する前に、アクティビティ名とその詳細を入力してください

アクティビティの状態をモニタリング出来ます


Sync from Cloudant

JSON形式のNoSQLデータベースとの同期


Sync from Cloudant

CloudantとdashDBのデータを同期させるには2つの方法があります

1.dashDBのコンソールから、Cloudantのデータベースを指定し、同期を開始する

2.Cloudantのコンソールから、dashDBのインスタンスを作成する

上記どちらの方法でも、Cloudant側のデータに変更があった場合に、その内容を常にdashDBに反映させるように設定することも出来ます

Schema Discovery Process (SDP)と呼ばれるプロセスがCloudantのJSONドキュメントを元にしてリレーショナル型のスキーマを生成します


Cloudantから既存のdashDBへのデータの同期(1/2)

CloudantデータベースからdashDBの表への一方向かつ継続的な同期

Cloudantのデータベースに変更があった場合、自動でdashDBに同期させます

dashDBコンソールの「Load -> Sync from Cloudant」からご利用ください

Cloudant環境について、以下の情報が必要になります

CloudantデータベースのURL

• https://<cloudantUserid>.cloudant.com/<databaseName>

CloudantアカウントのUseridとPassword

「Table name prefix」の値は、新しく作成される表の名前になります

ここで指定した値の表にデータが格納されます

上記の表に付随して、同期に失敗したデータを格納するためのオーバーフロー表も作成されます


CloudantからdashDBへのデータの同期(2/2)


Cloudantから新規にdashDBのインスタンスを作成(1/4)

Cloudantコンソールから、1つもしくは複数のCloudantデータベースをソースとしてdashDBインスタンスを作成しデータを同期させることが出来ます。

各CloudantデータベースはdashDB内の1つの表に対し同期を行います (同期されるdashDBの表に対し、同期に失敗したデータを格納するオーバーフロー表も作成されます)

Bluemixアカウント内に新しいdashDBのインスタンスを作成します。

Bluemixアカウントに紐付いているIBM IDとpasswordが必要になります。

現在はdashDBのEntry planのみサポートされています。

ユーザが、Bluemixサービスの上限まで使用していた場合、正常に作動しません。

作成されるdashDBのインスタンス名は以下のようになります

• <cloudantUserid>_Cloudant_<number>

同期はCloudantデータベースからdashDB表への一方向同期が継続的に行われます。

Cloudantデータベースのデータに変更があった場合、dashDBの表に自動的に同期が行われます。


Cloudantから新規にdashDBのインスタンスを作成(3/4)

同期を行うCloudantデータベースの名前を1つもしくは複数入力して下さい

各Cloudantデータベースはそれぞれが専用の表をdashDB内に持つことになります (同期される表にはオーバーフロー表も付随します)

Bluemixアカウントに紐づくIBM IDとpasswordを入力して下さい。

入力し終わったら「Create Warehouse」をクリックして下さい。


CloudantからdashDBのインスタンスを作成(4/4)

dashDBを立ち上げるために、「Visit warehouse」をクリックして下さい。

ここでのActivityはBluemixに記録され、Bluemix上に新たにサービスが立ち上がります

• 作成されるdashDB サービスの名前は以下のようになります<cloudantUserid>_Cloudant_<number>

ここまで行うと、分析を行うための表がdashDB内で使用可能になります。


Load from Geospatial

地理情報データ（シェープファイル）のロード


Load from GeoSpacial

dashDBでは、地理情報の可視化・分析に一般的に使用されているシェープファイルを格納・参照することが出来ます。

次ページ以降で、シェープファイルをdashDBに格納する手順をご紹介します。

詳細についてはdashDBのマニュアルをご参照ください。

地理情報のロード：http://www-01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/learn_how/loaddata_gsdata.html?lang=en

地理情報の分析：http://www-01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/learn_how/geospatial_overview.html?lang=en

http://www-01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/learn_how/loaddata_gsdata.html?lang=en

http://www-01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/learn_how/geospatial_overview.html?lang=en


Load from Geospatial手順(1/6)

1. シェープファイルを圧縮して1つのファイルにまとめます。その際、以下に注意して下さい。

- サポートされるファイルは以下になります

- 圧縮ファイルとしてサポートされるのは以下の拡張子のものです

・tar.gz

・tar

・zip

- 各ファイルの名前を統一してから圧縮して下さい(ex. geodata.shp, geodata.dbf)

拡張子内容アップロード時に必須かどうか

.shp 図形の形状、座標必須

.dbf 図形の属性必須

.shx .shpのインデックスオプション

.prj 座標系や投影法オプション



2. dashDB Webコンソールにログインを行い、左側タブ「Load」 ⇒ 「Load from Cloud」をクリックします。



3. アップロードしたい圧縮ファイルを選択してください

アップロードが完了すると、右のような画面になります。右下の「Next」をクリックしてください

「Browse files」から圧縮ファイルを選択して「Next」をクリックしてください


4. 地理情報をロードする表を決定して下さい


既に作成されている表にデータを追加する場合: 「Append to existing table」新たに表を作成する場合: 「Create a new table and load」を選択して、右下の「Next」をクリックしてください


5. 表の情報を入力して下さい

Load from Geospatial手順(5/6)既存の表にデータをロードする場合

「Append to existing table」を選択した場合、一覧の中からデータを格納したい表を選択して「Next」をクリックしてください


5. 表の情報を入力して下さい

Load from Geospatial手順(5/6)新規に表を作成し、データをロードする場合

「Create a new table and load」を選択した場合、表の名前を入力して「Next」をクリックしてください

シェープファイルで使用したい空間参照系を選択して下さい選択したいものが無ければ、「Add」をクリックして必要な空間参照系を追加して下さい選択し終えたら「Finish」をクリックしてください


6. 以下のような画面が表示されたら、ロードは完了です



参考情報

その他のロード方法


DB2クライアント接続からのLOADコマンド

DB2クライアントからdashDBのデータベースに接続し、LOADを実行します

LOAD実行の前に、dashDBの接続情報をDB2クライアントにカタログする必要があります

コマンドはローカルのサーバ内にソース・ファイルがあることを前提としています。そのため、ファイル名は絶対パスで指定して下さい。

• 例: C:¥DataFile.csv or /home/user1/datafile.csv

db2 "load client from C:¥Data¥DataFile.csv OF DEL

INSERT INTO TABLE1”


IBM InfoSphere DataStageを使用したデータのロード

DataStageは、通常のDB2コネクターを使用してdashDBに接続することが出来ます

dashDBインスタンスとターゲット表にアクセスするためのDataStageの構成は、オンプレミスのDB2にデータをロードする場合と同じです

構成の詳細はKnowledge Centerでご確認ください http://www-01.ibm.com/support/knowledgecenter/SS6NHC/

com.ibm.swg.im.dashdb.doc/learn_how/loaddata_datastage.html

http://www-01.ibm.com/support/knowledgecenter/SS6NHC/com.ibm.swg.im.dashdb.doc/learn_how/loaddata_datastage.html


Technology

dashDB データロード方法ガイド