34
© Talend 2011 1 データ処理をJava+OSSで投資最適化 Talend, Global Leader in Open Source Data Management Japan Jasper Server User Group Qshu 設立記念講演 福岡セミナー DAYS KITCHEN 20110514Talend株式会社 コンサルティングマネージャー 正金 秀規(まさがね ひでき) [email protected]

Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

  • Upload
    talend

  • View
    1.508

  • Download
    3

Embed Size (px)

DESCRIPTION

JJSUG Qshu設立記念福岡セミナーで講演した際の資料です

Citation preview

Page 1: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 1

データ処理をJava+OSSで投資最適化

Talend, Global Leader in Open Source Data Management

Japan Jasper Server User Group Qshu

設立記念講演 福岡セミナー @DAYS KITCHEN

2011年05月14日

Talend株式会社

コンサルティングマネージャー

正金 秀規(まさがね ひでき) [email protected]

Page 2: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 2

アジェンダ

Talendご紹介

Talendデータ統合製品

補足スライド

Page 3: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 3

Talend:概要

OSS:Open Source Softwareを基本としたデータマネジメント製品のリーダー

未上場、VC支援による経営

グローバル展開と導入ユーザー

Paris (Suresnes)

コーポレート

営業マーケティング

R&D

技術支援 © Talend 2011 3

London (Maidenhead)

営業マーケティング

技術支援

Milan (Curno)

営業マーケティング

技術支援

San Francisco (Los Altos)

コーポレート

Orange County (Irvine)

営業マーケティング

R&D

技術支援

Boston (Burlington)

営業マーケティング

R&D

New York (Tarrytown)

営業マーケティング

技術支援 Utrecht

営業マーケティング

Beijing

R&D

技術支援

Tokyo

営業マーケティング

技術支援・L10n

Nuremberg

営業マーケティング

技術支援

Bonn

営業マーケティング

R&D

技術支援

Munich

営業マーケティング

Page 4: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 4

第四回投資ラウンド

© Talend 2011

Talend:沿革

Data

Quality

第二回投資ラウンド

2006 2007 2008

Talend Open Studio

Beta 1

第一回投資ラウンド: AGF Private Equity &

Galileo Partners

Talend Inc

開設 業容拡大

製品リリース

2009

第三回投資ラウンド: Balderton Capital

MDM 製品買収

2010

R&D

2002 2005

Talend SA開設

Open Studio

v1.0

Integration

Suite

Open

Profiler MDM

Community

Edition

MDM

Enterprise

Edition

Integration

Suite RTx

Integration

Suite MPx

Page 5: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

5

Talend:OSS発展の道程で誕生!

オープンソース概念の誕生

ソースコードへのフリーアクセス

フリーソフトウェア財団設立

(リチャード・ストールマン)

GPL, GNUの創設

オープンソースソリューションの出現

Apacheプロジェクト…

オープンソースソフトウェア企業が誕生

MySQL, JBoss,

SugarCRM…

さらに成熟したKey

プレイヤーが市場での存在感を増す

JBoss,

SugarCRM ,

Jaspersoft,

Talend…

経済危機の発生が企業ITへのオープンソース導入を後押し

1970 1984 1998 2000 2003 2006 2009

2002

オープンソース・イニシアティブ

創設

ビジネスとテクノロジの現状を踏まえたポリシーの実現について話し合いが実現

© Talend 2011

Page 6: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 6

Talend:実績ハイライト

高い市場認知度!

1,200万ダウンロード

55万以上のユーザ

2,000社の有償版顧客

1 ダウンロード / 分

Talend Open Studio

100 新規ユーザ / 月

Page 7: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 7

Talend:導入顧客例(商用製品)

金融・保険業

サービス業

製造・小売・ 流通サービス

公共団体

教育機関

Page 8: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 8

Talend:日本法人

© Talend 2011 8

【 会社名 】 Talend株式会社

英文略称:Talend K.K.

【 代表者 】 代表取締役 岩崎洋二

取締役 ベルトランド・ディアード

取締役 ビンセント・ピノウ

監査役 廣瀬一俊

【 所在地 】 〒107-0062 東京都港区南青山 5-10-13 デコパージュ南青山4F

【 連絡先 】 Tel 03-6427-6370 Fax 03-3409-6521

【 URL 】 http://jp.talend.com

【 e-mail 】 [email protected]

【 資本金 】 9.9百万円

【 株主 】 仏Talend S.A. (100%)

【 決算月 】 01月

【 設立年月 】 2010年01月

【 取引銀行 】 東京三菱UFJ銀行 青山支店

【 業務内容 】 Talend社製品の開発、販売、技術支援、製品日本語化等

【 社員数 】 15名(役員含む)

【 お取引先 】 マブチモーター株式会社、三菱UFJインフォメーションテクノロ ジー株式会社、セントラル短資FX株式会社、NTTデータ先端技術 株式会社、株式会社メトロ、株式会社シー・エス・エス、株式会社 エアー、株式会社 YSLソリューション、株式会社ディーバ、新日 鉄ソリューションズ株式会社、兼松エレクトロニクス株式会社、

株式会社アシスト等(順不同、敬称略)

Page 9: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 9

Talend:企業ITにおけるポジション

お客様

協業先

国外部支店

レガシィ

財務会計

システム

業務システム

A

業務システム

B

CRM

システム

営業部門用 データマート

企画部門用 データマート

データの

分析・検証

データ

クレンジング

システム間のデータ交換

外部連携先との

データ交換

抽出

変換

ローディング

全社 DWH システム

One Factデータの監理

マスタデータ

ハブ

レガシイシステムの移行

新会計

システム

・・・ Talend製品

Page 10: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 10

Talend Unified Platform 標準テクノロジを製品基盤に採用

- GUI :Eclipse, ブラウザ

- リポジトリ:Subversion, RDBMS

Talend:GPL&商用製品

Talend MDM Community Edition コミュニティベースのマスタデータ管理

- GPLv2製品、無制限に使用可能

- XMLベースのアクティブデータモデル

- 業務ユーザ向け軽量GUI

Talend Data Quality クレンジングと検知

- クレンジング用

コンポーネント

- 検証レポート機能

- データ品質に関する

ポータル機能

Talend Integration Suite ミッションクリティカルなデータ運用を実現

- チーム開発機能

- 自動デプロイ、ロードバランシング、HA

- ジョブフロー制御機能

- 運用監理機能

Talend MDM Enterprise Edition 全社を俯瞰したマスタデータ管理

- 権限管理・制御

- 妥当性ルールの定義

- 高度なワークフローエンジン

Talend Open Profiler データの内容・品質検証

- GPLv2製品、無制限に使用可能

- 品質指標の作成が可能

GPL製品

Talend Open Studio データフローの構築

- GPLv2製品、無制限に使用可能

- 多機能・高速データプロセッシング

- 450+ のコンポーネントが利用可能

GPL製品

GPL製品

Page 11: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 11

Talendデータ統合製品

Talend Open Studio データフローの構築

- GPLv2製品、無制限に使用可能

- 多機能・高速データプロセッシング

- 450+ のコンポーネントが利用可能

Talend Integration Suite ミッションクリティカルなデータ運用を実現

- チーム開発機能

- 自動デプロイ、ロードバランシング、HA

- ジョブフロー制御機能

- 運用監理機能

【 Talend Integration Suite の対象プロジェクト 】

i) データ統合/システム統合案件

ii) DWH構築案件

iii) データ連携案件

iv) データクレンジング案件

v) マスターデータ管理案件

vi) SAPマルチインスタンス統合案件

vii) フロント~バック連携案件

viii) Salesforce.com, Microsoft Dynamics CRM等、 クラウド ⇔ オンプレミス連携案件

ix) IFRS対応に伴なう上流システムからのデータ抽出案件

x) データ移行・システム移行案件

xi) 企業合併、再編に伴なうシステム移行、統合案件

xii) 情報系・BIシステム構築、更改案件

xiii) 競合他社製品のリプレース案件等

GPL製品

Page 12: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 12

GPLv2製品:Talend Open Studio

世界初のオープンソースによるデータ統合製品: ビジネスモデラ

⇒ ビジネスフロー文書作成機能

ジョブデザイナ

⇒ データ処理とジョブフローをGUIベースで定義

メタデータマネージャ

⇒ スキーマ定義を自動収集

主要機能: ビジネスフローモデリング機能

堅牢で拡張性に富んだ処理構築が可能

広範にわたるシステム接続をサポート:450+コンポーネント

設計⇔設定⇔実行⇔デバッグの開発製造工程を

シームレスに支援するリアルタイムデバッグ機能

設計・設定内容を自動文書化

Data Integration

Page 13: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 13

Jaspersoft ETL Professional :

Talend Open Studio + Activity Monitoring Console Personal Edition • TOS: Talend Open Studioの全機能、全コンポーネントを利用可能

• AMC: Activity Monitoring Console Personal Editionが付加 ← TOS単体との違い

• AMCの付加により、ジョブ実行状況の統計情報等を適宜DBに集約し監理することが可能

Jaspersoft ETL Enterprise :

Talend Integration Suite Professional Edition • TIS: Talend Integration Suite Professional Editionの全機能、全コンポーネントを利用可能

• 複数開発者でのチーム開発を支援する共有リポジトリ機能(Subversionベース) • 複数ジョブの連動を時間/イベントベースで制御するJobコンダクタ機能

• ソース/ターゲットデータのシームレスな確認が可能なData Preview機能

• ジョブ開発時にローカルではなく、指定した環境での実行を試すことが可能なDistant Run機能

• ソースDBでのデータ変更・追加を自動検知してサブスクライブするCDC: Change Data Capture 機能

• TAC: Talend Administration Center(Apache Tomcatベース)にジョブ運用管理の集中管理機能

© Talend 2011

Jaspersoft ETL

Page 14: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 14

特徴と差別化要因:技術的観点

Javaのコードジェネレータである 環境/プラットフォームの制限が尐ない実行ファイル形式(Javaアプリケーション) インタプリタコードによる実行時のオーバヘッドを削減しており、実行時のCPU資源消費が尐ない

H/W遊休資産の流用が可能である

Gridコントロールにより、要求に応じて必要な環境にジョブを配布し実行!

標準的かつオープンなテクノロジに立脚 (Eclipse, Java, SQL, XML, Apache Tomcat, Subversion, etc)

既存の技術スキルが流用可能

習得・習熟に要するコストが尐ない

多機能であり非常に柔軟な拡張性(標準機能) 既存のJavaルーチンを埋め込むことが可能

「自分で」コンポーネントの作成が可能である

JMS/MOM連携、Loop処理、リアルタイム連携、LDAP連携等について標準機能で実現可能

Low CostでSalesforce.comとの連携の仕組みを実装可能

勿論、コミュニティで製造されたコンポーネントも使用可能

統合化されたコンポーネント管理、運用監理機能 メタデータ、ジョブ、ドキュメント等、プロジェクトに必要な全ての成果物を集中管理しバージョンコントロール可能

運用時の統合化された管理・監視環境を提供

Page 15: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

多国語対応について

© Talend 2011 15 © Talend 2011

Talend Integration Suiteは、日本語データを含む多国語データに対応しています

エンコーディング名 文字集合 意味

Big5 Big-5 中国語(台湾) 繁体字

CNS11643 CNS 11643 中国語(台湾)繁体字EUC

EUC_TW CNS 11643 中国語(台湾)繁体字EUC

GB2312 GB 2312 中国語 簡体字 EUC

EUC_CN GB 2312 中国語 簡体字 EUC

GBK GB 2312 中国語 簡体字

ISO2022CN ISO-2022-CN 中国語(台湾) 繁体字

ISO2022CN_GB CN-GB (GB 2312) 中国語 簡体字

ISO2022CN_CNS ISO-2022-CN (CNS 11643) 中国語(台湾)繁体字

EUCJIS JIS X 0208 日本語EUC

EUC_JP JIS X 0208 日本語EUC (JIS X 0212サポート)

SJIS JIS X 0208 日本語Shift-JIS (PCとWindows向け)

JIS JIS X 0208 日本語JIS

ISO2022JP JIS X 0208 日本語JIS (1.1.6からJIS X 0212サポート)

JIS0201 JIS X 0201 日本語JIS X 0201

JIS0208 JIS X 0208 日本語JIS X 0208

JIS0212 JIS X 0212 日本語JIS X 0212

JISAutoDetect JIS X 0208 日本語JIS/Shift-JIS/日本語EUCの自動判別

KSC5601 KS C 5601-1987 韓国語ハングルEUC

ISO2022KR ISO-2022-KR 韓国語ハングル

Cp930 CP 930 日本語 片仮名漢字 (4370 UDCを含む、5026のスーパーセット)

MS932 CP 932 Windows 日本語

Cp942 CP 942 OS/2 日本語 (932のスーパーセット)

Cp943 CP 943 OS/2 日本語 (新JIS)

Cp33722 Cp33722 IBM 日本語 eucJP (5050のスーパーセット)

Unicode Unicode 2.0 Unicode (入力は自動判別、出力はBigEndian)

UnicodeBig Unicode 2.0 Unicode (Big Endian)

UnicodeLittle Unicode 2.0 Unicode (Little Endian)

UnicodeBigUnmarked Unicode 2.0 Unicode (バイトオーダーマークを含まないBig Endian)

UnicodeLittleUnmarked Unicode 2.0 Unicode (バイトオーダーマークを含まないLittle Endian)

UTF8 (Unicode 2.0) UTF-8

※ Talend Integration Suiteは、Javaアプ

リケーションを生成して処理実行します。指定できるencodingは、使用するJVM

に依存します。

※ 外字の扱いについては、一般的なJava

アプリケーション上の扱いと変わりません。

※ 指定可能なencodingについては、風

間洋一氏の以下のサイトが参考になります。 http://www.ingrid.org/java/i18n/e

ncoding/

※ 一部CJK関連を抜粋

Page 16: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 16

処理性能に関する製品比較 ETL benchmarks v1.1(2009年02月時点)より考察

仏ManApps社が、IBM DataStage Server & PX, Informatica PowerCenter, Talend Open Studio,

Pentahoの5製品を対象に実施。Creative Commonsのライセンスにて公開済み

11のテストシナリオに対して10万件、100万件、500万件、2,000万件とスケールアップして検証

検証環境: OS : Microsoft Windows XP Professional Edition SP2

CPU : Intel Core2 Duo 2.0GHz

Memory : 4GB

JVM : JVM1.6.0_87

http://www.manapps.tm.fr/index.php?/benchmark-etl.html

# 製品 スコア

1 PowerCenter 8.1.1 353 points

2 Talend Open Studio 2.4.1 333 points

3 DataStage PX 7.5 239 points

4 DataStage Server 7.5 199 points

5 Pentaho Data Integration 3.0.0 148 points

【 結 果 】

※1位を5point、2位を4point、、、としてスコアを集計

前提: 1. Talendは、NonチューニングでありMPxも使用していない

2. Informatica社は自社のコンサルタントがチューニングを実施

3. DataStage, PowerCenterは、並列処理を使用

考察: 1. 100万件までは、概ねTalendが最も良いスコアである

2. 集計処理は、PowerCenterが最も良いスコアである

3. ELT機能は、TalendとPowerCenterが双璧である

4. 処理内容が複雑になる(ルックアップしマッチしないデータをリジェクトするなど現実的なロジック)とデータ量に依らずTalendが最も良いスコアである

※ もう尐し長いロウサイズでサーバ機で実行する必要があり、各々、現実的な範囲でチューニングした結果の比較が必要と思われる

Page 17: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 17

SAPインテグレーション作業支援機能: • librfc32.dll / sapjco3.dll / sapjcorfc.dll , sapjco.jar / sapjco3.jar / sapidoc3.jarを接続基盤に使用

• SAPから、RFC / BAPIファンクション(RFC_READ_TABLE, etc)を使用したメタデータを取得する作業をウィザード機能で提供

• メタデータをtalendのリポジトリ内に格納

• IDocファイルをxml / html形式でgateway server格納場所を指定

• IDocファイルのSAPからの抽出 / 反映等

© Talend 2011

コンポーネント例: SAP

SAP用コンポーネント

tSAPCommit

row単位又はバッチレベルでcommitを発行

tSAPRollback

Transactionのロールバックを発行

tSAPInput

RFC又はBAPIレベルでのデータを抽出

tSAPOutput

RFC又はBAPIレベルでのデータを書込

tSAPIDocInput

SAPシステムからのIDocデータの抽出

tSAPIDocOutput

SAPシステムへのIDocデータのアップロード

tSAPConnection

SAPシステムへの接続

Page 18: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 18

Talend Integration Suiteの役割例: クラウド間連携、クラウド⇔オンプレミス間連携例 • 個別部門システムより業務要件等に従いソースデータデータを抽出統合、重複削除など実施して素ファイルを作成

• 素ファイルをSalesforce.comにオブジェクトごとに適宜挿入・更新・削除を実施。またはBulk APIを使用したコンポーネントで一括反映

• 社内システムに必要となるデータをSalesforce.comより条件指定して抽出

• Salesforce.comデータを動的参照して社内システム用データを作成

• Salesforce.comで発生するソースデータを抽出して社内でバックアップを構築する等

© Talend 2011

コンポーネント例: Salesforce.com

Salesforce.com用コンポーネント

tSalesforceConnection

Salesforce.comへのSOAP接続を確立

tSalesforceGetServerTimestamp

Salesforce.comのサーバ時間を取得

tSalesforceGetUpdated

Salesforce.com内の論理更新される以前のデータを日時分秒範囲指定で取得

tSalesforceGetDeleted

Salesforce.com内の論理削除される以前のデータを日時分秒範囲指定で取得

tSalesforceInput

Salesforce.comのオブジェクト単位で抽出条件を付けてデータを抽出

tSalesforceOutput

Salesforce.comのオブジェクトに対してデータを挿入/更新/削除/UPSERTを実施

tSalesforceBulkExec

Salesforce.comのオブジェクトに対してバルクでファイルデータを挿入/更新/UPSERTを実施

tSalesforceOutputBulk

Salesforce.comのオブジェクトへ反映するファイルの準備を行う

tSalesforceOutputBulkExec

tSalesforceOutputBulk,tSalesforceBulkExecの動作要素を一つで実施

Page 19: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

昨今のBig Dataストアは全てサポート!

© Talend 2011

DWHアプライアンス製品 DBMS製品

Hadoop

19

Page 20: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 20

商用製品:Talend Integration Suite

Talend Open Studioをベースにチーム開発機能、運用・監理機能を追加し、 ミッションクリティカルな運用にも対応したデータ処理基盤! e-mail / Support Portalを通じたSLAを含むサポートサービスを提供!

Talend Open Studioに追加される主要機能: 各種ウィザード機能、データプレビュー機能 共有リポジトリ機能 Joblet機能による処理の共通化 自動配布機能 CDC:チェンジデータキャプチャ機能 コマンドラインI/Fの提供 Jobコンダクタによるタイム&イベントベーススケジューラ機能 仮想サーバ化による フェイルオーバー、ロードバランシング機能 運用監視ダッシュボードによる統合監理機能

Talend Integration Suiteの価値: 開発生産性のさらなる向上 開発製造作業のチームでの共有・共通化 構築ジョブの自動配布が可能 ミッションクリティカル基盤を提供 統合運用監理基盤を提供

Data Integration

Page 21: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

21

MPx

Enterprise

RTx

Professional

Team

Talend

Open Studio

TOS ~ TIS * Edition:システム内容に合わせた投資選択

検証 設計 / 文書化 製造 / 実装 実行 / 運用管理 ジョブ配布

FileScale

ビジネス モデラ Job デザイナ コンテキスト

バージョン管理

ロードバランシング

ダッシュボード イベントスケジューラ ディスタントラン

リファレンスプロジェクト

Auto Doc

AMC (アクティビティ

モニタリングコンソール)

タイムスケジューラ コマンドライン

Jobデザイナ +

共有リポジトリ / SVN

エラーリカバリ

ビジネス ルール

フェイル

オーバー

SOA マネージャ

高可用性

Hadoop

CDC

コンポー

ネント

Jobコンダクタ

実行計画

Tale

nd

アドミニストレーションセンター

(TAC)

API

© Talend 2011

Edition

Page 22: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 22

検証環境 • 2 CPU Xeon 5520 Quad Core / 2,26GHz / 24 GB RAM

• Sun StorageTek 2540 Fiber Channel: 12 HD SAS 136Gb

結果

© Talend 2011

FileScale : Benchmark with Sun Microsystems

FileScale

100GB超のファイルデータを一括処理するような場合に有効な機能

Talend製品で唯一、独自スクリプト言語:FSLangを内蔵

ファイルデータに対して”ELT-like”な処理を定義

実装言語:C/C++

スケールアップ型パラレルアーキテクチャ

(Full Report) http://blogs.sun.com/aja/entry/talend_s_new_data_processing

1 10 100 300 550

ロウ数 600万件 6,000万件 6億件 18億件 33億件

ファイルサイズ 740MB 7.4GB 74GB 225GB 415GB

ソート処理時間 6秒 1分2秒 21分30秒 2時間1分 5時間17分

Talend Integration Suite Enterprise Edition MPx

Page 23: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

Hadoop:企業IT導入上の課題

1. 「若い」テクノロジである

2. ハードウェアの選択、ネットワーク環境の構築に

3. マスタサーバーの障害耐性確保

4. 運用管理・監視系の仕組みが確立されていない

5. Map-Reduceの仕組みに業務ロジックを合わせるのは困難

© Talend 2011 23

この壁を超えれば、、、、

貢献範囲

従前の方式に比して、極めて廉価な環境で

スケールアウトが可能な大量データの格納、

及び処理基盤の実現が可能となる!

Page 24: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

Hadoop:企業ITでの使われ方(検証例)

© Talend 2011 24

Hadoopへの

ローディング

RDBMSへの

ローディング

集計処理

フィルタリング

クレンジング

Map&Reduce等

Talend ターゲットエリア

生データの蓄積と監査

レポート作成等

生データ 生データ

生データ

Hadoop環境と非Hadoop環境のハイブリッド構成:

オンラインアクセスが必要なデータは、利便性の良い従前のRDBMSに格納し、履歴データや生データなど、ITしかアクセスの必要がないデータは廉価なHadoop環境に格納するという使い分けで投資効果の向上を目指す

Talendは、両環境に対して同一のデータ処理

開発運用基盤を提供することに価値!

Page 25: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 25 © Talend 2011

Talendが提供するHadoop用コンポーネント

4.1(現行) MPx

4.2(5月リリース予定)

MPx

Hadoop用コンポーネント

HDFS

tHDFSGet:ローカルファイルをHDFSへ転送

tHDFSPut: HDFSファイルをローカルFSへ転送

Hive

tHiveConnection:Hive接続を開始

tHiveRow:HQLを自由に発行

tHiveClose:Hive接続を終了

ジョブ構築時は、Hive接続開始後のtELTxxxxコンポーネントを組合わせて、Hadoop資源上でデータ処理を実行。SQLテンプレート機能を提供

Sqoop(Clouderaディストリビューション) Coulderaディストリビューションの場合、Sqoopインタフェースを使用してデータのin/outを実行

Pig Script(4.2:05月リリース予定) tPigAggregate

tPigCode

tPigConnection

tPigCross

tPigDistinct

tPigFilterRow

tPigFilterColumns

tPigJoin

tPigSort

tPigStoreResult

・ ・ ・

Page 26: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 26

付加価値と源泉: Talend Forge

フォーラム数:11

投稿総数:40,000+(80+ポスト/日) 登録ユーザ:6,000+

βテスター:1,000+

Talend Exchangeコンポーネント:330+

Talend Babili(国際化): 単語62,000+、15ヶ国語対応

Download

Test /

Use QA /

Feedback

Code /

Components コミュニティベースのプロジェクト:例 コネクタ:Actuate BIRT, Google Apps., etc.

IBM DataStageからの移行ツール: ETL Converter

⇒ SourceForgeよりダウンロード可能!

http://www.talendforge.org

Page 27: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 27

Please visit !

http://jp.talend.com

http://www.talendforge.org

Page 28: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 28

以降は補足スライドです

ご参照ください

Page 29: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 29

SI&コンサルティングパートナー

Talendソリューションの再販&デリバリ グローバルで200社以上

あらゆる業種業態、企業規模を網羅

グローバル 北米 欧州 日本

Page 30: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 30

OEMパートナー

Powered by Talend Talend製品を各社製品の基盤に採用

OEMライセンスでの提供

Talendソリューション採用例:

Page 31: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 31

テクノロジパートナー

主要テクノロジベンダとの技術提携 ソース&ターゲットデータストア 高度な専門性が要求される技術分野

テクノロジパートナー例:

Page 32: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 32

TalendのSLA:サービス品質保証制度

# 項目 GPL

製品

Talend Open Studio 商用製品 商用製品

Goldサポート契約 Platinumサポート契約

1 コスト、及び契約要不要 無償 ■ Talend Open Studioの場合、別途契約が必要

■ 商用製品の場合、Subscription Licenseに含む

Subscription Licenseに

追加契約が必要

2 コミュニティサポート 有り 有り 有り

3 チケット受付 無し Web、電子メール Web、電子メール、サポート専用電話

4 チケット受付時間 無し

■ Web : 24時間 × 365日

■ 電子メール : Talend株式会社の営業時間内

(日本時間09:00-18:00)

■ Web : 24時間 × 365日

■ 電子メール、サポート専用電話 : Talend株式会社の営業時間内

(日本時間09:00-18:00)

5 初回応答保証時間 無し 8時間以内 4時間以内

6 更新保証時間:重大度1 無し 8時間以内 4時間以内

更新保証時間:重大度2 無し 2日以内 8時間以内

更新保証時間:重大度3 無し オープン 月次

「重大度」の定義 : 概略 ※重大度の設定は、問題内容についてユーザ様と初回応答時に調整して決定します

重大度1 : Talend商用製品に起因する、業務本番環境にて発生する回避策のない問題

重大度2 : Talend商用製品に起因し、Talend商用製品が性能の劣化を引き起こしたり業務遂行や生産性に重大な影響を及ぼす可能性のある問題

重大度3 : Talend商用製品に起因し、お客様の業務遂行に一部影響を与えるものの業務の継続が可能である中-低程度の問題、または業務機能に影響はあるが

停止しない簡単な回避策がある問題

その他 : ER(Enhanced Request)機能追加要望の受付け

Page 33: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 33 33

Talend製品:デュアルライセンスの相違点

# 項目 GPL製品 商用製品

1 対象製品

Talend Open Studio

Talend Open Profiler

Talend MDM Community Edition

Talend Integration Suite

Talend Data Quality

Talend MDM Enterprise Edition

2 使用者のコスト負担 無償 有償

3 ライセンス形態 製品:GPL v2

生成プログラム:LGPL v2.1

サブスクリプションライセンス ※「Talend株式会社商用ソフトウェアライセンスおよびサー

ビス契約」に基づく

4 生成プログラムの

使用・改変・頒布制限 LGPLに基づく

「Talend株式会社商用ソフトウェアライセンスおよびサービス契約」に基づきサブスクリプションライセンス

の所有者に永久許諾

5 製品機能・問題事項に

関するお問い合わせ

コミュニティベース

(http://www.talendforge.org) ※別途有償でのサポートメニューも提供

SLAベースのサポートを提供

(Support Portal, e-mail, etc.)

6 ソースコード、及び

実行バイナリの入手

誰でも入手可能

(http://www.talendforge.org)

サブスクリプションライセンスの

所有者のみTalendへ請求可能

※ - 商用製品で生成するプログラムには、サブスクリプションライセンスの所有者がCopyright等を設定可能です。

- GPL製品にて定義したメタデータ、ジョブ、コンテキスト等は、商用製品への移行が可能です。

Page 34: Jjsug qshu設立記念福岡セミナー(talend)2011年05月14日

© Talend 2011 34 34

ライセンスポリシーにおける他社製品比較

# 課金対象項目 Talendポリシー (MDM製品除く)

他社製品

ポリシー

1 開発・運用管理者数 ○ ○

2 使用年数 ○ ×

3 開発支援・運用支援機能 ○ ○

4 CPU/コア数 × ○

5 リポジトリ数 × ○

6 接続アプリケーション(ERP, SaaS, etc) × ○

7 接続ミドルウェア(Tibco/MOM, XML, etc) × ○

8 稼働環境(サーバ環境、M/F環境, etc) × ○

9 年間保守料金 ×※1 ○

10 最新リリース取得 × ○

※1 Talendの年間保守料金は、サブスクリプションライセンスに含まれます

○ ・・・ 課金対象 × ・・・ 課金対象外