© Talend 2014 1

TalendBig Data and NoSQL インテグレーション2014 年 06 月 4 日Talend 株式会社

Basho Meetup Tokyo #4

© Talend 2014 2

Basho and Talend ：協業を発表（ 2014 年 5 月 19日）

© Talend 2014 3©2014 BASHO TECHNOLOGIES INC. ALL RIGHTS RESERVED. 　　 ©2014 Talend KK ALL RIGHTS RESERVED.

と　　　　 によるソリューション

• ビッグデータ統合ソリューションを提供• 500 以上の情報ソース接続コンポーネントを無償提供• Riak 用接続コンポーネントを標準装備• Eclipse で開発されたデータ統合ツール「 Talend

Studio 」を使って GUI ベースの操作でデータ統合及びビッグデータ統合を設計可能

• データ統合プログラムはコードジェネレーション方式（ jar 形式）でオープンかつ可読可能

• Hadoop 上でネイティブに稼働可能

• Riak は一般的なデータを格納する分散 DB サーバー• Key/Value のデータモデルを採用しているため、データ

永続化が目的• スケールアウトモデルで拡張性が高い • 障害発生時でもデータの読み書きが可能• 障害発生時でもデータを失わない• 様々な処理を自動で行い、運用手順がシンプル

卓越した統合力 卓越した可用性

既存 DB を高可用、高速に変えて分析 ビッグデータ統合してトランザクションシステムへ

RDB

RDB

RDB

分析

レコメンドエンジン

DMP

高頻度トランザク

ション

Big Data（大量）

Big Data（多種類）

システム

社内にある RDB のデータを Riak へ統合して、統合されたデータの分析やレコメンデーションエンジンにデータを提供

様々なビッグデータを Riak に統合し、 RDB で構築されているようなトランザクションシステムにデータを受け渡す

© Talend 2014 4

Basho Riak との連携機能

• 先ずは、「 Talend Open Studio for Big Data 」で試せます。• Talend Open Studio for Big Data ： OSS 製品

- Apache Software License 2.0

- ビッグデータインテグレーション用製品- GUI でデータ連携・統合処理を構築- Java ソース生成による簡単・軽量な運用が可能- データインテグレーション製品のコンポーネントに Hadoop 用コンポーネン

ト（ HDFS, Hive, Pig, Sqoop, Hbase, etc ）を追加- NoSQL 用コンポーネント（ Riak, Neo4j, Couchbase, etc ）を多数搭載

• Talend Enterprise Big Data ：商用製品- Talend 商用ライセンス（ 30 日間トライアルが可能）- TOS for Big Data にメタデータ管理や運用管理機能を拡充- Map Reduce 処理の GUI 開発が可能

http://jp.talend.com/download

© Talend 2014 5

Talend today グローバル 7 ヶ国（フランス、米国、英国、ドイツ、日本、オランダ、イタリア）に営業・技術支援オ

フィスを展開。従業員数 400+ 本社：米国ロスアルトス（コーポレート機能）、仏パリ・北京（ R&D ） 4,000+ 社の導入企業。全ての業種業態と企業規模をグローバルに網羅 ビッグデータ統合、データクオリティ、 MDM 、 ESB 、 BPM 等、エンタープライズシステムで必要な

インテグレーションテクノロジーを製品化 主要顧客： Citi Bank, Bank of America, eBay, ドイツポスト DHL, Orange 等 主要パートナー：アクセンチュア、 NTT データ先端技術、富士通ｿｰｼｱﾙｻｲｴﾝｽﾗﾎﾞﾗﾄﾘ、 DIVA 、ウルシス

テムズ、グローバルウェイ、エアー、アイウェイズ、 JPC 等

Talend 会社紹介うち *.jp ドメイ

ン：1,000-1,500 件 / 月

日本のコミュニティ1,000+ 名・ 90+ 社登録

ブランド認知

2,000 万 + ダウンロード

コミュニティ規模

100 万ユーザー

経営資源

4,000 社導入企業

顧客ロイヤリティ

86% リニューアル

率

© Talend 2014 6

64% の企業がビッグデータプロジェクトを推進又は計画中にある

統合テクノロジー市場のトレンドIT 要件の変化と進化

33% のユーザーが柔軟性や先進性、短期開発によるメリットに言及

クラウドコンピューティングの興隆が内部・外部のシステム統合・連携を必要とする

よりリアルタイムにデータへアクセスすることが求められる

ビッグデータ クラウド

リアルタイム コミュニティ

64%

24/7

© Talend 2014 7

Forums ：ユーザー掲示板累計 50,000+ ポスト、 9 カテゴリ、 21 フォーラム、 45,000+ 主要参加者、（平均 500+ ポスト / 週）

Exchange ：ユーザー作成部品（コンポーネント、サンプルジョブ、ルーチン等）400+ 拡張部品、 100+ コントリビューター、 70,000+ ダウンロードConnectors for BIRT 、 Google Analytics 、 Twitter 、 Apache Cassandra 等

Babili ：各国語化69,000+ ストリング、 70+ コミュニティ翻訳、 15 言語

その他コミュニティベースのプロジェクトDataStage 移行ツール（ ETL Converter ）､ Excel reporting platformSpatial Data Integrator (SDI) 等

Bugtracker ：バグトラッカー7,000+ 課題レポート、 3,000+ テスターの参加

http://www.talendforge.org

Talend Forge ：マスターコミュニティ

© Talend 2014 8

https://www.talend-bc.jp

Talend 製品をより有効に活用して頂き、ビジネス創出をして頂くことを目的とした参加登録「無料」のコミュニティサイトです。Talend SI & コンサルティングパートナーのアイウエイズ株式会社により運営されています。

マーケティング情報

テクニカルフォーラム

チュートリアル

コントリビューション

ビジネスフォーラム

ブログ

Talend 、パートナー、マーケットの最新動向が分かる！

最新の技術情報を入手するならここがお勧め！

Talend 製品の使用方法を、試しながら理解しょう！

ブログ参照・公開を通じて手軽に本音や情報を共有！

Talend に関連した営業活動を展開できます！

開発した Talend 用の Project や Job を公開。コミュニティ・メンバーに貢献！

★ 　 個人メンバーでも閲覧可能★★ 個人メンバーでも参加可能

Talend ビジネスコミュニティ : 日本のオフィシャルコミュ

ニティ

© Talend 2014 9

YARN ：全ての次世代型アプリケーションの基盤

• 極めて汎用性の高い資源（ CPU 、メモリ等）消費に対する　　　　　　　　　　　分散処理フレームワーク

• 全てのアプリケーションに対する性能と QoS を担保• あらゆるアプリが、 Hadoop 「内」ではなく Hadoop 「上」で稼働

- Hadoop 基盤の全ての共通サービス化を促進• セキュリティ、データのライフサイクル、メタデータ管理

Source: Hortonworks

HDFS2 （冗長化、高信頼性データストア）

YARN （クラスタレベルのリソースマネジメント）

バッチ処理(MapReduce)

インタラクティブ(Tez)

ストリーミング(Storm, Spark)

グラフ理論 (Giraph)

NoSQL(MongoDB)

イベント(Falcon)

オンライン DB(HBase)

その他（検索など）

アプリは全て Hadoop 上でネイティブに稼働

© Talend 2014 10

TALEND ENTERPRISE

Big Data Data Integration ESB

TALEND OPEN STUDIO for

Big Data DataQuality

DataIntegration

MDM ESB BPM

Data Management

Big Data MDM Enterprise Integration

Data Services

TALEND PLATFORMS

ユニファイドプラットフォーム全ての製品を統一した基盤技術上で実現

ベスト・オブ・ブリード統合基盤の分野ごとに最良な製品・テクノロジーの組合せ

包括的なインテグレーションデータ統合・アプリケーション統合・プロセス統合

TALEND ユニファイド

プラットフォーム

スタジオ

監視

リポジトリ デプロイ

実行

Talend のアプローチ：進化が続くビッグデータテクノロジーへのポテンシャル

© Talend 2014 11

Talend のアプローチ：進化が続くビッグデータテクノロジーへのポテンシャル

r

コードジェネレーション方式ブラックボックエンジンとならない透明性の高い実装モデル

Java SQL MapReduce

Camel ……

標準・普及技術への準拠ベンダーロックインを除外し、習得コストを削減

分散型アーキテクチャ軽量コンテナによる分散型アーキテクチャが実現するハイパフォーマンス処理の実現

© Talend 2014 12

Talend のアプローチ：進化が続くビッグデータテクノロジーへのポテンシャル

100,000コミュニティメン

バー

1,500 ベータテスター

500 ポスト /週

350+ コミュニティコネクター

オープンソースオープンスタンダートであり、柔軟性と拡張性を重視

サブスクリプションベースの課金必要なときに必要な分だけ購入が可能

コミュニティに立脚した開発手法革命的な新技術への迅速な取り組みとコミュニティメンバーによる貢献

© Talend 2014 13

Talend Open Studio for

Talend Platform for ….

Talend 製品体系

Talend Enterprise

WithBig Data

WithBig Data

WithBig Data

Talend EnterpriseData Integration

Talend EnterpriseBig Data

Talend EnterpriseESB

Talend Platform forBig Data

Talend Platform forData Management

Talend Platform forData Services

Talend Platform forMaster Data Management

Talend Platform forEnterprise Integration

© Talend 2014 14

Talend のアプローチ：Talend製品にコネクターやコンポーネントを実装済みです

Redshift

© Talend 2014 15

DEMO

© Talend 2014 16

概要

HadoopName Node

HadoopNode

HadoopNode

Hadoop Management Services (YARN)

Hadoop Security

Hadoop Integration Layer

Native Open

DWHCloudApps. ERPSNS IOT

クリックストリーム分析

センチメント分析（ Twitter # ）

Apache ログ解析

デモ環境メモ：

H/W : 6CORE, 8GB Memory仮想環境 : VMWare Player 6.0ホスト OS : MS Windows 8.1ゲスト OS : Cent OS 6.5(Final) 64bitHadoop : Hortonworks HDP 2.0Talend Platform for Big Data 5.4.1Oracle HotSpot JVM 1.6.0_45

© Talend 2014 17

Demo 1 ：クリックストリーム分析

TalendHDFS へロード

TalendMap Reduce 処

理Talend

BI 基盤へデプロイ

HADOOP

HDFS Map 　Reduce

WEB ログ

Powered by Google JSAPI

© Talend 2014 18

Demo 2 ：センチメント分析（ Twitter # ）

TalendHDFS へロード

TalendMap Reduce 処

理Talend

BI 基盤へデプロイ

HADOOP

HDFS Map 　Reduce

JSON レコード

Powered by Google JSAPI

© Talend 2014 19

Demo 3 ： Apache WEB ログ解析

TalendHDFS へロード

TalendMap Reduce 処

理Talend

BI 基盤へデプロイ

HADOOP

HDFSMap 　Reduce /

PIG

Apache ログ

© Talend 2014 20

ビッグデータは検証プロジェクトから業務運用へ：Talendのビッグデータ顧客事例

リスク計算の精緻化を実現： Citi Bank 様 かねてより運用していた信用リスクシステムの精緻・高度化に Hadoop&Talend を活用 信用収縮に対する当局監査のプレッシャー 非正常先に格付け区分される融資先のなかから正常先に分類可能な債務者の発見

DWH のコスト削減としてご活用： Vodafone 社様 ５年分の CDR ：通話明細記録を Hadoop ストア上に保管 既存の DWH環境である Oracle 上では、コスト面で実現不可能であった 顧客情報とのマッチングによる高度な分析を行う基盤を実現

EU 共通運転免許書運用基盤としてご活用：フランス内務省様 2013 年より EU諸国で発給される運転免許書の様式統一に向け、 EU 加盟国は発給済み免許証の効力・記載事項等の統一が必要

新たな EU免許証ネットワークが設立され、発給・更新に関する情報照合の仕組みが急務

EU諸国からのデータ収集と地域毎に発給・更新される免許証情報の一元 DWH 化を実現

© Talend 2014 21

ビッグデータは検証プロジェクトから業務運用へ：ビッグデータ活用をレバレッジ

Map Reduce 処理を GUI で開発・運用：高生産性の実現 Talend Studio にて GUI 部品の組み合わせで Map Reduce 処理を開発 Talend Administration Centerから、 Oozie ベースのジョブフロー運用を実現 Hadoop環境を DWH エンジンとして活用するための障壁を取り除く

サブスクリプションモデルによる親和性の高い課金モデル Talend のサブスクリプションライセンスは、 CPU ・ノード数等のシステム規模に非依存

課金対象項目は、 Talend使用ユーザー数と使用年数のみ サブスクリプションには、年間保守料金を含む データ量の不透明なビッグデータ環境に最適なライセンスモデル

ビッグデータ環境と非ビッグデータ環境の双方向連携：自動運転を実現 GUI設定で Hadoop ネイティブのビッグデータ処理を構築可能 標準で約 500 のコンポーネントを内包 メタデータ管理、共有リポジトリや多彩なチーム開発機能を標準装備 ジョブスケジューラ－やフェイルオーバー機能などミッションクリティカルの要件

を満たす　運用機能を標準装備 Java によるハードコーディングに比較して 1/4程度に製造工数を圧縮

$

© Talend 2014 22

金融サービス保険

通信サービス

製造業流通小売り

公共機関教育

導入顧客例

© Talend 2014 23

Contact us: info@talend.com

Learn more: www.talend.com

お問合せ： GroupSalesJP@talend.com

WEB サイト： http://jp.talend.com

ご清聴有難う御座いました