Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
データがもたらす、破壊的パワーをその手に。
デジタル変革時代のハイブリッドデータ
アーキテクチャーとは
2018年05月31日
インフォマティカ・ジャパン株式会社
2 © 2018 Informatica Japan K.K. All rights reserved
データ市場における世代の変遷
2015-ビジネスモデルを変革する
デジタルトランスフォーメーション
のためのデータ活用
1960-2000個別の業務アプリケーションでの
データ連携・統合
Data 1.02000-2015企業全体の経営資産としての
データマネジメント
Data 2.0
Data 3.0
3 © 2018 Informatica Japan K.K. All rights reserved
Informatica 製品ポートフォリオ
マスターデータ管理MASTER DATA
MANAGMENT
データセキュリティDATA
SECURITY
データ統合DATA
INTEGRATION
データ品質DATA QUALITY &
GOVERNANCE
ビッグデータ管理BIG DATA
MANAGEMENT
クラウドデータ管理CLOUD DATA
MANAGEMENT
データカタログDATA
CATALOG
ACLOUDREAL TIME/
STREAMINGBIG DATA TRADITIONAL
Enterprise Cloud
Data Management
4 © 2018 Informatica Japan K.K. All rights reserved
Informatica と AWS2011年からのパートナーシップ
5 © 2018 Informatica Japan K.K. All rights reserved
Informatica Products for/on AWS
PowerCenter
Informatica
Intelligent
Cloud Services
Big Data
Management
Enterprise Data
Catalog
Informatica
Intelligent
Cloud Services
Enterprise
Data Lake
Informatica
Data Quality
Enterprise Data
CatalogPowerCenter
Master Data
Management
Big Data
Management
Informatica
Data Quality
Amazon EC2上での
稼働サポート製品
AWS
Marketplace
AWSとの
接続コネクターAmazon S3
Amazon
Redshift
Amazon RDS
Oracle
Amazon RDS
MySQL
Amazon RDS
SQL Server
Amazon
Aurora
Amazon
Dynamo DB
Amazon
QuickSight
Amazon EMR
6 © 2018 Informatica Japan K.K. All rights reserved
AWSにおけるInformaticaの活用
Amazon S3
Amazon EMR
Amazon Redshift
Amazon RDS
Amazon QuickSight
AWS Glue
Amazon S3
BI/アナリティクス
Amazon Athena
??
??
データ移行・連携処理の複雑化
IT/開発者
求めているデータが見つからず
データの利活用が捗らない分析ユーザ
7 © 2018 Informatica Japan K.K. All rights reserved
AWSにおけるInformaticaの活用
Amazon S3
Amazon EMR
Amazon Redshift
Amazon RDS
Amazon QuickSight
AWS Glue
Amazon S3
BI/アナリティクス
Amazon Athena
??
??
データ移行・連携処理の複雑化
IT/開発者
求めているデータが見つからず
データの利活用が捗らない分析ユーザ
ハイブリッド環境におけるデータ課題
✓ 様々なソースからAWSへのデータ収集に手間と時間がかかる
✓ 分析ユーザーがセルフサービスでデータを選別・編集できない
8 © 2018 Informatica Japan K.K. All rights reserved
AWSにおけるInformaticaの活用
Amazon S3
Amazon EMR
Amazon Redshift
Amazon RDS
Amazon QuickSight
AWS Glue
Amazon S3
BI/アナリティクス
Amazon Athena
Enterprise Data Catalog データカタログ
Enterprise
Data Lake プレパレーション
Informatica
Intelligent
Cloud
Services
データ統合
9 © 2018 Informatica Japan K.K. All rights reserved
AWSにおけるInformaticaの活用
Amazon S3
Amazon EMR
Amazon Redshift
Amazon RDS
Amazon QuickSight
AWS Glue
Amazon S3
BI/アナリティクス
Amazon Athena
Enterprise Data Catalog データカタログ
Enterprise
Data Lake プレパレーション
Informatica
Intelligent
Cloud
Services
データ統合
10 © 2018 Informatica Japan K.K. All rights reserved
データ統合: Informatica Intelligent Cloud Services (IICS)
Cloud Data Integration
Cloud ApplicationIntegration
データ統合 プロセス統合
Cloud Integration
Hub
ハブ型データ統合
Cloud B2B Gateway
EDI/企業間連携 テストデータ保護
Test Data Management
Customer 360
マスター統合
Informatica Intelligent Cloud Services
11 © 2018 Informatica Japan K.K. All rights reserved
データ統合: Informatica Intelligent Cloud Services (IICS)データ同期/複製処理のウィザード画面イメージ
ステップのウィザード形式の設定で
データ同期・複製処理を実装
項目名が同じものは
自動で項目マッピング
関数を利用した値の
加工も可能
12 © 2018 Informatica Japan K.K. All rights reserved
データ統合: Informatica Intelligent Cloud Services (IICS)大量ファイルの一括転送: Mass Ingestion
ウィザード形式の設定で、大量ファイルの転送を単一処理で簡単に実現
ローカルフォルダ、FTP、Amazon S3やAmazon Redshift間の一括転送をサポート
Amazon S3 Transfer Accelerationを利用した高速転送に対応
ローカルフォルダ/FTP
Amazon S3AmazonRedshift
13 © 2018 Informatica Japan K.K. All rights reserved
データ統合: Informatica Intelligent Cloud Services (IICS)データ統合処理の開発画面イメージ
変換部品の組合せで
データ連携・統合処理を実装
複数データの
結合 不要なデータ
のフィルタリング グルーピング・
集計 ターゲットへの
書込み
データの抽出
/パーシング
デモ
15 © 2018 Informatica Japan K.K. All rights reserved
データ統合: Informatica Intelligent Cloud Services (IICS)あらゆるデータへのアクセスを実現する接続コネクター
Cloud Apps (SaaS)Data StoresDBs, DWs, Big Data, Cloud
Enterprise Systems B2B
Middleware and Tech
Analytics
Social Apps
16 © 2018 Informatica Japan K.K. All rights reserved
データ統合: Informatica Intelligent Cloud Services (IICS)各種AWSサービスとのコネクティビティ
Amazon EMR
AmazonDynamoDB
Amazon Redshift
AmazonS3
Amazon Kinesis
Amazon QuickSight
AmazonRDS
17 © 2018 Informatica Japan K.K. All rights reserved
某大手通信メディアサービス業様の取り組み事例ハイブリッドデータアナリティクス環境の構築
BI/アナリティクスAmazon Redshift
Amazon S3AWS Lambda
Amazon KinesisStream
ファイル 業務アプリ
ODS
メインフレーム
EDW
クラウド
オンプレミス
課題
✓顧客体験(UX)の向上
✓業務ユーザによる分析ニーズの高度化
✓リアルタイムデータの活用に伴うデータ増加と
インフラの複雑化
効果
クラウド/既存オンプレミスを活用した柔軟なハイブリッド
インフラ
既存資産を活用した効率的なデータ統合による
UX向上とコスト最適化
InformaticaCloud
InformaticaPowerCenter
ライブ動画ストリーミングデータ
Redshiftへのプッシュダウン
18 © 2018 Informatica Japan K.K. All rights reserved
AWSにおけるInformaticaの活用
Amazon S3
Amazon EMR
Amazon Redshift
Amazon RDS
Amazon QuickSight
AWS Glue
Amazon S3
BI/アナリティクス
Amazon Athena
Enterprise Data Catalog データカタログ
Enterprise
Data Lake プレパレーション
Informatica
Intelligent
Cloud
Services
データ統合
19 © 2018 Informatica Japan K.K. All rights reserved
Discover, Access & Understand
データの発見
データへのアクセス
データの収集
分析プロセスとデータマネジメントの重要性
Prepare
プロトタイプ
クレンジング
変換
分析業務の80%は、分析の前の準備作業
Analyze
報告レポート
原因分析
予測分析
自動化・最適化
Operate
業務への組込み
サービスへの適用
IT部門 業務部門データの民主化
20 © 2018 Informatica Japan K.K. All rights reserved
分析ユーザーのデータキュレーションプロセス
アクセスAccess
探索Find
評価Profile
エンリッチEnrich
ブレンドBlend
準備Prepare
データの在り処を探す
カタログサーチ
データの中身を評価する
プロファイリング
ビジネス用語による論理名
ビジネス用語
データの流れを把握する
リネージュ
データのつながりを把握する
リレーション
データの意味の把握・付与
データドメイン
データを加工準備する
データプレパレーション
分析Analyze
収集蓄積
21 © 2018 Informatica Japan K.K. All rights reserved
データカタログ: Enterprise Data Catalogあらゆるデータの探索と見える化を実現
誰でも、容易に、データを探索
データ間の様々な関連性やつながり
データの流れ(リネージ)
ビジネスグロッサリー
AIを活用したスマートタギング
22 © 2018 Informatica Japan K.K. All rights reserved
データプレパレーション: Enterprise Data Lakeユーザーによるセルフサービスでのデータ抽出>加工>提供を支援
データカタログとのシームレスな統合により、データの探索、加工、共有と公開をサポート
Excelライクなインターフェースで、誰でも容易にデータを編集加工
AIを活用したデータ加工のレコメンデーション
デモ
24 © 2018 Informatica Japan K.K. All rights reserved
データカタログ: 主要スキャナー
RDB/DWH
Oracle
DB2
DB2 z/OS
DB2 i5/OS
MS SQL Server
Sybase ASE
MySQL
JDBC
Teradata
Netezza
Amazon Redshift
ファイルシステム
Amazon S3
Microsoft SharePoint
Microsoft OneDrive
Microsoft Windows
Linux
アプリケーション
SAP ERP
Salesforce
データ統合
Informatica PowerCenter
Informatica Platform
Informatica Cloud
Informatica Axon
Informatica Business Glossary
SQL Server Integration Services
Hadoop
Cloudera Navigator
Hortonworks Atlas
HDFS/Hive(CDH/HW/MAPR/EMR)
BI
SAP BusinessObjects
Cognos
Tableau
QlikView
MicroStrategy
Oracle BIEE
モデリング
ERwin
SQL解析
Oracle PL/SQL
DB2 PL/SQL
HiveQL
Teradata BTEQ
25 © 2018 Informatica Japan K.K. All rights reserved
データカタログ: Amazon S3スキャナー対象ファイルフォーマット
圧縮ファイル
gz, tgz, emz, sz, xz, z, 7z, ace, arj, cab, rar, gtar, zip, bz2, tbz2, boz
Webページファイル
chm, oth, xhtml, xht, mhtml, html, htm, ihtml
Eメール
eml, emlx, mime, mht, mhtml, msg, pst, ost, nsf, ncf
ドキュメントファイル
Microsoft Word (doc, docm, docx, dotm, dotx, dot)
Microsoft Excel (xls, xlsx, xlsm, xlam, xltm, xltx)
Microsoft PowerPoint (pptm, potx, ppt, pot, pptx, thmx, ppsm, ppam, ppsx)
PDF (pdf)
26 © 2018 Informatica Japan K.K. All rights reserved
あらゆるデータをAWSへ収集し、利活用を促進するInformaticaソリューション
Amazon S3
Amazon EMR
Amazon Redshift
Amazon RDS
Amazon QuickSight
AWS Glue
Amazon S3
BI/アナリティクス
Amazon Athena
Enterprise Data Catalog データカタログ
Enterprise
Data Lake プレパレーション
Informatica
Intelligent
Cloud
Services
データ統合
27 © 2018 Informatica Japan K.K. All rights reserved
AWS Marketplace & AWS クイックスタート
AWS MarketplaceやAWSクイックスタートでInformaticaソリューションを提供しています
Informatica PowerCenter (データ統合)
Informatica Data Quality (データ品質管理)
Informatica Big Data Management (ビッグデータ統合)
Informatica Intelligent Cloud Services (クラウドデータ統合)
Informatica Enterprise Data Catalog (データカタログ)
Informatica Enterprise Data Lake (データプレパレーション)