1 Copyright © 2012, Oracle and/or its affiliates. All ......行与偏好社会活动趣爱好浏览习惯和爱好购买意向与满意度圈子与热相信息行为特征：

Copyright © 2012, Oracle and/or its affiliates. All rights reserved.1


以下内容旨在概述产品的总体发展方向。该内容仅供参考，不可纳入任何合同。其内容不构成提供任何材料、代码或功能的承诺，并且不应该作为制定购买决策的依据。此处所述有关 Oracle 产品的任何特性或功能的开发、发布以及相应的日程安排均由 Oracle 自行决定。


大数据时代的数据价值

与集成方法


啥？这货不是蛋？

Hampton creek

跟传统鸡蛋完全不同的替代品，却能够“瞒过”人们苛刻的味蕾——味道是一样的。成分包括芥花籽、豌豆和向日葵卵磷脂。

颠覆整个食品制造业

建立全世界最大的植物数据库

目标是向大众提供价格合理，同时能够改善地球的食品

便宜48%

更安全

更健康


什么是大数据？具有4V特性的数据称为大数据

• 巨大的数据量 Volume

• 集中储存/集中计算已经无法处理巨大的数据量

VOLUME

VELOCITY

VARIETY

SOCIAL

BLOG

SMART

METER

VALUE

10110010100100100

11010101010111001

01010100100101

23亿互联网用户，每年8%的增长

中型城市每月数十亿智能电表数据

2015年全球50亿+移动终端产生的数据量6300PB

• 多结构化 Variety

• 文本/图片/视频/文档等

• 高时效性 Velocity

• 海量数据的及时有效分析（fast data）

• 用户基数庞大/设备数量众多/实时海量/数据指数级别增长

• 价值密度低，总体价值高 Value (???)

• 单条数据并无太多价值，但庞大的数据量蕴含巨大财富



大数据的商业价值行业案例商业价值

银行/

金融

• 贷款、保险、发卡等多业务线数据集成分析、市场评估• 新产品风险评估• 股票等投资组合趋势分析

• 增加市场份额• 提升客户忠诚度• 提高整体收入• 降低金融风险

医疗• 共享电子病历及医疗记录，帮助快速诊断• 穿戴式设备远程医疗

• 改善诊疗质量• 加快诊疗速度

制造/

高科技

• 产品故障、失效综合分析• 专利记录检索• 智能设备全球定位，位置服务

• 优化产品设计、制造• 降低保修成本• 加快问题解决

能源 • 勘探、钻井等传感器阵列数据集中分析• 降低工程事故风险• 优化勘探过程

互联网/

Web2.0

• 在线广告投放• 商品评分、排名• 社交网络自动匹配• 搜索结果优化

• 提升网络用户忠诚度• 改善社交网络体验• 向目标用户提供有针对性的商品与服务

政府/

公用事业

• 智能城市信息网络集成• 天气、地理、水电煤等公共数据收集、研究• 公共安全信息集中处理、智能分析

• 更好地对外提供公共服务• 舆情分析• 准确预判安全威胁

媒体/

娱乐• 收视率统计、热点信息统计、分析

• 创造更多联合、交叉销售商机• 准确评估广告效用

零售• 基于用户位置信息的精确促销• 社交网络购买行为分析

• 促进客户购买热情• 顺应客户购买行为习惯

版权所有 © 2012，Oracle 和/或其分支机构。保留所有权利。8

真实世界的大数据案例

行业新数据前景原因何在？

零售同一规模适合所有市场营销方式

网络日志、点击流微观细分、推荐净利润增长 60%

银行业欺诈检测、风险分析

网络日志、交易系统、欺诈报告

语义发现、模式检测银行欺诈每年造成的损失达数十亿美元

医疗保健提高质量和效率

医生处方、机器统计信息

最佳实践、降低住院率行业价值每年增加 3000

亿美元

公用事业弹性和适应性网格

智能抄表、呼叫中心数据

实时和预测性使用分析到 2030 年，能耗预计将增长 22%

基于位置的服务基于家庭邮政编码

个人位置数据基于地理位置的广告、交通、本地搜索等

提供商收入增加 1000

亿美元以上


价值链和产

业链整合

销售渠道重

新布局

营销手段创

新优化

客户体验全

面提升

大数据在提高企业核心竞争力方面大有作为保证基础信息质量，保证数据揭示的信息达到最佳使用效果

深入洞察客户所想，所需，所感，所在及所得


更全面地感知客户行为，实时精准营销与服务

挖掘模型决策规则

实时智能

网站查询

电子商城

天气变化

网上支付

位置变化

终端变更

谈论竞争对手

联系客服中心

网上浏览

微博议论

查询旅游攻略

预定行程

漫游至某地

更换智能手机

评价飞行体验

浏览旅游产品

浏览商城

服务投诉

搜索产品

谈论某地旅游

实时防欺诈

推荐掌上旅游应用

推荐旅游产品

交叉销售

推荐优惠升舱

推荐美食

挽留计划

推荐促销

短信营销

动态内容

触发相关流程

事件流

过滤识别实时决策展开行动

感知所有客户事件（网络行为、平台访问，服务渠道、社会化媒体）

跨所有接触渠道实现营销

客户标签


360客户画像, 深化客户洞察力, 支撑营销和客服创新

礼物

上网活跃度：高

住酒店

上海

终端：iPhone

女性

30岁

爱旅游喜爱理财

经常出差

电子渠道

喜欢某品牌银行高端客户

微博控爱社交

出行记录

位置信息

点击流

渠道接触

社交媒体

搜集调查

客服记录整合处理分析挖掘

精确推荐

维系挽留

产品设计

广告投放

内容引入

可视化

行为与偏好

社会活动

兴趣点爱好

浏览习惯和爱好

购买意向与满意度

圈子与热点

相关信息

有个女儿行为特征：网上购物、订阅分析报告、搜索、邮件等

偏好特征：美食、旅游、购物、教

育等

旅游行为：接送服务，旅行社，酒

店和景点偏好等

基础属性特征：年龄、性别、单位等

业务服务：积分兑换，投诉、订单

购买习惯：历史购买情况、位置出现规律、付费习惯等

飞行偏好：座位、时间段、值机方式等

位置信息：出没规律、出行规律、商圈级别、差旅习惯等

社交网络：交往人群、圈子、影响力

等

家庭状况：家人、亲戚、家庭资产、

消费习惯等


快速行动缔造价值

更快的业务决策有利于实现卓越的运营

留给捕获数据的时间越来越少

需要分析的数据量越来越多 = 延迟

为实现卓越的运营，必须立即采取行动

完全可以实现实时捕获和实时行动

业务事件

行动时间

业务

价值捕获数据

完成分析

采取行动

基于 Richard Hackethorn 的行动时间分量

掌握信息的速度越快，成效就越令人满意


Oracle大数据能力基础设施

任务计算（仓库/挖掘/非结构化处理）

• Oracle DW

• Oracle DM

• Oracle R Enterprise

• Oracle Spatial

• Oracle Exadata

• Oracle Big Data

Appliance

实时计算（内存计算/实时处理）

• Oracle Timesten

• Oracle Coherence

• Oracle NoSQL DB

• Oracle Exadata

• Oracle Exalytics

流式计算（快速实时流式消息处理）

• Oracle Event

Processing

• Oracle Business

Activity Monitor

• Oracle Coherence

• Oracle Real Time

Decision

• Oracle Exalogic

价值发现（数据探索/数据可视化）

• Oracle Endeca

• Oracle BIEE

• Oracle Essbase

• Oracle Timesten

• Oracle Exalytics

• Oracle Big Data Connector

• Oracle Goldengate

• Oracle Data Integrator

• Oracle SOA

数据整合（全结构化数据获取和整合)


大数据连接器 (BDC)Oracle Big Data Connector

优化了 Hadoop 与 Oracle 数据库和 Oracle Exadata 的整合

Oracle Loader for Hadoop

Oracle SQL Connector for Hadoop Distributed File System

(HDFS)

Oracle Data Integrator Application Adapter for Hadoop

Oracle R Connector for Hadoop

无需大数据机 — 可针对在非 Oracle 硬件上运行的 Hadoop 授予许可


Oracle Loader for Hadoop

SHUFFLE

/SORT

SHUFFLE

/SORT

REDUCE

REDUCE

REDUCE

MAP

MAP

MAP

MAP

MAP

MAP

REDUCE

REDUCE

ORACLE LOADER FOR HADOOP

从reducer节点中连接数据库，并行写入数据库分区(JDBC or direct path)

读取目标数据库中数据表的元数据

在Hadoop中对Oracle数据类型进行分区、排序和转换


•以Oracle数据库外部表方式存取Hive表和HDFS文件

•自动设置并优化连接

•组合不同源的数据

•并行处理数据

Oracle SQL Connector for HDFS

External

TableODCH

ODCH

OSCH

SQL Query

Hadoop Oracle Database


GoldenGate 广泛应用场景企业级解决方案满足实时数据需求

基于日志，实时变化数据抓取

异构的源系统

EDWODS

灵活的高可用性

零停机移植和升级/容灾/应急

实时BI/实时DW

全面活动的分布数据库

报表数据库

ETL

ODI

查询卸载/分流

数据分布

新DB/OS/HW/App

全球数据中心

SOA/EDA

OracleGoldenGate

•降低成本

•减少风险•获得更高的运行效率

• 标准化的单一的技术解决多种不

同的需求

• 同时满足系统的连续可用性和报

表/BI系统的实时数据访问的要求

跨异构环境，对系统负载影响很低，对交易型数据做实时抓取、路由、转换和传递

和其他产品关键差异点

非侵入式、低影响和亚秒级的延迟

开放和模块化的架构 – 支持异构数据源和目标

保持交易事务的完整性 – 对中断和失败容忍度高

Oracle GoldenGate 产品优势实时、跨异构和支持交易／事务完整性的复制

性能

弹性、可扩展

可靠

Oracle GoldenGate工作原理模块化架构

双向

捕获

捕获：通过读取事务日志，在事务发生时捕获（也可过滤）提交的事务。

队列

队列：准备数据，使数据排入队列以备路由。

传输

传输：分发数据以便路由到目标。

交付

交付：保证事务数据完整，根据需要转换数据。

源Oracle和非Oracle数据库

目标Oracle和非Oracle数据库

队列

路由：压缩、加密数据以便路由到目标。

LAN/WANInternet

TCP/IP

OLTP OLTP OLTPODS ODS EDW查询 / 报表

OLTPOld

OLTPNew

分析型

操作型

OLTP StageOLTP

GoldenGate 多模式、松耦合部署配置灵活

单向查询分流

双向主用/备用或

主动-主动，实现高可用性

集成/整合实时数据仓库

广播数据分发

级联式分布式业务

合并实时BI

OLTPOLTP OLTP OLTP

OLTP

对等负载平衡/多主分布式

版权所有 © 2014，Oracle 和/或其关联公司。保留所有权利。21

通过 GoldenGate 与 Hadoop 集成

将事务数据实时传输至 Hadoop，不会影响源系统

基于 GoldenGate Java Adapter

实现针对大数据系统的自定义适配器或处理器

向任何开放 Java 接口的大数据

技术体系提供全面可控的数据交付

Oracle 和非 Oracle

数据库

自定义适配器

捕获队列文件

传输

传输进程参数文件

适配器属性文件

将海量生产数据实时交付到大数据系统中，支撑大数据分析

Oracle Data Integrator (ODI)最快 ETL/E-LT, 简单实现数据实效性价值, 最低的总投资成本

最佳性能和扩展性

低投资成本, 快速开发部署

提高生产和管理能力

支持所有商业数据源和目标

开放，标准的平台

Any Data Warehouse

Any Planning System

OLTP DB Sources

Application Sources

Legacy Sources

Oracle Data Integrator Enterprise Edition

23

ODI产品特性: E-LT 结构高性能

传统 ETL 结构

Extract LoadTransform

全新结构

“E-LT”LoadExtract

Transform Transform

传统方式: 独立的 ETL Server• 私有 ETL 引擎• 性能较差• 独立服务器投入成本较高• IBM & Informatica 解决方案

Oracle: 无需新的 Server• 低成本: 利用已有计算资源• 高效率: 利用数据库优化器• 快速: 利用本地数据库或其它数据库接口进行批量数据装载

• 可扩充: 根据需要增加数据源或目标的处理能力收益

• 更好的性能和可扩充性• 硬件资源充分利用• 易管理及低成本

ODI是更快的数据集成工具完成批量数据加载和复杂数据转换的能力可以达到7TB/h以上

ODI E-LT运行在Exadata上

ODI基于Exadata的可伸缩性

ODI运行在Exadata 无需ETL服务器

通用的管理，监控和维护

在ETL架构之上，快速发展的基于工具的所有收益

传统ETL

随着数据爆炸式增长，需不断增加硬件投资

ETL并行优化和设计依赖ETL服务器的可用资源

欠佳的性能 – 在数据库之外转换

对于快速的数据加载，ETL的轻量级架构表现不够

ETL处理引擎只能用于ETL转换

硬件平台有多家供应商提供

来自数据库和BI基础设施的差异化管理，

监控和维护，带来高昂成本


AccessTransform

Loads

Oracle Data

Integrator

支持 Hadoop 标准

反向解析 Hadoop 元数据引擎

检查、校验和确保 Hadoop 数据完整性和一致性

加载数据至 HDFS/Hive

简单易用的图形化界面，生成Mapreduce

生成 HiveQL，并基于Hadoop

执行

可与Hadoop transformations协同工作

ODI for Big Data与Hadoop环境的异构集成

http://hadoop.apache.org/

http://hadoop.apache.org/


ODI for Big Data – SQOOP Load

在数据库和Hadoop之间快

速加载数据

数据库可以是源也可以是目

标

支持HDFS, Hive 或 HBase

利用数据分区策略并行加载

数据

Oracle Data Integrator

SQOOP HDFS

SQOOP HDFS

SQOOP HDFS

Parallel JDBC Queries

关系型数据库


ODI Big Data – HBase and Hive Support

HBase 作为大数据的源或目标，被ODI支持

针对 Hbase的新知识模块 RKM HBase

LKM HBase to Hive

IKM Hive to HBase Incremental Update

支持 Hive 的知识模块 Reverse from Hive Tables

File to Hive

Hive Control Append

Hive Transform

Hive to Oracle (OLH)


Any Source, Any Target

IBM DB2 UDB

IBM DB2 z Series

IBM DB2 i Series

Enscribe

SQL/MP

SQL/MX

MySQL

Sybase ASE

Informix

JMS

Teradata

Netezza

Sample list of Sources and Targets

Oracle Database

Oracle Exadata

Oracle Big Data Appliance

Enterprise Data Quality

Oracle E-Business Suite

JD Edwards Enterprise One

Oracle Enterprise Service Bus

Oracle Hyperion

Oracle OLAP

Oracle PeopleSoft

Oracle Siebel CRM

Oracle Communications BRM

Hadoop

Sybase IQ

TimesTen,

PostgreSQL

Greenplum,

HP Neoview

SAS

SalesForce

SAP ERP & BW

Generic SQL

Hypersonic SQL

Microsoft SQL

Microsoft Access

Oracle BI EE

Oracle BI Apps

Linux

Sun Solaris

Windows 2000,

2003, XP

HP NonStop

HP-UX

IBM AIX

zLinux

…


实时/批量的与Hadoop平台的数据交互

凭借零停机时间优势，Oracle GoldenGate

无疑是将数据迁移至 Exadata 和 Exalytics

的最佳方式

Oracle Data Integrator 在一体机本地进行转换并使用 Exadata 优化的 SQL

Oracle Enterprise Data Quality 同时利用Exalogic 和 Exadata 的强大处理能力，以实现极致的数据去重性能

简化针对大数据和业务分析的操作，同时最大限度的提高性能

一体机上的数据集成


现代化 MDM SOA大数据

Oracle 提供全面企业级数据集成解决方案

全面、同类最佳的企业数据集成方法

企业级数据质量方法和技术平台，实现数据驱动业务价植

实时、高效、可访问的统一技术平台

最高性能、更低的总拥有成本、易用、可靠

经认证的领先技术，能够快速实现价值

Oracle Data Integrator

Oracle GoldenGate

Oracle Enterprise Data Quality

Oracle Data Service Integrator

OLTP

应用程序

传统

非结构化

Oracle 客户收益：总拥有成本降低 80%

性能提升五倍开发成本降低 70%

同步自定义 BI

可访问的、实时、高质量的数据，辅助精益运营、科学决策

大数据


Documents

1 Copyright © 2012, Oracle and/or its affiliates. All ......行与偏好 社会活动 趣爱好 浏览习惯和爱好 购买意向与满意度 圈子与热 相信息 行为特征：

1 Copyright © 2012, Oracle and/or its affiliates. All ......行与偏好社会活动趣爱好浏览习惯和爱好购买意向与满意度圈子与热相信息行为特征：