大数据解决方案探讨

张瑞刚 Oracle

议题 常见的数据挑战

大数据平台探讨

Oracle相关技术简介

案例与参考

病人分析 新市场分析 业务/疗效/绩效 风险管理

! !

!

! !

!

收集和组织所有数据

数据孤岛

缺乏数据技能

陈旧数据 被电子表格淹没

分析

决策 获取

组织

获取和组织信息的

新型基础设施

处理

分析

大数据如何推动您的业务 将大数据集成到业务运营中

架构方法

能力要求

将业务流程变更应用于更多细分群体和场景

将新的数据源与分析平台集成

快速应对不断变化的市场环境

识别并利用客户的购买欲望

带有预警功能的分析仪表盘

社交媒体集成

虚拟办公环境

高管人员的快速反应

与运营系统集成的移动 BI 平台

改善企业决策 信息及时提供 随时、随地、任意设备

实时数据复制

业务驱动因素

移动 BI 应用系统 企业数据治理架构

Oracle 业务分析战略

Oracle 商务智能解决方案

Oracle 服务

Oracle 参考架构

完整的 分析能力

一体化的 分析应用

所有数据 所有数据源

内部部署、 基于云、

支持移动应用

大数据平台综合解决方案

决策 获取

Exalytics 大数据机

Exadata

决策 分析 组织 获取

Hadoop

NoSQL 数据库

混合列压缩

高级分析

分析应用

内存中处理

议题 常见的数据挑战

大数据平台探讨

Oracle相关技术简介

案例与参考

大数据平台总体架构 - 概念视图

企业数据中心 (大数据)

People

IT System

非/半 结构化

结构化

实时 应用

离线 应用

开放 平台

正在发生什么？

我应该怎么做？

已经发生了什么？

为什么会发生？

未来可能发生什么？

当前

把信息与能力开放

出去（平台化）

People

Device

IT System

非/半 结构化

结构化

实时 应用

离线 应用

开放 平台 元数据等其他管理数据

流数据

新型大数据

传统结构化数据

大数据平台总体架构 - 概念视图

数据中心管理

存储 / 组织

处理

获取

分析

决定

大数据平台总体架构 – 概念视图

数据源

实时流处理

数据集成

数据管理

离线应用

开放平台

分布式大数据平台

实时应用

传统数据仓库平台

基础设施（服务器、存储、网络）

大数据平台总体架构 – 逻辑功能视图 实时流处理

数据集成 分布式大数据平台

抽取

清洗

转换

加载

搜集

事件流处理（Event Processing）引擎 专家系统（Expert System）

（实时决策引擎）

大数据存储与管理

基础数据区

xx xx xx

xx xx xx

访问与性能区

汇总加工区

传统 数据仓库平台

管理 元数据 数据质量管理 任务调度与管理 信息安全 信息生命周期

基础设施（服务器、存储、网络）

分布式 处理

库内处理与分析

离线 分布式分析

集成 集成

集成

数据源

家庭医院

公共卫生

设备/传感器

HIS

LIS

PACS

EMR/EHR

社交/公共网站

搜索/位置

数据开放 门户 数据产品

数据服务

数据目录

欺诈控制

精准营销

业务监控

分析门户

远程医疗

报告与查询

统计分析

多维分析

预测/挖掘

仪表盘/预警

搜索/探索

可视化

面向大数据的架构演进 – 挑战与应对

•需求的不确定性

•业务与IT的对齐

•业务价值的度量

业务

•新技术的成熟度

•新旧技术的融合

•关联系统的升级改造

技术

•多样数据源的就绪

•部门间的信息壁垒

•数据的质量与安全

数据

•人员的技能储备与升级

•制度、流程、预算、管理工具

•合作伙伴与供应商能力

其他

分阶段、迭代式的架构演进与能力交付 • GAP分析 • 优先级设定 • 演进路径与项目规划

有效的架构治理与能力优化组织 • 确保架构演进；业务与IT的一致 • 规范化流程、框架、模型、技术、

最佳实践 • 大数据能力使能与卓越中心 • 监控与度量

传统IT系统 面向大数据的IT系统建设

业务需求

数据模型

架构设计

开发集成

测试运行

维护

变更请求

选择数据源

探索结果

识别模式

优化模型

新问题

一个问题

假设

区别于传统的IT模式也决定了无法一蹴而就的跳跃式演进

需求驱动 数据驱动

当前架构

与

未来架构

差距分析

演进路径与

项目规划

优先级分析与设定

中间状态 中间状态

PROJECTS &

WBS

Phase I

(2010)

Phase II

(2011)

PROJECT A

PROJECT B

PROJECT C

实施内容与计划

… 演进方案

其他输入与设定

• 公司战略

• 架构蓝图

• 架构原则

• 参考实现

• 治理原则

分阶段的架构演进路径分析方法

面向大数据的BI竞争力中心（BICC）

一种面向BI优化的治理实践 – 独立的BI竞争力中心（BICC）

业务 部门

IT 部门 &

供应商

竞争力中心（优化与服务）

治理

人员治理 (需求到交付组织架构定义）

流程治理 （定义、计划、执行、监控）

技术治理 （标准化/架构、升级、供应商）

数据治理 （元数据、模型、数据质量、

安全）

培训、认证、知识共享、技

术研究

流程资产、流程优化、可充用组件等

技术卓越中心 （标准、最佳实践、评估、技术创新）

数据架构设计、优化、配置管

理

• 明确与制定企业 BI 战略和执行路线图

• 标准化BI活动从概念到执行的过程

• 整合最佳实践与各类基准测试

• 合理化和标准化技术采用

• 企业范围内共享BI基础设施和服务

• 整合、开发、巩固新的业务竞争力

• 技术跟踪与卓越中心

• BI业务需求的一站式中心

• IT部门与业务部门更好的协作

• 知识管理

BICC：跨部门的联合实践团队，指导、优化、促进与治理企业范围内的BI活动，以提升BI的业务效用与价值。

BI战略与路线 图

BI竞争力中心（BICC）组建框架 – 需要考虑的三个方面

数据与基础设施 Data and Infrastructure

BI应用 BI Foundation，PM Apps

使用、治理、BI能力中心 Use，Governance，BICC

管理优化 Management

Processes

运营优化 Operational Processes

业务战略 Business Strategy

Governance

（治理结构）

Process

（流程）

People

（人员）

• 领导/赞助者 • 目标、章程、制度定义 • 组织结构 • 资金来源

• 角色（领导、PM、培训、沟通）

• 技能（业务、技术、分析） • 职责 • 绩效评估（KPI、奖惩等）

• 服务（标准定义、最佳实践、部署规范、质量、培训）

• 度量评估（业务/管理) • 内部项目管理 • 沟通

BI竞争力中心（BICC）组建框架 – 关于人员技能与组织模型

CIO

IT1 BICC IT2 IT3

财务 市场 IT

BICC

业务技能

分析技能 IT技能

公司 战略

需求与优先级

业务 流程

统计与分析

发现与探索

实现变更与需求

数据集成

标识数据

抽取数据

建立 需求

监控 结果

分析 需求

应用优化

解释分析结果

数据 科学

BICC作为CIO领导的一个独立分支部门

BICC作为虚拟的跨组织团队

议题 常见的数据挑战

大数据平台探讨

Oracle相关技术简介

案例与参考

Oracle 集成解决方案

获取

Oracle NoSQL

Database

HDFS

Enterprise

Applications

组织

Hadoop (MapReduce)

Oracle Loader for Hadoop

Oracle Data Integrator

决定

Analytic

Applications

分析

In-D

ata

base

Ad

an

ce

d A

na

lytics

Data

Warehouse

Oracle 技术平台解决方案

决策 获取

Exalytics 大数据机

Exadata

决策 分析 组织 获取

Hadoop

NoSQL 数据库

混合列压缩

高级分析

极限性能

分析应用

内存中处理

•18 Sun X4270 M2 Servers

–48 GB memory per node = 864 GB memory

–12 Intel cores per node = 216 cores

–24 TB storage per node = 432 TB storage

•40 Gb p/sec InfiniBand

•10 Gb p/sec Ethernet

Oracle Big Data 一体机 – 硬件配置

•Oracle Linux

• Java Hotspot VM

•Apache Hadoop Distribution

•R Distribution

•Oracle NoSQL Database

•Oracle Data Integrator for Hadoop

•Oracle Loader for Hadoop

Oracle Big Data – 预装软件

最大化企业大数据的价值

•大数据软硬一体化解决方案

•集成所有企业数据

–结构化和非结构化数据

–SQL 和 NoSQL

•快速系统部署和上线

Statistics Advanced Analytics Data & Text Mining Predictive Analytics

Oracle 库内高级分析 一体化分析平台

Oracle R Enterprise • 应用最广泛的统计语言和工具

• 集成数据库提升扩展能力

• 支持强大丰富的分析能力

• R 可以被内嵌在企业应用和Oracle BIEE

• 探索性数据分析

• 更丰富的图形支持

• 支持所有开源R软件包

• 通过Oracle hadoop connector 可以与Hadoop集成

Oracle 数据挖掘 • 数据库内的自动化知识发现

• 12 种库内挖掘算法

• 支持文本挖掘

• 预测性应用开发支持

• ODM models的打分（scoring)在Exadata优化支持提升最大性能

• 易用图形化界面 R

数据库内分析的优势 R 传统分析

Hours, Days or Weeks

Data Extraction

Data Prep & Transformation

Data Mining Model Building

Data Mining Model “Scoring”

Data Preparation and

Transformation

Data Import

Source Data

Dataset s/ Work

Area

Analytic al

Process ing

Process Output

Target

Secs, Mins or Hours

Model “Scoring” Embedded Data Prep

Data Preparation

Model Building

Oracle分析技术

好处：

• 更快从“数据”获取“洞察力”

• 更低的费用- 减少

• 数据移动

• 数据复制

• 数据安全性

支持第三方数据挖掘模型的导入导出

S 节省

Oracle R Enterprise 计算引擎

• R-SQL 转换层把R功能转换成数据库内执行，充分利用数据库扩展能力

• 标准R的使用体验保持一致

• 扩展到扩展能力更大的引擎

• 轻松访问其他的多种数据源

• 利用数据库的SQL并行处理能力

R Engine Other R

packages

Oracle R Enterprise packages

在桌面上使用R Engine

• 数据库可以启动多个R引擎实现并

• 在Oracle DB和R之间高速的数据传输

1

User tables

Oracle Database SQL

Results

数据库计算引擎

2

R Engine Other R

packages

Oracle R Enterprise packages

Oracle DB 调用用R引擎

R

Results

3

?x

R Open Source

架构和性能

Se

co

nd

s

议题 常见的数据挑战

大数据平台探讨

Oracle相关技术简介

案例与参考

案例： 东南亚某国卫生部

背景

目标 : 通过引入天气变化模式，社交媒体等新数据来源，综合现有疾病控制信息等改进传染病预防工作。

解决方案 : 在整体方案中利用大数据整合历史传染病数据，天气数据（来源于传感器）和社交媒体数据进行传染病暴发的提前检测和主动预防

大数据@公共卫生

速度 容量 类型 价值

101100101001

001001101010

101011100101

010100100101

历史案例数据

社交网络

传感器数据

方案说明

获取 组织 决定 分析

M/R

CUSTOMER

CUSTOMER NUMBER

CUSTOMER NAME

CUSTOMER CITY

CUSTOMER POST

CUSTOMER ST

CUSTOMER ADDR

CUSTOMER PHONE

CUSTOMER FAX

ORDER

ORDER NUMBER

ORDER DATE

STATUS

ORDER ITEM BACKORDERED

QUANTITY

ITEM

ITEM NUMBER

QUANTITY

DESCRIPTION

ORDER ITEM SHIPPED

QUANTITY

SHIP DATE

企业大数据仓库 库内数据分析 利用R语义分析

Decision Maker

1 6

8

7 历史传染病数据

HDFS

ODI

2

3 4 5 社交媒体数据

传感器数据

① 将社交网络数据，传感器数据和历史数据加载到hdfs

② 使用M/R程序预处理数据，传送到edw

③ 使用Hive(类sql)简化M/R程序

④ 使用ODI将Hive数据同步至edw

⑤ OAA,使用R分析数据

⑥ OBIEE展示决策数据

Big Data 在行动-公共卫生

获取

• 历史暴发数据

• 从环境部获得天气传感器数据

• 通过关键词从社交媒体获得相关数据 (例如洪水，高烧，登革热，蚊子等等）.

• 存放在HDFS

• 通过Oracle数据库连接器把数据加载到Oracle DB,并做初步处理

• 结合社交媒体数据和传感器的天气数据发现了一些相关性

• 根据这些趋势进行提前预防和主动干预

组织 决定 分析

• 分析历史数据，寻找疾病年度变化规律和季节性变化规律

• 分析关于天气的传感器数据寻找关联关系

• 分析社交媒体数据寻找关联关系

大数据-数据获取

数据点

天气

空气/水污染

群体数据

病例历史数据

其他数据

实时天气数据

实时湿度数据

空气污染

( CO2)

水污染

洪水 病理症状

报道确诊案例

未报道疑是案例

案例的性别分布

案例的年龄分布

人口特征

人口的集中程度

其他相关

数据源 传感器 传感器 社交网络

在线媒体

医院报告

药房发烧记录

社交网络

地理空间数据

获取所有可见的数据

Big Data 在行动

ANALYZE

DECIDE

ORGANIZE

获取

获取所有可见的数据

历史的传染病数据

社交媒体数据

传感器数据

通过大规模并发操作组织和清理数据

大数据在行动

ANALYZE

DECIDE ACQUIRE

组织

组织

加载半结构化数据到Oracle数据库

立刻分析所有的数据

大数据在行动

ANALYZE

DECIDE ACQUIRE

ORGANIZE ANALYZE

分析 利用商业智能

分析 利用R

分析 利用地理信息

基于实时数据的决定

大数据在行动

ANALYZE

ACQUIRE

ORGANIZE

决定

决定 通过及早监控，预测传染病暴发的可能

决定

分析显示登革热爆发情况与天气/位置/洪水情况有密切的相关性

针对可能的高发地区制定相关的计划，在应对可能上升的登革热发病及其他传染病

和其他政府部门合作，改善洪水防治工作，减少潜在的蚊虫感染机会

基于大数据做更好的决策

大数据在行动

分析

决定 获取

组织

谢谢各位专家