Upload
lediep
View
336
Download
0
Embed Size (px)
Citation preview
让数据“慧”说话—— 华为FusionInsight大数据平台能力与实践
议题
目录
1.华为积极推动大数据标准与生态发展
2. 华为大数据解决方案
大数据是华为管道战略的重要支柱
Source: Huawei corporate presentation
• 全球8个研究所,保持1000+的研发投入;
• 拥有社区Committer、 IEEE Fellow等世界级数据
挖掘和人工智能专家;
• 截止2016年12月,华为大数据取得专利190+,其
中发明公布136件,发明授权 54件。
Pro
fessio
nal S
ervice
Big Data Analytics Platform
Data Center Infrastructure
Core Network
IP+Optical
FBBEnterprise Network
MBB
Things(M2M Module)
People(Smart Device)
EnterpriseApps
SDPBSS/OSS
3rd
Partners
Content & App
3rd ISVs
聚焦平台,携手合作伙伴构筑大数据生态
公共安全 金融 电信 政务 …
大数据平台 FusionInsight
行业合作伙伴
聚焦平台战略,源于土壤的精华,源于数据
的智慧
打造云化、融合、开放的大数据平台
构建高性能机器学习引擎及智能分析服务
统一安全框架,安全运营实时感知
多类型、多领域发展大数据合作伙伴生态体系
安全
计算
开放
算法数据
华为是大数据生态建设的倡导者、践行者、引领者
Top 3 Top 4
Data
brick
sIn
tel
Clo
ud
era
Hu
aw
ei
Meitu
an
Ap
pie
rH
otm
ail
Ho
rton
wo
rks
Clo
ud
era
Hu
aw
ei
Inte
lY
ah
oo
NTT
Du
bo
ce
• 2015年10月, 华为贡献大数据挖掘隐私保护增强技术(PET),将PET技术应用于大数据领域,助力产业发展。
• 2016年6月, 华为将CarbonData贡献给社区,成为全球第一个由中国企业提出,被Apache社区接纳的开源组件。2017年4月,Apache
CarbonData成为社区顶级项目。
开源项目
CarbonDataSreamCQL
… …
2015~2016年统计数据
ISO/IEC
JTC1 SC32
数据库语言新技术设计说明
华为积极参与中国大数据标准制定
国家大数据标准工作组副组长工作单位
国家大数据标准工作组国际专题组组长
信息技术
大数据存储与处理平台技术要求
信息技术
大数据基于参考架构下的接口框架
信息技术
大数据系统通用规范
信息技术
大数据存储与处理系统功能测试规
范国家标准制定
信息技术
大数据系统运维和管理功能要求
大数据参考架构接口特设组主席
ISO/IEC
JTC1 WG9
大数据概述和术语
ISO/IEC
JTC1 WG9
大数据参考架
构
国家标准申请 联合编辑
华为积极参与大数据标准实践
2016年首家参加<大数据系统通用规范>标准验证测试 ,通过扩展级
2017年首批通过<大数据系统通用规范>标准正式测评, 通过扩展级
开放共赢,可信赖合作伙伴
金融大数据联盟成立
上海联通合作创新展示中心揭幕
大数据联合解决方案发布
议题
目录
1.华为积极推动大数据标准与生态发展
2. 华为大数据解决方案
华为FusionInsight大数据平台:云化、开放、融合
数据集成Porter
Sqoop
批量采集
大规模并行处理数据库
Apollo DB
Flume
实时采集
Oozie
作业调度管理
Kafka
消息管理
FtpOnHDFS
文件传输
管理平台Manager
大数据分析
关系型数据库服务
RDS
运维管理
配置管理
故障管理
性能管理
安全管理
… …
Hadoop生态发行版 HD
(HDFS、MapReduce、HBase、Hive、
Solr、Spark、Storm、Flink、Elk、
CarbonData 等核心组件)
数据洞察 Miner
(图分析引擎、机器学习、数据标签)
大数据云服务
数据智慧 Farmer
(实时决策引擎 Farmer RTD)
数据接入服务DIS
数据分析服务MRS、DWS、Stream、M-
OLAP…
人工智能服务MLS、NLP…
HD:为行业负载优化的大数据处理层
• 100%开源核心
• 支持从批处理、交互查询、数据挖掘,
到实时流处理等各种应用场景
• 根据行业需求进行优化
FusionInsight HD
HDFS -- 分布式文件系统
Flume
Sqoop
Kafka
YARN – 资源管理 HBase – NoSQL数据库
Zo
okeep
er –
分布
式锁
MapReduce Spark 内存迭代 Storm分布式计算框架
数据集成 批处理
Hive
Elk
Spark-SQL
机器学习
SparkR
MLlib
流处理
Spark-Streaming
CQL
实时查询
CTBase
Phoenix
Solr
Redis
分布式缓存
MPPDB:帮助企业构建高性能、PB级新数仓
数据迁移
SQL开发
集群管理
完备的工具链
FusionInsight MPPDB
64位Linux系列,通用X86架构(SUSE Linux、Redhat)硬件+OS
集群服务器-1 集群服务器-n
MPP大规模并行处理集群
SCTP大规模集群通讯网络
…
…
DN DN DN
DN DN DN
DN DN DN
DN DN DN
DN DN DN
DN DN DN
Core1
Core1Core
1Core
1Core1
Core1
Core1Core1
Core1
• 完备的SQL能力,应用平滑迁移
• 开放平台性能业界最佳
• 弹性伸缩支持PB级数据处理
Miner:一站式图形化大数据洞察平台
FusionInsight Miner
Miner Base
数据探索
并行化算法库(机器学习、图分析、时空数据分析)
模型管理
数据分析产品
图分析引擎(Weaver)
日志分析(Data Compass)
建模分析
标签管理
全流程;多维度;高性能;开放
Farmer:实时应用使能器,助力企业实时决策
平滑微服务化;易运维;高可用性;业务人员直接写规则
FusionInsight HD, Redis, RTD DB
MQ 消息队列ALB 接入负载均衡
…
Container 容器池
RTD执行
RTD编排
数据服务管理自定义应用1 自定义应用N
FusionInsight Farmer
大数据云服务概览
数据产生 数据接入 数据存储 数据分析和计算 数据开发和呈现
RDSFile
Web
Mobile
Log
Stream/IoT
DIS(数据接入)
DES(数据快递服务)
OBS
EBS
HBase
Redis
M-OLAP
DWS(MPPDB)
MRS
Search(Solr&ELK)
Stream
Tableau
ML
SAS
DataPipeline
DTA(数据传输加速)
Business Operator Huawei Partner
大数据云服务路标
2016.Q4 NOW 2017.Q2 2017.Q3 2017.Q4
MRS:MR
MRS:Spark(Spark SQL)
MRS:HDFS
MRS:Hive
MRS: HBase
DIS
M-OLAP
DataPipeline
MRS:MR
MRS:Spark(Spark SQL)
MRS:HDFS
MRS:Hive
MRS: HBase
MRS:MR
MRS:Spark(Spark SQL)
MRS:HDFS
MRS:Hive
MRS: HBase
DIS
M-OLAP
DataPipeline
MRS:MR
MRS:Spark(Spark SQL)
MRS:HDFS
MRS:Hive
MRS: HBase
ML
Streaming
DIS
M-OLAP
DataPipeline
MRS:MR
MRS:Spark(Spark SQL)
MRS:HDFS
MRS:Hive
MRS: HBase
Streaming
ML MLHuawei Enterprise Cloud
华为FusionInsight获市场研究机构认可
Gartner DMSA 魔力四象限报告Forrester TEI 研究报告:
中国太保大数据平台投资回报
华为大数据平台:服务全球700+客户(部分名单)
金融: 65%+ 市场份额电信: 41国家,200+项
目
其他行业:标杆客户的选择
打造新数仓,支撑业务向云化演进
“围绕“面向未来的金融IT基础架构”,华为MPPDB分布式数据
库满足我行业务弹性适配、信息互通共享、能力分布扩展的要求
,以传统架构继承发展和新架构创新变革相结合,助力我行实现
了数据仓库分布式改造,应对未来云化演进。”
客户需求和挑战: Teradata一体机+磁阵架构封闭,且只兼容一代硬件,扩容停机时间长,
且成本高昂
在整个系统中同一份数据存放在Teradata和Hadoop中,数据互通困难
现有架构无法支撑未来工行IT系统向云化演进的诉求
解决方案: 华为基于X86开放平台提供新一代融合数仓解决方案,通过MPPDB on
Hadoop特性可以直接访问Hadoop上的数据,且支持夸代硬件兼容,扩容
不停机等特性,一套系统解决了以前需要多套系统配合工作的状况,简化了
管理
客户价值: TCO降低:软硬件解耦,基于通用X86服务器避免Lock-in,支持跨代设
备共存,最大化保护硬件投资。
融合数仓:提供统一SQL接口,可以同时访问MPPDB和Hadoop数据数
据;一套系统中支持处理批量和联机查询(低频更新)混合负载。
展望未来,华为MPPDB即将提供云化DWS(Data Warehouse Service
),支持工行未来IT架构向云化演进。
构筑云上新数仓,支撑未来业务发展
让银行几秒钟完成信用卡征信核准
客户需求和挑战:
• 结构化数据库无法满足大数据数量、种类的快速增长
• 原有客户经营模式无法应对互联网金融挑战
解决方案:
• 构建基于大数据的第二平面,提升客户满意度
• 敏捷业务开发平台,实现快速开发部署
• 超百万维度数据分析挖掘平台,帮助实现业务创新
客户价值:
• 3-5秒钟完成信用卡征信核准
• 小微贷获客预测比提升40倍转化率
• 历史明细在线查询由一年提升到八年以上
重构客户经营的发动机
让城市更平安,犯罪率下降12%,人口管理效率提升50%
客户需求和挑战: 传统IT架构不开放,不符合技术发展趋势,演进困难
无法实现省市两级统一管控,效率低下
无法实现业务云化,可服务性体验差
解决方案: “一个平台”、“三个中心” 的大数据整体架构; 全省数据中心统一管理;
全省资源统一调度/统一运营维护,
高效大数据分析平台:高性能的分析计算分析能力,百亿级数据查询分析秒
级完成
智能大数据分析算法:实现关系发现、轨迹聚类、人车匹配、亲密度判别、
动态社团跟踪、数据碰撞等算法,完成大数据精确分析
客户价值: 全省特殊人群管理数在控率由30% 提升到近 80%
全省 “两抢一盗”案件同比下降 12%
简化工作:看守所,人员入所登记信息由54 项减少为 9 项
2年数据的车辆比对分析,从30分钟缩短到1分钟
助力警务智能化、实战化按照公安部规范,探索构筑可持续演进的云IT基础架构
多 彩 警 务 云 大 数 据 平 台
第 一 数 据 中 心 第 二 数 据 中 心三 个 中 心
资源服务平台
整 合 1 6 5 个 应 用 系 统
数 据 备 份 中 心
统 一 管 理 的 分 布 式 数 据 中 心
警务大数据平台警综云平台
案事件系统 指纹系统
数据总线服务
刑专系统 移动接入系统
…….人脸系统 研判分析
Thank You