动态数据仓库 高性能云计算平台

引子 一切事物的数据化 大数据

• 社会个体自身数据的有效性构成了它的能力

社会个体间沟通能力、通联服务的途径 云计算 • 个体提供的服务，实际就变成了数据的分享

云端技术 微软技术 • Windows Server 2012、System Center 2012

• PDW2012

• Azure 私有云框架

平台简介

综合使用Windows Server 2012、 PDW2012 、System Center2012和Azure私有云框架等技术，构建的动态数据仓库高性能云计算平台，能够协助社会个体整合内部数据资源，构建高效数据服务体系，梳理数据事务流程，提升数据应用能力，服务于业务核心价值。

提纲

• 服务功能展示

• 系统架构介绍

• 核心技术说明

• 应用效益

• 建设规划

平台功能展示

• Web应用的云部署与管理、数据查询云服务的申请与集成、数据事务流程管理与集成

• 数据仓库应用管理、数据查询服务的高性能执行

• 动态数据仓库基础环境管理

数据查询云服务的申请、定制与集成 ——申请与定制

• Demo

数据查询云服务的申请、定制与集成 ——申请与定制

数据查询云服务的申请、定制与集成 ——集成使用动仓查询云服务 服务类别 集成代码示例 描述

即席查询

<a class="hz-tree-text" href="@(ViewBag.FullUrl)/DataWare/DataFunctionSearch/AjaxSearch.aspx?fid=InSellPriceLowerThanImEMS" target="_blank"> <span>料件内销价格过低监控</span></a>

在用户创建的应用系统中，对应即席查询、固定查询、多维分析、报表指标、定制表单、数据流程等，在配置文件中分别指定在云平台上申请与定制后获得的功能代码，即可实现功能集成。

固定查询 <a class="hz-tree-text" href="@(ViewBag.FullUrl)/DataWare/DataQuery/DefinedDataQuery.aspx?queryCode=ENTRY_MODI_LOG_QUERY" target="_blank"> <span>报关单修改记录查询</span></a>

多维分析

<a class="hz-tree-text" href="@(ViewBag.FullUrl)/Analyzer/Analyzer/Show.aspx?reportID=165826453&menuId=Analyzer165826453" target="_blank"> <span>减免税汇总查询</span></a>

报表指标

<span class="tn-icon-inline hz-icon-tree-zhi"></span> <a class="hz-tree-text" href="@(ViewBag.FullUrl)/DataWare/ReportBrowser/ReportBrowserFetchDetail.aspx?reportCode=1108" target="_blank"> <span>人工自主布控率</span> </a>

定制表单 <FormInfo formDefineCode="APPLICATION_AUTHORIZATION" formCode="ZSHGYYXTSQLXD"><Process flowRange="InnerCustoms" processCode="CO_XT_CJ"/></FormInfo></CooperationForms>

数据查询云服务的申请、定制与集成 ——集成应用效果

平台功能展示——数据查询服务的高性能执行

业务功能 SQL Server 2008 R2 SQL Server 2012 PDW 2012

单表分组汇总查询A （数据量2TB）

19小时52分12秒 8小时37分5秒 12秒

两表联合查询B （数据量4TB）

32小时45分19秒 22小时36分1秒 29秒

三表联合查询C （数据量10TB）

66小时49分9秒 1分30秒

平台功能展示——动态数据仓库基础环境管理

平台功能展示——动态数据仓库基础环境管理

• 利用System Center 2012 SP1,结合windows Server2012可以实现对三个运维云中心和一个研发云中心的基础环境统一管理

• 对包括虚拟机、实体机、网络、光纤网络，甚至包括光纤存储进行统一高效管理

平台系统架构

平台系统架构——Web服务云部署中心 • 承载功能：

– Web应用的云部署与管理

– 数据缓存服务

• 实现方式：

– Windows Sever 2012 Web Hosting技术实现云部署与管理

– AppFabric分布式缓存技术实现数据缓存服务

– Windows Server 2012 Hyper-V提供高可靠虚拟化服务

平台系统架构——动态数据仓库云门户 • 承载功能：

– 数据查询申请与定制 – 报表指标申请与定值 – 关系数据和多维数据组合查询 – 数据表单定制 – 数据管理流程

• 实现方式： – Asp.net Mvc技术，客户端

JQuery和Ajax技术， – 全文检索引擎Apache Solr – BizTalk – 自行开发的展示工具 – 自行开发的工作流和表单定制技

术

平台系统架构——动态数据仓库云引擎 • 承载功能：

– 宏观决策支持服务和微观风险分析监控服务

– 数据分析监控系统整合服务

实现方式： – 基于Windows Server 2012 的

PDW 2012技术 – AppFabric分布式缓存技术 – Hadoop技术 – Golden Gate、Oracle Data

Integrator、SQL Server Integration Service

– SQL Server Analysis Service – 数据库优化技术

平台系统架构——动态数据仓库云基础环境

• 承载功能： – 云基础环境监控、管理、备份、容灾

– 云基础环境按需扩展

– 数据资产安全管理

• 实现方式 – System Center 2012 SP1

– 数据资产消费控制理论与数据资产管理系统

动态数据仓库云基础环境——部署架构

• 云中心承载网站云与动态数据仓库云

• 云中心间利用高速光纤确保核心带宽

• 在每个云中心构建动态数据仓库运行环境

• 高性能数据副本运行在PDW 2012

• 全国共6个动态数据仓库数据副本

平台核心技术

• 基于Windows Server 2012 的PDW 2012

• 基于Windows Server 2012 的微软云端技术

• 基于Windows Server 2012 的App Fabric

• 数据资产消费控制理论与数据资产管理系统

平台核心技术——PDW 2012 • 更加高效的并行计算：进一步提升

调控效率，充分发挥并行计算优势

• 列存储聚集索引：可更新的列式存储索引大幅提升查询效率和数据压缩效率

• Hadoop集成：直接利用标准SQL语句查询Hadoop群集数据的能力

与非并行计算数据库、PDW老版本比较

• 查询效率提高100倍——1000倍 • 提升对查询复杂度和并行度支持 • 提升数据压缩率达到7倍 • 动态数据仓库数据准实时更新

平台核心技术——PDW 2012

• 所有主机、虚拟机系统都是Windows Server 2012 Standard

• 所有的光纤访问和其他性能负载全部基于Hyper-V虚拟机，每个Hyper-V虚拟机独占一个主机节点

• 利用Hyper-V提供的技术支持实现故障转移与高可用

• Windows Server 2012 Storage Spaces 负责处理数据镜像和冗余

• 并行数据仓库（Parallel Data Warehouse）技术管理实施控制节点和运算节点的高性能

• Window Server 2012 • PDW engine • DMS Manager • SQL Server • Shell DB’s

• Window Server 2012 • PDW Data Management

Service (DMS, Core) • SQL Server 2012 PDW

平台核心技术——PDW 2012

• 关系型数据与非关系型数据的全面整合

• 高性能以满足高等级业务需求

• 高并发性为多类型数据应用提供全面支持

• 降低数据运维复杂度、减少数据维护成本

平台核心技术——微软云端技术

平台核心技术——AppFabric

• 在亚太区首个采用AppFabric提供高效缓存服务

• 将动态数据仓库查询服务返回数据，放入高速缓存，提升数据复用率，大幅提升应用访问效率

• 利用AppFabric分布式特性，协助云中Web应用实现高效缓存同步

平台核心技术 ——数据资产消费控制理论与数据资产管理系统

理论核心：

数据消费过程控制

数据消费产品控制

系统服务：

为用户提供数据消费工具

为用户提供数据消费产品处置工具

消费行为审计

消费产品审计

实时预警

事后核查

产品特点

动态可控

高效性

云端化

平台应用效益

应 用 效 益

1 数据集中、资源聚合

提升数据服务整体效率 2

3 实现敏捷开发与敏捷运维

面向大数据 4

5 推动云实践与云创新

平台建设规划

平台应用

•完成3个云运行中心和1个研发中心建设，构建运维、研发相对独立和紧密协作的体系

•完善运维管理体系，保障核心服务运行高效、可靠

功能丰富

•深化应用Windows Server 2012、 PDW2012 、System Center2012和Azure私有云框架等技术

•扩充Web云服务，提供模板定义功能，为用户创新提供可用环境，开发用户智力资源。

•扩充数据云服务，增加数据类型与来源，丰富数据应用方式，提供多种数据访问工具。

规模增长

•增强源数据管理功能

•提供方便的部署框架，增加云平台的可移植性

•提供定制接口，满足有选择的将私有云数据服务向公有云提供需求

Thank You!