Embed Size (px)
Citation preview
关于演讲者
牛继宾，天云软件（北京天云融创软件技术有限公司）技术总监；曾任VMware研发中心研发工程师，IBM实验室服务部高级技术专家；
硕士毕业后从VMware开始一直从事云计算与大数据相关的技术工作。擅长云计算与大数据相关技术，以及云管理平台架构设计；除了底层平台技术，对：云计算解决应用系统的实际问题、应用的云化、分布式改造、上云业务支撑等也有丰富的经验。有着众多的私有云、公有云落地的实践与经验，涉及云计算的层次包括IaaS、PaaS、SaaS。
大 纲 1.云管理平台的定义、需求、功能与架构设计
2.传统应用云化改造对云管理平台功能设计的新需求
3.容器与微服务化对云管理平台新的架构设计的支撑
4.云管理平台未来的定位展望
5.关于我们
云管理平台（CMP）架构与功能设计 牛继宾
云管理平台的定义
Cloud Management Platforms (CMP) are integrated products thatprovide for the management of public, private and hybrid cloudenvironments.
The minimum requirements to be included in this category areproducts that incorporate self-service interfaces, provision systemimages, enable metering and billing, and provide for some degreeof workload optimization through established policies. Moreadvanced offerings may also integrate with external enterprisemanagement systems, include service catalogs, support theconfiguration of storage and network resources, allow for enhancedresource management via service governors and provide advancedmonitoring for improved “guest” performance and availability.
－－－－From Gartner
云管理平台与OpenStack的区别
l 私有云管理和混合云管理分成三层，每层分别提供如下功能：ü 云管理平台层：提供业务支撑管理功能、
提供异构混合云管理功能。ü 云计算技术架构层：通过虚拟化层提供的
特性构建云计算的技术架构，包括构建计算资源技术架构、构建存储资源技术架构、构建网络资源技术架构。
ü 虚拟化层：提供虚拟化功能，对计算资源、网络资源和存储资源提供虚拟化支持和虚拟化管理功能。
云管理平台层
云计算技术架构层
虚拟化层
vSphere KVM Xen
vCenter OpenStack CloudStack
CMP
CMP是企业云基础设施的管理平台。它是
交付云计算的最后一公里集成者。应用在
在CMP层上进行交互，然后 CMP层将指
令发给下面的云计算技术架构层，架构层
又发送指令给下面的基础设施层。
我们实现的CMP：
1. 管理异构虚拟化；
2.管理多个OpenStack版本，多个 资源
池；
3. 调度、计费、集成外部系统。
云管理平台的在云计算体系中的层次
Ø 资源管理：管理云计算“资源
池”中的所有异构资源，并通过自
动部署和智能调度实现“动态性”
和“弹性可伸缩性”。
Ø 运营管理、自服务、云服务：
实现云计算“按需自助服务”。
Ø 运维管理：监控、告警、运维
流程等一系列保障功能。
Ø 安全管理：加入云计算特色的
安全措施，如“多租户隔离”。
云管理平台
资源管理
运营管理
自服务门户、云服务提供（API）
资源池
计算资源池
存储资源池
网络资源池
行业应用B2C应用 B2B应用 个人云……
向下管理、调度资源
向上承载、支撑应用
公有云
承上与启下
安
全管理
运
维管理
CMP平台总体架构设计
云管理平台的功能架构设计－总体架构模块
调度
用户/组织/鉴权SAS
监控/采集/告警API
VC采集器
实时数据处理
MongoDB
SNMP采集器
Zabbix采集器
数据分析API(报表，统计，预测)
运维管理系统
统一API
服务目录
工单管理
流程管理
服务管理
计量计费
运营管理系统
云服务API
网络管理
镜像管理实例管理
(VM/Disk/VPC)
云服务抽象API
OpenStack适配器
CloudStack适配器
VMware适配器
公有云适配器
虚拟化管理系统
云管理API
物理机管理
存储管理
网络管理
混合云管理
资源管理系统 RabbitMQ消息
用户/鉴权
监控目标
应用采集器
离线数据处理
Hbase
多数据中心管理
自服务门户 管理员门户运营门户
云管理平台的功能架构设计－资源管理
计算 存储 网络
vCenterVMware ESXi
虚拟化资源池
……
计算 存储 网络
Citrix XenServer
计算 存储 网络
Red Hat KVM
计算 存储 网络
苏研虚拟化
虚拟化系统管理
虚拟化适配层：屏蔽不同虚拟化系统的差异
镜像管理 策略调度管理 虚拟机生命周期管理 超卖管理
计算 存储 网络
SVCMM MangerHyper-v
OpenStack
虚拟机基础管理
虚拟机模板管理
虚拟机外设管理
虚拟机快照管理
虚拟机运维管理
虚拟机复制与迁移
虚拟机监控与性能管理
管理各种异构的虚拟化系统
云管理平台的功能架构设计－资源管理
X86物理机管理
物理机管理物理机纳管 服务管理 远程控制
监控告警与性能管理
IPMI ILO CLI 刀片管理模块
IBM X86 HP X86 联想 X86 DellX86IBM 小型机
分配主机
分配IP
生成应答文件IPMI 设置目标机器
为网络启动PXE安装过程
仅在部署的时候网络启动，部署
后启动顺序按照BIOS设置启
动。
物理机资源申请
指定IP指定硬件信息
•物理裸机分配
订单指定模板的CPU核数、CPU频率、硬盘个数、硬盘大小和内存大小和已有的物理机参数必须一致，否则提示“物理机资源不足”
•物理机IP分配：
• 指定IP分配：可以指定某个VLAN下的空闲IP
• 系统自动分配：如果没有指定IP，系统将根据预先设好的默
认IP分配策略（如：只设置生产网的IP地址）来分配
物理机管理与服务
• 提供异构存储设备的统一管理• 适应不同种类的存储解决方案
Ø 与存储虚拟化网关对接（NetApp V、Symantec VSF、IBM SVC、Hitachi TS、HP EVA …）Ø 与存储虚拟化软件对接（Symantec VSF …）Ø 与各种存储阵列设备直接对接（NetApp、HP、EMC、IBM、Hitachi …）Ø 分布式存储解决方案
存储虚拟化网关 存储虚拟化软件 存储阵列 分布式存储管理
分布式存储服务器
计算服务器-宿主机
VM
VM
VM
VM
VM
VM
VM
VM
iSCSILUNNFS
vDisk
S3Swift
存储资源统一适配层
存储管理存储池管理
存储服务管理
存储设备监控性能管理
存储设备告警
存储设备巡检
设备类型 品牌 型号
SAN
EMC Vmax10K、cx380、cx4_120、cx4_240、cx4、VPLEX
HDS uspv
HP eva8000、EVA 4400、EVA 6400、eva8100、eva8400、P4000、xp24000
HW s2300、s2600、s3900、s5600、s5600x、 s6800、 s6900
IBM ds3000、ds3300、ds4300、d s4700、d s5300、d s8100、d s8700、d s8800、SVC
NETAPP fas2050、fas3250
富士通 dx440
NAS
光纤交换机
BROCADE 4100、4900、5100、200e、4_64_san_switch、dcx
EMC ds_200b
HP4_16_san_switch、8_24、8_24_san_switch、8_40_san_switch、8_64、 8_8_ san_switch、dc04、dcx4s_0002
IBM 2005_b16、2005_b5k、2498_b24、2498_b 40、 2499-384
云管理平台的功能架构设计－资源管理
存储管理与服务
网络管理 网络设备配置
网络设备性能管理
网络设备监控管理
软负载与虚拟防火墙服务
CISCO N7K、6509、4510、4507、2900、7609、3550、3560
华为S9306、S9303、S5352、S2328、S3352、S3328、S3528、CE12808
负载均衡包含且不限于D107、B2100、C2400等负载均衡器
另外：
网络资源还包括虚拟局域网（VLAN）和IP地址，供物
理主机和虚拟机使用。
云管理平台实现对VLAN资源池的统一管理。提供所
属不同网络类型、资源池、资源域、网络名称、 VLAN
ID、网关、CIDR、网络标签及IP地址范围的VLAN管理功
能。
云管理平台实现对IP资源的统一分配和回收，在创建
和销毁虚拟机/物理机时进行IP的自动分配和回收。
在虚拟交换等层次实现SDN功能，在物理层面对接物
理设备厂商。
云管理平台的功能架构设计－资源管理
网络管理与服务
云管理平台的功能架构设计－资源管理
云管理平台
esxi
vCenter vCenter OpenStack OpenStack OpenStack
esxi kvm kvm kvm
分布式存储系统 分布式存储系统 磁盘阵列
本地存储 本地存储 本地存储
RBDISCSI ISCSIRBD
数据中心A 数据中心B
私有云
HAHA 部分HA 部分HA
业务应用 业务应用 业务应用 业务应用
多数据中心管理
云管理平台的功能架构设计－资源管理
• 通过云管理平台对企业内部IT资源和外部云服务商的资源实例进行统一管理
• 通过amazon AWS、阿里云等公有云服务商提供的API，实现通过云管理平台对运行在外部公有云上的资源实例的管理，以便企业使用和管理公有云资源
• 通过云管理平台可实现对公有云资源实例的开通、查询、监控、操作、变更、销毁等管理操作（与公有云服务商提供的API及其自动化程度有关）
• 可通过云管理平台实现企业级Cloud API封装，提供给应用系统调用
Cloud Management
Application
Cloud API
Private Cloud Public Cloud
Self Service Manager
Cloud API
Virtualization
Driver
OpenStack
Driver
AWS
Driver
阿里云
Driver……
混合云管理
云管理平台的功能架构设计－运营管理
资源管理系统
X86资源
管理模块
存储资源管理
网络资源模块
多数据中心与混合云管理
运营管理系统
服务模板管理
服务模板全生命周期管理：定义、审核、发布、修改、下线、删除；
服务目录管理
服务目录的定义、发布、审核、修改、删除、导入导出；
服务实例管理
服务实例全生命周期管理：部署、查看、操作、变更、续订、退订、回收；
订单管理
订单的申请、审核、查询、到期提醒、续订、退订；
用户管理
用户开销户、用户创建删除、状态管理、信息查询与修改、密码修改、用户组管理、角色管理、权限管理、用户审计；
资源使用计量
提供资源使用的计量数据，可根据提供的计量数据实现计费管理；
运营门户
运营管理门户和用户自服务门户。
服务
大 纲 1.云管理平台的定义、需求、功能与架构设计
2.传统应用云化改造对云管理平台功能设计的新需求
3.容器与微服务化对云管理平台新的架构设计的支撑
4.云管理平台未来的定位展望
5.关于我们
云管理平台（CMP）架构与功能设计 牛继宾
CMP建设案例与对应用支撑带来的新需求
某运营商私有云1500台服务器规模支撑核心交易系统、BI系统
某国家园区私有云200台服务器规模支撑渲染、电商平台等系统
某制造业私有云500台服务器规模支撑大数据平台系统、高性能计算、设计等平台
某运营商公有云10000台服务器规模支撑企业客户的公有云、专有云建设
云资产管理应用云化与上云支撑
传统企业应用分类
我们部署一个IT系统，最终的目的是为了解决传统的问题，所谓把线下业务线上化，这些业务最终的服务对象是数据。
数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
当然还有其他的业务类型，比如银行或者运营商的每月出账系统，这种系统是一种批处理系统，但是实时性跟所谓的数据分析处理不是一个概念，也不在一个层级。这种应用我们暂时不考虑。
联机事务处理类应用云化需求
分布式异构关系数据库
微服务化的应用服务层
服务总线、流程编排、事件驱动、消息管控
用户交互层
分布式数据访问层 分布数据访问代理
数据集成服务
......应用1 应用3应用2
分布式文件系统
内存数据库分布式缓存
DB
ORACLE MySQL
非结构化数据
NoSQL
直销渠道呼叫中心 其他线上渠道电子渠道营业厅 社会渠道
. . .
数据访问服务 事务管理服务 数据一致性管理
服务编排层
应用4 应用5
Web 手机APP
APP
DB
WEB
传统应用 云化后应用
联机事务处理类应用云化需求－关键点1
通过应用与数据分离和集群化部署，实现系统快速扩容、处理能力灵活水平线性扩展、故障自动隔离。对于独立的应用主机和成对的数据主备副本可以进行灵活弹性伸缩。
应用节点1
应用节点2
负载均衡
50%50%
应用节点1
应用节点2
应用节点3
负载均衡
34% 33% 33%
扩容节点3 应用节点1
应用节点2
应用节点3
负载均衡
34%33% 33%
应用节点1
应用节点2
应用节点3
负载均衡
0%50% 50%
节点1故障
弹性伸缩特点
• 在线快速扩容：系统扩容操作低耗时、无数据迁移、服务不间断
• 处理能力线性扩展：系统处理能力可以通过新增节点近线性提升，实现高吞吐、高并发处理能力，应对业务爆发式增长
• 故障自动接管：集群可以自动发现故障节点并调整任务调度策略，在不影响处理的同时接管故障节点，保持系统高可用
系统弹性伸缩
联机事务处理类应用云化需求－关键点2
将紧密耦合的大应用模块化拆分为多个模块化小应用，通过资源池提供系统
资源的整体利用率，并将拆分后的子模块部署于资源池（后来我们搞Docker的
称之为微服务化）。当硬件资源实施池化后，才具备了支撑OLTP类应用的弹性
伸缩，实现硬件的按需分配的基本需求，充分提高资源利用率。
接入层：接入层在负载器之后，负责用户WEB请求接入层，实现在X86上的部
署。
应用层：应用层由tuxedo、Websphere、Weblogic等中间件及web中间件
承载，逐步向J2EE、X86体系转移。
数据层：主要承载在ORALCE数据库上，向MYSQL/NOSQL数据库做尝试性
迁移，引入分布式数据库。
X86集群化部署
联机事务处理类应用云化需求－关键点3
对不同业务的数据、不同类型的数据进行有效规划部署。通过某种特定的条件，将存放在同
一个数据库中的数据分散存放到多个数据库上，实现数据分布存储，通过路由规则路由访问特定
的数据库。分配方式包括：
Ø 垂直(纵向)拆分：将数据库表按业务、功能拆分到不同的数据库表，比如分为客户资料库、订
单库、资源库、资料库等，这种方式多个数据库之间的表结构不同；目的是降低业务之间的影
响，减少系统承载压力。
Ø 水平(横向)拆分：将同一个表的数据进行分块保存到不同的数据表中，这些数据库中的表结构
完全相同
拆分以后，带来的问题即需要：
ü 对外提供统一访问，对应用屏蔽数据访问复杂度。
ü 数据访问层提供数据互访能力，拆分访问合并返回。
所以需要构建统一数据访问引擎，或者数据路由层（Data layer层）。开源的比如有Hibernate
Shards 、Ibatis-Sharding，淘宝TDDL等。
合理规划实现数据分布式部署
联机事务处理类应用云化需求－关键点4
数据平台化是指通过应用架构和数据架构的重新梳理、规划与调整，将业务处理中的业务
数据和状态数据与应用分离，实现应用的轻量化、无状态；构建统一的数据访问层，实现数据
的共享访问。数据平台化是数据处理水平线性扩展的前提和基础。
数据平台化特点
ü 应用轻量化：缩短开发周期，提升新业务响应速度；
ü 应用无状态：实现应用的同质化，应用层处理能力的独立扩展，实现应用灵活调度和分配；
ü 数据共享访问：逐步实现数据集中访问，跨地市的流量共享、流量统付、流量转移业务能够
更高效支撑。
统一数据访问引擎
…应用层
数据层
物理数据库 内存数据库 NOSQL数据库 数据缓存
应用程序1应用
程序1
应用程序1
应用程序1应用
程序1
应用程序2
应用程序1应用
程序1
应用程序n
文件系统
数据平台化
联机分析处理类应用云化需求
混搭架构：采用多种技术架构建设数据中心；新技术的逐渐成熟，现有技术架构的逐渐演进
Ø垂直混搭架构：形成多个相互独立的信息孤岛；缺乏可行的系统演进路线
Ø水平混搭架构：
• 企业级数据云平台：逐渐实现企业内数据的统一存储，承载数据的加工计算；未来提供
企业数据的统一存储和计算能力
• 数据仓库、集市和挖掘库：计算逐渐迁移到云平台实现轻载化；直接从云平台加载应用
结果数据，实现上层应用的兼容性
• 流处理平台：实时计算结果存储到云数据平台，可通过能力开放平台的消息中间件直接
供应用访问
数据仓库
企 � 级汇总数据
企 � 级数据云平台
分析挖掘数据
企 � 级汇总数据
数据挖掘库
指标模型数据
企 � 级基础数据
企 � 级汇总数据
实时流处理平台 实时流处理引擎 分布式内存数据库
数据集市
企 � 级基础数据
企 � 级汇总数据
专题集市数据
企 � 级分析挖掘数据
专题模型 应用模型
数据中心混搭架构
联机分析处理类应用云化需求－关键点1
Ø M/R计算引擎：用HDFS文件保证每一步计算结果，避免硬件故障导致重头执行
• 优点：可靠性高；
• 缺点：数据处理任务是一系列M/R任务的串行执行，输入和输出都是HDFS文件，导致频
繁的磁盘I/O，执行速度慢
• 局限性：原始单一的编程模型和数据结构，导致开发效率低，限制更多应用的产生
Ø Spark计算引擎：RDD是分布式内存的抽象
• 优点：执行效率比起M/R提升100倍以上；提供丰富的操作算子增强编程能力，简化应
用开发
• 缺点：对内存等资源要求高；可靠性不如M/R
Ø Yarn实现资源调度和分配：一个节点上可同时执行M/R和Spark任务，资源相互隔离、执行
互不干扰
数据计算引擎开源化
联机分析处理类应用云化需求－关键点2
Ø建设现状：传统小机+ORACLE数据库和新建的MPP数据库两种建设模式
Ø演进策略一：用MPP数据库来取代小机+ORACLE数据库
Ø演进策略二：用数据云平台+开源MYSQL/PGSQL集群来代替小机+ORACLE数据库
• 数据云平台完成所有的后台计算
• 前台数据库集群提供结果数据的存储和SQL访问能力
经分应用 报表应用 智能营销 前台库
应用层
DWDDW
ODS
企业数据云平台 ST
mysql/pgsql mysql/pgsql mysql/pgsql mysql/pgsql
访问代理层
数据集市云化建设
联机分析处理类应用云化需求－关键点3
Ø传输的实时化：支持MQ等分布式实时消息传输机制
Ø基于内存的计算：数据不落地，避免海量数据的两次重复加载
Ø计算的轻量化：清单级的过滤、排重、规则化，更多的计算任务由大数据存储和计算平台来完成
Ø分布式并行执行：高可用性、分布式调度、资源分配；
Ø技术实现：Kafka+HDFS+MR/Spark
数据ETL云化建设
应用云化与应用支撑对CMP带来的需求与功能升级
1.CMP需支持弹性伸缩2.CMP需引入微服务的管理与支撑框架，来解决大模块拆分为小模块的问题3.应用上云以后，需要对产生的监控数据做更多的存储与分析4.需支持大数据类、开源数据库类等开源组件对接与管理
调度
自服务门户 管理员门户
用户/组织/鉴权SAS
监控/采集/告警API
VC采
集器
实时数据处理
MongoDB
SNMP
采集器
Zabbix
采集器
数据分析API(报表，统计，预测)
监控系统
统一API
服务目录
工单管理
流程管理
服务管理
计量计费
运营管理系统云服务API
虚拟机编排
网络管理
镜像管理
实例管理(VM/Disk/
VPC)
云服务抽象API
openstack适配器
cloudstack适配器
vmware适配器
公有云适配器
虚拟化计算管理系统
云管理API
物理机管理
存储管理
网络管理
混合云管理
资源管理系统RabbitMQ
消息
用户/鉴权
监控目标
应用采
集器
离线数据处理
Hadoop
多数据中心管
理
Docker＋Kubernetes
编排管理
开源组件服务
服务发现与注
册
镜像管理
弹性计算子系统
弹性伸缩
微服务管理
运营门户
新增功能1－虚拟机编排
应用平台引擎
运营管理平台
管理系统 业务系统
RESTful接口
单向通信
应用设计器
任务管理
实例管理
部署软件
磁盘管理
系统监控
应用监控
配置管理资源管理平台块存储子系统
网络管理系统
虚机硬盘系统
软件资源系统
应用管理平台门户
应用报表
应用设计
应用实例化引擎
机器1
SFD
机器2
SFD
机器3
SFD
新增功能2 - 虚拟机弹性伸缩
Ø 云平台自身具备调度能力，可以通过配置调度规则，根据应用镜像进行弹性调度。
NGINX(云平台
提供)
IIS IIS IIS IIS
Controller
Query Query Query Query
网络支撑客服WEB
系统
分布式数据检索系统
云平台
云平台资源池
云监控Scaling策略管理
Scaling策略管理
采集IIS性能 采集数据查询与索引性能
资源调度
1
2
3
2
业务查询数据
1
网络支撑客服WEB系统基于负载的实时动态调整
根据WEB服务器的负载情况，动态的创建和销毁WEB服务器。通过对计算资源量的调整，应对不同的业务量。做到资源的高效利用。
网络支撑客服检索和查询系统基于业务能力的动态扩容
不做实时动态调整。根据系统处理的数据量、处理压力、处理速度等等综合指标，进行以扩容为主的调整。即先提供较少的VM数量，满足当前业务需求。当业务数据量增大满足一定条件后进行动态扩容。周期调整。
新增功能3 － 微服务治理模块
REST API
微服务管理实现
服务注册 服务发现 服务降级 服务升级 服务调度 服务配置
MySQL微服务管理数据库
服务表 服务元数据表
微服务治理Portal（集成到资源管理门户平台）
服务注册 服务发现 服务降级 服务升级 服务调度
服务配置
用户权限表弹性计算子系统
新增功能4 - 弹性计算子系统
Ø 资源调度:通过Mesos、Kubernetes软件资源调度调度框架调度底层物理机、虚拟机、容器等的CPU、内存等资源。
Ø 资源分配：通过Marathon\kubernetes等任务调度框架与资源调度模块交互进行资源二级调度
Ø 资源消费：服务集群根据2、3分配的资源与任务使用底层资源
CMP集群池容器A
服务集群开源应用服务 商用服务 大数据服务
tomcat…
kafka…
Redis/SQLfire…
ORACLE（Weblogic…）
IBM(Websphere…)
……
Hadoop
……
Spark
容器B 虚拟机 物理机
任务调度与服务管理
Kubernetes
….应用框架
资源调度Hadoop/yarn Kubernetes
mesos
应用、能力开放
资源调度
资源分配
定义运行环境
资源消费
服务能力
①
②
③
④
⑤
应用 OpenAPI
新增功能5 – Hadoop历史数据分析
集群1
集群2
服务器
存储4
……
基本信息
CPU数据
存储数据
网络数据
业务关联数据
报警数据
HDFS
监控数据
清洗、转换规整、建模
算法模型
成熟的算法模型
大 纲 1.云管理平台的定义、需求、功能与架构设计
2.传统应用云化改造对云管理平台功能设计的新需求
3.容器与微服务化对云管理平台新的架构设计的支撑
4.云管理平台未来的定位展望
5.关于我们
云管理平台（CMP）架构与功能设计 牛继宾
微服务管理
Dubbox
各个微服务独立部署，保持服务的原子性。
门户后台
自服务云门户
用户服务
运营服务
运维管理
指令处理
服务拆分
现状：
门户后台Java
运营管理域服务
用户
订单
产品
流程
工单
运维管理域服务
告警
日志
监控
产品支撑域服务
VPC服务
指令
运营管理前台自服务前台
云主机
块存储
…
资源池
RMS
目标：
• 将大服务拆分出多个原子服务• 各个服务的关系是平级、独立部署，支持分布式
资源池资源DB
wocloud
运维DB
RMS
云主机服务
块存储服务
… 资产
业务
工单
运维管理前台
REST API
RPC
CMP的微服务化改造
问题：• 服务臃肿：只有两个服务 用户服
务、运营服务；运营服务耦合了初订单服务外的其他的功能，如计费、AZ配置设置等。
• 开发测试团队分工不明确，给 升级任何一个功能点，都需要对整个模块进行重构，不利于代码的升级与部署。
CMP微服务化－系统架构
一、两个分离：
• 客户交互与业务逻辑分离；
• 应用与数据分离
二、微服务化：
• 具备“高内聚、低耦合”的特
征，实现中心和数据的自洽。
微服务化是架构调整的关键手
段，不同服务的架构特征是相
同的，技术是相似的；
三、分布式：
• 通过应用与数据分离， 实现
应用的无状态化， 支撑应用
服务的分布式架构， 实现应
用服务弹性伸缩和水平扩展。
• 通过在各层采用分布式缓存，
提升服务响应速度；
服务
管理层
能力开放平台微服务管理平台
应用
服务层
门户前台
JS用户自服务 运营管理 运维管理
用户管理
订单管理运
营管理域
统计报表
流程管理
工单管理
产品管理
门户后台
Java
数据存储层 MySQL MongoDB RedisHbase
运维管理域
告警管理
资源池管理
日志管理
资产管理
资源统计
业务管理
监控管理
工单管理
产品支撑域
产品支撑 产品运维
云主机
块存储
VPC
负载均衡
RDS
云主机运维
块存储运维
VPC运维
负载均衡运维
RDS运维
产品开通（指令）
缓存缓存
服务注册 服务发现
用户自服务 运营管理 运维管理
CMP微服务化－运营管理平台
REST API
运营管理API
用户管理 订单管理 产品管理 工单管理 流程管理 运营报表
微服务管理
运营管理服务
用户管理 订单管理 统计报表流程引擎工单管理产品管理
MySQL运营管理数据库
用户表 订单表 工单表产品表
运营管理门户
用户管理
用户信息管理
订单管理
订单查询
产品管理
产品目录
属性管理
产品配置管理
属性分类
工单管理
我的工单
工单审核
系统管理
流程管理
运营报表
用户统计
资源统计
产品统计
RPC
CMP微服务化－资源管理平台
REST API
微服务管理
资源管理门户
基础运维
资产管理
配置管理
日志管理
运维报表
故障告警
性能管理
安全管理
通用主机安全
Hypervisor管理
数据安全
业务安全
网络安全
虚拟机安全
SLA管理
备份管理
自动运维
资源池管理
资源模版管理
资源实例管理
资源调度管理
资源监控管理
资源计量管理
资源池配置
资源管理服务
监控管理 告警管理 资源统计资源池管理 资产池管理日志管理 业务管理 工单管理
资源管理API
监控管理 告警管理 日志管理 资产管理 业务管理 资源池管理 工单
RPC
MySQL资源管理数据库MongoDB Hbase ES
监控数据库 日志数据库 资产表告警表 业务表 工单表资源池表
CMP微服务化－云产品支撑
产品及支撑服务
指令 云主机 产品B负载均衡VPC块存储
产品后台Java
云主机 块存储 VPC 负载均衡 产品B
门户前台JS
用户自服务 运维管理
云主机CMS 云主机工单 云主机控制台 云主机仪表页 云主机监控UI
产品BCMS 产品B工单 产品B控制台 产品B仪表页 产品B监控UI
RPC
REST API
运营管理服务用户管理
订单管理
工单管理
产品管理
资源池
RMS
云主机 产品B
监控／日志采集系统
产品B云主机
运营DB
资源DB
资源管理服务
资源实例管理 资源调度管理资源监控管理 资源池配置 资源计量管理
产品数据库
MySQL
指令表 云主机表
VPC表块存储表
负载均衡表 产品B表
微服务管理
CMP微服务化－云产品开通流程
微服务管理
指令 云主机
产品及支撑服务
产品B负载均衡VPC块存储
产品后台Java
云主机 块存储 VPC 负载均衡 产品B
门户前台JS
用户自服务 运维管理
云主机CMS 云主机工单 云主机控制台 云主机仪表页 云主机监控UI
产品B CMS 产品B 工单 产品B 控制台 产品B 仪表页 产品B 监控UI
RPC
资源池
RMS
云主机
监控／日志采集系统
云主机
1 请求发起
2 订单
REST API
3 开通处理
4 开通指令
7 数据入库
资源开通
6 数据采集
资源管理服务
资源实例管理 资源调度管理资源监控管理 资源池配置 资源计量管理
5
资源DB
运营管理服务用户管理
订单管理
工单管理
产品管理
运营DB
产品数据库
MySQL
指令表 云主机表
VPC表块存储表
负载均衡表 产品B表
CMP微服务化－平台监控、采集、告警
监控数据库
MySQLceilometer 阈值告警
data transfer
监控管理
监控目标管理
实时数据处理
告警管理
HypervisorHypervisor
VM VM
Hypervisor
VM VM
Hypervisor
VM VM VM监控代理
监控代理
Zabbix 采集管理
Zabbix 数据
库MySQL
监控代理 监控代理
产品B监
控采集器
服务器监控 服务器监控 服务器监控 虚拟机监控
CMP微服务化－平台日志采集与处理
产品A日志采集器
Logstash
Elastic Search Cluster加载日志
日志管理
API
产品A日志采集器
产品B日志采集器产品B日
志采集器
Nova计算
Cinder存储
Neutron网络
Glance镜像模板
存储阵列 分布式存储 本地存储 Open vSwitch 分布式存储
云管理平台
rbdiSCSI File
rbd
加载日志
OpenStack
运营管理 运维管理
门户
CMP微服务化－跨系统模块关系图
门户后台Java
门户前台JS
运营管理域服务
租户管理
订单管理
产品管理
流程管理
工单管理
资源管理域服务
告警管理
日志管理
监控管理
产品支撑域服务
指令服务
运营管理前台自服务前台
云主机
资源池
RMS
云主机服务
…
资源池管理
业务管理
工单管理
运维管理前台
4A
用户及权限
4A前台
云主机
运营门户后台
自服务后台
……
运维门户后台
CAS
查询
4A门户后台
云主机 云主机
云主机服务
REST API
Dubbo API
CMP微服务化－达到的效果
移动互 联网 时代 的特 征就 是快 ，产 品的 决策快、推 出快 、迭 代快 、变 革快 ，快 能抓 住机遇、掌握主动。
生态变化
产品应用变化
渠道变化
商业模式变化
客户行为变化
快
DevOps
开发
运维QA
阶段 要求
开发业务架构：多中心、能力开放
技术架构：SOA、微服务、技术组件标准化/服务化
QA持续集成
自动化测试
运维快速发布、滚动升级、灰度发布、弹性伸缩
开发、测试、生成环境的标准化
流程
方法
工具
大 纲 1.云管理平台的定义、需求、功能与架构设计
2.传统应用云化改造对云管理平台功能设计的新需求
3.容器与微服务化对云管理平台新的架构设计的支撑
4.云管理平台未来的定位展望
5.关于我们
云管理平台（CMP）架构与功能设计 牛继宾
CMP未来的发展定位展望
1. 精细化管理，SDN、SDS等的管理，打通编排的所有环节；
2. 计费方向的细化，云是一种基础设施，关于云的计量计费，套餐计算，
折扣与活动等需要更强大的云计费系统；
3. 服务＋应用的一体化管控，从用户系统的接入到对云服务组件的调用，
全流程的管控分析体系，包括对于微服务的云上管控；
4. 混合云管理，私有云与公有云的一体化编排与资源发布，计量计费的协
同考虑；包括类似于云中介的研发等；
5. 行业云、社区云的建设与支撑，特定行业，比如动漫、高校、军工等，
对云平台的服务支撑有特色需求点，比如动漫渲染、高性能计算、人工
智能支撑等（案例）；
6. 大规模节点管理时，考虑结合AI，针对资源池的运行数据进行分析与运
营，形成运维知识的深度学习。
大 纲 1.云管理平台的定义、需求、功能与架构设计
2.传统应用云化改造对云管理平台功能设计的新需求
3.容器与微服务化对云管理平台新的架构设计的支撑
4.云管理平台未来的定位展望
5.关于我们
云管理平台（CMP）架构与功能设计 牛继宾
关于我们
我们是云系统专家；公司两大核心产品：SkyForm CMP和SkyForm ECP满足企业从私有云到公有云、从IaaS层到PaaS层的云计算需求SkyForm CMP管理的服务器数量（项目累加）已经超过10万台；
落地项目：运营商IDC公有云、运营商私有云、虚拟数据中心运营云、园区云、政务云、媒体云、动漫云、教育云、航空制造云、软件研发云等。
关于我们－ISV计划
ISV合作伙伴
运营商行业ISV
SkyForm CMP
其他行业ISV
SkyForm CMP API
• 目的：以协作方式开发能够无缝集成到现有IT基础设施中的技术解决方案，加快项
目交付速度，提高客户满意度。
• 优势：
1. 免费的产品安装包、产品文档和API文档
2. 免费的UI界面代码，可以快速进行定制化修改
3. 免费的产品技术培训、API开发培训和销售培训
4. 免费的产品技术支持，包括400电话支持和远程接入支持
5. 免费的解决方案技术支持
6. 免费的成功案例市场推广 联系人 ：马俊
联系邮箱：[email protected]
联系电话：13911031597
