PhoenixCloud:面向数据中心异构负载的协同资源供应系统

詹剑锋

2012年7月4日

云计算中心负载特征

异构负载聚合: 大规模数据中心资源供应问题的新变化

Motivation

In this paper, we argue for a new twist on the classical resource provisioning problem: heterogeneous workloads are a fact of life in large-scale data centers.

Current resource provisioning solutions do not act upon this heterogeneity.

云计算中心成本分析

服务器购置的开销仍然是大规模云计算中心开销的主导因素

Data source from James Hamilton, VP of Amazon, ISCA 09 Keynote

资源管理新目标

保证Qos前提下，降低服务器购置成本

手段

降低在竞争条件下的尖峰负载

同一时刻需要的资源数量:服务器配置的下界

Power supply and cooling systems也密切相关

已有工作

EC2+ RightScale系统

利用统计复用、 弹性资源供应技术

缺乏主动控制、依赖负载天然的差异特性

相关系统

Reservoir 利用虚拟化和网格技术实现具有成本优势的对于资源和服务透明的在线灵活供应和管理。

Mesos 实现一个分布式环境的资源管理平台，对于Hadoop、MPI等作业进行统一资源管理。

DawningCloud

Lei Wang, Jianfeng Zhan etc. In Cloud, Can Scientific Communities Benefit from the Economics of Scale? IEEE Trans. Parallel Distrib. Syst. 23(2): 296-303 (2012).

PhoenixCloud使用模型

Resource Provider: 资源提供者，拥有资源可以动态的为服务提供者创建运行环境和分配资源。

Service Provider：服务提供者，为用户提供服务，可以根据用户负载动态变化资源数量。

End Users：用户，使用服务提供者提供的服务。

Resource provider

Service provider

End Users

node

Runtime environment

Workload

PhoenixCloud 资源管理

问题抽象 在保证服务质量的前提下，云平台服务提供者和资源提供者如何

通过协作的资源管理机制与策略，实现各自成本的节约。

评价指标 服务提供者

性能 吞吐率

使用成本 资源开销（单位：节点*时）

资源提供者 运行成本

运行时的总资源开销（单位：节点*时）

构造成本 运行时的峰值资源开销（单位：节点）

异构负载的差异

Resource demands in terms of usage mode, timing, intensity, size and duration are significantly different.

Performance goals are different,

异构负载的差异

负载名称 负载构成特征 负载性能目标

Web服务负载/

搜索引擎服务负载

由短请求构成；峰值资源需求远远大于正常资源

需求；请求需要立即响应

并行批处理负载由并行或串行作业组成；资源以独占方式使用；

运行时间通常为几小时且不等；

资源不足时，作业可以排队

Map Reduce负载由输入大小不同的作业组成，输入文件大小决定作业运行时间；资源在不同作业间以非独占方式

共享；

资源不足时，作业可以排队

协同资源供应模型

1. 服务提

供者声明负载资源需求界限：下限LB 与上限

UB

协同资源供应模型

2. 资源提供

者根据系统中空余资源量及服务提供者的资源需求下限LB与上限UB决定是

否允许加入系统运行；

3.如果服

务提供者可以加入，资源提供者为加入系统的服务提供者提供值为LB的初始资源；

4. 协同的服

务提供者具有不同优先级：Web服务负载优先级高；并行批处理及

Map Reduce作业

负载优先级低；

5.服务提供

者根据当前的资源需要或已经制定的定制策略决定何时申请或释放资源。

运行时算法

服务提供者加入管理

运行时管理算法

算法总结

PhoenixCloud系统架构

实验分析

负载 3个科学计算服务

NASA iPSC SDSC BLUE LLNL Thunder

1个搜索负载 匿名搜索引擎的负载跟踪日志

2个WEB服务 WC98 ClarkNet

服务提供者关注的性能指标

,1 1

( )*N M

ui ji j

ERC C T

评价指标

资源提供者关注的性能指标

,1( ) 1,2...,

N

i ji

PRC MAX C j M

TRC ERC MO *MO ACoAR ASD

评价指标

最终用户关注的性能指标

评价指标

Workload SystemPeak Resource Consumption(nodes)

Effective Resource Consumption(node*hour)

Total Resource Consumption(node*hour)

Six traces EC2+RightScale 6162 677190 687441

Six traces PhoenixCloud 5019 563975 571157

资源提供者性能指标

节约18.07%

节约16.92%

实验结果---资源无限

服务提供者性能指标

Service Provider System Number of

Completed jobsAverage Turn Around Time

Resource Consumption

NASA iPSC EC2+RightScale 2603 573 54118NASA iPSC PhoenixCloud 2603 741 36258SDSC Blue EC2+RightScale 2657 1975 35838SDSC Blue PhoenixCloud 2654 2607 32091LLNL Thunder EC2+RightScale 7273 2465 339416

LLNL Thunder PhoenixCloud 7272 2844 288323

实验结果---资源无限

针对三类负载作业延迟增加：29%,24%,15%

节约资源： 33%,10%,15%

资源提供者性能指标节约比例

System Capacity

(nodes)System

Saved Peak

Resource

Consumption

Saved Total

Resource

Consumption

3500 UltraCloudSim 54.67% 20.42%

4000 UltraCloudSim 42.57% 19.72%

5000 UltraCloudSim 46.41% 19.58%

6000 UltraCloudSim 52.68% 20.02%

100000 UltraCloudSim 18.07% 16.92%

节约Peak 50%左右；节约Total 20%左右

资源无限

实验结果---资源有限

资源提供者性能指标节约比例

Workload

Number

Peak Resource

Consumption of

EC2+RightScale

Saved Peak

Resource

Consumption

Saved Total

Resource

Consumption

6 6126 18.01% 17.22%

30 28206 57.60% 15.32%

60 56920 61.14% 16.52%

120 116030 65.54% 16.56%

实验结果---负载聚合

随着聚合负载的数量增大，节约的峰值资源消耗比例增大

资源提供者性能指标及节约比例

SystemPeak Resource Consumption

Total Resource Consumption

Saved Peak Resource Consumption

Saved Total Resource Consumption

PhoenixCloud 78 960 63.21% 57.33%EC2+RightScale_MR 212 2250 0 0

实验结果---扩展至MapReduce

结论

基于统计复用的前提

设计和实现协同资源供应算法

保证Qos的前提下，有效减低数据中心的尖峰负载

极大节省服务器购置成本 和EC2系统相比，最大可节省66%

谢 谢