数据中心战略引领英特尔业务变革 - Intel · 背景英特尔 IT 运营着 56 个数据中心，共约 217,000 台服务器，用于满足超过 106,000 名员工的计算需求。1

白皮书2017年 11月

ITINTEL数据中心战略引领英特尔业务变革

从 2010到 2016 年

我们改进后的数据中心

战略节省了超过 15 亿美

元成本

Shesha Krishnapura英特尔院士兼英特尔 IT 首席技术官

Shaji Achuthan英特尔 IT 资深工程师

Pushpa Jahagirdar英特尔 IT 技术项目经理

Vipul Lal英特尔 IT 资深首席工程师

Raju Nallapa首席工程师

Sanjay Rungta英特尔 IT 资深首席工程师

Ty Tang英特尔 IT 资深首席工程师

要点综述为了更有效地满足英特尔的业务需求同时为内部用户提供最佳数据中心基础设施功能

和创新型业务服务英特尔 IT 全面改革了我们的数据中心战略数据中心转型战略的

最终目标是将英特尔数据中心像自己的工厂那样运行来提供服务即是通过一种严格的

方式部署变更同时全面应用革新的技术解决方案和流程

我们使用三个关键的指标来衡量数据中心转型是否取得成功在限定的开支目标内（成

本竞争力）满足不断增长的用户需求（服务等级协议和服务质量）同时尽量提升基础

设施资产的使用率（运营效率）

从 2010 到 2016 年我们在前期投资和技术的基础上对数据中心战略不断改进因而

获得超过 15 亿美元的成本节省我们的主要成就包括以下几点

bull 推出突破性的分体式服务器设计 (disaggregated server design)支持单独更新CPU

和内存而无需替换其他服务器组件与采购更新整体服务器相比提高了数据中心

的创新速度并节省了 44 的成本

bull 开发了一项名为 NUMA-Booster 的系统软件功能帮助提高了服务器容量

bull 部署超过 13000 块英特尔reg 固态盘用作 ldquo快速交换rdquo 固态盘将服务器容量提高了

27

bull 在产品设计的计算环境中通过五个迭代的高性能计算解决方案共实现了 121 倍

的容量提升和 161 倍的质量提升

bull 采用了新的存储功能加速了存储更新努力提高使用率帮助大幅度成本节省

bull 部署了超过 87000 个每秒 10 GbE（gigabit Ethernet）和 3100 个每秒 40 GbE

的网络端口

在未来三年里我们计划进一步扩展数据中心战略以持续推动数据中心基础设施转

型具体方法是采用具颠覆力的服务器存储网络和数据中心设施技术为业务应用

提供无与伦比的服务质量并降低其总体拥有成本同时继续提高 IT 运营效率

我们的数据中心转型战略对确保英特尔 IT 能持续提供创新高效和具成本竞争力的优

势至关重要实施革新解决方案并追求宏伟的目标这是转型成功的关键因素

ITIntel 白皮书数据中心战略引领英特尔业务变革第 2 页共 18 页

目录

缩略词

DOME

EDA-MIPS

GbE

HPC IaaS KPI

MIPS

MOR

MTTR NAS

NIC NUMA

PUE QoS

RISC

ROI SAN

SLA SSD

TCO

VM

Design Office Manufacturing and Enterprise 设计办公制造和企业

electronic design automation-meaningful indicator of performance per system 电子设计自动化 - 系统性能有效指标

gigabit Ethernet 千兆位以太网

high performance computing 高性能计算

Infrastructure as a Service 基础设施即服务

key performance indicator 关键性能指标

meaningful indicator of performance per system 系统性能有效指标

model of record 记录模型

mean time to repair 平均维修时间

network-attached storage 网络连接存储

network interface card 网卡

non-uniform memory access 非一致性内存访问

power usage effectiveness 电源使用效率

quality of service 服务质量

reduced instruction set computing 精简指令集计算

return of investment 投资回报

storage area network 存储域网络

service level agreement 服务级别协议

solid state drive 固态盘

totat cost of ownership 总体拥有成本

virtual machine 虚拟机

背景英特尔 IT 运营着 56 个数据中心共约 217000 台服务器用于满足超过

106000 名员工的计算需求1 为满足英特尔关键业务职能的业务需求 ――

设计办公制造和企业 (Design Office Manufacturing and Enterprise 简

称 DOME) ―― 并同时尽可能高效地运营数据中心英特尔 IT 实施了为期多

年的数据中心战略演进如图 1 所示

1 在 2017 年九月的数据中心和服务器数量英特尔采用 IDC 的数据中心大小分类来定义ldquo数据中心rdquoldquo面积大于 100 平方英尺用于容纳服务器和其它基础设施组件的机房rdquo

表 1 不断改进的英特尔数据中心战略

2000 年以前

2000 - 2006 年

2006 - 2010 年

2010 - 2013 年

2013 年以后

bull 无集中化战略和所有权

bull 开始从 RISC 迁移到英特尔架构

bull 构建数据中心以支持企业收购

bull 分散式采购和管理

标准化和成本控制

bull 组建数据中心团队

bull 开始数据中心整合工作

bull 完成设计领域从 RISC 到英特尔reg 架构的迁移

bull 标准化数据中心设计

高效增长的基础

bull 以支持 DOME 为中心业务作投资

bull 主动更新服务器和基础设施

bull 虚拟化和企业私有云

bull 存储优化和 IT 可持续发展

改造业务的能力

bull 对 IaaS 的总体拥有成本作整体评估包括设施服务器存储网

络操作系统和中间件软件功能

bull 推出数据中心 MOR以最高的效率和最低的成本推动实际性能提升

bull 采用单位成本模型规划与同行和外部云提供商之间的改进目标和评测

bull 数据中心脉冲指示板用以获取 IaaS 容量和使用率的整体状态从而

支持未来规划与当前改进

专注于资源和能效

bull 将批处理计算能力集中到两个大型中枢

bull 结合高频率服务器和最佳工作负载以支持平台组合

bull 集中管理服务器和资源

bull 将老旧的晶圆制造厂转变成数据中心

bull 定制机架设计以优化空间计算和功率密度

bull 善用环境资源 ―― 采用自然风冷却或蒸发冷却塔水调节数据中心的温度

bull 一流的电力密度和配电系统

bull 突破性的分体式服务器结构

1 要点综述

2 背景

- 应对计算环境挑战

- 根据业务需求调整数据中心投资

4 数据中心战略的独特要素

- 确定关键性能指标和目标

- 借助新投资模型促进大胆创新

- 实施新单位成本财务模型

8 成效源于过去步向未来

- 从 2003 到 2016 年的累积成效

- 从 2010 到 2016 年所取得的成效

- 采用刀片服务器技术降低总体拥有成本（TCO）

15

17

17

数据中心最佳实践汇总

2017 年及以后的计划

结论


应对计算环境挑战过去我们对数据中心的投资集中在改善 IT 基础设施上为实现英特尔业务高速增长奠定基础我们的主要目标是通过

提高数据中心效率和简化基础设施来降低成本同时减少能源消耗和二氧化碳排放来提高 IT 可持续发展能力

在过去的若干年中我们减少了数据中心能源消耗和温室气体排放并同时满足了对数据中心资源的不断增长的需求这

些增长率预计会继续甚至进一步提高

bull 计算容量需求每年增长 30 - 40

bull 存储需求每年增长 35 - 40

bull 网络容量需求每年增长 30 - 40

在不会对服务产生任何负面影响的情况下为了应对这些挑战我们在数据中心投资组合的所有领域（服务器存储网

络和设施创新）制定了目标自 2010 年以来我们大量采用最新的技术（将在本白皮书的后续部分详细介绍）实现了

15 亿美元的成本节省并同时成功支持迅猛的需求增长

根据业务需求调整数据中心投资对于英特尔独特的业务职能而言采用一刀切式的架构并不是最佳方案我们与各业务部门负责人紧密合作了解他们的

工作后选择了投资在垂直式的架构整合解决方案来满足各业务职能部门独特的计算需求

产品设计

设计工程师每周要处理超过 14 亿项计算密集型批量任务每项任务可能需要花费数小时才能完成此外交互式设计

应用对由于在远程服务器上托管这些应用而造成的高延迟非常敏感我们在设计计算数据中心的过程中采用了若干种方

案旨在为支持各种需求包括高性能计算 (high-performance computing 简称 HPC)网格计算集群本地工作站计

算并使用固态盘 (solid-state drive 简称 SSD) 作为 ldquo快速交换rdquo 硬盘单路服务器以及可提高最为繁重的设计工作负载

性能的专门算法提供足够的计算容量和性能2 在这些技术的支持下设计工程师能够以相同的计算容量多处理 49

的任务 ―― 这相当于加快了设计速度和产品上市时间

我们推出自己的突破性分体式服务器设计支持单独更新 CPU 和内存而无需替换其他服务器组件 ―― 这样不但加

速了数据中心的技术创新同时亦意味着我们的产品设计师能立刻从新技术中获益与采购更新整体服务器相比分体式

的服务器可节省 44 的成本

由于设计工程师需要频繁快速地访问产品设计的数据我们没有选择最简单便宜的存储方法相反我们针对高性能计

算需求对集群化性能更高可纵向扩展的网络连接存储 (network-attached storage 简称 NAS) 和高度可扩展的并行

存储进行了投资我们采用存储域网络 (storage area networks 简称 SAN) 来满足诸如数据库等特定存储需求

2 英特尔使用网格计算来实现芯片设计和流片功能英特尔网格计算代表了数千台相互连接通过集群和任务调度软件访问的计算服务器此外英特尔的流片环境使用了高性能计算（HPC）方法对诸如服务器存储网络操作系统应用和监控功能等所有关键组件进行了优化以提高整体性能稳定度和吞吐率如欲了解有关英特尔高性能计算的更多信息请参阅英特尔公司于 2015 年 12 月发布的《供芯片设计所用的高性能计算》一文


工厂制造

在英特尔的工厂制造环境中IT 系统必须 247 全天候可用因此我们支持产品制造的数据中心与工厂共在一地在过去

几年中我们斥巨资制定了的业务持续稳定运作计划即使工厂的数据中心发生了灾难式的故障仍能保持运作这些努

力获得了相应的回报自 2009 年以来再也没有遭遇到与数据中心设施相关的工厂停机事件

我们在产品制造环境中采用了一种业经证明的系统化基础设施部署方法来支持高度稳定和快速实施这种 ldquo完全复制rdquo 方法

首先在单个工厂部署新解决方案在取得成功之后再在其它工厂中实施这套方法减少了升级支持新制程技术的架构所

需的时间并加快了英特尔reg 产品的上市速度该复制方法让我们在各个工厂制造环境中快速部署新平台和应用在13 周

内完成基础设施部署的成功率达到 95如果不采用完全复制方法在相同的时间里完成的部署将不超过 50

办公和企业

为了使企业私有云更为敏捷和提高 IT 业务速度我们实施了按需自助服务模式将供应服务器所需的时间从 3 个月缩短

至按需供应在办公和企业应用的环境中我们将操作系统实例的虚拟化程度从 12 (2010 年) 提高至了 90

与设计环境相比我们的办公和企业计算环境主要使用 SAN 存储同时使用少量的 NAS 存储来支持文件共享

数据中心战略的独特要素我们的数据中心转型战略是借助严格的变更管理方法像英特尔工厂一样来运行数据中心和所有底层基础设施通过采用

革新的技术解决方案和流程我们可在整个行业里保持领先地位并时刻紧跟英特尔业务不断快速发展的步伐

自从 2006 年我们主动更新基础设施采用云计算更新网络追求 IT 可持续发展和整合数据中心以来已经实现了相

当可观的成本节省此外还部署了能够使英特尔关键业务功能 (DOME) 受益的独特解决方案实现了对业务增长和功能

改进的支持我们不断增强战略以使其纳入更多新要素（后续部分将详细介绍）

bull 关键性能指标 (key performance indicator 简称 KPI)我们实施了三个 KPI 并分别为其制定了相应的目标

ndash 服务质量 (quality of service 简称 QoS) 在服务等级协议 (service-level agreement 简称 SLA) 方面使用分层的方

法

ndash 经济高效

ndash 有效地利用资产和容量

我们根据每一年对技术解决方案和流程所做的改进确定可实现的最佳 SLA可实现的最低成本以及可实现的最高

资源使用率我们将针对当年的这种组合称为记录模型 (model of record 简称 MOR)然后根据这些 KPI 设定投资

优先级别以实现 MOR 目标每年我们努力逐步接近 MOR同时在这些因素中取得平衡


bull 投资决策模型专注于 MOR 并对比当前数据中心功能和可达的最高 KPI可帮助我

们划分投资决策的优先级别该方法不像传统的改进思维模式那样仅关注逐步改

进相反我们能够通过更具突破力的创新来增强自身的能力 ―― 如那些已经用于实

施私有云和高效芯片设计计算网格的创新

bull 单位成本财务模型由于能够确定各 DOME 领域的改进指标我们可以对自身评测

并进一步划分投资优先级别

我们相信全新的数据中心成本和投资评估方法加上持续努力满足业务需求促进了更

加积极的持续创新我们的工作提高了英特尔 IT 业务服务的质量速度和效率从而

为英特尔业务创造了持续的竞争优势如欲了解详细信息请参阅 ldquo成效源于过去

步向未来rdquo

确定关键性能指标和目标KPI 提供一种衡量数据中心投资是否有效的方法由于每种业务功能的服务输出各不相

同因此我们分别对各项业务功能评估我们的数据中心投资决策旨在平衡和满足所有

业务需求并同时优化 KPI

服务质量针对每项业务功能对于性能运行时间平均修复时间 (mean time to repair简称

MTTR) 和成本的敏感度我们在服务等级协议 (SLA) 方面使用了分层的方法我们在

这方面的 KPI 目标是满足确定的分层级别的特定性能 SLA 需求例如对于业务最

为关键的应用目标是提供比二层应用（非最关键）更高的性能 SLAIT 服务质量的

终极目标就是 IT 不会对业务产生任何负面影响

有效资源使用率

调整后的数据中心战略反映了我们在看待资源使用率方面的重大转变过去我们仅从

IT 资产（包括计算存储网络和设施）的繁忙程度或负载情况来衡量它们的使用率

例如如果服务器在 90 的时间以峰值容量工作我们即认为该服务器的使用率为

90如果分配了 80 的可用存储我们认为存储使用率为 80

相比之下我们现在关注的是资产的实际输出即有效使用率例如如果英特尔设计

工程师启动了 100 万项设计任务因此使得服务器非常繁忙但是这些任务中有三分之

一在完成之前由于没有足够的可用存储而终止则计算容量的实际有效利使用率较低

仅为 66或者如果用户仅消耗了分配的 10 GB 存储资源中的 4 GB其余虽然已

分配但实际上被浪费的 6 GB 并不代表资产获得的有效利用我们 KPI 是在所有 IT 资

产中实现 80 的有效利使用率

英特尔 IT 数据中心指示板为了能更加有效地监控和管理全球数据中心

网络我们开发和部署了一款集成的商业智

能指示板这款 BI 工具是仿照英特尔工厂

所用的指示板制造的

通过突出显示当前状态和优化机会该指示

板将能够帮助我们监控关键性能指标 (key

performance indicator简称 KPI)因此

能够提供全面信息来支持提升符合我们数

据中心战略目标

例如该指示板能够报告若干种数据中心

资源的有效使用率包括电子设计自动

化 ndash 系统性能有效指标 (electronic design

automation-meaningful indicator of

performance per system 简称 EDA-

MIPS)原始和已用存储容量以及设施空

间功耗和散热情况该数据能够按照业务

功能或数据中心来报告统计数字且能够用

于比较多个数据中心的 KPI 和指标下图显

示了该指示板的示例

有效利用的 MIPS 设计

英特尔 IT 数据中心指示板提供了数据

中心资源的整体视图能够帮助我们

跟踪 KPI 并发现优化和改进的机会

100

75

50

821

25

0


表 2 每项业务功能的服务单位

功能服务单位

设计 EDA-MIPS 单位成本

办公和企业操作系统实例单位成本

制造集成工厂计算环境单位成本

各个服务部门的成本

如表 2 所示服务功能不同能够测量的服务单位也不同单位表示我们为企业用户

提供的容量

对于这个 KPI我们的目标是将数据中心每年的成本效率提高 10这并不意味着

每年的开销将更低而是意味着将能从花费的每一美元中获得更高回报例如减少

花费在相同服务单位上的成本或者投入相同的资金但提供更多的服务

借助新投资模型促进大胆创新

英特尔在产品制造环境中确定了久经考验的方法在处理多代制程技术中均取得了显

著的成功在此基础方法之上我们采用了一套全新的数据中心投资决策模型将当

前的数据中心能力与 ldquo可达的最优成绩模型rdquo 进行比较以指导我们做出具有最高影响

力的投资

过去英特尔数据中心规划团队通常会评估当前能力和资金情况在此基础上生成一

份记录计划这一计划推动了我们逐步改进现有能力我们的目标是尽量降低总体拥

有成本 (total cost of ownership简称 TCO) 和实现积极的投资回报 (return of

investment简称 ROI)

相比之下MOR 不会考虑目前内部的条件限制相反它能够指出我们为支持业务目

标在理想的情况下应当有的最少资源从而基于现有的技术来显示最佳状态如何

此全新模型设立了一个可达的最佳性能标准让我们能够

bull 确定哪些投资将能够获得最高的投资回报 (ROI)

bull 发现使用具颠覆力的基础设施技术和革新的解决方案能够带来的优势从而为基础

设施的各方面提供更出色的数据中心解决方案

bull 制定数据中心位置决策包括确定需要整合升级或关闭的数据中心

使用新模型关注特定领域中有限的可用资源以实现最大的整体收益

如图 1 所示由于技术始终在变因此峰值性能也在变化可达的最佳性能亦能通过

不断创新而得到提升我们知道由于受到资源限制的影响尽管 HPC 环境与该目标

非常接近实际上却无法实现这个全新投资模型所设定的标准不过该模型显示了

我们的目前状况与目标之间的差距然后我们可以按照功能方面存在的最大差距

划分优先级别把投资预算先分配给可实现最高价值的投资项目

高

图 1 新数据中心投资模型鼓励创新并实现显著的

业务成效

关键性能指标

低

数据中心可达的最优成绩（记录模型）

弥补差距

当前的计算容量（记录计划）

时间


实施新单位成本财务模型

我们将财务模型从基于项目和组件计数演进到更为整体的单位成本模型例如之

前采用的是 ldquo中断修复rdquo 的数据中心改造方法过去我们通常升级单一项数据中

心设施或设施的一部分我们仅考虑项目成本和该投资的预期投资回报而不从整

体上考虑该投资对服务单位输出的影响相比之下现在我们关注的是每服务单位

的总体拥有成本 ―― 使用的是所提供的服务的整体数据中心单位成本堆栈这个

成本堆栈包括所有与提供业务服务相关的成本要素现在在评估投资的过程中还

将所有数据中心的全球视图考虑在内

如图 2 所示需考虑的六个主要成本类别分别是网络员工数量服务器设施

操作系统与管理以及存储备份和恢复这些成本加在一起然后除以该环境的

合适服务单位的总数就可得出服务单位平均成本

基于服务的单位成本支持我们评测自身的绩效和划分数据中心投资的优先级别确

定基于服务的单位成本还支持测量和互相比较各数据中心的性能从而发现哪些数

据中心性能低并提供工具帮助我们决定是否升级或整合性能低下的数据中心

为展示新的基于单位的成本模型的工作原理图 3 比较了设计办公和企业环境的

成本数据相较于产品设计办公和企业的员工数量类别在总成本中所占的百分比

更大相比之下服务器作为其中的成本要素其在产品设计环境中比在办公和企

业环境中更重要通过了解每种环境中的确实单位成本和各成本的明细将有助于

我们针对各个计算环境开发优化的解决方案以对成本效率和投资回报产生最大的

影响力

+

++ +

+

divide

=

网络

员工数量（企业员工和外聘顾问员工）

服务器设施

操作系统和管理

存储备份

和恢复数据中心总成本

各个 DOME服务的单位总数

服务单位平均成本

图 2 我们先考虑所有成本类别然后除之以该环境的

单位数得出了数据中心单位成本例如办公和企业环境中设计和操作系统实例的电子设计自动化 - 系统性

能有效指标 (EDA-MIPS)

28

10

3

13

39

7

34

19

22

8

152

2016 年基础设施即服务成本

设计办公和企业

图 3 通过了解总体单位成本和每种企业环境中的

各成本类别的具体数字能够帮助我们更容易选

择最能降低成本的 IT 投资

员工数量（企业员工和外聘顾问员工）设施服务器操作系统和管理存储备份和恢复网络


成效源于过去步向未来本部分将详细介绍过去几年我们的数据中心战略在改进与成本节省方面所实现的

成效过去十年由于在数据中心计划取得了巨大成功我们要在此基础之上继续

前行因此此处展示的成效有一部分是逐渐累积起来的而另一部分是过去三年

内所取得的是实施新 MOR 战略所带来的直接成效调整后的数据中心战略将能够

帮助我们为英特尔客户产品和企业收购的未来发展提供支持同时提升 IT 向英特

尔各业务部门提供的服务的质量速度和效率

从 2003 到 2016 年的累积成效过去十年里我们显著提升了数据中心的性能并降低了成本（表 3）

整个数据中心所实现的改进

我们从整体上提升了数据中心的性能和使其更为经济高效

降低数据中心总占地面积

图 4 显示了在过去 15 年中我们如何实现了数据中心设施的整合总占地面积降低了

27而且数据中心设施的数量从 152 个减少到 56个请参阅 ldquo持续的数据中心整

合rdquo了解有关 MOR 战略如何直接实现其中一些成就的介绍

改进整体存储实践

我们重点提高设计环境的有效使用率将资源使用率从不到 45 提高到 70 以上

mdashmdash 目标是达到 80

我们应用多种存储技术在提高了存储效率之际同时降低了成本

bull 分层存储借助一种五层存储方法我们提高了存储资源的有效使用率改进了 SLA

的表现并降低了设计存储的总体拥有成本设计存储的各个层级根据性能容量和

成本进行划分第 1 层服务器拥有最高的性能和最少的存储容量第 2 层服务器提

供中等水平的性能和较大的存储容量第 3 层服务器提供较低的性能但却强调容

量而第 4 和第 5 层服务器拥有最高的容量但却用于低频访问和只读存档数据

我们改变了战略使用基于站点的计算量来确定每个存储层级所需的效率这样可以

提高我们满足质量 SLA 和成本目标的能力

100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56

占地面积（千平方英尺）

占地面积

设施数量

2003 - 2017 年间数据中心

占地面积和设施数量越小越好

设施数量

图 4 在过去十年里我们在满足不断增长的计

算和存储资源需求时将数据中心占地面积降低

了 27

整个数据中心 bull 降低了数据中心总占地面积

bull 改进了整体存储和网络实践

设计环境 bull 提高了设计计算和存储的效率

bull 第五代高性能计算

bull 使用 NUMA-Booster 提高设计效率

bull 使用英特尔reg 固态盘提高设计效率

办公和企业环境 bull 提高了办公和企业计算与存储的效率

表 3 2003-2016年数据中心所实现的改进


bull 横向扩展存储我们正在实施从分散的纵向扩展存储模型向集中的横向扩展模

型的战略转变横向扩展存储可以更有效支持针对性能和容量的按需请求此

外横向扩展存储支持透明数据迁移功能同时可以更加有效地利用通过使用

诸如重复删除和压缩等效率技术释放的空间

bull 存储更新周期为了改进性能和降低成本我们正在实施一个基于效能的存储

更新周期通过采用性能和能源使用效能都更高的服务器从而降低资本成本

和费用成本例如更有效节能的服务器可以降低数据中心的功耗用一台功

能更强大的服务器替换多台老式的服务器可以降低数据中心的占地面积同

时为我们的用户提供更高效率但每 TB 相同或者更低的存储成本

bull 重复数据删除通过采用新的存储技术以及服务器及时更新的承诺我们使

用最新一代的英特尔reg 至强trade 处理器这些处理器提高的数据处理能力使我们

可以在主存储服务器上删除重复的数据从而释放了超过 15 PB 的容量让用户

使用

改进整体网络

为了满足数据中心增长对英特尔网络提出的更高要求英特尔 IT 正在将数据中

心网络架构从多个 100 MBS 和千兆位以太网升级至万兆位以太网老式缓慢

的连接已经不能支持英特尔不断增长的业务需求向 10 GbE 端口的过渡开始于

2010 年目前我们部署了超过 87000 个 10 GbE 端口全新的 10 GbE 数据

中心结构设计符合我们当前每年 40 的网络容量增长需求（参阅图 5）对任

何有业务价值的特定用例我们亦已开始为其部署使用40 GbE 端口

在过去 6 年中除了增加网络容量外我们还提高了网络端口的有效使用率

mdashmdash 从 40 提高到 68（见图 6）更高的使用率意味着我们不必额外购买

端口也能够满足网络容量需求的增长

我们还着重于令数据中心更为稳定可靠在过去我们使用基于第 2 层技术的

大型设备现在正向基于第 3 层的网络迁移这种全新的架构支持在主路径

和次级路径上同时使用所有可用的带宽因此除了可以更有效地使用我们的网

络容量外也可以消除在英特尔数据中心内的生成树协议 (spanning-tree

protocole) （这种协议无法针对大型网络进行有效扩展）由于互联网使用的是

基于第 3 层的可扩展架构因此在英特尔的数据中心中使用这种理念将会使我们

的数据中心网络更容易扩展和更具弹力此外我们正在使用诸如重叠多机

15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量

图 5 实施 10 GB 以太网 (GbE) 数据中心结构设

计可以适应当前的容量增长同时满足未来不

断增长的网络需求

端口的有效使用率越高越好

使用率

图 6 我们一直在持续提高英特尔 IT 网络的有

效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995

上市日期和英特尔的采用日期

年份

速率（GbE）英特尔的采用日期上市日期

图 7 每当有更高速度的网络技术或产品面世

英特尔 IT 就会马上采用

箱链路聚合 (multi-chassis link aggregation简称 MLAG) 和 tunneling 等其他技

术在第 3 层拓扑结构之上在整个数据中心中拓展第 2 层

如图 7 所示我们倾向于在更高速度的网络技术上市时马上就能用到这种技术从

2015 年开始便在数据中心采用 40 GbE希望可以在 2017 年底之前在一些数据

中心中采用 100 GbE 技术从而与网络需求保持同步发展

在 2015 年我们还对产品设计所用的数据中心架构做出了两个主要的更改以降

低对基础设施的过度订购并将基于机箱的交换机换成固定外形的交换机以节省

成本和提高效率未来三年我们计划将计算机和文件服务器的过度订购率从 81

分别降至 61 和 31同时还将计划通过模块化设计使用固定外形的交换机从而

实现 70 的设计数据中心转型

产品设计计算环境方面的改进

芯片设计在英特尔的业务中占有较大的比重为此我们在设计计算的多个层面上

应用了我们的数据中心战略

更高效的设计计算和存储

我们的设计环境中存在各种各样的挑战其中最重要的一个就是高速增长的服务

器和存储计算需求正在按 30-40 的速度逐年增长同时存储容量需求也在

35-40 的速度逐年提高（见图 8）

内核数量订购将会持续增加我们计划根据内核的数量机架的数量功耗和满足

系统性能有效指标 (MIPS) 需求的程度来衡量数据中心的性能

第 5 代 HPC

设计英特尔reg 微处理器需要执行大量的计算流片是芯片设计流程的最后一个步骤

每代芯片制程技术的流片对计算能力的要求持续迅猛增长英特尔 IT 采用 HPC 来

应对如此庞大的计算规模在计算性能稳定可靠与成本方面均实现了显著改进

4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117

计算机与存储需求

设计服务器总数 (1K) EDA MIPS (10K) 原始存储 (PB)内核数 (10K)

2009 2010 2011 2012 2013 2014 2015 2016

图 8 尽管计算和存储需求在持续增长我们的

产品设计数据中心正在使用强大的英特尔reg 技术

来满足需求在 2013 年迁移至的新款服务

器后显示了数量的增长不过它的密度极高可支持在每机架中安装 140 -180 台服务器在

2016 年我们开始转向使用一种新的设计 mdashmdash分体式服务器 mdashmdash 让我们可以在一个机架里安

装 280 台


如图 9 所示从 2005 到 2016 年间我们的 HPC 解决方案已经实现了 121 倍

的设计计算增长现在正在使用第 5 代 HPC 解决方案并将随着英特尔制程技术

的不断发展持续开发新的 HPC 技术该图还展示了我们对质量的承诺借助严格

的变更管理方法（基本像英特尔工厂一样来运行我的数据中心）将影响流片的计

算问题数量减少了 161 倍

突破性创新的分体式服务器降低更新成本

如果只是需要使用更先进的 CPU 和 DRAM将整个服务器更换的意义不大就正

如当需要一个更节能和强大的灯泡时更换整个灯具实在太大费周章了如图 10

所示英特尔 IT 开发了一个分体式的服务器体系结构自 2005 年刀片服务器引

入以来的第一个主要服务器创新 mdashmdash 将 CPUDRAM 模块和主板上的 NIC 驱动器

模块分开将服务器重新设计成为模块化使我们能够单独将 CPUDRAM 模块升

级同时保留尚未需要退役的其他组件（如风扇电源电缆网络交换机驱动

器和机箱）

分体式设计提供下列优点

bull 无需更换完好的部件

bull 无需重新安装操作系统

bull 将服务器更新的成本最少降低 44（见图 11）

bull 减少技术人员达 77 花在服务器更新的时间

bull 服务器更新的物料装运重量减少达 82

我们的分体式服务器结构有可能戏剧性地改变世界各地的数据中心执行服务器更

新的方式导致显著的更新成本节省和快速利用最新计算技术的机会这项技术

已经在位于加利福尼亚州圣克拉拉世界上最低的功耗使用效率（power usaage

effectiveness简称 PUE）106 的英特尔数据中心使用

能够减少在服务器更新上所花费的时间和资金意味着英特尔可以加速更新将最

先进的基于英特尔至强处理器技术引入英特尔的数据中心使用由此更有效提升

数据中心效率和支持英特尔的芯片设计工作

HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05

英特尔reg 流片计算指标HPC 环境采用前后对比

高

低

使用 HPC之前

每 1000 个掩模影响流片的计算问题数量每天流片处理占用的 CPU 时数

图 9 我们的高性能计算（HPC）解决方案结合系统

的变更管理一起使用时正在持续地增加计算容量

和改进服务质量

图10 分体式服务器的结构特点是 CPUDRAM 模块

和 NIC 驱动器模块可以单独更新不受其他服务

器组件所限

多节点的服务器机箱

CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源

图11 在分体式的服务器中只更新 CPUDRAM 模

块与购置整体服务器至少可节省 44基于英

特尔内部测试2017 年 3 月

节省服务器更新成本的示例3U 机箱带14个刀片

整体服务器更新（拆除和更换）

只更新刀片sect 只更新 CPUDRAM 模块

节省 17 节省

44

sect 保留机箱与里面的网络交互机电源和风扇模块


使用NUMA-Booster 提高设计吞吐量

数据中心整体优化不单是指观察服务器性能和设备效率应用性能和工作负载优化也会成为重要的贡献因素我们开发了一项

称为 NUMA-Booster 的系统软件功能与默认的操作系统调度功能相比该功能可以自动透明地解析产品设计的工作负载

并执行工作负载调度它将在所有双路服务器上实施

我们在未造成任何系统故障停机或最终用户影响的前提下获得了以下特别成果

bull 性能测试显示产品设计的性能提升了高达 17（见图 12）

bull 数据中心空间和采购成本我们大约有 40000 台服务器部署了 NUMA-Booster从而降低了为满足 4451 台服务器需求

所需的占地面积（也就等于 92 个机架的数据中心空间）

bull 碳排放4451 台服务器意味着每年节省了大约 1598 万 kWh相当于大约 9472 公吨的 CO2

随着替换掉老式的服务器和部署具有 NUMA-Booster 功能的多核服务器我们希望能从 NUMA-Booster 中获得更多的成果

将英特尔reg 固态盘用作快速交换硬盘从而提高吐量

英特尔的芯片设计工程师需要把更多的功能集成到更小的芯片之中这意味着需要进行更复杂的设计设计复杂度的日渐提高

产生了巨大的电子设计自动化工作负载这些工作负载又提出了庞大的内存与计算需求我们通常将这些工作负载运行在服务

器之上后者必须以最为经济的方式满足这些需求

英特尔 IT 对大型芯片设计工作负载进行了测试用较低成本的英特尔reg 固态盘（英特尔reg SSD）替换了一台服务器的部分物理

内存这为我们实现了 163 倍的性价比优势我们将固态盘用作快速交换硬盘为 13000 多台服务器提高了 27 的设计

吞吐量

1

2

3

4

5

基于 NUMA-Booster 的寄存器传送逻辑（Register Transfer LogicRTL）性能越高越好

相对效率

CPU 设计内核

CPU 设计 CPU 设计非内核全芯片

图 12 NUMA-Booster 将设计计算性能提高了 17System 配备了 2 颗英特尔reg 至强reg 处理器 X557072 GB DDR3-1333 RAM1 块 900 GB 10K RPM SAS 硬盘和 Linux 26 操作系统运行英特尔芯片设计模拟工作负载英特尔 IT 测量结果System 配备了 2 颗英特尔reg 至强reg 处理器 X567596 GB DDR3-1333 RAM1 块 900 GB 10K RPM SAS 硬盘和 Linux 26 操作系统运行英特尔芯片设计模拟工作负载英特尔 IT 测量结果System 配备了 2 颗英特尔reg 至强reg 处理器 E5-2670128 GB DDR3-1333 RAM1 块 900 GB 10K RPM SAS 硬盘和 Linux 26 操作系统运行英特尔芯片设计模拟工作负载英特尔 IT 测量结果System 配备了 2 颗英特尔reg 至强reg 处理器 E5-2680 v2256 GB DDR3-1600 RAM1 块 900 GB 10K RPM SAS 硬盘和 Linux 26 操作系统运行英特尔芯片设计模拟工作负载英特尔 IT 测量结果System 配备了 2 颗英特尔reg 至强reg 处理器 E5-2680 v3256 GB DDR4-2133 RAM1 块 900 GB 10K RPM SAS 硬盘和 Linux 30 操作系统运行英特尔芯片设计模拟工作负载英特尔 IT 测量结果System 配备了 2 颗英特尔reg 至强reg 处理器 E5-2680 v4256 GB DDR4-2400 RAM1 块12TB 10K RPM SAS 硬盘和 Linux 30 操作系统运行英特尔芯片设计模拟工作负载英特尔 IT 测量结果

英特尔reg 至强reg 处理器 X5570

未配备 NUMA-Booster配备 NUMA-Booster



英特尔reg 至强reg 处理器 E5-2670


英特尔reg 至强reg 处理器 E5-2680 v2







优化服务器以满足不断增长的计算需求

为了不断加快产品上市时间考虑到日趋复杂的英特尔reg 芯片设计英特尔 IT 为无数

系统芯片平台和 IP 模块的并行硬件和软件设计提供了一个全球框架

在我们的数据中心中将单路服务器和高度可扩展的服务器配置互相匹配可将产品设计速

度和架构验证流程加快 25 -30通过充分利用在全球多个站点汇集 160000 多台服

务器的计算能力的全球调度机制我们的设计中心能够提供可扩展容量并在较短时间

内提供最佳的内存和计算能力

更高效的办公和企业计算和存储

与产品设计的计算环境相同办公和企业环境下的计算和存储需求也在不断地快速增

长然而如图 13 所示我们可持续满足这种需求同时保持过去三年的物理服务器

数量从 2009 到 2016年我们的虚拟机 (virtual machine简称 VM) 数量增长了近

61 倍得益于改进的服务器平台每台物理服务器的平均虚拟机密度也得到了显著提

高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台

从 2010 到 2016 年所取得的成效按照我们的战略所提供的数据中心基础设施最能满足英特尔复杂而且不断增长的计算

需求同时亦改变了我们的成本结构通过应用本文所列出的创新数据中心技术我们

实现的单位成本远低于我们将工作负载（假若）托管于公有云（见图 14）而且由

于我们有超高计算工作量和有能力提高服务器使用率因此将 IT 资源投入到私有

云特别合适在过去的七年里 (2010 - 2016)我们的资本和运营节约总额一共超过了

15 亿美元这有助我们持续推动创新

以下是从 2010 年到 2016 年期间我们在产品设计的计算环境中取得的效率提升与

成本节省

bull 设计计算英特尔 IT 在设计计算数据中心所采用的创新包括分体式服务器架构

（在服务器更新方面节省了44）NUMA-Booster 解决方案（将性能提高了

17）英特尔固态盘（以更低的成本将容量增强了 27）更快速的服务器（将

性能提高了 35）以及采购效率这些创新总共节省了 284 亿美元

bull 设计存储通过采用新技术功能和提高使用率实施了设计计算数据中心存储效率提

升从而节省了 4500 万美元成本

bull 设计网络为设计计算数据中心网络实施多厂商战略加上专注于降低与老旧设备相

关的高额维护成本节省了 1332 万美元

252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220

办公和企业应用的需求对比内核和服务器

办公企业物理服务器办公企业虚拟服务器操作系统实例原始存储（PB）

2009 2010 2011 2012 2013 2014 2015 2016

图 13 高度的虚拟化与英特尔reg 架构相结合有

力地支持我们满足不断增长的办公和企业计算和存储需求同时大幅度减少了所需物理服务

器的数量

15

20

25

2016201520142013201220112010

相对成本越低越好

相对成本

内部托管公有云

图 14 TCO（包括服务器存储网络和运营成

本）分析显示在我们的数据中心内部托管工

作负载比我们（假若）使用公共云服务的成

本要低得多


除了为特定于设计的环境所作的贡献外我们的全新投资模型还支持确定最佳性能与当前计划之间的差距

这些工作包括

bull 继续整合数据中心

bull 降低设计办公和企业环境的单位成本

bull 扩展刀片服务器在办公和企业环境中的使用

持续整合数据中心

我们使用了全新投资模型来仔细研究英特尔当前拥有和应当拥有的数据中心数量全新投资模型显示使用

以下方法有望将英特尔数据中心的数量减少多达 35

bull 关闭改造或重新分类数据中心和提高效率

bull 将支持产品设计和制造的数据中心部署在其服务的单位同一地点或由服务器机柜提供服务

bull 远程管理各地基础架构站点

bull 经由战略式的投资提高设施能效

我们针对 32 个效率低下的数据中心消除了 61770 平方英尺的数据中心空间并将 23609 平方英尺的数

据中心空间改造成低成本基础设施机房从而可为英特尔每年节约 2545 万美元

降低设计环境的单位成本

图 15 详细介绍在设计办公和企业环境下如何在单位增长（中间部分）不断加快的情况下保持预算的相

对持平（左侧部分）我们的投资模型支持降低这两种环境的单位成本（右侧部分）―― 设计环境的单位成

本降低 85办公和企业环境的单位成本降低 77图 16 的饼状图显示了设计环境与办公和企业环境分别

实现的 85 和 77 的单位成本下降

2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650

图 15 凭借全新的战略我们在财政预算没有增加的情况下还能满足不断增长的数据中心需求并显著降低了单位成本

数据中心战略汇总

产品设计办公和企业

相对性能

总共花费计算环境的单位增长总数

数据中心的单位成本总共花费计算环境的单位增长总数

数据中心的单位成本


2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本

办公和企业计算的成本

图 16 饼状图显示了实施全新数据中心战略后 IT 总成本的变化

采用刀片服务器技术降低总体拥有成本 (TCO)如图 17 所示全新投资模型显示从机架安装式服务器迁移至刀片服务器可将

云计算环境的 TCO 降低约 39这主要得益于端口网络和线缆成本的降低例

如与 16 台机架安装式服务器相比16 台刀片服务器仅需 8 个（而非 128 个）

以太网接口和 4 个（而非 32 个）光纤通道接口在刀片机箱（图 17 中的 ldquo第

二代rdquo）中部署基于融合网络结构的新一代刀片服务器技术可帮助我们进一步降

低成本

基于该数据我们正在积极部署刀片服务器以对办公和企业环境中的虚拟化工

作提供更有力的支持

数据中心最佳实践汇总在过去的十年里由于作出许多项战略式的投资并制定了众多解决方案以使我

们的数据中心能够更高效地工作和满足英特尔业务的需求现在我们正在将

MOR 方案应用于整个基础设施堆栈 ―― 计算存储网络和设施表 4（下一

页）汇总了我们制定的最佳实践以及实现的业务价值


设施

服务器


存储备份和恢复

网络

20

40

60

80

100

36

534

36

565

239

655

345

655

虚拟化环境基础设施资本成本

图 17 基于集成网络数据结构的刀片服务器将

虚拟化环境的基础设施成本降低了 39

服务器成本以太网光纤通道连接成本

越低越好

每主机相对成本

多个GbE 10 GbE 第一代基于融合网络结构的第二代

机架安装式服务器刀片服务器


表 4 英特尔 IT 所采取的最佳实践以及实现的业务价值

最佳实践业务价值

计算（服务器）

将应用从 RISC 迁移到英特尔reg 架构

采用云计算

利用最新代英特尔reg 至强reg 处理器定期更新服务器

部署高性能计算

通过软件优化提升服务器性能

bull 大幅度的成本节省和 IT 效率提升bull 支持我们实现行业标准操作系统和硬件的优势

bull 办公和企业服务器的虚拟化程度超过了 90bull 将供应服务器所需的时间从 90 天缩短至按需供应bull 采用基于业务价值的多重云 (Multi-Cloud) 策略

bull 虚拟化比率高达 601bull 从 2008 到 2013 年设计环境能耗每年下降 10bull 从 2005 到 2016 年性能提升约 10 倍

bull 容量增加 121 倍稳定度提高 161 倍bull 使用 HPC-1 节省了 4472 万美元的净现值

bull 设计任务吞吐量提高了高达 49bull 从 2010 到 2016 年由于多种优化包括 NUMA-Booster基于英特尔reg 固态盘的快速交换高频率

服务器以及最佳的工作负载与平台匹配实现了 284 亿美元的业务价值

存储

使用最新英特尔reg 至强reg 处理器定期更新服务器

使用分层模型确定规模适当的存储解决方案iii

持续监控和回收老化数据所消耗的磁盘空间

针对存储资源实施精简配置和重复数据删除

bull 利用新技术以更低的成本提高存储的容量质量速度和效率bull 新系统的 IO 吞吐量是旧系统的 2 倍以上bull 从 2011 年到 2012 年期间数据中心存储硬件占用空间减少了 50 以上bull 由于资源共享效率更高备份基础设施的成本得以降低bull 使用分层备份解决方案优化备份成本并使系统更稳定可靠

bull 按照业务需求（性能稳定度容量和成本）提供存储资源bull 更有效率管理存储成本同时仍支持轻松访问必要的数据bull 迁移至横向扩展存储以降低数据分层的操作复杂度bull 不同层级之间基于策略的数据迁移流程实现了自动化

bull 在 2011 年避免了超过 100 万美元的资本支出

bull 在对性能不会造成负面影响的情况下帮助控制成本和提高资源利使用率bull 设计环境中对存储的有效使用率从 2011 年的 46 提高到目前的 70

网络

将数据中心 LAN 网络架构升级到万兆以太网

向众多供应商开放数据中心网络

bull 数据中心网络带宽在三年内提高了 400可支持我们更加快速地响应业务需求并能满足业务增长bull 从 2010 年到 2016年期间网络使用率从 40 提高到 68bull 借助多机箱链路聚合 (MLAG) 和第 3 层协议消除了生成树bull 减少网卡 (NIC) 和 LAN 端口的数量从而降低了网络复杂程度bull 虚拟环境中的网络成本降低了 18-25

bull 五年内通过采用新网络技术节省了超过 6000 万美元的成本

设施

提高散热效率

采用分层方法实现冗余可用度和物理强化

使用模块化设计改造和整合数据中心

bull 在 18 个月内节省了近 1600 万瓦时的电力相当于减少了 6800 公吨的二氧化碳排放量

bull 实现数据中心冗余和可用度与业务需求的更好匹配bull 消除数据中心中冗余的配电系统将浪费的电源减少超过 7

bull 将老旧的晶圆制造厂改造成高密度高效的数据中心模块并具备行业领先的 106 PUEbull 采用自然通风冷却和环保高效的蒸发冷却技术尽量提高能效bull 无需配备含有发电机的整套设施避免重要资本支出bull 以最少的精力和成本迅速响应不断变化的数据中心需求

i 请参阅《将关键业务的计算环境迁移到英特尔reg 架构》白皮书ii 请参阅《供芯片设计所用的高性能计算》白皮书

iii 请参阅《实施云存储指标以改进 IT 效率和容量管理》白皮书iv 请参阅《将数据中心网络架构升级至 10 GB 到万兆以太网》白皮书


2017年及以后的计划数据中心战略是一个持续改进的过程 ―― 我们始终努力缩小当前成就与最佳场景之间的差距并计划在以下领域探索并应

用 MOR 方案

bull 采用具颠覆力的服务器部署超密集能效优化型服务器节点以降低数据中心空间和能耗从而满足计算需求

bull 采用基于标准的存储将行业标准软硬件用于纵向扩展和横向扩展存储以更迅速充分利用最新硬件从而显著提高吞吐量

bull 提高网络效率继续朝着 75 的目标提高 LAN 使用率并追求满配机架架构以支持超高密度数据中心设计实施合适

经济高效的 40 GbE 和 100 GbE以满足网络容量需求

bull 提高设施效率将高环境温度等技术用于特定数据中心以重新利用新设备规范从而减少散热需求

结论持续创新将能够提高英特尔 IT 业务服务的质量速度和效率为了为持续创新奠定基础我们已经基于过去十年中确立的实

践调整了我们的数据中心战略从 2010 到 2016 年到改进后的数据中心战略新创造了超过 15 亿美元的业务价值数据

中心转型战略（图 18）对英特尔 IT 保持竞争优势至关重要

我们的主要成就包括以下几点

bull 我们突破性的分体式服务器设计可以单独更新 CPU 和内存而无需更换其他服务器组件因而导致加速数据中心的技术创

新而且与购置整体服务器来更新相比能节省 44 的成本

bull 开发了一项名为 NUMA-Booster 的系统软件功能它帮助节省了数百万美元同时提高了服务器容量

bull 部署了超过 13000 块英特尔固态盘用作快速交换硬盘将服务器容量提高了 27

bull 产品设计的计算环境中的五代 HPC获得了 121 倍的容量提升和 161 倍的质量提升

bull 采用了新的存储功能加速了存储更新努力进一步提高使用率帮助我们显著增加了存储容量

bull 部署了超过 87000 个 10 GbE 和 3100 个 40 GbE 网络端口

范围关键性能指标优化基础设施以支持关键业务功能基于三个核心指标尽量提高业务价值

优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业

图 18 如果要尽量提高英特尔数据中心基础设施的业务价值就必须继续在诸如计算存储网络和设施等领域进行业务驱动型的创新

每个服务部门的成本

服务质量资源使用率

方法寻求改造而非逐步改进




像英特尔运行工厂那样英特尔数据中心运行以一种严格的方式部署任何变更

同时全面应用革新的技术解决方案和流程我们实现了这些成效数据中心战略

转型元素包括

bull 关注三大 KPI这些指标可帮助衡量数据中心转型是否成功在限定的开支预算

内（保持成本竞争力）满足不断增长的用户需求（服务等级协议和服务质量）

同时尽量提升基础设施资产的使用率（资产效率）

bull 改变投资模型促进更加积极的创新将当前能力与 ldquo可达的最优成绩模型rdquo 进行

比较新的投资模型将能够推动更积极的创新以比仅追求逐步改变更快的速度

来改造基础设施

bull 全新的单位成本财务模型这一模型让我们能够基于基础设施所支持的业务能

力更准确地评估数据中心的总体拥有成本 (TCO)它能够衡量单位服务的输出

成本支持我们对各项投资作比较以在各业务职能部门中做出明智的决策从

而尽量提高投资回报 (ROI) 和业务价值

如欲获得更多有关英特尔 IT 最佳实践的信息请访问intelcnIT

性能测试中使用的软件和工作负载可能仅在英特尔reg 微处理器上进行了性能优化诸如 SYSmark 和 MobileMark 等测试均系基于特定计算机系统硬件软件操作系统及功能上述任何要素的变动都有可能导致测试结果的变化请参考其它信息及性能测试（包括结合其它产品使用时的运行性能）以对目标产品全面评估

配置系统配置固态盘配置和性能测试在本文件正文中有详细探讨如欲了解更多信息请访问intelcomperformance

英特尔技术的特性和优势取决于系统配置并需要兼容的硬件软件或需要激活服务实际性能会因您使用的具体系统配置的不同而有所差异请联系您的系统制造商或零售商或访问 intelcn 了解更多信息

英特尔处理器标号不是性能的指标处理器标号仅用于区分同属一个系列的处理器的特性而不能够用于区分不同系列的处理器了解有关英特尔reg 处理器标号的信息

本文旨在提供一般的信息并非特定指南推荐（包括潜在成本节省）全部基于英特尔的体验仅为预估英特尔不确认或担保他人会得出类似结果

本文件中包含关于英特尔产品和服务的信息本文件不构成对任何知识产权的授权包括明示的暗示的也无论是基于禁止反言的原则或其他除英特尔产品销售的条款和条件规定的责任外英特尔不承担任何其他责任英特尔在此作出免责声明本文件不构成英特尔关于其产品和服务的使用和或销售的任何明示或暗示的保证包括不就其产品的（i）对某一特定用途是否适用（ii）适销以及（iii）对任何专利版权或其他知识产权的侵害的承担任何责任或作出任何担保

版权所有英特尔Intel 标识Xeon 和至强是英特尔在美国和或其他国家的商标

其他的名称和品牌可能是其他所有者的资产copy英特尔公司请注意环保 0118DPKCPDF

ITIntel

我们致力于促进各行业的 IT 专家与英特

尔内部的 IT 同事联系我们解决了一些

当今最为严苛和复杂的技术问题希望在

这个开放式对等论坛中与同行专业人员直

接分享这些经验

我们的目标非常简单即提高整个部门的

效率增加 IT 投资的业务价值

如欲获得更多信息请访问 intelcnIT 或

联系您当地的英特尔代表

相关内容

请访问 intelcnIT 查看相关主题的白皮书

bull Disaggregated Servers 推动数据中心效

率和创新

bull 供芯片设计所用的高性能计算

bull 开发高度可用动态的混合云

bull 极高能效高密度的数据中心

bull 软件定义基础架构在英特尔的演变历程

bull 提升业务持续运作 mdashmdash 数据中心容量规划

bull 在迈向混合云的过程中制定明智的私有 - 公

有云决策


目录

缩略词

DOME

EDA-MIPS

GbE

HPC IaaS KPI

MIPS

MOR

MTTR NAS

NIC NUMA

PUE QoS

RISC

ROI SAN

SLA SSD

TCO

VM

Design Office Manufacturing and Enterprise 设计办公制造和企业

electronic design automation-meaningful indicator of performance per system 电子设计自动化 - 系统性能有效指标

gigabit Ethernet 千兆位以太网

high performance computing 高性能计算

Infrastructure as a Service 基础设施即服务

key performance indicator 关键性能指标

meaningful indicator of performance per system 系统性能有效指标

model of record 记录模型

mean time to repair 平均维修时间

network-attached storage 网络连接存储

network interface card 网卡

non-uniform memory access 非一致性内存访问

power usage effectiveness 电源使用效率

quality of service 服务质量

reduced instruction set computing 精简指令集计算

return of investment 投资回报

storage area network 存储域网络

service level agreement 服务级别协议

solid state drive 固态盘

totat cost of ownership 总体拥有成本

virtual machine 虚拟机

背景英特尔 IT 运营着 56 个数据中心共约 217000 台服务器用于满足超过

106000 名员工的计算需求1 为满足英特尔关键业务职能的业务需求 ――

设计办公制造和企业 (Design Office Manufacturing and Enterprise 简

称 DOME) ―― 并同时尽可能高效地运营数据中心英特尔 IT 实施了为期多

年的数据中心战略演进如图 1 所示

1 在 2017 年九月的数据中心和服务器数量英特尔采用 IDC 的数据中心大小分类来定义ldquo数据中心rdquoldquo面积大于 100 平方英尺用于容纳服务器和其它基础设施组件的机房rdquo

表 1 不断改进的英特尔数据中心战略

2000 年以前

2000 - 2006 年

2006 - 2010 年

2010 - 2013 年

2013 年以后

bull 无集中化战略和所有权

bull 开始从 RISC 迁移到英特尔架构

bull 构建数据中心以支持企业收购

bull 分散式采购和管理

标准化和成本控制

bull 组建数据中心团队

bull 开始数据中心整合工作

bull 完成设计领域从 RISC 到英特尔reg 架构的迁移

bull 标准化数据中心设计

高效增长的基础

bull 以支持 DOME 为中心业务作投资

bull 主动更新服务器和基础设施

bull 虚拟化和企业私有云

bull 存储优化和 IT 可持续发展

改造业务的能力

bull 对 IaaS 的总体拥有成本作整体评估包括设施服务器存储网

络操作系统和中间件软件功能

bull 推出数据中心 MOR以最高的效率和最低的成本推动实际性能提升

bull 采用单位成本模型规划与同行和外部云提供商之间的改进目标和评测

bull 数据中心脉冲指示板用以获取 IaaS 容量和使用率的整体状态从而

支持未来规划与当前改进

专注于资源和能效

bull 将批处理计算能力集中到两个大型中枢

bull 结合高频率服务器和最佳工作负载以支持平台组合

bull 集中管理服务器和资源

bull 将老旧的晶圆制造厂转变成数据中心

bull 定制机架设计以优化空间计算和功率密度

bull 善用环境资源 ―― 采用自然风冷却或蒸发冷却塔水调节数据中心的温度

bull 一流的电力密度和配电系统

bull 突破性的分体式服务器结构

1 要点综述

2 背景

- 应对计算环境挑战

- 根据业务需求调整数据中心投资

4 数据中心战略的独特要素

- 确定关键性能指标和目标

- 借助新投资模型促进大胆创新

- 实施新单位成本财务模型

8 成效源于过去步向未来

- 从 2003 到 2016 年的累积成效

- 从 2010 到 2016 年所取得的成效

- 采用刀片服务器技术降低总体拥有成本（TCO）

15

17

17

数据中心最佳实践汇总

2017 年及以后的计划

结论














产品设计















工厂制造








办公和企业











法

ndash 经济高效















步向未来rdquo











































100

75

50

821

25

0



功能服务单位






提供的容量








力的投资


















高


业务成效

关键性能指标

低


弥补差距


时间





















影响力

+

++ +

+

divide

=

网络


服务器设施


存储备份







28

10

3

13

39

7

34

19

22

8

152
































100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56


占地面积

设施数量

2003 - 2017 年间数据中心


设施数量



了 27






















使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策














产品设计















工厂制造








办公和企业











法

ndash 经济高效















步向未来rdquo











































100

75

50

821

25

0



功能服务单位






提供的容量








力的投资


















高


业务成效

关键性能指标

低


弥补差距


时间





















影响力

+

++ +

+

divide

=

网络


服务器设施


存储备份







28

10

3

13

39

7

34

19

22

8

152
































100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56


占地面积

设施数量

2003 - 2017 年间数据中心


设施数量



了 27






















使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策


工厂制造








办公和企业











法

ndash 经济高效















步向未来rdquo











































100

75

50

821

25

0



功能服务单位






提供的容量








力的投资


















高


业务成效

关键性能指标

低


弥补差距


时间





















影响力

+

++ +

+

divide

=

网络


服务器设施


存储备份







28

10

3

13

39

7

34

19

22

8

152
































100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56


占地面积

设施数量

2003 - 2017 年间数据中心


设施数量



了 27






















使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策











步向未来rdquo











































100

75

50

821

25

0



功能服务单位






提供的容量








力的投资


















高


业务成效

关键性能指标

低


弥补差距


时间





















影响力

+

++ +

+

divide

=

网络


服务器设施


存储备份







28

10

3

13

39

7

34

19

22

8

152
































100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56


占地面积

设施数量

2003 - 2017 年间数据中心


设施数量



了 27






















使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策



功能服务单位






提供的容量








力的投资


















高


业务成效

关键性能指标

低


弥补差距


时间





















影响力

+

++ +

+

divide

=

网络


服务器设施


存储备份







28

10

3

13

39

7

34

19

22

8

152
































100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56


占地面积

设施数量

2003 - 2017 年间数据中心


设施数量



了 27






















使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策





















影响力

+

++ +

+

divide

=

网络


服务器设施


存储备份







28

10

3

13

39

7

34

19

22

8

152
































100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56


占地面积

设施数量

2003 - 2017 年间数据中心


设施数量



了 27






















使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策


























100

200

300

400

500

20162012201120052003

50

100

150

200

250

152136

9168 60

2017

56


占地面积

设施数量

2003 - 2017 年间数据中心


设施数量



了 27






















使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策














使用

改进整体网络

















15000

30000

45000

60000

75000

90000

2016201520142013201220112010936

3856

1289618136

37880

65456

87692

3121

10 GbE40 GbE

4045

51

60 61

10

20

30

50

60

70

80

2016201520142013201220112010

6268

端口部署

端口数量





使用率


效使用率


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策


2000

2005

2010

2015

2020

2025

1000001 1000100401011995


年份























第 5 代 HPC




4856 45 39 48 74 126 16111

2027

1521

32

43

59

83

120

29

40

53

75

101

143

189

3138

45

56

69

95 117



2009 2010 2011 2012 2013 2014 2015 2016






装 280 台














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策














器和机箱）














HPC-1(45nm)

HPC-2(32nm)

HPC-3(22nm)

HPC-4(14nm)

HPC-5(10nm)

2005 2017

322

100x 395x739x 1320x

1732x2058x2987x

4094x5187x

9021x

38

54

3829

13 16 10 05 02

12178x

05


高

低

使用 HPC之前







器组件所限


CPUDRAM

CPUDRAM

CPUDRAM

NIC驱动器

NIC驱动器

NIC驱动器

网络交换器

网络交换器

机箱管理器

电池组

电池组

风扇

风扇

风扇

风扇

风扇

风扇

风扇

电源

电源

电源电源







节省 17 节省

44



















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策


















吞吐量

1

2

3

4

5


相对效率

CPU 设计内核




























高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策














高 ―― 从 2009 年的 11 台增加到 2016 年的 26 台








成本节省









252957466256 4601 3895 3597 3918 3932

7684

60

9977 13014

16103

1877822471

25006

75

105

118122

129

141

176

384129

484

650695

725 788

943

28220



2009 2010 2011 2012 2013 2014 2015 2016



器的数量

15

20

25

2016201520142013201220112010


相对成本





本要低得多



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策



这些工作包括


















2010201120122013201420152016

200

300

400

500

600

100 100 102 98 93 102 101 10080

6447

30 26 23

100

131

162

189

227

252

285

100

7456

38 27 21 15

100 105 10488

69 65 64

100

136

183

259

349

493

650




相对性能





2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策


2016201520142013201220112010

2016201520142013201220112010

17

3525

14

717

3621

16

8

20

3323

13

9

22

22

2

23

3223

12

8

22

2628

14

8

20

2537

2 9

7

35

217

16

7

14

34

207

16

8

1529

18

9

13

7

2428

21

6

11

8

26 28

16

710

5 4

34 28

1911

7

31

22

1934

2

15

8

3

28

10

13 7

39

IT 总成本变化

产品设计成本








低成本








设施

服务器



网络

20

40

60

80

100

36

534

36

565

239

655

345

655





越低越好









采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策






采用云计算










存储









网络





设施

提高散热效率










用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策



用 MOR 方案


















优化目标

OS 应用计算

储藏

网络

设施

设计

办公

制造

企业










转型元素包括




















ITIntel










相关内容



率和创新







有云决策




转型元素包括




















ITIntel










相关内容



率和创新







有云决策

Documents

数据中心战略引领英特尔 业务变革 - Intel · 背景 英特尔 IT 运营着 56 个数据中心，共约 217,000 台服务器，用于满足超过 106,000 名员工的计算需求。1

数据中心战略引领英特尔业务变革 - Intel · 背景英特尔 IT 运营着 56 个数据中心，共约 217,000 台服务器，用于满足超过 106,000 名员工的计算需求。1