白皮书 Bigtera VirtualStor™ Scaler

英特尔® 至强® 处理器 D-1500 产品家族

英特尔®数据中心级固态盘

主题：软件定义存储

英特尔® 至强® 处理器 D-1500 产品家族与英特尔®数据中心级固态盘上部署 Bigtera VirtualStor™ Scaler

Bigtera VirtualStor™ Scaler 利用英特尔® 至强® 处理器 D-1500 产品家族和英特尔®数据中心级固态盘，构建高性能和高

性价比的存储解决方案。

执行摘要 企业IT需要一个可扩展，高性能和具成本效益的存储解决方案，以处

理数据的快速增长，并满足不同类型工作负载的需求。为了应对这个

部署可扩展的存储集群并且优化性能和成本的挑战，Bigtera*和英特

尔进行了广泛的测试，以表征Bigtera VirtualStor™ Scaler在英特尔®

至强® 处理器 D-1500 产品家族和英特尔®数据中心级固态盘的优化

配置。

概述 根据IDC的《数字宇宙研究报告》（Digital Universe），从现在到

2020年，数字宇宙的数据每两年将翻一番。到2020年，将有超过

44ZB（泽字节，即40万亿GB）的数据1。这对企业IT需求具有重大影

响：企业IT将需要可扩展，高性能和成本效益的存储解决方案。 但不

幸的是，由于以下挑战，这些需求对于企业传统基础设施而言已经超

出了其能力所及：

业务的复杂性。企业的业务流程变得越来越复杂，不同的应用需

要不同特性的存储，例如存储协议，存储性能，可用性。因此，

用户必须为他们的工作流程购买不同的存储系统，因而形成了

“存储孤岛” ，实施成本高，但利用率低。

数据快速增长。以媒体广电行业为例：高清和4K视频的需求持

续上扬，对存储容量和扩展性提出极高要求。90分钟的标清电视

企业 IT 需要一个可

扩展，高性能和具成

本效益的存储解决方

案。

1 IDC. The Digital Universe of Opportunities: Rich Data and the Increasing Value of the Internet of Things, April 2014. http://www.emc.com/leadership/digital-universe/2014iview/executive-summary.htm.

335435-001CN

图 1. VirtualStor™ Scaler 的缓存数据流.

节目可以消耗540GB的空间，而一个高质量的90分钟真人秀，

其原始素材就可能消耗好几个TB的存储。由于传统存储系统无

法无缝地扩展，存储孤岛只得继续增加，更累加了管理基础设

施、数据和内容的复杂性。

谷仓效应。在许多企业中，数据随工作流程移动。对于跨多个存

储岛的业务流程而言，用户必须在异构环境之间手动复制数据，

从而增加工作复杂性，而复制数据，浪费时间和资源。

为了应对这些挑战，Bigtera*和英特尔正在合作，提供基于英特尔®

至强® 处理器 D-1500 产品家族和英特尔®数据中心级固态盘以及

Bigtera VirtualStor™ Scaler 的软件定义存储解决方案。 Bigtera*软

件定义存储解决方案与英特尔技术相结合，可提供极具经济性、高性

能和横向扩展能力的存储基础架构。

Bigtera VirtualStor™ Scaler 产品概述

VirtualStor™ Scaler部署在基于

英特尔® 至强® 处理器 D-

1500 产品家族的裸机服务器之

上，为客户提供了一个高性能

的横向扩展存储解决方案，让

客户得以随业务成长而按需支

付IT投资。VirtualStor™ Scaler

运行在英特尔®技术上，利用高

扩展和高可用的架构，提供灵

活 的 存 储 类 型 ： Network

Attached Storage (NAS) 、

Storage Area Network (SAN)及

对象存储，具有高性能 Input and Output Operations Per Second (IOPS)和吞吐量和高效

率，同时提供弹性配置和数据

安 全 保 护 的 能 力 。

独有的缓存加速技术(图1)

作为软件定义存储技术的世界

领先者，Bigtera*利用高性能固

态盘大幅度地优化了随机输入/

输出性能，而革新了存储行

业。

不同于其他的软件定义存储提

供商，为了优化性能，将许多

固态盘组成一个存储池中，作

为一个缓存分层存储。Bigtera

VirtualStor™ Scaler采取的做法

则是在OSD（Object Storage

Device）之内，利用高性能固

态盘提供了随机输入 /输出缓

存。 此外，顺序输入/输出将略

过固态盘，直接读/写硬盘。此

一设计的原因是，通常随机输

入/输出时，固态盘比传统机械

硬盘的领先优势大得多，但是

在顺序读写中则没有那么多的

优 势 。 因 此 ， VirtualStor™

Scaler 可以采取以不同方式，

智能地服务随机和顺序输入/输

出，从而优化整体性能。

英特尔® 至强® 处理器 D-1500 产品家族

Bigtera VirtualStor™ Scaler提

供可扩展的高性能软件定义存

储解决方案，同时高效地服务

多种存储类型（NAS，SAN以

及对象存储）,需要能提供足够

的处理能力,且具有成本效益的

硬件平台。而英特尔® 至强®

处理器 D-1500 产品家族, 正是

为了克服这一挑战所设计。这

是英特尔第一款基于14nm硅技

术的第三代 64位系统级芯片

（SoC）。它完美地平衡了计

算性能和低功耗方面的需求，

卓越的效率完全可以支持数据

中心建立超大规模，高密度的

云极端存储。

平衡性能和功率消耗

英特尔® 至强® 处理器 D-

1500 产品家族具有从2至8个内

核的硬件和软件可扩展性，

TDP为19至65W。利用类似的

开发工具和流程，例如英特尔®

酷睿™ 处理器，英特尔® 凌动

™ 处理器和其他英特尔®至强

处理器，英特尔® 至强® 处理

器 D-1500 产品家族可以从数据

中心到客户终端，为业务系统

提供广泛的应用程序兼容性和

软件一致性支持。可靠的英特

尔 x86 64位软件支持能有助于

节省时间，成本和帮助应用软

件的验证。

英特尔® 至强® 处理器 D-

1500 产品家族是满足一系列IT

需求的理想平台，包括英特尔

平台存储扩展，通过集成技术

实现更智能和更具成本效益的

存储解决方案，加速数据移

动，保护数据并简化数据管

理。

英特尔®数据中心级固态盘

英特尔数据中心级固态盘可为

企业客户和服务提供商提供高

性能、低延迟和高耐用性的存

储介质。基于NVMe的英特尔固

态盘可以提供更为出色的存储

需求性能。

英特尔®高级加密标准新指令（英特尔®AES-NI）

英特尔®AES-NI 实现强大的加

密和解密功能，同时大大减少

了高级加密标准算法执行所需

的相关处理时间 2。(表 1)因此，

使用英特尔 AES-NI 保护数据可

以确保安全性，而不会影响性

能。

註2. 没有计算系统可以在所有条件下提供绝对安全。 部分英特爾 ®处理器内置的安全功能可能需要额外的软件、硬件，服务或网络连接。 结果可能因配置而异。 有关详细信息，请咨

询系统制造商。

请参阅http://security-center.intel.com/。

表 1. 储存节点规格

Bigtera VirtualStor™ Scaler 的英特尔®参考架构

此参考架构使用配置有英特尔

® 至强® 处理器 D-1500 产品

家族的存储服务器作为Bigtera

VirtualStor™ Scaler集群中的存

储节点。

(表1)提供了存储节点规格的概

述。

此参考架构不仅可以基于英特

尔的标准 X86 设计，也可以客

制化以支持不同的组合，满足

不同的业务场景需求。 Bigtera VirtualStor™ Scaler 配置 世上没有两家完全相同的公

司，也没有一个单一的配置能

够适合所有公司及其应用程

序。例如，为了得到每千兆字

节的最低成本，或者每单位成

本之下的最高性能，采取的存

储设计方法将会完全不同的。

即使高性能存储，面向高带宽

工作负载或高IOPS工作负载也

会有不同的配置。在此文件的

参考架构中，将提供两种不同

的Scaler配置，以演示如何优化

不同类型工作负载下的性能。

高吞吐量配置是专为高吞吐量

的工作负载所设计，而这些负

载的特点是通常更大的数据块

和顺序性读写输入/输出。许多

的软件定义存储解决方案在此

一使用案例中都有很好的表

现。为了优化最高的MB/秒，

Bigtera*建议使用两个固态盘作

为OSD日志。此外，每个SATA

硬盘部署一个OSD，因此在每

个储存节点中，总共有 10个

OSD。

高IOPS配置是专为高IOPS工作

负载所设计，这些工作负载通

常以小块随机输入/输出（例如

4KB随机读写输入/输出）为特

征。对于服务器虚拟化环境所

使用的存储，其输入/输出读写

模式通常需要更密集的IOPS。

为了优化 IOPS，Bigtera*强烈

建议利用英特尔固态盘的速度

和高性能，使用两个固态盘作

为OSD日志与大容量SATA硬盘

的缓存。此外，将5个SATA硬

盘组成一个RAID0虚拟磁盘，

设为一个OSD。因此，在每个

储存节点中，共有两个OSD。

测试配置

本节介绍Bigtera VirtualStor™

Scaler测试集群的配置。 英特

尔 为 Bigtera VirtualStor™

Scaler设计了一个4节点集群

中，如(图2)所示。

每个存储节点有10个SATA硬盘

和2个固态盘，以及一个10GbE

链路到网络交换机。(表1)总结

了存储节点的规格。

两个2U 英特尔® 至强®处理器

E5-2680 v2服务器用于部署测

试客户端（计算节点）。 在每

个物理计算节点上创建40个虚

拟机，以仿真并发访问的场

景。每个虚拟机配有一个10GB RADOS (Reliable Autonomic Distributed Object Storage)卷，并运行了检验测试工具 fio

(http://git.kernel.dk/?p=fio.git)，

以 衡 量 Bigtera VirtualStor™

Scaler节点的聚合性能。在此测

试中，我们将逐步将虚拟机实

例的数量从20个虚拟机增加到

80个虚拟机。 然后，当测试数

据集大于固态盘缓存的大小

时，我们应该能够观察性能的

变化。

图 2. VirtualStor™ Scaler 集群的测试配置

(表2)总结了计算节点规格的详

细信息. 高吞吐量配置的性能 高吞吐量配置的性能，使用大

块的顺序读写输入/输出工作负

载进行评估。所有的测试都采

用两份副本来保存数据。日志

数据存储在两个固态盘的不同

分区中，OSD数据存储在10个

硬盘上。通过 CeTune 框架(https://github.com/01org/CeTune)，收集fio测试工具的吞吐量。

在整个测试过程中，还会观察

相关的CPU、内存和网络利用

率。 吞吐量接近硬件限制 对于大块（128KB）的顺序读

取，四个节点的VirtualStor™

Scaler集群在面向20到80个并

发虚拟机之时，能持续增加性

能，最高达到4109MB/s。另一

方面，对于大块（128KB）的

顺序写入 (图4)，四个节点的

VirtualStor™ Scaler集群在面向

20到80个并发虚拟机之时，同

样能持续增加性能，最高达到

1407 MB/s。 经过分析，顺序

读写的性能已经接近原始硬盘

的性能，这意味着吞吐量已经

针对硬件进行了优化。

高IOPS配置的性能 高IOPS配置的性能，使用小块

的随机读写输入/输出工作负载

进行评估。所有的测试都采用

两份副本来保存数据。日志数

据和高速缓存数据存储在两个

固态盘的不同分区中。OSD数

据存储在硬盘上。5个SATA硬盘

组成一个RAID0虚拟磁盘，一

个虚拟磁盘配置一个OSD。通

过 CeTune 框 架(https://github.com/01org/CeTune)，收集fio测试工具的IOPS。 在

整个测试过程中，还会观察相

关的CPU、内存和网络利用

率。 随机读取213K IOPS 对于小块（4KB）的随机读取

(图5)，四个节点的VirtualStor™

Scaler集群在面向20个并发虚

拟机 之时 ，峰 值超 过 213K

IOPS。当增加并发虚拟机之

后， IOPS 从 213K 降至 172K

IOPS。由于虚拟机数目增加，

受测的数据量也会增加，内存

上的缓存将会逐渐饱和，热数

据也会逐渐不在内存缓存中，

因此，观察到效能随着虚拟机

增加而逐渐下降的现象。 对于小块（4KB）的随机写入

(图6)，四个节点的VirtualStor™

Scaler集群在面向20至80个并

发虚拟机时，效能皆维持在31K

至32K附近，峰值发生在30个并

发虚拟机之时的32.7K IOPS。

经过进一步的调研，发现这段

测试的CPU利用，率已接近满

载，这意味着系统已接近计算

能力的极限。 延迟时间与I/O队列深度 为了进一步验证VirtualStor™

Scaler集群是否可以提供随机读

写I/O足够小的延迟，我们设计

了另一个测试，当I/O队列深度

呈指数增加时，测量延迟时间

将如何变化。在这个测试中，

我们在计算节点创建20个虚拟

机，然后增加每个虚拟机的I/O

深度，从1加到64，分别测试随

机读取和随机写入，针对IOPS

和延迟时间进行测量。 IOPS和延遲 对于小块（4KB）的随机读取

(图7)，四个节点的VirtualStor™

Scaler集群延迟逐渐增加，从

0.478毫秒增加到 I/O深度64之

时的6毫秒。对于小块（4KB）

的随机写入(图8)，四个节点的

VirtualStor™ Scaler集群延迟亦

逐渐增加，从1.825毫秒增加到

I/O深度64之时的41毫秒。

表 2.计算节点规格

图 3. 四节点 VirtualStor Scaler 集群上的顺序读取带宽

图 4. 四节点 VirtualStor™Scaler 集群上的顺序写入带宽

图 5. 四节点 VirtualStor™Scaler 集群上的随机读取 IOPS

图 6. 四节点 VirtualStor™Scaler 集群上的随机写 IOPS

图 7. 四节点 VirtualStor™ Scaler 集群上的随机读取 IOPS 和延迟

图 8. 四节点 VirtualStor™ Scaler 集群上的随机写入 IOPS 和延迟

结论

该是现代组织解决存储相关

痛点的时候了。

传统的存储基础设施不仅不

能满足业务需求，而且还会

不必要地增加 IT 成本。本文

档中介绍的参考架构和两个

存储配置，可以在经济高效

的硬件平台下，提供优化的

吞吐量和 IOPS。此外，基于

软件定义基础架构的精神，

结构中的硬件和软件都可以

灵活地定制，以适应各种需

求。举例来说，如果客户需

要更多的存储容量，可以安

装更多的存储节点，或者更

换为容量更大的硬盘。如果

客户需要更高的性能，在硬

件方面，传统的机械磁盘可

以用固态盘替换，或者额外

的存储节点也有帮助。而在

软 件 方 面 ， Bigtera

VirtualStor™ Scaler 可以提

供不同的参考配置，在经济

的硬件平台下，支持高吞吐

量工作负载或高 IOPS 工作

负载。

Bigtera VirtualStor™ Scaler不仅可以提供高性能，其统

一存储，多租户系统，QoS

能力，SLA 策略配置，可以

无痛满足「业务复杂性」的

需求。存储的横向扩展，数

据的无缝迁移，再加上具有

经济效益的存储虚拟化，能

汇聚整合存储孤岛，协助企

业应对「数据快速增长」的

挑战。而数据跨越虚拟存储

资源池的带内迁移和分享，

NAS 和对象存储池之间的数

据透传等能力，更是解决

「谷仓效应」的良方。

获取更多信息

要 了 解 Bigtera* software defined storage (SDS)解决方 案 ， 请 访 问http://www.bigtera.com

要了解有关英特尔存储产品

和技术的更多信息，请访问http://www.intel.com/storage

Intel technologies’ features and benefits depend on system configuration and may require enabled hardware, software or service activation. Performance varies depending on system configuration. No computer system can be absolutely secure. Check with your system manufacturer or retailer or learn more at http://intel.com/storage. Software and workloads used in performance tests may have been optimized for performance only on Intel microprocessors. Performance tests, such as SYSmark and MobileMark, are measured using specific computer systems, components, software, operations and functions. Any change to any of those factors may cause the results to vary. You should consult other information and performance tests to assist you in fully evaluating your contemplated purchases, including the performance of that product when combined with other products. For more information go to http://www.intel.com/performance. Intel processor numbers are not a measure of performance. Processor numbers differentiate features within each processor family, not across different processor families. See http://www.intel.com/performance for details. Performance tests and ratings are measured using specific computer systems and/or components and reflect the approximate performance of Intel products as measured by those tests. Any difference in system hardware or software design or configuration may affect actual performance. Buyers should consult other sources of information to evaluate the performance of systems or components they are considering purchasing. For more information on performance tests and on the performance of Intel products, visit http://www.intel.com/performance/resources/limits.htm or call (U.S.) 1-800-628-8686 or 1-916-356-3104. No computer system can provide absolute security. Requires an enabled Intel® processor, enabled chipset, firmware and/or software optimized to use the technologies. Consult your system manufacturer and/or software vendor for more information. All dates and products specified are for planning purposes only and are subject to change without notice. Information in this document is provided in connection with Intel products. No license, express or implied, by estoppel or otherwise, to any intellectual property rights is granted by this document. Except as provided in Intel’s Terms and Conditions of Sale for such products, Intel assumes no liability whatsoever, and Intel disclaims any express or implied warranty, relating to sale and/or use of Intel products including liability or warranties relating to fitness for a particular purpose, merchantability, or infringement of any patent, copyright or other intellectual property right. Intel products are not intended for use in medical, lifesaving, or life sustaining applications. Intel may make changes to specifications and product descriptions at any time, without notice. © 2016 Intel Corporation. Intel, the Intel logo, Xeon, and Atom are trademarks of Intel Corporation in the U.S. and/or other countries. © 2016 Bigtera Inc. All rights reserved. Bigtera, VirtualStor™, VirtualStor™ Converger, and VirtualStor™ Scaler are trademarks of Bigtera Inc. in the U.S. and/or other countries. * Other names and brands may be claimed as the property of others.