使用 EMC XtremSW Cache 提升 Microsoft Exchange 性能 EMC VNX 存储和 VMware vSphere

1© 版权所有 2013 EMC Corporation 。保留所有权利。

使用 EMC XTREMSW CACHE 提升 Microsoft Exchange 性能

EMC VNX 存储和 VMware vSphere

EMC Solutions GroupSSE Midrange Apps Engineering

2013 年 3 月


关于此解决方案这一经验证的解决方案展示了 EMC XtremSW Cache 如何

能在 EMC VNX 存储和 VMware 虚拟基础架构上提升 Exchange 2010 性能。

该解决方案介绍了 XtremSW Cache 的设计、部署、最佳做法和性能结果。

该解决方案的详细白皮书发布在： china.emc.com。

http://china.emc.com/

http://china.emc.com/


解决方案范围评估将 XtremSW Cache 与 Exchange 2010 搭配使用的

优势评估 XtremSW Cache 是否会提升 Exchange 2010 性能评估具有重复数据消除选项的 XtremSW Cache 的性能优

势为 vSphere 上的 Exchange 2010 提供 XtremSW

Cache 设计和配置最佳实践


解决方案概述将 Exchange 2010 环境中的 15,000 位用户在 DAG 中

部署，并在 VMware vSphere 上提供两个副本为 Exchange 数据库和日志配置 VNX 存储（ NL-SAS

存储池）配置 XtremSW Cache 以提升数据库卷的性能

已测试多个用户工作负载配置文件（ 150-300 封邮件 / 用户 / 天）


解决方案组件

VNX 5700 Block OE 5.32 (5.32.000.5.015)

– 具有 2 TB NL-SAS (7.2k rpm) 磁盘的存储池，用于 Exchange 数据库和日志

– 非精简 LUN

vSphere 5.0 更新版 1– 两个服务器，配有 Intel Xeon X7560

CPU ， 2.27 GHz ， 32 个 (4x8) CPU 和 192 GB RAM ，用于托管 Exchange 邮箱服务器虚拟机

– 禁用超线程

EMC XtremSW Cache – 每个 ESXi 5.0 服务器都拥有 XtremSF

300 GB PCIe 卡– XtremSW Cache 版本 1.5.1 SP1

（内部版本 224 ）

Exchange 2010– 15,000 位用户– DAG ，具有 2 个副本， 6 个服务器– 每个邮箱服务器虚拟机 5,000 位用户– 专为 150 封邮件 / 用户 / 天配置文件设计


关于 XtremSW Cache

• XtremSW Cache 是一款服务器闪存缓存解决方案，可通过利用智能软件和 PCIe 闪存技术缩短延迟并增加吞吐量，从而提高应用程序性能。

– 对于那些需要最高 IOPS 和最短响应时间的应用程序， XtremSW Cache 可加快其数据块 I/O 读取速度。

– XtremSW Cache 可通过使用连接到网络存储的直写缓存来加快读取速度和保护数据，从而实现持久的高可用性和灾难恢复。

– 与基于阵列的 EMC 全自动存储分层 (FAST) 软件和 FAST Cache 配合使用– 针对物理和虚拟环境而优化


服务器

应用程序 CPU PCIe 闪存卡

读取操作由 XtremSW Cache 提供服务以优化

网络存储

交换机 RAID 控制器 VNX 池

性能保护

XtremSW Cache 高级体系结构

写入操作将传递到存储阵列以实现

PCI 闪存卡提供较低读取延迟

2

8

直通写入，以便 VNX 存储提供保护

4

6

3

7

5

1

9 Exchange Data


EMC XtremSW Cache 组件


解决方案体系结构


Exchange 2010 构造块详细信息项目值每个服务器构造块的邮箱总数 5,000 个邮箱 / 服务器邮箱大小每个用户 1.5 GB用户配置文件 150 封邮件 / 用户 / 天 (0.150 IOPS)

目标平均邮件大小 75 KB

数据库设计

• 6 个数据库 / 服务器

• 每个数据库 833 个用户

• 数据库大小大约 1300 GB

• LUN 大小 1650 GB

日志设计 6 个日志 LUN （ 90 GB LUN 大小）每个 ESX 的 Exchange 邮箱虚拟机数量 3

每个服务器的磁盘配置 18 （ 16 个数据库 +2 个日志）， 2TB NL-SAS 驱动器

推荐的每个虚拟机的内存 /CPU 32 GB RAM ， 29040 CPU 兆周

已删除项目的保留期限（“垃圾站”） 14 天日志保护缓冲期 3 天24 x 7 BDM 配置已启用数据库读 / 写比率 3:2 （在邮箱恢复配置中）


使用 XtremSW Cache 的存储设计为数据库创建两个存储池

– 每个池 48 个 2 TB 7.2k rpm NL-SAS 驱动器， RAID 1/0

每个池包含来自不同虚拟机的多个副本– 3 个构造块（ 3 个虚拟机）– 18 个 1.6 TB LUN （每个虚拟机 6 个 LUN ）

通过 XtremFS 卡在每个 vSphere 服务器创建 326 GB VFMS 数据存储

– 通过 VMFS 缓存数据存储为每个 Exchange 虚拟机创建 50 GB 缓存设备

– 剩余容量为虚拟机保留，可从其他 vSphere 服务器迁移


XtremSW Cache 配置详细信息• 每个 Exchange 虚拟机都配置有 50 GB Cache 设备• 6 个源设备 — 6 个数据库 LUN (RDM) 1.6 TB ，每个均添加到 XtremSW

Cache 设备• XtremSW Cache 页面大小和最大 IO 块大小设置为 64KB

CLI 命令用于将缓存设备添加到虚拟机：vfcmt add -cache_dev <harddisk13> -set_page 64 max_io_size 64


为什么为 Exchange 更改 XtremSW Cache 最大 I/O 大小？

Exchange 数据库页面大小为 32 KB

Exchange BDM 为 256 KB 读取当在主机上混合并合并这两个 I/O 时，

会产生大约 48 KB 的平均 I/O

当数据库读取 IO 与 BDM I/O 混合时，平均读取 I/O 大小大约超过 128 KB

VNX 存储上的 Exchange 2010 数据库 I/O 大小


如何创建缓存设备1. 使用 vCenter VSI 创建，选择创

建 XtremSW Cache 设备

2. 选择带有 XtremSF PCIe 闪存卡的 vSphere 服务器

3. 选择缓存设备大小和虚拟机，然后单击“确定”完成。


Exchange 2010 邮箱服务器虚拟机的 XtremSW Cache 配置


Exchange 虚拟机上的 XtremSW Cache 磁盘


使用 XtremSW 缓存设备进行虚拟机迁移

• 使用 vCenter XtremSW Cache VSI 插件

• 确保目标服务器上有足够的缓存容量

• 在已迁移虚拟机的目标服务器上，缓存将冷启动缓存效率将降低，直到缓存重新变暖。


启用重复数据消除功能的缓存设备您可通过执行以下命令使用 XtremSW

Cache VSI 插件或 CLI 在 Exchange 虚拟机上启用重复数据消除：

vfcmt add -cache_dev harddisk13 –set_page_size 64 –set_max_io_size 64 –enable_ddup –ddup_gain 20

其中：– harddisk13 是为虚拟机配置的操作系统缓存设备。– ddup_gain 20 是虚拟机上的系统缓存设备的重复数

据消除收益百分比。


通过 VSI 插件监视统计信息


通过 CLI 监视统计信息


使用 XtremSW Cache 设备的 vMotion 在 XtremSW Cache 设备已连接至

Exchange 虚拟机的情况下，确保执行 vMotion 之前满足以下要求：

– 目标数据存储区有足够的容量可供新设备使用– 主机虚拟机没有其他基于 DAS 闪存的设备– 在主机虚拟机上仅配置了一个 XtremSW Cache 设备– 当前未在迁移要迁移的虚拟机– 源主机和目标主机必须能够彼此通信（确保已正确配置

IP 地址和 DNS ）


解决方案验证


使用 Jetstress 进行性能验证配置

– 一个 VNX 存储池（ 48 个 2 TB NL-SAS 驱动器）中 3 个服务器（构造块）

– 为每个 Exchange 虚拟机创建 50 GB XtremSW Cache 设备– 仅对数据库 LUN 启用缓存加速– 每个服务器 7.8 TB 数据集（每 3 个服务器 23.4 ）

模拟的工作负载– JetStress 总吞吐量测试（ 2 个小时）


使用 Jetstress 时的 Exchange 性能 (IOPS)

来自三个邮箱服务器的 IOPS 合计提高 26% ，从 2,812 IOPS 提高至 3,545 IOPS

读取 IOPS 提高 34% ，从 1,388 IOPS 提高至 1,862 IOPS

写入 IOPS 提高 33% ，从 851 IOPS 提高至 1,118 IOPS


使用 Jetstress 时的 Exchange 性能（延迟）读取延迟降低 3.2 ms 。写入延迟稍微提高


VNX 性能（存储池）对后端存储阵列的读取 IOPS 降低 16.5% ，

这是由于 XtremSW Cache 将读取操作从阵列分流到服务器

对后端存储的写入 IOPS 降低 50% ，这是由于 XtremSW Cache 读取从阵列分流到服务器，从而允许直写缓存处理更多的写入活动

磁盘使用率提高 15% ，这是由于阵列处理更多的写入活动

带宽增加 6.5% (MB/s) ，这是由于增加的写入活动由阵列处理


使用 LoadGen 进行性能验证配置

– 一个 VNX 存储池（ 48 个 2 TB NL-SAS 驱动器）中 3 个服务器– 为每个 Exchange 虚拟机创建 50 GB XtremSW Cache 设备– 仅对数据库 LUN 启用缓存加速– 在容量达到 60% 时对用户 1.5 GB 邮箱进行初始化（每个服务器 5.4

TB 数据集（每 3 个服务器 16.2TB ））

• 工作负载详细信息• 采用 Outlook 缓存模式的 Exchange 2010 Loadgen ，用户配置文件

为 150 、 250 和 300 封邮件 / 用户 / 天（ 3:2 读 / 写比率）


使用 LoadGen 获得的性能结果 150 封邮件 / 用户 / 天的工作负载

– 读取延迟降低 51% （降低 6.4 ms ）– 用户 IOPS 提高 14.6%

（提高 224 IOPS ）

250 封邮件 / 用户 / 天的工作负载– 读取延迟降低 69.3%

（降低 11.1 ms ）– 用户 IOPS 提高 12.8%


300 封邮件 / 用户 / 天的工作负载– 读取延迟降低 56.8%

（降低 12.5 ms ）– 用户 IOPS 提高 12%



使用 XtremSW Cache 重复数据消除实现的性能

每个工作负载的 Exchange Server CPU 利用率降低

由于对重复数据进行 XtremSW Cache 分析和处理，写入延迟稍微提高


使用 XtremSW Cache 重复数据消除实现的性能

对 VNX 存储池的写入 IOPS 降低 27.7%


对 XtremSW 缓存效率产生的 BDM 影响

最大 I/O 设置为 64 k （默认值）当 BDM 未在 Exchange 数据库上运行时， XtremSW Cache 会跳过更少的读取 I/O

与运行 BDM 的数据库相比，无 BDM 的数据库上的读取延迟更高（提高 3-4 ms ）


基于验证的建议和最佳实践


何时为 Exchange 工作负载考虑使用 XtremSW Cache

在以下情况下为 Exchange 考虑使用 XtremSW Cache ：– 您拥有一个 I/O 绑定 Exchange 解决方案– 您不确定预期的工作负载– 您需要保证为特定用户（ VIP 服务器、数据库等）提供较高性能和较低延迟


为 Exchange 工作负载使用 XtremSW Cache 的好处根据 EMC 验证， XtremSW Cache 会在以下方面提高

Exchange 2010 性能：– 降低数据库读取延迟– 提高 I/O 吞吐量– 消除较高延迟峰值– 随着工作负载的增加提供更多改进– RPC 延迟降低– 对后端存储的读取操作减少– 利用 XtremSW Cache 重复数据消除时对后端存储的写入操作减少


基于解决方案验证的最佳实践

• 当在 VMware vSphere 上将 XtremSW Cache 实施到现有 Exchange 2010 部署时，请考虑以下因素：

– 要部署的 XtremSF PCIe 卡的大小– 在将使用 XtremSW Cache 的每个 vSphere 主机上部署的 Exchange 虚

拟机数量– Exchange 工作负载特性（读 : 写比率、用户配置文件类型）– 当缓存来自工作数据集的所有读取时将实现最大优势


基于解决方案验证的最佳实践

您可以在物理 Exchange 邮箱服务器或托管 Exchange 邮箱虚拟机的虚拟机监控程序服务器（ VMware 或 Hyper-V ）上安装 XtremSF Cache PCIe 闪存卡

仅对数据库卷启用 XtremSW Cache 加速 XtremSW Cache 大小确定指导：

对于 1,000 GB 工作数据集，配置 10 GB 的 XtremSW Cache 设备


配置建议

• 当将 XtremSW Cache 设备添加到 Exchange 虚拟机时：– 将缓存页面和最大 I/O 大小设置为 64 KB （将不缓存 BDM I/O ）

使用 XtremSW Cache CLI 将缓存设备添加到 XtremSW Cache 版本低于 2.0 的虚拟机。借助版本 2.0 ，您应能够使用 VSI 插件配置页面大小。

– 当将缓存设备添加到虚拟机时，使用以下 CLI 命令设置缓存页面和最大 I/O 大小：vfcmt add -cache <cache_device> -set_page_size 64 -set_max_io_size 64


启用了重复数据消除功能的 XtremSW Cache

在考虑为加速 Exchange LUN 启用重复数据消除之前，评估您的工作负载在启用重复数据消除时考虑 CPU 开销基于工作负载特性设置重复数据消除比率：

− 如果观察到的重复数据消除比率低于 10% ，则关闭重复数据消除，或将重复数据消除收益重新配置为 0 。如果观察到的比率高于 35% ，则提高重复数据消除收益，使其与观察到的重复数据消除匹配。

− 如果观察到的比率在 10% 和 35% 之间，则保持重复数据消除收益不变。


重复数据消除配置建议

建议：− 如果观察到的重复数据消除比率低于 10% ，则关闭重复数据消除，或将重复数据消除收益重新配置为 0 。

− 如果观察到的比率高于 35% ，则提高重复数据消除收益，使其与观察到的重复数据消除匹配。− 如果观察到的比率在 10% 和 35% 之间，则保持重复数据消除收益不变。


如何监视重复数据消除统计信息

重复数据消除统计信息命令：vfcmt display -ddup -cache_dev harddisk13其中： <harddisk13> 是虚拟机上的缓存磁盘设备

要手动计算观察到的重复数据消除命中率（缓存中的重复数据量），请使用此公式：

( 写入命中次数 ÷ 收到的写入 ) *100

示例： 44414733 ÷ 125477788 = 35.4%

要更改已配置的比率，请移除 XtremSW Cache 设备，然后使用 vfcmt add -cache_dev 命令重新创建一个新设备


总结• XtremSW Cache 可改进 Exchange 2010 I/O 和读 / 写延迟借助 XtremSW Cache ，几乎不存在较高的延迟峰值

• XtremSW Cache 可改善 Exchange 用户体验RPC 延迟得到降低

• 根据测试获得的观察结果，我们建议您将缓存页面和最大 I/O 大小设置为 64 KB

• XtremSW Cache 重复数据消除功能与 Exchange 配合非常好，不会影响数据库性能或读 / 写延迟

Documents

使用 EMC XtremSW Cache 提升 Microsoft Exchange 性能 EMC VNX 存储和 VMware vSphere