通过结合 VPLEX METRO 与 VMWARE 性和容错实现最佳 … · cumentation/h7139-implementation-planning-vplex-tn.pdf 如果对这些要求的适用性有疑问，请咨询您当地的

白皮书

通过结合 VPLEX™ METRO 与 VMWARE 高可用

性和容错实现佳可用性

摘要

本白皮书讨论如何使用精心设计的 VMware® 和 EMC® 技术创建联合的

连续可用性解决方案。其中将介绍下列主题

选择联合容错或联合高可用性设计注意事项和约束操作佳做法

2012 年 11 月修订版 1.1

版权所有 © 2012 EMC Corporation。保留所有权利。 EMC 确信本出版物在发布之日内容准确无误。该信息如有更

改，恕不另行通知。本出版物的内容按“原样”提供。EMC CORPORATION 对本出

版物的内容不提供任何形式的陈述或担保，明确拒绝对有特定

目的的适销性或适用性进行默示担保。使用、复制和发行本出版物所描述的任何 EMC 软件都要有相应

的软件许可。有关新的 EMC 产品名称列表，请参见 http://china.emc.com 上的 EMC Corporation 商标。

2通过结合 VMWARE 容错和高可用性与 VPLEX™ METRO HA 实现佳可用性

索引

执行摘要 .........................................................................................................5 目标读者............................................................................................................................5 文档范围和限制.................................................................................................................6

简介 ................................................................................................................7

EMC VPLEX 技术 ..............................................................................................8 VPLEX 术语和词汇表 ..........................................................................................................9 EMC VPLEX 体系结构........................................................................................................10 EMC VPLEX Metro 概述 .....................................................................................................11 了解 VPLEX Metro 主动/主动分布式卷 .............................................................................12 VPLEX Witness — 简介......................................................................................................14 使用 VMware FT 保护 VPLEX Witness ................................................................................18 VPLEX Metro HA................................................................................................................19 VPLEX Metro 交叉群集连接 ..............................................................................................19

统一和非统一访问的说明................................................................................ 21 统一和非统一 I/O 访问 ....................................................................................................21 拆分群集的统一访问（非 VPLEX） ..................................................................................21 采用主动/被动复制的统一访问（非 VPLEX）..................................................................23 非统一访问（VPLEX IO 访问模式） .................................................................................23 具有交叉连接和非统一模式的 VPLEX ..............................................................................25 具有交叉连接和强制统一模式的 VPLEX...........................................................................26

将 VPLEX HA 与 VMware HA 和/或 FT 相结合 .................................................... 28 vSphere HA 和 VPLEX Metro HA（联合 HA） ....................................................................28 联合 HA 的使用情形.........................................................................................................29 使用具有联合 HA 的 DRS 共用数据中心...........................................................................29 使用联合 HA 和 vMotion 避免宕机和灾难 ........................................................................30 使用联合 HA 的故障情形和恢复 ......................................................................................31 vSphere FT 和 VPLEX Metro（联合 FT） ............................................................................35 联合 FT 解决方案的使用情形 ...........................................................................................35 使用联合 FT 的故障情形和恢复 .......................................................................................36 选择联合可用性或灾难恢复（或二者） ..........................................................................39 使用 HA 和/或 FT 增强灾难恢复 .......................................................................................41 联合 HA 和/或 FT 不能取代灾难恢复的环境.....................................................................42

结合 VPLEX HA 和 VMware HA 的佳做法和注意事项 ...................................... 44 VMware HA 和 FT 佳做法要求 .......................................................................................44


网络连接原则和前提条件 ................................................................................................44 vCenter 放置选项 .............................................................................................................45 路径丢失处理语义（PDL 和 APD） ..................................................................................46 交叉连接拓扑和故障情形。 ............................................................................................48 交叉连接和多路径 ...........................................................................................................50 VPLEX 站点首选规则 ........................................................................................................50 DRS 和站点相关性规则 ....................................................................................................51

VMware FT 的其他佳做法和注意事项............................................................ 52 辅助 VM 放置注意事项 ....................................................................................................53 DRS 相关性和群集节点计数。 .........................................................................................53 FT 的 VPLEX 首选规则注意事项 ........................................................................................54 FT 的其他一般建议...........................................................................................................54

结论 .............................................................................................................. 55

参考资料 ....................................................................................................... 56

附录 A — 远距离虚拟移动 (10 ms)................................................................... 58


执行摘要

EMC® VPLEXTM 系列消除了数据中心内部、跨数据中心和数据中心之间的物理障

碍。VPLEX Local 为异构阵列提供简化的管理和无中断数据移动。VPLEX Metro 和 Geo 分别提供同步和距离内两个 VPLEX 群集之间的数据访问和移动。凭借独特的横

向扩展体系结构，VPLEX 高级数据缓存和分布式缓存吻合性提供了存储域的工作负

载恢复能力、自动共享、平衡和故障切换，并通过可预测服务级别支持本地和远程

数据访问。

VMware vSphere 为重要的应用程序提供更高级别的可用性，实施更简便，成本更低

廉。借助 vSphere，组织可以轻松地提升为所有应用程序提供的可用性的基准级

别，还可更加轻松且经济高效地提供更高级别的可用性。vSphere 可以减少计划内

和计划外宕机。vSphere 具有革命性的 VMware vMotionTM (vMotion) 功能，可以在零

应用程序宕机的情况下执行计划内维护。

VMware 高可用性 (HA) 是 vSphere 的一种功能特性，可通过利用配置为一个群集的

多个 VMware ESX® 和 VMware ESXiTM 主机来减少计划外宕机，从而实现自动宕机恢

复并且为虚拟机中运行的应用程序提供经济高效的高可用性。

VMware 容错 (FT) 对众所周知的虚拟化封装属性的利用方式是直接在 ESXi 虚拟机管

理程序中内置容错，以向虚拟机提供硬件式容错功能。客户操作系统和应用程序无

需修改或重新配置。事实上，用户不会察觉到 ESXi 和底层体系结构透明提供的保护。

利用远距离技术，VPLEX Metro 构建在 VMware FT 和 HA 优势的基础之上，可提供超

越传统“灾难恢复”的解决方案。这些解决方案提供了一种新型部署，可为当今的

企业存储和云环境提供高级别的远距离连续可用性。使用此类技术，现在可以提

供具有零恢复点目标 (RPO) 和零“存储”恢复时间目标 (RTO)（使用 VMware FT 时，

则具有零“应用程序”RTO）的解决方案。

本白皮书旨在帮助技术决策者更加深入地了解 VPLEX Metro 与 VMware 容错和/或高

可用性的设计、特性、功能和好处。本白皮书还着重介绍了实施 VMware 容错和/或高可用性与 VPLEX Metro 技术以实现远距离“联合可用性”的关键技术性注意事项。

目标读者

本白皮书面向负责设计、创建、管理和使用 IT 环境（指利用 EMC VPLEX 和 VMware 容错和/或高可用性技术（分别简称为 FT 和 HA）的环境）的技术架构师、存储管

理员和 EMC 专业服务合作伙伴。本白皮书假定读者熟悉 EMC VPLEX 和 VMware 技术

和概念。


文档范围和限制

本文档适用于配置了 VPLEX Witness 的 EMC VPLEX Metro。本白皮书提供的详细信息

基于下列配置：

• VPLEX Geosynchrony 5.1（修补程序 2）或更高版本

• 仅限于 VPLEX Metro HA（在扩展配置中，Local 和 Geo 不支持 FT 或 HA）

• 对于 VMware HA，VPLEX 群集彼此间的延迟在 5 毫秒 (ms) 以内

• 可视情况为 VMware HA 解决方案部署交叉连接配置（非必需）。

• 对于 VMware FT 配置，VPLEX 交叉群集连接需配置到位（强制性要求）。

• 对于 VMware HA，VPLEX 群集彼此间的往返时间 (RTT) 在 5 毫秒 (ms) 以内

• 对于 VMware FT，VPLEX 群集彼此间的往返时间 (RTT) 在 1 毫秒 (ms) 以内

• VPLEX Witness 部署于第三个故障域（必需）。VPLEX Metro 需要 Witness 功能才能成为真正的主动/主动连续可用存储群集。

• 使用 ESXi 和 vSphere 5.0 更新版 1 或更高版本

• 此处提供的 EMC Simple Support Matrix (ESSM) 上列出的任何合格阵列对

（EMC 和非 EMC）： https://elabnavigator.emc.com/vault/pdf/EMC_VPLEX.pdf

• 配置与此处提供的 VPLEX 佳做法完全符合： http://powerlink.emc.com/km/live1/en_US/Offering_Technical/Technical_Documentation/h7139-implementation-planning-vplex-tn.pdf

如果对这些要求的适用性有疑问，请咨询您当地的 EMC 支持代表。

注意：超出本文档范围时，应注意除本白皮书中的所有佳做法之外，所有联合 FT 和 HA 解决方案还需遵守 VMware HA 和 FT 技术隐含的相同佳做法和限制。例如，

在写入时，VMware FT 技术只能支持每个虚拟机配备单个 vCPU（VMware HA 没有相

同的 vCPU 限制），而且此限制在联合 VMware FT 群集时的优先级高。请确保查

阅 VMware 佳做法文档及限制和注意事项文档（请参阅“参考资料”一节）了解

详细信息。


https://elabnavigator.emc.com/vault/pdf/EMC_VPLEX.pdf

http://powerlink.emc.com/km/live1/en_US/Offering_Technical/Technical_Documentation/h7139-implementation-planning-vplex-tn.pdf


简介

越来越多的客户希望保护自己的业务服务，防止任何可能导致宕机的事件发生。此

前（即在 VPLEX 之前），防止宕机的解决方案主要有两类：

1. 数据中心内的高可用性和容错系统

2. 数据中心外的灾难恢复解决方案。

FT 和 HA 解决方案的好处是在发生故障时能够自动恢复。但是，地理位置保护范围

仅限于单个数据中心，因此，无法保护业务服务免遭数据中心故障的影响。

另一方面，灾难恢复解决方案通常利用地理位置分散性保护业务服务。一旦数据中

心发生故障，便可利用与主数据中心不同的故障域中的另一个数据中心实现恢复。

但是，灾难恢复解决方案存在一些缺陷，需要人为干预（即：不是自动恢复），而

且在主站点修复后，通常需要进行第二次中断回切。换句话说，一旦主数据中心发

生故障，企业就需要作出一项重大决定以调用灾难恢复。

既然灾难恢复是人为决定的（即手动调用），就可能造成额外的宕机，因为重大决

定本身也需要时间，而且，往往需要管理层的主要利益相关者参与。因为多数站点

宕机是由于可恢复的事件（如长时间电源中断）造成的，所以在面对“调用灾难恢

复”决策时，某些企业会选择不调用灾难恢复，而等待宕机恢复。这意味着关键业

务 IT 服务在事件过程中保持离线状态。

这些类型的方案在这些“灾难”情况下并不常见，而不调用的原因可能各种各样。

两个大的可能性是：

1. 发生故障的主站点可以在 24-48 小时内恢复，但是调用灾难恢复的复杂性和

风险没有保证。

2. 调用灾难恢复需要在未来的某个时间点“回切”，进而造成更多中断。

调用灾难恢复的其他潜在顾虑包括复杂性、缺乏测试、缺乏资源、缺乏技能集和恢

复时间冗长。

为避免此类隐患，VPLEX 和 VMware 为保护您的环境提供了更全面的答案。通过综

合 HA 和 FT 的优点，已经创建了一种新类别的可用性。此新型类别提供了自动化的

（无需人为决定）FT 和 HA 优点，但是允许通过使用 VPLEX Metro 远距离利用这些

优点。这将带来通常与灾难恢复相关联的地理距离好处，从而显著增强 HA 和 FT 主张。

新类别称为“联合可用性”且具有极其稳定的特点，可显著降低计划内和计划外事

件造成宕机的几率。


EMC VPLEX 技术

VPLEX 可封装传统的物理存储阵列设备并对其应用三层逻辑抽象。每一层的逻辑关

系如图 1 所示。

扩展区是 VPLEX 用于划分存储卷的机制。扩展区可以是全部或部分底层存储卷。

EMC VPLEX 聚合扩展区并在设备层应用 RAID 保护。设备是使用一个或多个扩展区

构成的，可根据需要组合为更复杂的 RAID 方案和设备结构。VPLEX 存储结构的顶层

是虚拟卷。虚拟卷由设备创建而成并且继承底层设备的大小。虚拟卷是 VPLEX 使用

前端 (FE) 端口向主机公开的元素。对虚拟卷的访问通过存储视图进行控制。存储视

图可与 EMC Symmetrix® 上的自动资源调配组或 EMC VNX® 上的存储组媲美。它们

充当逻辑容器，可确定主机启动器对 VPLEX FE 端口和虚拟卷的访问。

图 1 EMC VPLEX 逻辑存储结构


VPLEX 术语和词汇表

术语(T) 定义

VPLEX 虚拟卷 VPLEX 前端端口对主机呈现的存储单元

VPLEX 分布式卷分离式 VPLEX Metro 配置中两个 VPLEX 群集的 VPLEX 前端端口呈现的单个存储

单元

VPLEX 控制器 VPLEX 解决方案的中央处理和智能。每

个 VPLEX 引擎均有冗余（A 和 B）控制器

VPLEX 引擎由两个控制器组成，是 VPLEX 解决方案

的扩展单元

VPLEX 群集一个机架中的 VPLEX 引擎集合。

VPLEX Metro 两个 VPLEX 群集的合作，每个群集在同

步距离上为自己的存储域提供服务，形

成主动/主动分布式卷

VPLEX Metro HA 每个 VPLEX Metro 在配置了 VPLEX Witness 之后，可针对任何故障域丢失的

情况提供全自动恢复。这也可视为远距

离的主动/主动连续可用存储群集。

任意位置访问该术语用于描述使用 VPLEX Metro（具有

主动/主动特性）的分布式卷

联合同级别的远距离存储元素合作，可实现

移动性、可用性和协作

自动没有人为干预（例如 HA 和 FT）

自动化决策后无需人为干预（例如，使用 VMware SRM 技术的灾难恢复）


EMC VPLEX 体系结构

EMC VPLEX 代表了用于数据移动和信息访问的新一代体系结构. 此新的体系结构基

于 EMC 在 20 多年的设计、实施和完善企业级智能缓存和分布式数据保护解决方案

的实践中取得的专业知识和经验。

如图 2 所示，VPLEX 是一个可增强和联合 EMC 和非 EMC 存储系统的解决方案。

VPLEX 驻留在服务器和异构存储资产之间（从主机提取存储子系统），并推出了一

种具有以下独有特性的新体系结构：

• 横向扩展群集硬件，让客户可从小型配置开始并根据可预测的服务级别逐步

扩展

• 高级数据缓存，可利用大规模 SDRAM 缓存以提升性能并减少 I/O 延迟和阵

列争用

• 分布式缓存吻合性，可跨整个群集自动执行 I/O 的共享、平衡和故障切换

• 一个统一视图显示跨 VPLEX 群集的一个或多个 LUN（这些群集既可在同一数

据中心内相距几英尺，也可跨同步距离），可实现高可用性和工作负载重定

位的新模式

图 2 EMC VPLEX 本地系统能够提取异构存储


EMC VPLEX Metro 概述

VPLEX Metro 跨站点间往返时间高达 5 毫秒的两个分离位置提供移动性和访问（主

机应用程序许可）。VPLEX Metro 使用两个 VPLEX 群集（每个位置一个）并具有独

特功能，可支持通过直写缓存在两个群集间镜像数据的同步分布式卷。

因为 VPLEX Metro 分布式卷受到 VPLEX Metro 高级缓存吻合性算法的控制，所以可

在任一 VPLEX 群集上对分布式卷进行主动数据输入/输出访问。因此，VPLEX Metro 是真正的主动/主动解决方案，远胜于传统的主动/被动旧式复制解决方案。

VPLEX Metro 将相同的块卷分布到多个位置，并确保标准 HA 群集环境（例如 VMware HA 和 FT）可以轻松利用这一功能，便于远距离透明地部署。

其中的关键就是使主机群集认为节点之间没有距离，让其行为与同在一个数据中心内的情况保持一致。这称为“打破距离障碍”，也是 VPLEX Metro 的一项关键技术。

提供真正的主动/主动 FT 或 HA 环境的另一项技术是主动/主动网络拓扑。利用这项

技术，同一网络的第 2 层驻留于每一个位置，提供真正的无缝数据中心共用。虽然

第 2 层网络扩展是任何基于 VPLEX Metro 的 FT 或 HA 解决方案的前提条件，但它不

在本文档的内容范围内。本文档假设 VPLEX Metro 驻留的数据中心之间有扩展的第 2 层网络。

注意：有关远距离扩展第 2 层网络的技术的更多信息，请参阅此处提供的 Cisco Overlay Transport Virtualization (OTV) http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/whitepaper/DCI_1.html 以及此处提供的 Brocade Virtual Private LAN Service(VPLS) http://www.brocade.com/downloads/documents/white_papers/Offering_Scalable_Layer2_Services_with_VPLS_and_VLL.pdf 。


http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/whitepaper/DCI_1.html


http://www.brocade.com/downloads/documents/white_papers/Offering_Scalable_Layer2_Services_with_VPLS_and_VLL.pdf


了解 VPLEX Metro 主动/主动分布式卷

与只在一个位置访问数据卷（即，仅限主动/被动模式）的传统旧式复制不同，

VPLEX 可远距离分布虚拟设备，终意味着多个位置的主机现在可访问相同的（分

布式）卷。

从工程角度来说，源自 VPLEX Metro 的分布式卷具有“单磁盘语义”，这表示在任

何情况（包括故障）下，磁盘的行为将会与任何传统块设备一致。因此，与单磁盘

关联的所有规则完全适用于 VPLEX Metro 分布式卷。

例如，下图显示的是单主机访问单 JBOD 型卷：

图 3 单主机访问单磁盘

显然，图中的主机是访问单个卷的唯一主机启动器。

下图显示本地双节点群集。

图 4 多主机访问单磁盘

如图所示，现在有两个主机争用单个卷。橙色虚线矩形显示每个节点都需要位于一

个群集中或利用群集文件系统，以便这些节点有效协调锁定以确保卷保持一致。

下图显示了两个相同的节点群集，但是现在使用 VPLEX 缓存吻合性技术连接至 VPLEX 分布式卷。


图 5 多主机访问一个 VPLEX 分布式卷

在本示例中，两个节点群集对单个卷的访问模式的基本原理没有变化。此外，就主

机而言，本示例与上一示例没有任何区别，因为 VPLEX 都是通过 AccessAnywhere™（一种联合类型）在数据中心之间分布设备。

这意味着主机仍需协调锁定以确保卷保持一致。

对于 ESXi，此机制受到每个数据存储区中的群集文件系统“虚拟机文件系统 (VMFS)”的控制。在这种情况下，每个分布式卷都将导入 VPLEX 并通过 VMFS 文件

系统进行格式化。

下图显示 VPLEX Metro 分布式设备的高级别物理拓扑。

图 6 多主机访问一个 VPLEX 分布式卷

此图是图 5 中所示的逻辑配置的物理表达方式。部署这种拓扑后，分布式卷可有效

视为任意其他卷；现在，唯一的区别就是同时分布在两个位置上供使用。

这种架构的另一个好处是“极为简便”，就像远程配置单个数据中心内的群集一样

简单。

注意： VPLEX Metro 可以使用 8GB FC 或本机 10GB 以太网 WAN 连接（书面称为

“链路”）。使用 FC 连接时，这可配置为使用专用通道（即，单独的非合并结

构）或基于 ISL（即，已跨站点合并结构）。假设任何 WAN 链路都另有一条物理冗

余的线路。


注意： VPLEX Metro 在群集之间具有符合要求的足够带宽至关重要。EMC 可以通过

业务连续性解决方案设计 (BCSD) 工具帮助对此进行鉴定。请安排您的 EMC 客户团

队执行规模调整操作。

有关 VPLEX Metro 体系结构的更多详细信息，请参阅此处提供的 VPLEX HA 技术书籍： http://china.emc.com/collateral/hardware/technical-documentation/h7113-vplex-architecture-deployment.pdf

VPLEX Witness — 简介

如前所述，VPLEX Metro 超越了旧式主动/被动复制技术的范畴，可以提供真正的远

距离主动/主动存储和联合可用性。

需要具备三个要素才能提供真正的“联合可用性”。

1. 真正的远距离主动/主动光纤通道块存储。

2. 同步镜像，以确保两个位置保持数据一致。

3. 外部仲裁，以确保在所有故障情况下都能自动恢复。

在之前的章节中，我们已经讨论了前两个要素，现在分析一下 VPLEX Witness 启用

的外部仲裁。

VPLEX Witness 以免费 VMware 虚拟应用装置 (vApp) 的形式提供，可运行于客户提

供的 ESXi 服务器上。ESXi 服务器驻留在与任一 VPLEX 群集物理分离的故障域种，

并且使用与该 VPLEX 群集不同的存储。

使用 VPLEX Witness 可确保能够提供真正的联合可用性。这意味着，不论是哪一个

站点或链路/WAN 发生故障，都会有至少一个位置上的数据拷贝自动保持联机。

设置一个或一组分布式卷时，用户将选择“首选规则”，这是每个或每组分布式卷

具有的特殊属性。首选规则决定在发生故障（例如，站点故障或链路分区）后的结

果。首选规则可以设置为“首选群集 A”、“首选群集 B”或“无自动优胜者”。

在较高级别上，出现下列不同的故障情况时，将会对一个或一组分布式卷产生以下

影响：


http://china.emc.com/collateral/hardware/technical-documentation/h7113-vplex-architecture-deployment.pdf


VPLEX 群集分区站点 A 故障站点 B 故障首选规则/情形

站点 A 站点 B 站点 A 站点 B 站点 A 站点 B

在线已暂停发生故障已暂停在线发生故障首选群集 A

良好不良（设计情形）良好

已暂停在线发生故障在线已暂停发生故障首选群集 B

良好良好不良（设计情形）

无自动赢家已暂停（设计情形）已暂停（设计情形）已暂停（设计情形）

表 1 没有 VPLEX Witness 的故障情形

如（上）表 1 所示，如果我们只用了没有 VPLEX Witness 的首选规则，则在某些情

形下，需要手动干预使卷在给定 VPLEX 群集上联机（例如，如果站点 A 是首选站

点，则在站点 A 发生故障时，站点 B 也会暂停）。

此时，VPLEX Witness 将会带来很大帮助，它可更好地诊断网络三角测量所引发的

故障，并且确保始终有至少一个 VPLEX 群集具有主动数据路径，如下表所示：

VPLEX 群集分区站点 A 故障站点 B 故障首选规则

站点 A 站点 B 站点 A 站点 B 站点 A 站点 B

在线已暂停发生故障在线在线发生故障首选群集 A

良好良好良好

已暂停在线发生故障在线在线发生故障首选群集 B

良好良好良好

无自动赢家已暂停（设计情形）已暂停（设计情形）已暂停（设计情形）

表 2 有 VPLEX Witness 的故障情形

如表 2 所示，VPLEX Witness 将 VPLEX Metro 从主动/主动移动性和协作解决方案转换为主动/主动连续可用存储群集。而且，部署 VPLEX Witness 之后，故障情形可自行管理（即，全自

动），不论发生哪种故障情况，都不必执行任何操作！


图 7 显示高级别 VPLEX Witness 拓扑

图 7 为 VPLEX Witness 配置的 VPLEX

如图 7 所示，我们发现 Witness VM 部署于独立的故障域（由客户定义）并通过 IP 网络连接到两个 VPLEX 管理工作站。

注意：故障域由客户决定，可位于相同数据中心内的不同机架中，而且 VPLEX 群集

相互间的距离延迟高达 5 ms（5 ms 是指往返时间延迟或典型的同步距离）。VPLEX Witness 距两个 VPLEX 群集的距离甚至可以更远。当前对此支持的大往返延迟是 1 秒。


图 8 显示了更详细的 VPLEX Witness 连接图

图 8 详细的 VPLEX Witness 网络布局

Witness 网络与 VPLEX 群集间网络物理分离，而且使用与任一 VPLEX 群集物理分离

的存储。如前所述，将 VPLEX Witness 部署到第三个故障域至关重要。该域的定义

因 VPLEX 群集的部署位置而异。例如，如果 VPLEX Metro 群集将要部署在相同的物

理建筑内，但可能位于数据中心的不同区域，那么，此处的故障域就视为 VPLEX 机架本身。因此，VPLEX Witness 也可以部署到相同的物理建筑内，但位于单独的机

架中。

但是，如果每一个 VPLEX 群集均部署在 50 英里外完全不同的建筑内，此处的故障

域即为物理建筑和/或市镇。因此在这种情形中，将 VPLEX Witness 完全部署在另一

个市镇也很有帮助；因为大往返延迟可长达一秒，所以您可挑选世界上的任一座

城市，尤其是当带宽要求低至 3Kb/秒时。

有关 VPLEX Witness 体系结构的更多详细信息，请参阅此处提供的 VPLEX HA 技术书

籍： http://china.emc.com/collateral/hardware/technical-documentation/h7113-vplex-architecture-deployment.pdf




注意：务必将 VPLEX Witness 部署在第 3 个故障域，并确保所有分布式卷驻留在启

用了 Witness 功能的一致性组中。另请确保完全配置 EMC Secure Remote Support (ESRS) 网关，并且在因任何原因发生故障时，Witness 都能够发出警报。务必注

意，Witness 发生故障时，对 I/O 没有任何影响。

使用 VMware FT 保护 VPLEX Witness

在正常操作情况下，VPLEX Witness 不是驱动主动/主动 I/O 所需的关键组件（即，

如果 Witness 断开连接或丢失，I/O 仍将继续）。但是，如果在 VPLEX 群集驻留的

任一位置发生站点丢失，它就会成为确保可用性的关键组件。

如果因任何原因，VPLEX Witness 丢失，并且在包含 VPLEX 群集的站点紧接着发生

灾难性站点故障，那么剩余站点的主机将会丢失对剩余 VPLEX 卷的访问，这是因为 VPLEX Witness 也不可用而造成剩余的 VPLEX 视为被隔离。

为大程度降低此风险，佳的做法是在 VPLEX Witness 功能丢失并且长时间离线

的情况下将其禁用。确保可用性的另一种方法是通过增加第三个位置中运行的 VPLEX Witness VM 的可用性，大程度降低在第一个位置发生 VPLEX Witness 丢失

的风险。

要为此独立的 VM 显著提升可用性，可使用 VMware FT 保护第三个位置的 VPLEX Witness。这样可确保，即使在支持 VPLEX Witness VM 的第三个故障域中的 ESXi 服务器发生硬件故障，VPLEX Witness 在第三个故障域中也不会受到影响。

要部署此功能，只需跨两个或更多 ESXi 主机（位于相同位置）为 VPLEX Witness VM 启用 ESXi HA 群集，并且在完成配置后，右键单击 VPLEX Witness VM 并启用容错。

注意：VPLEX Witness 上的 FT 配置必须驻留于一个位置，不得使用扩展/联合 FT 配置。VPLEX Witness 使用的存储应物理包含在本地（即不是 VPLEX Metro 分布式）卷上第三个故障域的边界内。另请注意，目前不单纯支持 HA，仅支持 FT 或不受保护。


VPLEX Metro HA

如前两节所述，VPLEX Metro 能够提供主动/主动分布式存储，但是，我们发现在某

些故障情况下，如果首选站点因某些原因发生故障而导致非首选站点也暂停，就会

丢失对存储卷的访问。使用 VPLEX Witness 可克服这种情形，并且确保无论是哪个

站点发生故障，始终都能访问 VPLEX 群集。

VPLEX Metro HA 描述了已经部署 VPLEX Witness 的 VPLEX Metro 解决方案。顾名思

义，VPLEX Metro HA 可有效提供真正可用的远距离分布式存储卷，并为其他层的 VMware 技术（如 HA 和 FT）打下坚实的基础。

注意：假设本白皮书中讨论的所有拓扑均使用 VPLEX Metro HA（即，使用 VPLEX Metro 和 VPLEX Witness）。对于确保本文档概述的所有故障情况下都能实现全自动

（即，无决策）恢复，这是必要的。

VPLEX Metro 交叉群集连接

可视情况在园区拓扑（即，延迟高达 1 ms）中部署的另一项 VPLEX Metro 重要功能

是交叉群集连接。

注意：交叉连接是实施 VMware FT 的强制性要求。

该功能使 VPLEX HA 提升至前所未有的高级别可用性，因为一个位置上的整体 VPLEX 群集故障现在不会导致任一位置的主机 I/O 发生中断（使用 VMware FT 或 HA）


图 9 显示了交叉连接配置的拓扑：

图 9 采用交叉连接的 VPLEX Metro 部署

如图所示，交叉连接提供了从每台 ESXi 服务器到远程 VPLEX 的一条或多条备用路径。

这样可确保，即使整个 VPLEX 群集因任何原因而发生故障（因不存在单点故障，故

不太可能），也不会出现 I/O 中断，因为剩余的 VPLEX 群集将跨远程交叉链路（备

用路径）继续提供 I/O 服务

建议在部署交叉连接（而不是合并结构并使用交换机间链路 (ISL)）时，应使用其他

主机总线适配器 (HBA) 直接连接远程数据中心交换机结构。这可确保结构不合并，

且跨越故障域。

务必要注意的另一点是，只有往返时间高达 1 ms 的园区环境才支持交叉连接。

注意：设置交叉连接时，每台 ESXi 服务器发现的数据存储区路径数将会翻倍

（50% 本地和 50% 远程）。佳做法是确保将路径策略设置为固定并且将指向其

他群集的远程路径标记为备用。这可确保工作负载保持平衡并且一次仅提交到单个

群集。


统一和非统一访问的说明

VPLEX 旨在根据企业规模和性能要求，远距离执行块存储分布。为此，VPLEX 独有

的其中一项核心原则是其极为高效的底层缓存吻合性算法，可在不影响性能的情况

下实现主动/主动拓扑。

因为 VPLEX 具有与其他虚拟存储产品不同的独特体系结构，所以使用了两种简单的

类别来轻松区分体系结构。

统一和非统一 I/O 访问

本质上，在使用扩展或分布式群集配置时，这两个类别是描述从主机到存储系统的 I/O 访问模式的方式。VPLEX Metro（正常情况下）遵循的是技术上称为非统一访问

的模式，而与 VPLEX 功能不同的其他产品遵循的则是称为统一 I/O 访问的模式。从

表面上看，这两种拓扑类型似乎都提供远距离主动/主动存储，但是，在简单的

层面上，则只有非统一类别提供真正的主动/主动模式，较之统一类型的解决方案

有着一些显著的优势。

术语的定义如下：

1. 统一访问

通常，统一访问基于主动/被动技术，在相同物理位置仅有 50% 的可用存储

控制器提供所有 I/O 服务（即 50% 的控制器处于被动状态）；因此，所有 I/O 经由主动控制器所驻留的相同位置进行发送或接收，故称为“统一”。

这往往需要“扩展”双控制器的主动/被动中端存储产品，但也可通过使用

旧式主动/被动复制来设计架构。通常，这两种情况都需要使用 ISL，所有主

机才能在远程位置访问主动存储控制器。这两种统一访问类型分别称为“拆

分群集”和“复制”统一访问。

2. 非统一访问

任何给定位置上的任何可用存储控制器 (100%) 均可提供 I/O 服务；因此，

I/O 可以经由任何存储目标位置进行发送或接收，故称为“非统一”。这种

访问来源于在每个位置“分布”多个主动控制器且不需要 ISL（但可视情况

部署 ISL）。

为更深入了解此概念并量化非统一访问的好处，我们必须首先了解统一访问。

拆分群集的统一访问（非 VPLEX）

拆分群集统一访问的工作模式与使用主动/被动存储控制器的任何旧式双控制器阵

列非常相似，主要区别是控制器彼此分离。在典型的双控制器阵列设置（即，无拆

分控制器的阵列）中，主机通常会连接至 HA 配置中的两个控制器，因此在一个控

制器发生故障时，另一个控制器会继续处理 I/O。但是，由于辅助存储控制器处于

被动状态，除非在故障切换情况下，否则写入或读取 I/O 无法传播到此控制器或从


中传播出来。务必注意，出于冗余方面的考虑，这些体系结构类型通常采用同步缓

存镜像，将所有 I/O 写入从主控制器同步到辅助被动控制器。

如果将要采用双控制器主动/被动阵列，并且使节点/控制器物理分离，则会有效地

创建称为“拆分群集统一”的配置。这将提供多站点配置，其中的控制器现在会通

过驻留在站点 A 上的主动控制器/节点以及驻留在站点 B 上的辅助被动控制器/节点

进行远距离扩展。

但是在此类配置中，每个位置只有一个控制器，将会影响解决方案的本地 HA 功能，因为每个站点都存在单点故障。

此设置中的另一个挑战是维护主机对每个位置中两个控制器的访问。

假设站点 A 有一台 ESXi 服务器，站点 B 有另一台服务器。如果只有主动存储控制

器驻留在 A，则我们需要确保站点 A 和站点 B 的主机都能够访问站点 A 的存储控制

器（统一访问）。这一点很重要，原因是：假如我们想在站点 B 运行主机工作负

载，但是站点 B 的控制器却处于被动状态，我们将需要一条主动路径连回到站点 A 中的主动控制器。这可能由跨站点扩展结构的标准 FC ISL 进行处理。

另外，我们还需要一条从站点 A 中的 ESXi 主机连接到站点 B 中的被动控制器的物

理路径。这样做的原因就在于一旦站点 A 发生控制器故障，站点 B 的控制器应能够

提供 I/O 服务。

如上一节所述，这种配置类型称为“统一访问”，因为所有 I/O 均由任何给定存储

卷上的同一控制器统一提供服务，且经由相同位置发送和接收所有 I/O。下面的图 10 显示了典型的统一体系结构示例。

图 10 典型的非统一布局


如上图所示，每个站点的主机均通过扩展结构连接到两个控制器；但是，（任何给

定 LUN 的）主动控制器仅位于其中一个站点中（本例为站点 A）。

采用主动/被动复制的统一访问（非 VPLEX）

设计统一访问拓扑的另一种方式是使用旧式主动/被动复制并通过交叉站点 ISL 予以

增强，实现远程主机访问。因为远程卷不处于主动状态，并且具有与主控制器不同

的身份，所以必须在主机层使用路径管理软件假冒身份，并在需要时控制复制故障

切换。

尽管这种体系结构类型在某种程度上会改进拆分群集统一拓扑，因为每个位置都可

有多个主动控制器（在企业型阵列中），但是仍旧残余了前述许多缺陷以及下述缺陷：

1. 与拆分群集拓扑一样，这仍是主动/被动解决方案，并且需要在位置间建立

额外的 FC 网络。被动位置的所有主机均需通过某种交叉站点 ISL 连接访问主

动存储。同样与拆分群集拓扑类似，被动站点的读写 I/O 也需要更高的响应

时间，因为数据必须遍历 WAN 两次，也就增加了带宽使用率。

2. 这种配置类型要求深入整合主机 I/O 堆栈，而且会增加复杂性，因为被动卷

需要“假冒”身份。这是由于（与 VPLEX 不同）被动卷具有与主动卷不同的 WWN 和 UUID（身份）这一事实引起的。

3. 首次部署和每次向配置中添加新卷时，都必须在所有已连接的主机上配置和

维护主机路径管理软件。而且，由于这是非标准配置，只能使用供应商路径

管理软件，因此与主机和操作系统相关。

4. 由于是 APD，在某些故障情况下，需要手动干预。

非统一访问（VPLEX IO 访问模式）

尽管可以配置 VPLEX 来提供统一访问，但是典型的 VPLEX Metro 部署使用非统一访

问。VPLEX 旨在提供极为高效的非统一访问。这意味着与统一访问解决方案相比，

它具有不同的硬件和缓存体系结构，而且与您此前对非统一访问群集的了解相反，

因下列原因而比统一访问具有显著优势：

1. VPLEX 分布式群集中的所有控制器都是完全主动的。因此，如果在站点 A 启动 I/O，则将直接写入站点 A 中的控制器，然后在确认之前镜像至站点 B；如果在站点 B 启动 I/O，情况正好相反。

2. 因为所有控制器都是主动的，所以站点 A 的主机连接到站点 B 的存储控制器

的交叉连接不是强制要求（除非使用 VMware FT），因而简化了部署。此

外，在 VPLEX 中，万一发生罕见的整个 VPLEX 群集丢失（这被视为双重故

障，因为单个 VPLEX 群集没有 SPOF）或 WAN 故障/分区，所部属的交叉连

接只能用作后的手段。

3. 与统一访问相较而言，非统一访问通常更为高效，因为在正常情况下，所有 I/O 均由本地主动控制器进行处理（所有控制器均处于主动状态）。


4. 有趣的是，由于 VPLEX 的主动/主动特性，如果发生完全站点宕机，VPLEX 并不需要执行故障切换，因为剩余的数据拷贝已处于主动状态。较之统一访问

的另一个关键区别是：如果丢失主要的主动节点，将需要故障切换至被动节点。

下图显示了执行 Metro 距离分布时 VPLEX 的高级体系结构：

图 11 VPLEX 非统一访问布局

如图 11 所示，每个主机仅连接至本地 VPLEX 群集，确保来自任何位置的 I/O 流始

终由本地存储控制器提供服务。VPLEX 可以实现这一要求，因为两个站点的所有控

制器都处于主动状态，且能够提供 I/O 服务。

从图中可以看出一些其他关键区别：

1. VPLEX 后面的存储设备仅连接至各自的本地 VPLEX 群集，且不跨 WAN 进行

连接，因而显著简化了结构设计。

2. VPLEX 具有可从本机连接至 10GB 以太网或 8GB FC 的专用冗余 WAN 端口。

3. VPLEX 在每个位置都有多个主动控制器，可确保没有本地单点故障。由于每

个位置多可具有 8 个控制器，因此 VPLEX 可提供 N+1 冗余。

4. VPLEX 可跨两个不同位置的群集使用和维护单磁盘语义。


具有交叉连接和非统一模式的 VPLEX

使用具有交叉群集连接配置（高达 1 ms 往返时间）的 VPLEX Metro 有时称为“统一

模式的 VPLEX”，因为每个 ESXi 主机现在都连接至本地和远程 VPLEX 群集。

从表面上看，这与统一模式类似，但通常还是以非统一模式运作。这是因为所涵盖

的所有 VPLEX 控制器全都保持主动状态并且可从本地提供数据服务，从而维护 VPLEX 缓存吻合性体系结构的效率。此外，使用交叉连接群集时，建议配置 ESXi 服务器，以便交叉连接路径仅是备用路径。因此，即使使用 VPLEX 交叉连接配置，也

仍从每个本地 VPLEX 群集对 I/O 流提供本地服务，而且不必遍历交叉连接链路。

下图显示了这种模式的示例：

图 12 具有非统一 I/O 访问的高级 VPLEX 交叉连接

在图 12 中，每台 ESXi 主机现在都有远程 VPLEX 主机的备用路径。但是，相比上一

节的典型统一模式图，我们仍会发现底层 VPLEX 体系结构具有显著差异，因为它与

非统一布局保持一致，在任一位置都可本地提供 I/O 服务。


具有交叉连接和强制统一模式的 VPLEX

尽管 VPLEX 主要以非统一模式工作，但是在某些情况下，VPLEX 可以保持一种统一

访问模式类型。例如，使用交叉连接并且发生某些故障导致强制使用统一模式。

当交叉连接网络配置到位时，如果 VPLEX 和交叉连接网络使用的是物理分离的通

道，而且 VPLEX 群集被分区，就可能发生这种情况。

下图显示了这种模式的示例：

图 13 因 WAN 分区而强制使用的统一模式

如图 13 所示，VPLEX 将调用“站点首选规则”，暂停对其中一个位置（本案例中

为站点 B）的给定分布式虚拟卷的访问。终，这表示站点 B 的 I/O 必须遍历到站

点 A 的链路，因为站点 B 中的 VPLEX 控制器路径现在因首选规则而被暂停。

如果任一位置的一个 VPLEX 群集变得被隔离或毁坏，也可能发生这种情况。下图显

示了站点 B 的本地化机架故障使站点 B 的 VPLEX 群集离线的示例。


图 14 VPLEX 因群集故障而强制使用统一模式

在这种情形中，VPLEX 群集在站点 A 保持在线（通过 VPLEX Witness），站点 B 的任何 I/O 将通过交叉连接自动访问站点 A 上的 VPLEX 群集，从而将备用路径转换为

主动路径。

总之，VPLEX 可使用“强制统一”模式作为故障保护，以确保始终保持高级别的

可用性。

注意：仅当距离的往返时间高达 1 ms 时才支持交叉连接 VPLEX 群集。


将 VPLEX HA 与 VMware HA 和/或 FT 相结合

因其核心设计，EMC VPLEX Metro 为远距离的 VMware 容错和高可用性群集群集提

供了完美基础，可确保简便而透明地部署扩展群集且不增加额外的复杂性。

vSphere HA 和 VPLEX Metro HA（联合 HA）

VPLEX Metro 在一个位置采用单块存储设备并“分布”以跨两个位置提供单磁盘语

义。这样，即可在此虚拟卷上创建“分布式”VMFS 数据存储区。

此外，如果已“扩展”第 2 层网络，则单实例 vSphere（包括单逻辑数据中心）现

在也可“分布”至多个位置，并且可为任何给定的 vSphere 群集启用 VMware HA！因为 VPLEX 的存储联合层对 ESXi 完全透明，所以这是可以实现的。因此，用户可

将两个不同位置中的 ESXi 主机添加到相同 HA 群集。

如果通过 VPLEX 扩展 HA 故障切换群集（如 VMware HA），则可远距离创建“联合 HA”群集。这会使得本地 HA 与灾难恢复之间的边界变得模糊，因为此配置结合了 HA 自动重启功能以及通常与同步灾难恢复关联的地理距离。

图 15 具有 vSphere HA 的 VPLEX Metro HA


有关详细的技术设置说明，请参阅 VPLEX Procedure Generator — 配置分布式卷以及

此处提供的“VMware vSphere® Metro Storage Cluster Case Study”（VMware vSphere® Metro 存储群集案例研究）白皮书： http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf

了解关于以下几项的附加信息：

• 设置持久性设备丢失 (PDL) 处理

• vCenter 放置选择和注意事项

• DRS 启用和相关性规则

• 控制重启优先级（高/中/低）

联合 HA 的使用情形

如果客户有两个距离延迟不超过 5 ms（往返延迟）的数据中心，且想要启用主动/主动数据中心设计，以显著增强可用性，则联合 HA 解决方案是理想的选择。

借助此类解决方案，解决方案将会获得几个关键业务连续性项目，包括避免宕机和

灾难以及在全站点宕机时的全自动服务重启。此类配置也需要部署扩展的第 2 层网

络以始终确保无缝网络功能，而不考虑 VM 在哪个位置运行。

使用具有联合 HA 的 DRS 共用数据中心

联合 HA 解决方案的另一个有用功能是能够启用 VMware DRS (Dynamic Resource Scheduler) 并相对透明地在扩展群集中发挥作用。

有效使用 DRS 意味着 vCenter/ESXi 服务器负载可以分布在两个独立的位置，以提升

使用率并使用曾为被动状态的所有可用资产。有效启用 DRS，该配置可以视为两个

物理数据中心充当一个逻辑数据中心。这样有一些明显的好处，因为可将远程位置

上曾为被动状态的资产转换为完全主动状态，进而加以利用。

要启用此功能，用户只需在扩展群集中打开 DRS 并将其配置到所需的自动化水平。

根据设置情况，VM 将自动开始分布于两个数据中心之间（有关更多详细信息，请

参阅 http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf）。

注意：解决方案需要 DRS 时要考虑的设计注意事项是，确保每个位置的计算和网

络资源足以在任一站点发生故障时接管所有业务服务负载。


使用联合 HA 和 vMotion 避免宕机和灾难

使用 vSphere 的联合 HA 解决方案的另一个重要功能是能够避免计划内宕机和计划

外宕机。要实现此目标，可使用 vCenter 的 vMotion 功能将正在运行的 VM（或一组 VM）移至另一个（物理）数据中心中的任何 ESXi 服务器。因为 vMotion 功能现在

是远距离联合的，所以在发生影响整个数据中心位置的事件时，可以避免计划内宕机。

例如，假设我们需要在数据中心 A 执行电源升级，将会导致断电两个小时。由于站

点 A 上运行的所有 VM 都可在断电之前转至站点 A，因此可避免宕机。断电结束

后，可以使用 vMotion 将 VM 移回到站点 A，同时保持一切都完全联机。

该使用情形也可用于预期的计划外事件。

例如，可能有一场飓风临近数据中心，该解决方案可将 VM 移到别处，以免发生任

何潜在的灾难。

注意：在计划内断电事件期间，好是请 EMC 支持人员正常关闭 VPLEX。但是，倘

若时间不允许（比如飓风来临），就可能造成 EMC 支持人员无法提供支持。在这种

情况下，假设 VM 已提前虚拟转移，则即使站点 A 被毁坏，也不会造成业务中断，

因为在站点 A 关闭电源后，VPLEX Witness 将会确保仍在线的站点保持对存储卷的

完全访问。请参阅下面的“使用联合 HA 的故障情形和恢复”了解更多详细信息。


使用联合 HA 的故障情形和恢复

本节不但介绍了所有不同类型的故障，而且显示了 VMware HA 如何在各种情况下继

续或重启操作，以确保大的正常运行时间。

下面配置演示的是典型的联合 HA 解决方案：

图 16 典型的 VPLEX 联合 HA 布局（多节点群集）


下表显示了不同的故障情形和结果：

Failure A 的 VM B 的 VM 注释

站点 A 的存储故障保持在线/不间断保持在线/不间断站点 A 的缓存读取未

命中现在导致额外的

链路延迟，缓存读取

命中则与写入 I/O 响应时间保持相同

站点 B 的存储故障保持在线/不间断保持在线/不间断站点 B 的缓存读取未

命中现在导致额外的

链路延迟，缓存读取

命中则与写入 I/O 响应时间保持相同

VPLEX Witness 故障保持在线/不间断保持在线/不间断两个 VPLEX 群集均执

行 Dial Home 操作

站点 A 的所有 ESXi 主机发生故障

所有 VM 在站点 B 的 ESXi 主机上自动重启

保持在线/不间断 ESXi 主机恢复正常

后，DRS（如已配

置）会将其自动返回

原位

站点 B 的所有 ESXi 主机发生故障

保持在线/不间断所有 VM 在站点 A 的 ESXi 主机上自动重启

ESXi 主机恢复正常

后，DRS（如已配

置）会将其自动返回

原位

保持在线/不间断保持在线/不间断总体交叉连接故障（如

果使用交叉连接）通常不使用交叉连

接，而访问保持非统

一模式。

站点 B 的注释仅对 ESXi 5.0 更新 1 和更

高版本有效。ESXi 5.0 更新 1 之前的版本需

要为站点 B 的 VM 执行手动干预。使用 DRS 站点相关性以避

免对较旧版本执行手

动干预。

完全 WAN 故障（未部

署交叉连接）和 VPLEX 首选站点 A

保持在线/不间断分布式卷在站点 B 暂停，且持久性设备丢失 (PDL) 发送至站点 B 的 ESX 服务器，导致 VM 死机。这会调用 HA 重启，且 VM 开始在站点 A 上线。

保持在线/不间断完全 WAN 故障（未部

署交叉连接）和 VPLEX 首选站点 A

分布式卷在站点 A 暂停，且持久性设备丢失 (PDL) 发送至站点 A 的 ESXi 服务器，造成 VM 死机。这会调用 HA 重启，且 VM 开始在站点 B 上线。

站点 A 的注释仅对 ESXi 5.0 更新 1 和更

高版本有效。ESXi 5.0 更新 1 之前的版本需

要为站点 A 的 VM 执行手动干预。使用 DRS 站点相关性以避


动干预。


WAN 故障，而交叉连

接完好无损保持在线/不间断保持在线/不间断现在，交叉连接正用

于“非首选”站点的

主机。（这称为强制

统一模式。）

站点 B 的注释仅对 ESXi 5.1 和更高版本有

效。ESXi 5.1 之前的版

本（包括 5.0 更新 1）需要为站点 B 的 VM 执行手动干预。使用 DRS 站点相关性以避


动干预。*请参阅下面

的注释

完全 WAN 故障，而交

叉连接被分区，且 VPLEX 首选站点 A

保持在线/不间断分布式卷在站点 B 暂停，且持久性设备丢失 (PDL) 发送至站点 B 的 ESX 服务器，导致 VM 死机。这会调用 HA 重启，且 VM 开始在站点 A 上线。

保持在线/不间断站点 A 的注释仅对 ESXi 5.1 和更高版本有

效。ESXi 5.1 之前的版

本（包括 5.0 更新 1）需要为站点 A 的 VM 执行手动干预。使用 DRS 站点相关性以避


动干预。*请参阅下面

的注释

完全 WAN 故障，而交

叉连接被分区，且 VPLEX 首选站点 B

分布式卷在站点 A 暂停，且持久性设备丢失 (PDL) 发送至站点 A 的 ESXi 服务器，造成 VM 死机。这会调用 HA 重启，且 VM 开始在站点 B 上线。

站点 A 的 VPLEX 群集宕

机（有交叉连接）保持在线/不间断保持在线/不间断不太可能发生，因为

VPLEX 没有 SPOFS。发生全站点故障的可

能性更高。

站点 B 的 VPLEX 群集

宕机（有交叉连接）保持在线/不间断保持在线/不间断不太可能发生，因为

VPLEX 没有 SPOFS。发生全站点故障的可

能性更高。


机（无交叉连接） ESXi 检测到“所有路

径不可用”情况 (APD)，而 VM 无法继

续，也不重启。

保持在线/不间断不太可能发生，因为 VPLEX 没有 SPOFS。发生全站点故障的可

能性更高。


宕机（无交叉连接）保持在线/不间断 ESXi 检测到“所有路

径不可用”情况 (APD)，而 VM 无法继

续，也不重启。

不太可能发生，因为 VPLEX 没有 SPOFS。发生全站点故障的可

能性更高。


保持在线/不间断站点 A 的全站点故障由于 VPLEX Witness 可确保数据存储区在站点 B 保持在线，因此（站

点 A 上的）所有 VM 死机，但在站点 B 自动重启。

此时，灾难恢复解决

方案将需要人为决

定，而 VPLEX HA 层可

确保全自动操作，且

大限度减少宕机。

站点 B 的全站点故障保持在线/不间断由于 VPLEX Witness 可确保数据存储区在站点 A 保持在线，因此（站

点 B 上的）所有 VM 死机，但在站点 A 自动重启。

此时，灾难恢复解决


定，而 VPLEX HA 层可


大限度减少宕机。

表 3 联合 HA 故障情形

注意：在包括交叉连接的完整 WAN 分区中，VPLEX 只能跨 50% 的路径发送 SCSI 检测码 (2/4/3+5)，因为交叉连接路径彻底失效。使用 ESXi 5.1 版和更高版本时，非

首选站点上的 ESXi 服务器将声明 PDL 并关闭 VM，使它们在别处重启（假设高级设

置已就位）；但是，ESXi 5.0 更新 1 和更低版本仅会声明 APD（即使 VPLEX 正在发

送检测码 2/4/3+5）。这将导致 VM 陷入僵尸状态。有关更多详细信息，请参阅 “路径丢失处理语义（PDL 和 APD）”一节。


vSphere FT 和 VPLEX Metro（联合 FT）

在 VPLEX Metro HA 配置之上部署 VMware FT 后，通过启用“连续可用性”型解决方

案，超越传统可用性（即使与联合 HA 比较）。这意味着任何故障都不引发宕机

（零 RPO 和零 RTO）。

下图显示了联合 FT 配置的高级视图，其中远距离分布了一个双节点 ESXi 群集，并

且两个 VM 在双向配置中的远程位置都配置了辅助 VM。

图 17 具有 vSphere FT 的 VPLEX Metro HA（联合 FT）

联合 FT 解决方案的使用情形

如果客户有两个往返延迟不超过 1 ms 的数据中心（通常与园区类型距离关联），

此类解决方案是理想的选择。如果客户想要在启用业务连续性的高层保护关键

的业务部分，则可启用一个主动/主动数据中心设计，使数据中心有效地保持步调

一致。

此类配置可视为使用 RAID-1 有效配置的两个数据中心，其中 RAID 中的 D 现在代表

数据中心，而非磁盘（独立数据中心的冗余阵列）。

与联合 HA 类似，此类配置需要扩展的第 2 层网络以始终确保无缝的功能，而不考

虑 VM 在哪个位置运行。


注意：这里要考虑的另一个设计注意事项是：VMware FT 较之 HA 存在的任何限制

将同样存在于联合 FT 解决方案中。目前，借助 vSphere 5.1 和更低版本，VMware FT 只能支持每个 VM 配备一个 vCPU。有关更多详细信息，请参阅此处的白皮书 http://www.vmware.com/files/pdf/fault_tolerance_recommendations_considerations_on_vmw_vsphere4.pdf。

使用联合 FT 的故障情形和恢复

本节不但介绍了所有不同类型的故障，而且显示了 VMware FT 如何在各种情况下保

持服务在线，而不发生任何宕机。

下面的配置显示了使用双节点群集的典型联合 FT 解决方案，且具备使用与 VPLEX WAN 物理分离的网络的交叉连接。

图 18 典型的 VPLEX 联合 FT 布局（双节点群集）


http://www.vmware.com/files/pdf/fault_tolerance_recommendations_considerations_on_vmw_vsphere4.pdf


下表显示了不同的故障情形和结果：

Failure VM 状态（假设主 VM 位于 A）

主 VM 或辅助 VM 注释

站点 A 的存储故障保持在线/不间断主缓存读取命中与执行

写入 I/O 响应时间仍

然相同。A 的缓存读

取未命中现在导致额

外的链路延迟 (<1ms)，若需避免此

情况，可手动切换至

辅助 VM。

B 的存储故障保持在线/不间断主对存储操作无影响，

因为所有 I/O 均位于 A

VPLEX Witness 故障保持在线/不间断主两个 VPLEX 群集均执

行 Dial Home 操作。

Secondary 站点 A 的所有 ESXi 主机发生故障

保持在线/不间断 FT 使用辅助 VM 自动

启动

站点 B 的所有 ESXi 主机发生故障

保持在线/不间断主主 VM 在别处自动受

到保护。如果在群集

中使用 2 个以上的节

点，佳做法是确保

在远程站点通过 vMotion 重新保护该虚

拟机。

总体交叉连接故障保持在线/不间断主通常不使用交叉连

接，而访问保持非统

一模式。


接完好无损，且主 VM 在首选站点运行。

保持在线/不间断主 VPLEX 暂停非首选站

点的卷访问。仍未使

用交叉连接，因为在

此情况下，主 VM 在首选站点运行。


接完好无损，且主 VM 在非首选站点运行。

保持在线/不间断主正在使用交叉连接

（强制统一模式），

并且所有 I/O 将传输到首选站点的控制器。


机（有交叉连接）保持在线/不间断主主机 I/O 访问将通过

ESXi 路径策略切换为

强制统一访问模式



宕机（有交叉连接）保持在线/不间断主无影响，因为辅助 VM

上没有主机 I/O，即使

有交叉连接，也可确

保有一条备用路径连

接其他 VPLEX 群集。

站点 A 的全站点故障保持在线/不间断 Secondary 此时，灾难恢复解决


定，而 VPLEX FT 层可


不发生宕机。

站点 B 的全站点故障保持在线/不间断主主 VM 无需切换，因

为它在仍运行的站点

中处于主动状态。

表 4 联合 FT 故障情形


选择联合可用性或灾难恢复（或二者）

因其核心基本设计，EMC VPLEX Metro 为远距离的 VMware 容错和高可用性群集提

供了完美基础，可确保简单而透明地部署扩展群集且不增加额外的复杂性；但是，

若要使用联合可用性解决方案替换传统的灾难恢复解决方案，应仔细斟酌，因为这

两种解决方案有着不同的特性。

下面几段说明了这些不同类型的解决方案之间的主要差异，让企业可选择合适的解

决方案。下表从较高级别对比了联合可用性解决方案与灾难恢复解决方案之间的主

要差异。

自动

/自动化

（

基于

决策

）

距离

基于

重新启

动或

连

续操

作

可进

行 D

R 测试

RPO

存储

RTO

完整

RTO

重新

启动粒

度

需要

扩展的

L2

网络

联合 FT 自动 <1ms 连续否 0 0 0 不适用 Yes

联合 HA 自动 <5ms 重新启动否 0 0 分钟高/中/低 Yes

灾难恢复自动化任何重新启动 yes 0 - 分钟秒* 分钟* 完全控制 No

避免宕机自动化 ** 任意 *** 连续混合 0 0 0 不适用 Yes

注意：

* 不包括决策时间

** 必须在宕机发生前调用

*** VMware 目前仅支持 VPLEX Metro。

表 5 BC 属性比较

如表 5 所示，与联合可用性技术比较时，灾难恢复具有一组不同的参数。

下图显示的是大型业务连续性框架的简要视图，其中布置了与距离和自动化级别相

关的所有组件。


图 19 自动化级别与距离

图 19 显示自动化级别与距离之间的比较情况。得益于 VPLEX Metro 可跨越的距离，

VPLEX 本身可用于一种类型的灾难恢复，但这种能力是可远距离实现联合可用性的

副产品。发生这种情况的原因是：VPLEX 目前不仅在执行联合层，还默认处理同步

复制。

我们还可以看到，灾难恢复空间与 EMC RecoverPoint 技术之间存在重叠。EMC RecoverPoint 连续远程复制 (CRR) 旨在提供精心设计的远距离灾难恢复功能以及操

作恢复。但是不提供与 VPLEX 类似的联合可用性解决方案。

与结合 VPLEX Metro HA 与 VMware HA 和 FT 的情况类似，RecoverPoint CRR 也可以

与 VMware vCenter Site Recovery Manager 软件 (SRM) 相结合，以大幅增强其灾难恢

复功能。

VMware vCenter Site Recovery Manager 是针对 VM 灾难恢复推荐的首选解决方案，

可与 VPLEX（Local 或 Metro）兼容。通过 RecoverPoint SRA（存储复制适配器）与 EMC RecoverPoint CRR 技术结合使用时，SRM 可大幅增强并简化灾难恢复。

现在，由于 VM 可以使用不同的地理保护选项进行保护，因此可选择如何配置每台 VM 以确保保护方案与业务重要性相匹配。这实际上可视为保护分层。


下图显示各种保护层及其与业务重要性的关系。

图 20 保护分层与业务重要性

*注意：虽然此图中未提及，本白皮书也未做介绍，但是联合 FT 解决方案和 HA 解决方案都能轻松与 RecoverPoint 连续数据保护 (CDP) 结合用于重要的工作负载，

并且提供自动的高精度操作恢复好处，从而保护整个环境免遭欺诈员工或病毒造成

的潜在破坏或数据丢失。

使用 HA 和/或 FT 增强灾难恢复

由于 VPLEX Metro 和 RecoverPoint CRR 可结合用于同一台虚拟机，因此终端用户不

仅可以在 HA/FT 或灾难恢复解决方案之间进行选择，还可以选择通过所有技术增强

解决方案。解决方案经过增强后具备 VPLEX 联合可用性解决方案的联合功能，可使

用 RecoverPoint CRR 和 SRM 提供 Metro 距离内的重启或连续可用性以及超远距离的

全自动灾难恢复解决方案。此外，由于 RecoverPoint 固有的 I/O 日志记录功能，精

心设计的操作恢复好处也会自动添加到此解决方案中。

尽管 RecoverPoint 和 vCenter Site Recovery Manager 超出了本文档的范围，但下图

还是显示了一些附加拓扑信息。如果您正在权衡是选择灾难恢复、联合可用性，还

是选择这二者，请务必了解这些信息。


图 21 使用灾难恢复增强 HA

增强这些技术很有帮助，例如，一个公司具有园区类型设置，或相同建筑中可能存

在不同的故障域。在此园区环境中，在 VPLEX 联合部署中部署 VMware HA 或 FT 很有帮助，可提供更强的可用性级别。然而，由于两个园区站点极为接近，因此诸如

此类的解决方案很可能还需要一个区域外灾难恢复解决方案。

联合 HA 和/或 FT 不能取代灾难恢复的环境

下面是否定联合可用性解决方案的可行性时需要考虑的一些要点：

在下列情况中，VPLEX 联合可用性解决方案无法取代灾难恢复：

1. VPLEX 群集相隔太近（即园区部署）

因此，由于距离限制（1 ms），联合 FT 通常无法取代灾难恢复，但联合 HA 并非如此。

2. VPLEX 群集所驻留的各站点位置相距过远（即，超过 5 ms，此时不能使用 VPLEX Metro HA）。

VPLEX Metro HA 仅与同步磁盘拓扑兼容。异步类型部署无法自动重启。这很

大程度上是因为故障后的剩余拷贝可能过时。

3. 无法部署 VPLEX Witness。

要确保在所有实例中都能实现全自动恢复，必须具备 VPLEX Witness。

4. 出于一致性原因，企业要求进行受控且隔离的灾难恢复测试。

由于其他版本的系统无法在别处上线（仅主要产品实例在给定的时间在

线），因此只有使用自定义脚本编制和时间点技术，在扩展群集时才能执行

隔离的灾难恢复测试。可对扩展群集采用的唯一测试形式是执行正常故障切

换或模拟站点故障（有关更多详细信息，请参阅 VPLEX 故障注入文档）。

5. 要求具备 VM 重启粒度（超过 3 个优先级）。


在某些环境中，在其他服务之前启动某些服务至关重要。由于 HA 将尝试一

起重启所有发生故障的 VM（或近按高/中/低对虚拟机排列优先顺序），

因此 HA 不能始终保证这一点。另一方面，灾难恢复对重启粒度具有更为严

格的控制，可始终确保服务按照正确顺序恢复在线。

6. 无法扩展第 2 层网络。

所有联合可用性解决方案的主要前提是网络必须经过扩展才能在无需进行任

何网络配置更改的情况下适应 VM 的重定位。因此，若无法在 VPLEX 所驻留

的两个位置之间扩展第 2 层网络，则灾难恢复解决方案更加适合。

7. 如果无法自动切换网络。

这是需要考虑的重要因素。例如，在主站点发生故障时，如果运行所有 VM 的位置已经隔离了网络，而且所有路由都指向原始位置，情况将会很糟糕。


结合 VPLEX HA 和 VMware HA 的佳做法和注意事项

下一节是技术参考，包括结合使用 VMware 可用性产品与 VPLEX Metro HA 时的所有

注意事项和佳做法。

注意：如上所述，即使本文档未做介绍，也应注意除本白皮书所述的所有佳做法

之外，所有联合 FT 和 HA 解决方案还将遵守 VMware HA 和 FT 技术隐含的相同佳

做法和限制。例如，VMware FT 技术只能支持每个 VM 配备单个 vCPU（VMware HA 没有相同的 vCPU 限制），而且此限制在联合 VMware FT 群集时的优先级高。请

确保查阅 VMware 佳做法文档及限制和注意事项文档（请参阅“参考资料”一

节）了解详细信息。

VMware HA 和 FT 佳做法要求

此类配置的大部分佳做法在如下位置提供的 VMware MSC（Metro 存储群集）白皮书中均有

说明： http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf

除本白皮书的内容之外，还应考虑以下各项。

网络连接原则和前提条件

对于同步复制数据的任何解决方案，都必须具有足够的可用带宽来适应服务器写入

工作负载。

此外，当扩展 HA 或 FT 群集时，ESXi 服务器之间的 IP 网络满足 VMware 布置的可支

持性要求（即，必须扩展第 2 层，具备足够带宽且不超出延迟要求）也是非常重要的。

可利用 EMC 专业服务来执行 VPLEX WAN 链路规模调整过程，这些服务将会确定站

点之间的带宽是否充足。规模调整过程将会使用业务连续性解决方案设计工具。

网络拓扑中的另一个关键因素是延迟。在可部署 VMware HA 解决方案的位置，

VPLEX 可支持高达 5 ms 的往返时间延迟，但是，对于 VPLEX 交叉群集连接拓扑和 VMware FT 拓扑都只支持 1 ms 的群集间延迟。

订购 VPLEX 硬件时可附随 8GB/s FC WAN 连接选项，也可附随本机 10GB 以太网连

接选项。


远距离使用带有 FC 选项的 VPLEX 时，必须有充足的 FC 缓冲区以缓冲可用信用 (BB_credit)。有关 BB_credit 的详细信息，请参阅通过 Powerlink 提供的《EMC (SRDF) Networked Storage Topology Guide》（EMC (SRDF) 网络存储拓扑指南）（自

第 91 页起），网址： http://powerlink.emc.com/km/live1/en_US/Offering_Technical/Technical_Documentation/300-003-885.pdf

vCenter 放置选项

尽管从技术上不需要开启并运行 vCenter 也可在发生故障时自动启动虚拟机，但 vCenter 却是十分重要的环境组成部分，而且在决定联合 HA 群集中的部署拓扑时应

该予以谨慎对待。

总之，当远距离扩展 HA 群集时，不管发生怎样的站点故障，vCenter 的相同实例都

需要存在于任一位置。这可以通过许多方法实现，但使用联合 HA 配置时，三种主

要的 vCenter 部署选项是：

1. 使用 vCenter Heartbeat 跨站点复制 vCenter（在 VPLEX Metro 之外）。

优点：

无需担忧 vCenter 重启和服务（如外部 SQL 数据库）相关性，因为在 Heartbeat 产品内部会对此进行自动处理。

缺点：

将会给联合 HA 解决方案之外的解决方案增添另一层复杂性。

2. 将 vCenter 服务器配置到联合 HA 群集中，以自动重启。

优点：

如果 vCenter 作为大型联合 HA 解决方案一部分运行的站点发生丢失，则自动处

理 vCenter 重启。

缺点：

如果使用 SQL 后端，则务必确保它先于 vCenter 主机启动；因此需要通过 VMware HA 中的高/中/低策略进行其他配置。

3. 将 vCenter 服务器配置到联合 FT 群集中，以实现连续可用性。

优点：

vCenter 现在仍保持在线且不需要重启。

缺点：

在园区距离之外不受支持，VMware FT 的相关限制通常会使得 vCenter 服务器不

是一个上佳候选项。


http://powerlink.emc.com/km/live1/en_US/Offering_Technical/Technical_Documentation/300-003-885.pdf


请参阅 http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf，了解更多详细信息。

路径丢失处理语义（PDL 和 APD）

vSphere 可以识别 ESXi 5.0 u1 服务器出现的两种不同类型的总体路径故障。这些称

为“所有路径不可用”(APD) 和“持久性设备丢失”(PDL)。这些情况都可由 ESXi 服务器基于故障情况加以声明。

• 持久性设备丢失 (PDL)

此为一种状态；当 SCSI 检测码 (2/4/3+5) 从底层存储阵列（本案例中为 VPLEX）发送到 ESXi 主机以向 ESXi 服务器通知路径不再可用时，ESXi 服务器将

会声明此状态。如果 VPLEX 遭受 WAN 分区，而导致非首选位置的存储卷被暂

停，则可能发生此情况。发生此情况时，VPLEX 将从正暂停的站点（即，非首选

站点）向 ESXi 服务器发送 PDL SCSI 检测码 (2/4/3+5)。

• 所有路径不可用 (APD)

在此状态下，指向给定卷的所有路径（因任何原因）全都消失，但是阵列（如 VPLEX）无法发送 SCSI 检测码，或者 ESXi 服务器收不到任何信息。这种状态的

一个示例是：给定位置发生双结构故障，导致所有路径不可用。在此情况下，

底层存储阵列不会生成或发送 SCSI 检测码；即使发送了，主机也会因没有连接

而收不到信号。APD 情况的另一个示例是整个 VPLEX 群集发生故障（不太可能

发生，因为没有 SPOF）。在此情况下，由于存储硬件不可用，因此无法生成 SCSI 检测码，而 ESXi 服务器将自行检测到引发 APD 情况的问题。

vSphere 5.0 更新 1 之前的 ESXi 版本无法区分 APD 或 PDL 情况，这会导致 VM 变成

无响应，而不是自动调用 HA 故障切换（即，如果 VPLEX 遭受 WAN 分区且 VM 正在

非首选站点上运行）。显然，在扩展群集配置中结合使用 Sphere HA 和 VPLEX 时，

此行为不可取。

此行为在 vSphere 5.0 更新 1 中发生了变化，因为 ESXi 服务器现在可接收 2/4/3+5 检测码并对收到的内容做出反应，同时声明 PDL，但是需要进行其他设置以确保 ESXi 主机针对此情况做出反应。

需要对 vSphere 5.0 更新 1 部署（和更高版本，包括 vSphere 5.1）应用下列设置：

1. 使用 vSphere 客户端并选择群集，右键单击并选择“编辑设置”。在弹出菜单

中，通过单击选择 vSphere HA，然后单击“高级选项”。定义并保存以下选项： das.maskCleanShutdownEnabled=true

2. 在每个 ESXi 服务器上，使用下面的内容创建并编辑（用 vi）/etc/vmware/settings，然后重启 ESXi 服务器。

下列输出显示该文件中应用的正确设置：

~ # cat /etc/vmware/settings


disk.terminateVMOnPDLDefault=TRUE

有关更多详细信息，请参阅 ESXi 文档和此处提供的白皮书：http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf 。

注意： vSphere 和 ESXi 5.1 推出了一个新功能，称为“APD 超时”。此功能在 ESXi 5.1 部署中是自动启用的，并且不会与 PDL 状态混淆，它确实带来了一定的好处；

即使 ESXi 主机的两个结构或整个 VPLEX 群集发生故障，主机（通常将挂起（也称

为 VM 僵尸状态））现在也能借此对非存储请求做出响应，因为“hostd”将有效地

断开到无法访问的存储的连接，但此功能不会导致受影响的 VM 死机。请参阅此文

章了解更多详细信息： http://www.vmware.com/files/pdf/techpaper/Whats-New-VMware-vSphere-51-Storage-Technical-Whitepaper.pdf 。由于 VPLEX 使用非统一体

系结构，预计在 VPLEX METRO 群集中不可能遇到这种情况。


http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf


http://www.vmware.com/files/pdf/techpaper/Whats-New-VMware-vSphere-51-Storage-Technical-Whitepaper.pdf


交叉连接拓扑和故障情形。

如前所述，与 VPLEX Witness 一起部署的 VPLEX Metro 将提供联合 HA 功能。不管是

否与交叉群集连接配置一起使用，都会如此。联合 HA 可针对本白皮书中所述的所

有情形提供自动的快速解决办法；但是，如果未使用交叉连接配置，则当 VM 在非

首选 VPLEX 群集上处于活动状态时，VM 遇到 PDL 情况（例如，VPLEX WAN 分区期

间）的解决办法可能导致服务短暂中断，因为 VM 将接收 SCSI 检测码 2/4/3+5，而

这会导致 VM 死机并在别处（首选站点）重启。

交叉连接拓扑可通过使用“强制统一”模式避免发生此短暂中断，因为此模式将会

提供对远程 VPLEX 群集上数据存储区的活动拷贝的访问。这种拓扑还用于避免更为

复杂但不太可能发生的故障情形。

交叉连接配置可预防的故障情形因交叉连接的物理设计方式而异。有多种不同类型

的拓扑均可与 VPLEX 交叉连接（涉及物理缆线路由和主机启动器计数）一起使用。

1. 共享或专用缆线路由 • 共享路由

如果网络拓扑中存在可能导致 VPLEX WAN 和交叉连接网络同时发生故障的单点故障，

交叉连接配置将视为“共享路由”。例如，如果交叉连接共享与 VPLEX WAN 相同的物

理 WAN 缆线/线路（跨相同物理路由），甚至使用不同的物理缆线但仍使用与 VPLEX

WAN 相同的缆线路由，则此交叉连接将视为共享路由。不同物理网络路由全都将终端

设在数据中心内的相同通信机架中，进而在设备机架中形成 SPOF，这也是一个示例。

在所有上述示例中，交叉连接都与 VPLEX WAN （以一种方式或另一种方式）物理共

享，因而提高了两个网络同时发生损坏或宕机的可能性，这会导致同时对 VPLEX 群集

和交叉连接进行“分区”。

• 专用路由

如果 VPLEX WAN 使用物理分离的通道连接到交叉连接网络，而且采用不同方式进行路

由，进而维护独立的故障域，则交叉连接配置将视为“专用”。因此，不太可能同时

发生对所有线路的全面分区。在这种配置中，佳做法是使线路终端设在每个 DC 内

的不同机柜。


2. 两个或四个主机启动器

• 两个启动器（其中的每个 ESXi 服务器仅有 2 个 HBA 端口）

对于只能有两个主机启动器的交叉连接，在两个位置之间需要建立合并的结

构，并且每个 ESXi 启动器将分区到本地和远程 VPLEX 前端端口（即，两个 VPLEX 群集看到相同的启动器 WWN）。通常，如果物理服务器仅有 2 个启动

器，并且每个启动器都（跨 ISL ）分区到远程 VPLEX 和本地，将会采用此配置。

• 四个启动器（其中的每个 ESXi 服务器有 4 个 HBA 端口）

如果在每个位置都使用独立结构，则要求使用四个启动器。这意味着，只能

通过本地站点的专用启动器对和远程站点的另一组专用启动器进行连接。

（对于上述的“专用路由”拓扑也有此要求。）

下表显示了交叉连接可预防的所有故障情形，并且用注释说明了对首选位置和非首

选位置的 I/O 影响。

交叉连接配置拓扑故障比较

选项编号选项 1 选项 2 选项 3 选项 4 选项 5

专用 + 以不同方式

路由 (6) 专用 + 以不同方

式路由 (6) 交叉连接具有共享或专用

路由共享路由 (7) 共享路由 (7) 无交叉连接 4 个 HBA（专用）或 2 个 HBA（合并结构） 4 个专用 HBA

2 个 HBA/ 合并结构 4 个专用 HBA

2 个 HBA/ 合并结构无交叉连接

情景首选非首选首选非首选首选非首选首选非首选首选非首选

VPLEX WAN 分区 OK

强制一致

OK 强制一致

OK PDL (1,2,7)

OK PDL (1,2,7)

OK PDL (1,7)

首选 VPLEX 出现故障 (5) 强制一致

OK 强制一致

OK 强制一致

OK 强制一致

OK APD(3,5) OK

非首选 VPLEX 出现故障 (5)

OK 强制一致

OK 强制一致

OK 强制一致

OK 强制一致

OK APD(3,5)

首选站点的两个结构均出

现故障 (5) 强制一致

OK 强制一致

OK APD(3,5) OK

非首选站点的两个结构均

出现故障 (5) OK

强制一致

APD(3,4,5) 两个站点均出现

完全 SAN 故障！强制一致

OK

APD(3,4,5) 两个站点均出现完

全 SAN 故障！ OK APD(3,5)

注意： 1. 交叉连接也已分区或未安装。PDL 将导致 VM 在其他位置重新启动（因此显示橙色）。

2. 仅 50% 的路径获取 2/4/3+5。ESXi 5.1 及更高版本将进行 PDL 处理，但 ESXi 5.0 U1 或更低版本将进行 APD 处理，并且可能需要手动干预。

3. VPLEX 无法发送 2/4/3+5。APD 可能需要手动干预。（对于低于 ESX 5.1 的版本，VM 也将处于僵停状态）

4. 两个站点上的 VPLEX 和后端存储阵列完全隔离。必须恢复结构才能继续操作。

5. 一般认为不太可能发生这种情况。 6. 如果您的交叉连接网络未采用不同方式路由，请使用“共享”列，因为所有通道同时出现故障的可能性较大。

7. 如果两个物理通道均以不同方式路由，则认为 WAN 分区的可能性较小。

表 6 交叉连接拓扑选项


如表 6 所示，如有可能，好始终使用附加 HBA 部署交叉连接，同时也使用未与 VPLEX WAN 共享的独立专用路由。

注意：只有第一种情形（VPLEX WAN 分区）将被视为可能事件。所有其他情形假设

的都是不太可能发生的双组件故障。此外，未使用交叉连接时，也可通过以不同方

式路由双 VPLEX WAN 通道，大幅降低 WAN 分区的风险。

交叉连接和多路径

使用任何拓扑的交叉连接配置时，每个 ESXi 服务器看到的存储路径数将会达到未使

用交叉连接的配置的两倍（假设指向本地站点和远程站点的路径数相等）。

由于本地路径和远程路径必定有不同的线路长度，因此佳做法是确保 ESXi 主机仅

使用本地路径，并且仅在上表中列示的任何情况下强制使用交叉连接路径。

为此，需要手动设置路径选择策略 (PSP)，以确保交叉连接的路径仅用于故障切换。

对于 PowerPath/VE 部署，只需将交叉路径设置为“备用”即可实现此目的

其他支持的多路径产品可使用固定路径策略（将首选路径设置为到本地（近）

VPLEX 的本地路径）实现类似配置，但由于备用路径的更大灵活性，因此建议使用 Powerpath。

VPLEX 站点首选规则

首选规则是在 VPLEX WAN 分区情况下提供确定性故障处理的一种方式，因为如果发

生此事件（无论是否部署了 VPLEX Witness），（给定的个别分布式卷或者分布式

卷一致性组的）非首选群集将会暂停访问该分布式卷，同时向 ESXi 服务器发送 PDL 代码。

除非您正在使用“专用路由”交叉连接配置（上面表 6 中的选项 1 或选项 2），否

则务必考虑首选规则配置。另外，当发生 WAN 分区时，还存在非首选位置上运行

的 VM 在别处重启的风险，而这会导致服务中断。

要完全避免此中断，佳做法（除非使用上述的选项 1 或 2）是将个别分布式卷或

分布式卷一致性组的首选位置设置为 VM 所在的 VPLEX 群集。这样可确保在 WAN 分区期间，VM 所在的卷继续提供 I/O 服务，而且 VM 将会无中断地继续运行。


注意：如果未使用交叉连接（上述的选项 5），当以不同方式路由两个单独的 VPLEX WAN 通道并且使其终端设在数据中心内的不同机柜时，首选规则设置的重要

性也会降低，因为发生 WAN 故障的可能性大幅降低了。

DRS 和站点相关性规则

在某些情况下，当 DRS 与 VPLEX Metro HA 一起使用时，VM 可能会移至 VPLEX 非首

选群集，进而使 VM 在 VPLEX WAN 发生故障或分区时面临 PDL 状态风险。

如果发生这种情况，VM 将会终止，而 HA 将在群集中的其他节点上重启该 VM。尽

管宕机时间极短且自动处理，但是这可能视为不良行为。

如上一节所述，避免这种行为的其中一种方式是使用 VPLEX 交叉连接拓扑（得益于

强制统一模式，上述的选项 1 和 2 不会出现这种行为）。

避免这种行为的另一种方式是使用 DRS 相关性“应该”规则，其中的每台 VM 均可

设置一个规则，以确保 VM 在正常情况下“应该”在首选位置中的主机上运行。借

助此规则集，WAN 分区不会导致服务暂时宕机。

有关详细信息，请参阅 http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf 。




VMware FT 的其他佳做法和注意事项

尽管 HA 或 FT 解决方案的大部分佳做法是相同的，但务必注意这两种技术的设计

采用截然不同的方式。

VMware HA 是一种基于重启的拓扑，将会在发生故障时重启计算机。另一方面，FT 将运行一台 VM 的两个实例并使辅助 VM 保持步调一致，如果主 VM 发生故障，辅

助 VM 将会自动进行接管，而无需重启或宕机。

尽管诸如 vMotion 之类的技术可以与 FT 结合使用，但是彻底避免了宕机使用情形，

因为 VM 通常已在多个位置运行，所以不必在发生任何事件之前移动 VM。

FT 要考虑的另一个重要注意事项是围绕数据中心共用的问题。而且，此使用情形与 FT 的相关性不大，因为 VM 将在两个位置执行。因此，务必等量调整每个位置的物

理环境大小，使其可承载全部负载。

联合 FT 就好像是数据中心的 RAID-1（独立数据中心的冗余阵列）。明白这一点

后，FT 的注意事项较之 HA 就变得简单了。

下一节介绍联合 FT 的一部分注意事项和佳做法建议。

注意： VMware 容错功能的限制和局限性目前比 VMware HA 更多，因此请阅读此处

提供的以下白皮书了解更多的容错注意事项和限制：http://www.vmware.com/files/pdf/fault_tolerance_recommendations_considerations_on_vmw_vsphere4.pdf 。




辅助 VM 放置注意事项

务必注意 vCenter 在扩展群集时不会识别站点。实际上，所有 vCenter 都清楚存在带

有某些节点的群集，但是没有区分这些节点所驻留的位置。

显然，对于 FT 在零宕机的情况下从站点丢失中自动恢复的能力，关键要求是让辅助 VM 位于主 VM 的远程站点上。

首次为 VM 启用 FT 时，将会在其他物理 ESXi 服务器上创建辅助 VM，而此服务器的

选择是基于当时的工作负载特征。因此，如果我们的群集拥有 3 个或更多节点，则

辅助 VM 初可能位于主 VM 所在物理位置中的 ESXi 服务器上。

因此，如果群集具有 3 个或更多节点，则对任何特定 VM 启用 FT 之后，务必手动检

查辅助 VM 的放置情况。

如果发现辅助 VM 未在远程位置（相较于主 VM）运行，则需采取其他操作。可通

过使用辅助 VM 上的 vMotion 将其移至正确位置，轻松实现法规遵从性。要执行此

操作，请右键单击辅助 VM，选择“迁移”并选择远程位置上的 ESXi 服务器。

DRS 相关性和群集节点计数。

目前，DRS 相关性不涉及 FT 中的辅助 VM 放置。这意味着，如果已打开 FT 且已启

用 DRS，则主 VM 可能定期移动，但辅助 VM 从不自动移动。

此外，如果使用的群集包含 2 个以上的节点，则对 FT 启用群集后，务必禁用 DRS，因为 DRS 可能意外地将主 VM 移至与辅助 VM 相同的物理位置。

使用 3 个或更多节点时要考虑的另一个因素是定期检查与主 VM 相关的辅助 VM 放置，因为即使禁用了 DRS，VM 也可能移动，尤其是群集中的一个节点发生故障时。

建议：

1. 尝试让给定群集中的 VM 保持对 FT 全部启用或全部禁用（即，尝试让群集中

没有混用情况）。这将确保您的数据中心中具有两种类型的群集（ FT 或简单 HA 群集）。如此，可在简单 HA 群集上启用 DRS，让这些主机获益；而 FT 群集应在站点之间保持均衡，让一小部分关键系统获得总体恢复能力。

2. 尽管 FT 群集可以具有两个以上的节点，但是对于无需维护的拓扑，应考虑在 FT 群集中多使用两个节点。这样可确保辅助 VM 放置始终驻留在远程位置

上，而无需任何干预。如果需要更多节点，请考虑使用其他群集，各有两个

节点。

3. 如果要使用两个以上的节点，请确保实现对称均衡（即，如果使用 4 节点群

集，则每个站点保留 2 个节点）。奇数群集不可取，而且可能导致不平衡或

没有足够的资源完全启用所有 VM 上的 FT。


4. 创建并命名物理 ESXi 服务器时，始终尝试在名称中指定站点。这是因为 vSphere 将群集中的所有主机视为单个实体。正确命名主机，便于辨别每个 VM 所在的站点。

5. 当群集中有两个以上节点启用 FT 时，务必确保将辅助 VM 手动虚拟移至驻留

在远程 VPLEX 故障域中的 ESXi 主机（初，FT 将辅助 VM 随机放置于群集中

的任意节点上，可能与主 VM 位于相同的故障域中）

6. 在 FT 群集中使用两个以上节点时，如果任何主机发生故障或进入维护模式，

建议重新检查 FT 辅助 VM 放置，因为它们可能与主 VM 位于相同的故障域中。

FT 的 VPLEX 首选规则注意事项

正如使用 VMware HA 一样，除非使用交叉连接配置选项 1 和 2（如交叉连接部分所

述），否则务必设置首选规则，以便主 VM 在首选位置运行。如果正在使用（表 6 中的）选项 1 或 2，这些建议基本上是不相关的。

佳做法是使用每个 FT 群集的 VPLEX 一致性组，并且将此组中的所有卷设置为首

选位于所有主 VM 所在的相同站点上。

这可确保任何给定群集的所有主 VM 驻留在彼此相同的物理位置中。

可使用跨越多个 FT 群集的大型一致性组，但应格外小心，以确保所有主 VM 驻留于

首选位置（双节点群集很容易做到）。

注意：交叉群集连接是结合 VMware FT 与 VPLEX 的强制性要求。若要使用 FT，但

没有距离延迟超过 1 ms 的交叉连接，请向 EMC 提交 RPQ。

FT 的其他一般建议

1. 如果使用 VMware NMP，则将“路径”策略设置为默认值（固定），并选择

其中一条本地路径作为每个 ESXi 群集上的主路径。

2. 如果使用 PowerPath/VE，则将交叉连接路径设置为备用。

3. VPLEX Witness 必须与 FT 一起使用。确保所有受保护的分布式卷均放置在一

个 VPLEX 一致性组中，并且已启用 Witness 功能。

4. 在 VPLEX 一致性组上，确保将“auto-resume”标记设置为 true

5. 尽管 VMware FT 也可保护 VPLEX Witness（即，自我保护），但是后者不应

使用受保护位置中的任何资产。VPLEX Witness 存储卷必须与其正在保护的

位置物理分离。


结论

使用精心设计的 VMware 可用性技术为本地数据中心中基于 x86 的所有 VM 提升了

可用性优势。

VPLEX Metro HA 是独一无二的，它通过联合异构块存储设备并利用距离增强可用

性，消除了距离障碍。

将 VPLEX HA 与 VMware 可用性技术（如 VMware HA 或 FT）相结合，可在不损性能

的情况下提供适用于大多数任务关键的环境的全新可用性级别，超越了目前市场上

的所有其他解决方案。


参考资料

VPLEX 和 VMware 联合 HA 和 FT 的演示

http://www.youtube.com/watch?v=Pk-1wp91i2Y

http://china.emc.com 上的 EMC VPLEX 页面

http://china.emc.com/campaign/global/vplex/index.htm

EMC VPLEX simple support matrix


VMware 存储 HCL（硬件兼容性列表）

http://www.vmware.com/resources/compatibility/search.php?action=base&deviceCategory=san

EMC VPLEX HA 技术书籍

http:/china.emc.com/collateral/hardware/technical-documentation/h7113-vplex-architecture-deployment.pdf

VMware Metro 存储群集白皮书

http://www.vmware.com/files/pdf/techpaper/vSPHR-CS-MTRO-STOR-CLSTR-USLET-102-HI-RES.pdf EMC Networked Storage Topology Guide（EMC 网络存储拓扑指南）（自第 91 页起）http://powerlink.emc.com/km/live1/en_US/Offering_Technical/Technical_Documentation/300-003-885.pdf VPLEX 实施佳做法 http://powerlink.emc.com/km/live1/en_US/Offering_Technical/Technical_Documentation/h7139-implementation-planning-vplex-tn.pdf vSphere 5.1 中的新功能



http://www.youtube.com/watch?v=Pk-1wp91i2Y

http://china.emc.com/campaign/global/vplex/index.htm












VMware 容错建议和注意事项


VMware HA 佳做法

http://www.vmware.com/files/pdf/techpaper/vmw-vsphere-high-availability.pdf

Powerlink 上的 VPLEX 管理员指南

http://powerlink.emc.com/km/appmanager/km/secureDesktop?_nfpb=trueand_pageLabel=defaultandinternalId=0b014066805c2149and_irrt=true

VPLEX 步骤生成器

http://powerlink.emc.com/km/appmanager/km/secureDesktop?_nfpb=trueand_pageLabel=query2andinternalId=0b014066804e9dbcand_irrt=true

http://china.emc.com 上的 EMC RecoverPoint 页面

http://china.emc.com/replication/recoverpoint/recoverpoint.htm Cisco OTV 白皮书 http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/DCI/whitepaper/DCI_1.html Brocade Virtual Private LAN Service (VPLS) 白皮书 http://www.brocade.com/downloads/documents/white_papers/Offering_Scalable_Layer2_Services_with_VPLS_and_VLL.pdf




http://www.vmware.com/files/pdf/techpaper/vmw-vsphere-high-availability.pdf

http://powerlink.emc.com/km/appmanager/km/secureDesktop?_nfpb=true&_pageLabel=default&internalId=0b014066805c2149&_irrt=true

http://powerlink.emc.com/km/appmanager/km/secureDesktop?_nfpb=true&_pageLabel=default&internalId=0b014066805c2149&_irrt=true

http://powerlink.emc.com/km/appmanager/km/secureDesktop?_nfpb=true&_pageLabel=query2&internalId=0b014066804e9dbc&_irrt=true

http://powerlink.emc.com/km/appmanager/km/secureDesktop?_nfpb=true&_pageLabel=query2&internalId=0b014066804e9dbc&_irrt=true

http://china.emc.com/replication/recoverpoint/recoverpoint.htm





附录 A — 远距离虚拟移动 (10 ms)

除了本白皮书中详述的联合 HA 和 FT 拓扑之外，还可以配置 vCenter 和 ESXi（仅 ESXi 5.1 版和更高版本）以跨越多个位置，但无需启用 ESXi HA 或 FT。

在此情形中，两个位置共享相同的 vCenter 环境以及在向主机呈现的 VPLEX 分布式

卷的基础之上构建的 VMFS 数据存储区，但两个位置不共享相同的 VMware HA 群集，每个站点的 ESXi 主机位于每个位置自身的 HA 群集中。

虽然此类型配置不是扩展群集，因而不提供本白皮书所讨论的联合可用性好处，但

是此类配置可避免宕机使用情形，因为每个站点都与 VMFS 数据存储区共享通用的 VPLEX 分布式卷，所以它可在不同位置的不同 ESXi 群集之间使用 vMotion。

假设带有充足缓冲区信用的正确网络连接基础架构已配置到位，则启用这种拓扑意

味着现在能够在相距延迟高达 10 ms（往返时间）的数据中心之间间进行虚拟移

动。但请记住，此距离内的写入响应时间约为 5 ms 拓扑中的两倍。因此，务必确

保该应用程序可保持此增加的延迟且性能仍让终端用户满意。

此类拓扑的配置类似于本白皮书中介绍的、使用 VPLEX Metro 跨多个数据中心部署

单个 vCenter 实例的联合 HA 拓扑（包括所有佳做法和注意事项），但是不及完整

的“联合 HA”拓扑，因为在数据中心之间从不启用 VMware HA 或 FT（HA 只能在 RTT 超过 5 ms 的拓扑中的单个 DC 内本地启用过，而 FT 只能在 RTT 不超过 1 ms 的拓扑中的单个 DC 内本地启用过）。

实施后，解决方案不但可跨越比以前更远的距离执行远距离 vMotion（避免宕

机），而且可从每个数据中心的 HA 获益，而不是跨数据中心获益。

注意：如果需要延迟介于 5 ms 与 10 ms 之间的联合 HA，请同时向 EMC 和 VMware 提交 RPQ。如果要在相同的 10 ms VPLEX Metro 实例上部署任何其他类型的主机环

境（例如 Windows 和 Linux），则还需要向 EMC 提交 RPQ，因为其他所有应用程序

都只支持多 5 ms 的延迟（或者，在这些主机的 VPLEX 群集之间使用异步 RecoverPoint CRR）。


Documents

通过结合 VPLEX METRO 与 VMWARE 性和容错实现最佳 … · cumentation/h7139-implementation-planning-vplex-tn.pdf 如果对这些要求的适用性有疑问，请咨询您当地的