存储网络（ SAN ）教战手册

Jason Huang, Jerry Liu

CSE, Data Center

存储网络（ SAN ）教战手册

© 2010 Cisco and/or its affiliates. All rights reserved. Cisco ConfidentialPresentation_ID 2

思科 SAN 产品（ MDS ）技术优势


1 体系架构 2 VSAN 以及 IVR3 SAN 远程连接4 FICON5 Port Channel6 VMware 环境

思科 SAN 产品（ MDS ）技术优势


1 体系架构优势Cisco vs. Brocade-- 两种不同的交换体系架构

Brocade 共享内存交换

• 简单 , 低成本设计• 保存在缓存种并等待被传输• 共享缓存的速率是最主要的限制，因为ASIC 的可用缓存空间非常有限• 访问缓存的过程没有仲裁

• 提供了一个极其有弹性的，高容量的交换体系架构• 当 frame 被交换时，会在进端口和出端口之间建立一个临时的连接• 使用虚拟输出队列可完全消除阻塞• 使用仲裁机制实现队列交换预测，优先级控制以及平等交换

Ingress

SystemController

Shared Memory

Egress

1

2

3

…

16

Cisco Crossbar 交换

Ingress

Egress

Crossbar

Control, Scheduling


1 体系架构优势－总结Cisco MDS Competitor

架构特点具有中央仲裁机制的 Crossbar 架构没有中央仲裁机制，基于共享内存，交换机内部即为级联模式性能、延时可预知的，无阻塞的线速交换不可预知的，易于发生阻塞，非线速交换Buffer-to-buffer credits

大，意味着不易出现 Buffer 被充满的情形；同时，交换机级联的距离可以更远小，意味着易出现 Buffer 被充满的情形，即发生阻塞；同时，交换机级联的距离近

虚拟输出队列（ VOQ ）

针对物理端口划分不同的虚拟输出队列，避免单一连接的阻塞导致整个端口阻塞无此机制，当某一连接发生阻塞时，会导致整个端口阻塞

针对错误包的处理机制当侦测到错误的数据包（例如 CRC 错误，无结束标记等）， MDS 会主动丢弃错误的数据包，避免其对整个 SAN的影响

无此机制 * ，导致错误的数据包会扩散到整个 SAN 中，占据有限的 buffer 资源，最终导致整个 SAN 性能下降中央处理模块故障的影响完全的冗余设计，当一块 Supervisor板故障时，整体性能没有下载当一块 CP 或 CR 故障时，处理能力下降一半，性能下降一半

* 在 Brocade 的微码 6.4.0b 以后，似乎增加了对错误包的处理，但只是限于告警，而非主动的应对机制关于架构的优势，实战中应以早期引导客户为主，让客户感觉技术的优势，可以辅助一些第三方测试报告，见backup slides 。


VSANs, 定义为 Virtual Fabrics, 为ANSI T11 标准

•FC-SW-4 and FC-FS-2 specifications

VSAN 可将一个物理 SAN 分隔成多个虚拟SAN

每个 VSAN 在硬件隔离的情况下可以有独立的 Fabric 服务– Zoning Server with separate zone sets– Name Server– Domain Manager– Roles-based Access Controls (RBAC)– Domain IDs– FSPF Routing

VSAN 可以按端口级别分配 ISL 可以承载多个 VSAN 的流量 ISL 可以指定给某个 VSAN 专用

VSAN header is added at ingress point indicating membership

No special support required by end nodes

Enhanced ISL (EISL) Trunk carries tagged traffic from multiple VSANs

VSAN header is removed at egress point

Zoning Server, Name ServerFSPF, Domain MgrRole-based Access Controls


CRM VSAN

ERP VSAN



CRM VSAN

ERP VSAN

2 VSAN 以及 IVRCisco 虚拟 fabric(VSAN), 静态隔离整合的 fabric


2 VSAN 以及 IVR 比较优势 (1)特点 Cisco VSANs Brocade Virtual

FabricsCisco MDS 优势

支持的交换机 MDS 9100 系列，刀片交换机， MDS 9200 系列 , MDS 9500 系列

仅有 DCX/DCX-4S, 5300 ， 5100

All Cisco MDS switches support VSANs 所有的Cisco MDS 交换机支持VSAN

每个交换机的 SAN 个数所有平台– 1024 DCX/DCX-4S – 85300 – 45100 – 3

Cisco MDS 提供多得多得VSAN 来支持客户的需求

Frame 在共享 ISL 上打标记是是 – 带有限制不支持 FICON, 虚拟

Fabric 路由 , McDATA 互连 , ICL 端口 , FC 路由边缘交换机， GbE FCIP 端口

Cisco MDS 不会增加任何强制的限制来部署 VSAN ，在整个 fabric 种

FICON 支持是 Yes – 带有限制每交换机仅支持 2 个 FICON 虚拟 fabric, 不支持 ISL 共享

Cisco MDS 不会增加任何强制限制来部署 FICON

隔离虚拟 Fabric 是 NoIf a Virtual Fabric is

removed 假如一个Virtual Fabric 被删除 , 所有设备被转移到一个激活的 virtual fabric

Cisco MDS 用一个隔离的VSAN 来放置被删除的VSAN 设备


特点 Cisco VSANs Brocade Virtual Fabrics

Cisco MDS 优势缺省 VSAN 是否必须手工激活 Virtual

Fabric

MDS VSAN 是交换机整体的一部分，不是额外的特性受限的特性否是以下特性在 virtual fabric被激活时受限制或不支持 :

Admin Domain – 不支持加密 – 仅在缺省逻辑交换机中端口镜像 – 不支持Traffic Isolation Zoning – 不支持

Cisco MDS 支持任何 NX-OS 的特性，没有限制

VSAN 间的路由是VSAN 间的路由 (IVR) 可通过背板从任意端口到任意端口

是 – 带有限制需要使用外部端口 , SFPs, virtual fabric 和base switch 之间需要使用外连线 . Requires using line card 需要使用端口板上的端口 ( 每个连接 4个 ) 来连接 virtual fabric. 假如需要更多带宽，则需要使用更多的端口 ( 需要 4 个 8G端口 )

Cisco MDS IVR 被内置在交换机中并可使用整个背板的带宽

2 VSAN 以及 IVR 比较 (2)


3 SAN 远程连接SAN 远程连接技术

Short distance ~ <= 100km

FC over DWDM/CWDM

• 同城范围内的灾备• 基于裸光纤• 专用线路• 低延时，适合同步数据复制的灾备

LocalDatacenter

SANSAN

SAN

IP RoutedWAN

SAN

SANSONET

SAN

Medium distance ~ <= 160km

Short – Long distance0 - 5000+ km

LocalDatacenter

LocalDatacenter

RemoteDatacenter

RemoteDatacenter

RemoteDatacenter

FC over SONET/SDH

• 中距离的灾备• 不能采用裸光纤的情形• 传输链路可能是共享的• 适合大多数数据复制环境FC and FICON over IP

• 通常用于异地灾备• 不能采用裸光纤的情形• 传输链路可能是共享的• 通常用于异步数据复制的灾备

Dark Fiber

Includes

integrated

Compression

& Encryption


3 SAN 远程连接的优势思科可以提供完整的远程 SAN 连接方案，包括 SAN ， DWDM ， SONET 和 IP ，技术融合更好

• 相对来说博科需要和第三方合作，才能提供完整的方案。实施中，难于统一协调各方配置；出现问题后，容易互相推诿。 MDS本身即有 CWDM 和 DWDM 模块，集成度高，降低用户的整体方案成本

• 博科本身不提供 CWDM 和 DWDM 模块端口的 Buffer 更大，即意味着在相同传输速率下，连接的距离更远

• 思科最大为 5590 ，相比较博科为 1292

思科的 FCIP 方案集成了硬件压缩和优化的 TCP 处理技术，传输效率更高，通常可以达到 4:1 （相比较博科通常为 2:1 ）；同时， FCIP还具有数据加密功能，保证异地数据传输的安全支持多块卡的 FCIP 端口捆绑，而不需额外的软件许可费用

• 博科只能支持单一板卡的多 FCIP 端口捆绑，不具备高可用性• 博科如果需要多端口捆绑，则需要单独的 Trunking License

针对复制的优化技术，例如 IOA 等，在特定的灾备方案中，极大提高传输效率• 博科没有相应的优化


4 FICON思科 MDS 是替代原有 FICON Director 的首选FICON

FICON

FICONMainframe

Storage

FICON

FICON

FICONMainframe

Storage

490D1C3249

490D1C3249

0826556A

0826556A

NO IOCDSChanges! MDS

FICON Director

1. MDS 从设计初即支持 FICON 连接2. MDS 的无阻塞架构保证了 IBM 主机系统对 I/O 的低延时要求3. MDS 的虚拟 SAN 技术，可以很好地隔离各 FICON 连接，使得生产、开发 / 测试互不干扰4. 从原有的 FICON Director迁移到 MDS 环境，原有主机的 IOCDS定义无需修改，可以在 MDS 上配置与原有 FICON Director 相同的端口地址


4 FICON 环境中的优势 MDS 是成熟的 FICON 产品，可以支持最新的 zHPF

MDS 架构的无阻塞优势，更好地满足 IBM 主机系统对 I/O低延时的要求• 博科的交换机在跨 ASIC 交换时，时延极大地增加且无保障

• MDS 的 VSAN 技术优势，可以很好地隔离客户的生产和开发 / 测试环境，降低成本• 相对来说，博科的 LSAN 技术有很大的限制

• MDS 可以灵活地支持多种远程 SAN 连接方案，对于远程传输有极大的优化• MDS 针对 IBM 的 XRC （基于主机复制的远程灾备方案，目前四大商业银行均采用此方案），有极大的优化


5 PortChannels vs. Trunking

Brocade 同一板卡同一 ASIC 同一端口组 Trunk 只允许最多 8 个 ISL

同一个故障域并不支持高可用性

Cisco 不同的 ASIC 不同的端口组PortChannel允许最多 16 个连

接多个故障域提供了高可用性

DCX Trunking

MDS PortChannels

在实战中，明确支持基于不同板卡形成级联链路的捆绑，以保证高可用性。另外，从性能上考虑，需要支持最大 16条线路的级联链路捆绑。


5 PortChannel 的优势

PortChannel 有更高的可靠性和灵活性－分布在不同板卡，不同端口组上 PortChannel 有更高的适用性－无 master/slave 概念，可适用于 IVR链路• 更高的聚合带宽－ 16 x 10G vs 8 x 8G

更好的长距离性能免费提供


6 VMware 环境优势

提供可预测的，稳定的运行速率可提供 VM层面的 VSAN 和 IVR

VM层面的 QoS

VM层面的安全访问控制 VM层面的距离延伸（通过 FC 或 FCIP)


思科 SAN 产品（ MDS ）应用场景


1 SAN 整合 /核心－边缘体系结构2 灾难备份3 FICON 环境4 VMware 应用环境5 存储加密 (SME)6 数据迁移 (DMM)7 SAN 安全管理8 智能存储应用 (SANTap)9 FCoE 应用环境

思科 SAN 产品（ MDS ）应用场景


部门二的 SAN部门三的 VSAN

独立的物理 SAN ，存储难以在部门间共享每个物理 SAN 需要配置独立的冗余端口，成本高需要管理的交换机数量多，管理工作量大各个 SAN 端口不能迁移

Collapsed Fabric with VSANs

Cisco MDS 9000 Family

部门三的 SAN

部门一的 SAN

基于应用或部门的 SAN孤岛

部门二的 VSAN

部门一的 VSAN

在 VSAN间建立统一的

存储资源共享池

统一的物理 SAN ，存储易于在部门间共享统一规划冗余端口配置，降低成本所需管理的交换机数量少，管理工作量小端口可以方便地在 VSAN 间迁移，易于调整与配置

IndustryIndustryFirst!First!SAN 的整合与资源共享


灾备方案的 SAN 环境

HRSAN

SalesSAN

MarketingSAN

SAN Extension Services

利用思科的 VSAN 及IVR ，将生产环境与灾备环境相连接，但避免异地 SAN融合

采用基于磁盘复制的灾备方案，往往都是在实现了存储整合的基础上，即实现了业务处理、数据的大集中生产数据采用基于磁盘复制的灾备方式，例如 EMC/SRDF ， HDS/

UR ， IBM/MM 、 GM 等客户可以按照需要，选择两中心灾备模式，两地三中心高可用灾备模式，或多中心高可用灾备模式对 SAN 的要求是实现 Fiber

Channel （ FC ）的远程传输，以实现 SAN 的同城、异地连接，保证数据复制选择同城、异地的数据复制，决定于客户的应用对灾备目标的选择以及对远程数据复制时延的忍受程度


大规模的 SAN网络设计模式

161616

16

16

1616 16

存储设备磁盘阵列

服务器：双链接到冗余的交换机

方案特点：整体架构采用核心－边缘的设计，核心与边缘之间采用多路的高可用 Port Channel 连接，保证性能与高可用性。整体架构的扩展能力强，核心建议采用

MDS 9513 ，其本身的扩展能力非常强，单台可以提供 528 端口的连接。边缘配置灵活，可以从 MDS 全系列中按需选择。存储设备连接到核心层面，提供给服务器的共享存储，可以满足不同部门共享存储的需求。服务器遵循高可用性的设计原则，对称连接到冗余的边缘交换机上。 MDS 的 VSAN功能可以很好地实现对不同虚拟存储网络的隔离，可以隔离生产与办公、开发、测试等环境；同时帮助客户更有效地利用存储，可以很快地帮助客户复制生产环境的数据到开发、测试环境。


Corporate HQ

RemoteSites

Backup Servers

使用集成 FICON over FCIP 实现灵活的远程访问和数据复制

Cisco 的技术简化了业务连续性适合各距离要求的解决方案

CWDM SFPsDWDM 及 SONET 光产品MDS 9000 IP 存储服务板卡 CWDM

IP网络

FCIP跨越全球的距离

MDS9509

IPS-8

DWDM/SONET

IPS-8

MDS 9000

MDS 9000

MDS 9000


中国建设银行


中国建设银行方案特点：超大型 SAN 网络设计和部署洋桥数据中心采用双 fabric, 每 fabric双核心 - 边缘体系架构，最大限度的提升系统可用性和可扩展性 MDS9513 无阻塞的体系架构保证作为 SAN核心提供最优的业务性能 MDS 9513高端口密度和高带宽保证了各楼层机房与核心之间互连有足够的冗余性和带宽洋桥核心MDS9513 仅用来连接各楼层机房和亦庄机房的边缘 SAN 交换机，不连接任何设备经过计算的超载比优化系统端口的分布和 PortChannel 的利用率 VSAN 的应用将多个业务清晰的隔离并可对不同业务实施不同的管理策略洋桥与亦庄机房全部 SAN 交换机，以及中间的链路 DWDM 连接设备全部由 Cisco 提供，为客户提供了全局的解决方案架构支持未来 FCoE 设备的连接


针对客户现有第三方 SAN 环境的策略和切入点


策略一：先渗透，再迁移整体上，建议客户从进一步 SAN 整合入手考虑设计，从架构优势和整体方案上，介绍思科 SAN 方案的优势。在过度阶段，有可能出现与第三方 SAN 共存的阶段。在设计上，尽量采用

双 SAN 架构的设计，即思科 SAN与第三方 SAN各自独立，这样，即避免了兼容性的问题，又可以相互备份。在上述方案的基础上，逐步扩大思科 SAN 环境。第一步将新的系统接入到思科 SAN 环境，让客户初步尝试思科 SAN 的好处；第二步将现有的一些核心业务迁移到思科 SAN 环境中；最终完成所有核心生产系统的迁移。这样，能充分发挥思科 SAN 的优势，让客户满意。思科有相关的服务部门提供 SAN迁移的服务。• 在博科 FOS 6.4.0 后，博科封闭了对第三方 SAN 交换机的连接！这意味着客户选择博科，那么将被迫与博科的未来绑定，这及其不符合开放市场竞争的原则，希望客户慎重考虑。• 相对来说，思科的 SAN 交换机设计更符合开放的标准，可以给客户更多的选择。


策略二：灾备与生产独立建设在客户建立生产中心的 SAN 环境，同时考虑到灾备中心的建设时；或客户稍后考虑灾备中心建设时，是思科 SAN很好的切入点。一般情况下，灾备中心的 SAN 环境可以独立于生产中心的 SAN 环境，可以在灾备中心让客户采用思科的 SAN 方案，这样，避免了兼容性问题。同时，可以向客户推荐思科的远程 SAN 连接方案，作为整体灾备方案的一部分。此远程 SAN 连接方案，尽量只涉及存储之间或服务器与存储之间的连接，这样也避免了与第三方 SAN 的兼容性问题。


MDS 在国内的主要客户SP:

中国移动 (16 省 )

中国联通 (10 省 )

中国电信 (14 省 )

Government and Enterprise:

铁道部国家电网部分省公安厅／局部分省财政厅／局国税总局部分地方税务局

FSI:

中国银行中国建设银行中国农业银行中国人民银行交通银行招商银行民生银行华夏银行中信银行广发银行中国银联广发银行

CCTV

青岛海尔一汽大众上海汽车东风汽车首都机场浦东机场

中国人民保险公司中国人寿上海证交所国泰君安证券中信证券海通证券


MDS 9000 系列产品中国区联系人Name Title Phone E-mail

王放 PSS (010) 85155880

13331017637

[email protected]

刘劲春（ Jerry) CSE (010) 85077868

13801222962

[email protected]

黄大川 DC Architect (010) 85155957

13701269364

[email protected]

黄学军（ Jason) CSE (010) 8515 5822

13910330200

[email protected]


Backup slides


8Gb 环境下的性能测试 Miercom 测试

Brocade DCX 带有 2 块 32 端口板， 16 个单一方向数据流， 1 个 8G 数据流， 31 个 4G 数据流

Miercom 报告“Cisco MDS 可以通过所有混合速率环境的的测试，但是在某些条件下， Brocade却显示出一定的性能下降，最多高达 50％！当 31 个端口并发混合速率 4G 模式被应用时，一个 8-Gbps 连接的吞吐量从 840-Gbps 降低到 420-Gbps 。

DCX 是有阻塞的交换机 8G 只能达到 4G 的传输带宽 .


Cisco MDS 与 Brocade 本地交换的对比测试（ 1）

37

38

39

40

13

14

15

16

33

34

35

36

9

10

11

12

29

30

31

32

5

6

7

8

25

26

27

28

1

2

3

4

45

46

47

48

21

22

23

24

41

42

43

44

17

18

19

20

混合数据流， 8 个initiator, 1 个 target

每个 initiator 应该有105MB 带宽到 target

数据流吞吐量时延Port 3 to Port 1 105 MB 12 us

Port 9 to Port 1 105 MB 14 us







Total to Port 1 840 MB

测试 :

结果 :

SANtester 有固定的，随机的和增加的 OXID 队列任何流量都不受影响 – 一致的公平的性能

Cisco 测试结果


Cisco MDS 与 Brocade 本地交换的对比测试（ 2）

混合流量从 4 个initiator 到 1 个target

每个 initiator 应该得到 210MB 的带宽

Traffic Flows:

端口 15到端口 31 – 本地交换端口 30到端口 31 －本地交换端口 7到端口 31 －背板交换端口 23到端口 31 －背板交换

Condor 2 ASIC

(40 x 4G)

8

8 x 8Gunused

Condor 2 ASIC

(40 x 4G)3

2

1

0

6

8 x 8Gunused

7

12

13

14

15

19

18

17

16

22

23

28

29

30

31

9

10

11

24

25

26

27

5

4

21

20

8 x 8G

8 x 8G

8 x 8G

8 x 8G

28293031

12131415

24252627

891011

20212223

4567

16171819

0123

Brocade 测试结果


Cisco MDS 与 Brocade 本地交换的对比测试（ 3）Flow Throughput Latency






SANtester 使用随机 OXID 队列本地交换流量受到影响

SANtester 使用固定 OXID 队列本地交换不受影响

Flow Throughput LatencyPort 30 to Port 31 240 MB 69 us





Brocade本地交换或非本地交换都无法实现线速，且相互干扰

Brocade 测试结果


Brocade DCX 并不阻止损坏的数据沉默的数据损坏总是会发生的，这对业务来讲是灾难性的 DCX 在 SAN 中转发损坏的帧这将导致消耗故障排除的时间和精力偶尔发生的性能问题必须要追踪数据损坏

Cisco MDS检测并丢弃损坏的帧，防止 fabric 阻塞和数据损坏，并可根据事先定义好的阈值关闭损坏的端口

FC Frame

Frame with bad CRC…

FC Frame

Bad CRC

is forwarded through DCX

Bad CRC

*Data Corruption at Netflix:

http://blog.netflix.com/2008/08/shipping-delay-recap.html


坏帧测试 (1)

Brocade 交换机向全 fabric 转发有 CRC 错误的帧 Brocade 交换机依赖于相连的设备来丢弃收到的坏帧 Brocade 交换机对进入 fabric 的坏帧没有保护机制，这个坏帧可能来自：

一个损坏的 HBA卡一个损坏的 SFP 模块一条损坏的线缆

客户为什么要接受这样的处理方式？Cisco MDS 会自动丢弃损坏的帧


坏帧测试 (2)

Initiator 101/1Initiator 101/2Initiator 101/3Initiator 101/4



Target 102/1

Target 202/1

Target 302/1

48000

DCX

9509


坏帧测试 (3)

Initiator x01/1

Initiator x01/2

Initiator x01/3

Initiator x01/4

Initiator x01/1 - 没有错误Initiator x01/2 - 没有错误Initiator x01/3 - CRC 错误Initiator x01/4 - 丢弃帧尾

Target x02/1

交换机


坏帧测试 (4)

Initiator 错误结果48000 Initiator 101/1 无错误 Passed frames 传输帧

Initiator 101/2 无错误 Passed frames传输帧Initiator 101/3 CRC 错误 Passed all frames 传输所有帧Initiator 101/4 丢弃帧尾 Passed all frames传输所有帧

DCX Initiator 201/1 无错误 Passed frames 传输帧 Initiator 201/2 无错误 Passed frames 传输帧 Initiator 201/3 CRC 错误 Passed all frames 传输所有帧 Initiator 201/4 丢弃帧尾 Passed all frames 传输所有帧MDS 9509 Initiator 301/1 无错误 Passed frames 传输帧

Initiator 301/2 无错误 Passed frames传输帧Initiator 301/3 CRC 错误丢掉所有帧－当到达阈值时关闭端口Initiator 301/4 丢弃帧尾丢掉所有帧－当到达阈值时关闭端口


Port Channel 测试 (1)

服务器 IBM p Server配置两块 HBA卡操作系统版本： AIX 5.3 TL 11

存储 EMC symmetric 主机上配合 EMC 的 Powerpath 多路径软件交换机 Cisco MDS 9509 和 MDS 9513各一台，配置 FC 模块

测试环境

拓扑结构

2,5

2,7

1,1

1,32,1

2,2

2,1

2,7

MDS9509 MDS9513

VSAN 2 : MDS9509 2/5, MDS9513 1/1

VSAN 3 : MDS9509 2/7, MDS9513 1/3

HBA 1

HBA 2

Storageport 1

StoragePort 2

1,2

2,5 1,1

1,32,1

2,2

2,1

2,7

MDS9509 MDS9513

VSAN 2 : MDS9509 2/5, MDS9513 1/1

VSAN 3 : MDS9513 1/2, MDS9513 1/3

HBA 1

HBA 2

StoragePort 1

StoragePort 2

Single Fabric Dual Fabric


Port Channel Test (2)测试方法

通过 SMIT 在其上创建的 ciscovg ，然后创建了两个文件系统。在其中一个文件系统（源文件系统）中预先拷贝了 11GB 左右的文件。在测试中，通过 cp 的方式，将这些文件拷贝到另一文件系统（目标文件系统），来模拟应用系统的并发的读写 I/O 。

在测试中，通过在服务器上的 iostat命令查看 HBA卡和磁盘的 I/O状况。


Port Channel Test (3)测试结果

测试步骤服务器 I/O 的表现交换机端口表现1 Shutdown fc2/2 服务器 I/O 没有中断， Powerpath显示到磁盘的两条通路都是 Active

从 DM 中看到， Fc2/2 端口立即变为 shutdown状态，没有 I/O流量2 30秒钟后，恢复 fc

2/2 到 no shutdown状态服务器 I/O 没有中断， Powerpath显示到磁盘的两条通路都是 Active

从 DM 中看到， Fc2/2 端口立即变为 Active状态， 3秒钟左右即重新加入到port channel 中， I/O流量恢复

3 30秒钟后， shutdown fc 2/1服务器 I/O 没有中断， Powerpath显示到磁盘的两条通路都是 Active

从 DM 中看到， Fc2/1 端口立即变为 shutdown状态，没有 I/O流量4 30秒钟后，恢复 fc

2/1 到 no shutdown状态服务器 I/O 没有中断， Powerpath显示到磁盘的两条通路都是 Active

从 DM 中看到， Fc2/1 端口立即变为 Active状态， 3秒钟左右即重新加入到port channel 中， I/O流量恢复结论

从以上的测试过程中，思科的 MDS 交换机在级联的配置下，级联链路可以很好的负载分担流量。当级联链路发生故障时，对于主机的 I/O 没有影响。同时，级联链路在配置了 port channel或没有配置 port channel 的情况下，均可以自动分配流量到剩余的级联链路上，很好地实现了负载分担和高可用性。


DCX 高可用性测试－使用 Oracle 测试脚本 Oracle 数据库性能测试，使用 HammerOra 提供测试流量（ http://hammerora.sourceforge.net）

- 两台Win 2003服务器 (8G HBAs)-两台 SATAbeast 存储阵列 ( 双 4G 端口 )

- 每台服务器的 I/O负载都很轻 :- 5MB/s ( 小于 8G 的 1 ％ )- 60% 读和 40% 写

http://hammerora.sourceforge.net/


MDS 高可用性测试结果 - Oracle 数据库流量9513 FAB-2( 交换板）下电，拔出，插入，再上电

9509 主动引擎板带电拔出

9509 引擎板插入，上电

No impact to traffic




DCX 高可用性测试 - Oracle 数据库流量

DCX CR8 交换板下电

DCX CR8 上电 . 当自检完成后进入在线状态时

应用流量停顿 30 － 35秒！


结论 Brocade 交换机无法很好处理不同速率的混合环境，尤其是在 SAN上出现非常低速的设备时， Cisco MDS 无此问题 Brocade 交换机无法很好处理坏帧， Cisco MDS 无此问题 Brocade 交换机无法提供恒定的性能，尤其是当出现端口阻塞时 . Trunk 中有物理链路不稳定时， Brocade 交换机会导致 IO

Hung 。 Cisco MDS 无此问题

*Data Corruption at Netflix:

http://blog.netflix.com/2008/08/shipping-delay-recap.html

都是架构惹的祸


Documents

存储网络（ SAN ）教战手册