Make Your Network Mobile

© 2011 Extreme Networks, Inc.保留一切版權。恕不另行通知。

極進網絡白皮書

高性能計算雲互連

摘要

高 性 能 計 算 雲 （ H P C C ） 不 再 局 限 於 科 研 領域。“海量數據分析”蘊藏巨大商機。金融服務業、零售業與制造業皆需要借助實時分析，以及時作出商業決策。本文旨在分析集群互連及其對HPCC 的重要性，以及來自Extreme Networks®

的低時延高性能方案。

2© 2011 Extreme Networks, Inc.保留一切版權。

極進網絡白皮書: 高性能計算雲互連

HPCC不再是科研領域的專屬方案。越來越多的企業需要進行“海量數據分析”，HPCC正日益成為服務於商業界的方案。金融服務業、零售業與制造業皆需要對來自四面八方的數據進行實時分析，以便及時作出決策。HPCC日益成為主流，一旦方案選定，集群內聯網便是最重要的 考慮。

例如，互聯網應用所產生的數以萬億的非結構化數據需要在短時間內得到處理。對策之一就是采用 Hadoop MapReduce 框架，配以Hadoop 分布式文件系統 (HDFS)，而該系統需要在基於Linux 的通用硬件上運行。HPCC 方案就是一種Hadoop 集群。測試證明，在低時延的部署中，固態硬盤(SSD)加上先進的互連方案（例如10 GbE），能夠極大提升集群的性能。

一個集群必須要有專用的集群內聯網，集群的所有成員皆連接到該內聯網。帶寬與時延是衡量一個方案整體性能的最重要因素。現在，絕大多數的HPCC內聯網都采用以太網，因其性價比高、普及面廣，而且采用開放標准。方案的效果如何，決定因素有很多，例如：

• 成本• 集群可用性• 集群性能• 應用要求

隨著10 GbE(現在已發展至40 GbE) 成為數據中心的標准，越來越多集群網采用該技術構建架頂式或行末式架構，或用該技術連接互聯網。極進網絡能夠提供業內時延最低、吞吐量最高的方案，以及可擴展、高彈性的 ExtremeXOS® 操作系統。

3© 2011 Extreme Networks, Inc.保留一切版權。

極進網絡白皮書: 高性能計算雲互連

BlackDiamond® X 系列: 密度最高、時延最低的EOR 交換機，用於數據中心、雲和高性能運算核心網

• 無與倫比的交換能力： - 20+ Tbps 交換容量 - 每槽1.28 Tbps 帶寬 - 192 x 40 GbE 或 768 x 10 GbE

• 卓越的可用性 - N+1 交換、電源及風扇冗余 - N+N 電網冗余

• 低時延 - <3 µsec

• 緊湊的體積 - 1/3 機架

• 強大的虛擬支持 - 128k 虛擬機 - VPP - 虛擬機壽命管理

• 自動配置• 存儲融合

- NFS, CIFS, iSCSI, FCoE• 環保

- 每個 10 GbE 端口電耗5W - 前進後向式(FB)冷卻 - 智能電源管理 - 風扇速度可變

BlackDiamond 8900 系列: 高性價比的 1 GbE/10 GbE 數據中心 EOR 交換機

• 高性價比 - 兩款選擇（6 槽 和10 槽 ） - 每槽可達 160 Gbps

• 高能效 - 比其他機箱式系統省電 50%-75%

• 超前設計：1 GbE、10 GbE 和40 GbE

• 靈活性 - 混搭式交換矩陣和I/O - 8800 c系列適合中型核心網 - 8900 系列適合密集型服務 器群 - 8900-XL 系列適合大型核 心網

• 存儲融合 - NFS, CIFS, iSCSI, FCoE

Summit® X670/X670V: 高密度、低時延、高性價比的10 GbE/40 GbE 數據中心TOR 交換機

• Summit X670V - 48 x 10 GbE + 4 x 40 GbE 或者 - 64 x 10 GbE - 通過VIM 保障投資

• Summit X670 - 48 x 10 GbE ，時延更低，電耗更低

• 1 GbE的價位， 10 GbE 的所有功能

• 低時延，物理層更少 - 直通式交換

• DCB 和存儲融合

• 支持128K 虛擬機

• 動作感應器

模塊化、可重啟、可現場升級的網絡操作系統，極進網絡交換機全線配備

• ExtremeXOS采用模塊化架構，可用性高，能夠提供進程監控與重啟、記憶保護、無中斷的故障切換（在雙重管理模組系統之間切換）等功能，所有采用ExtremeXOS的交換機皆能實現模塊式軟件升級 。

• ExtremeXOS 的SummitStackTM功能為安裝了ExtremeXOS的可堆疊交換機提供無中斷的故障切換。

• 模塊化、記憶保護設計，具有自愈式進程修復功能，可防止系統崩潰，避免系統重啟。具有擴展能力，可支持 VoIP和安全應用的整合，動態應用裝載和腳本功能。

• ExtremeXOS 采用“硬件抽像層”模型，為ACLs, QoS,計數器和診斷等平台功能提供統一的、功能豐富的界面。

*將來可用性

4© 2011 Extreme Networks, Inc.保留一切版權。

極進網絡白皮書: 高性能計算雲互連

BlackDiamond X8 系列是HPCC 方案的核心，為機箱時延率樹立了新標杆。2011年10月的 Lippis Report1 測試結果如下圖所示.

Extreme Networks BDX8RFC 2544 Layer 2 Latency Testin Cut-Through Mode

020000

40000

60000

80000

100000

120000

64 128 192 256 512 1024 1280 1518 2176 9216

Max Latency

Avg Latency

Min Latency

Avg. delay Variation

2510

2324.921

2100

8.314

2657

2442.854

2162

5.403

2862

2579.339

2222

9.179

2997

2673.136

2277

5.386

3542

3137.229

2522

7.636

4642

3919.9

2897

7.146

4877

4169.825

2977

5.632

5277

4396.996

3062

9.314

6402

5087.025

3317

4.986

18262

12755.718

5982

9.09

nsMax Latency

Avg Latency

Min Latency

Traf�c Direction Traf�c Type Cut-ThroughAvg Latency (ns)

Database_to_Server

Server_to_Database

HTTP

iSCSI-Server_to_Storage

iSCSI-Storage_to_Server

Client_to_Server

Server_to_Client

2574

1413

4662

1945

3112

3426

3576

3773

1339

4887

2097

3135

3368

3808

Extreme Networks BDX8 Cloud Simulation Test

East-West

East-West

East-West

East-West

East-West

North-South

North-South

Store and ForwardAvg Latency (ns)

1 2011年秋季Lippis報告*將來可用性

5© 2011 Extreme Networks, Inc.保留一切版權。

極進網絡白皮書: 高性能計算雲互連

以下評價摘自Lippis Report：

•“在我們測試的核心交換機中，上述時延率絕對是最低的。BDX8 的包轉發速度比我們測試過的其他核心交換機快6至10倍。”

•“在目前所有測試機型中，BDX8 的IP 多播速度最快，比以前測試過的、密度相似的10 GbE 核心交換機快3 至13 倍。”

•“ BDX8 的雲協議轉發速度也打破了之前的所有記錄，在荷載情況下比以前的所有機型快2 至 10倍。事實上，對於多種不同長度的數據包，極進網絡BDX8 的轉發速度比Lippis/Ixia iSimCity之前測試過的Alcatel-Lucent、Arista 、Juniper等廠商的核心交換機快2至9倍。”

•“換言之，BDX8 是我們測試過的速度最快、時延最低的核心交換機。”

下圖是HPCC環境下BlackDiamond X8 和Summit X670 的典型部署。對於普通尺寸的數據包而言，兩層網絡(Summit X670 -> BlackDiamond X8 -> Summit X670)總時延低於 5 µsec。

5597-01

BlackDiamond®

X8BlackDiamond

X8

Core Layer

Access LayerTop of the Rack

Summit® X670 Summit X670 Summit X670 Summit X670 Summit X670 Summit X670

Campus Network

ServerRack

ServerRack

ServerRack

ServerRack

ServerRack

ServerRack

®

總而言之，集群互連是一個重要的決定。以太網正迅速成為集群互連的事實標准，原因不僅是為了節省資本開銷，更重要的是在運營費用上比管理獨立網絡更有優勢。以太網絡以開放標准為基礎，用戶不必擔心與網絡其他部分的互操作問題。隨著集群的擴張，以太網在靈活性方面的優勢使之成為最理想的選擇。此外，以太網在時延率和吞吐量方面的優勢，更使之成為唯一明智之選。

Make Your Network Mobile

extremenetworks.com

© 2011 Extreme Networks, Inc. 保留一切權利。Extreme Networks、Extreme Networks標志、BlackDiamond、ExtremeXOS、Summit 和 Summit-Stack 是Extreme Networks, Inc. 在美國和/或其他國家的注冊商標或商標。所有其他名稱和標志是各自所屬擁有者的財產。產品規格若有變化，恕不另行通知。1821_01 11/11

公司总部和北美洲Extreme Networks, Inc.3585 Monroe StreetSanta Clara, CA 95051 USA 电話: 1 408 579 2800

中国北京辦事處北京市朝阳區工体北路甲2号盈科中心A座1005-1006室邮編：100027電話：86 10 6539 3900

中国上海辦事處上海市黃浦區淮海中路93號上海時代廣場26層電話：86 21 5117 9355

中国广州辦事處廣州市天河區天河路208號粵海天河城大廈1305室電話：86 20 2826 1881

極進網絡白皮書: 高性能計算雲互連

英國原子武器發展局 (AWE) 的 HPCC 應用采用極進網絡的模塊化交換方案，靈活性得到提高，既滿足了機構的需求，又不影響性能，更無需增加成本。極進網絡的方案提供VRRP和ESRP等先進功能，能全面協調 Layer2/3 客戶路由器的冗余配置，使AWE的網絡實現高可用性。由於AWE需要定期將大量數據從硬盤轉移到運算區，最重要的考慮就是吞吐量能否達到線速，傳輸性能稍有降低都是不可接受的。對於像AWE這樣需要處理和管理大量通信的集群應用而言，極進方案的超大數據幀有助提高效率。

法國原子能委員會薩克萊核研究中心（CEA Saclay）運營的Carriocas 電網項目需要開發分布式應用，以便在超級計算機上進行互動式數字仿真，以及對遠程分布式存儲的大量數據進行遠程處理和虛擬化，為此需要尋找和開發適合高速光纖網絡（每信道10 Gbit/s）使用的軟硬件。極進網絡的HPCC 方案能支持網絡擴展至10 GbE 以上，並且為網絡帶來靈活性，這兩項特點都對研究領域至關重要。雖然實際分析量已超出預期三倍以上，但研究中心的電網仍能保持順暢運行，這充分顯示了極進網絡方案強大的容量和性能。

ESRF 是眾多歐洲國家攜手合作的一個聯合研究機構，位於法國格勒諾布爾。同步輻射光源堪比“超級顯微鏡”，可以為眾多科研領域提供寶貴信息。ESRF 部署了極進網絡的模塊化BlackDiamond 8800 交換機和 Summit 固定式千兆交換機。為ESRF 設計的這個高性能網絡方案在技術上有很多過人之處，包括冗余配置。ExtremeXOS 模塊化軟件也有很多優點：透明的軟件升級，整個過程在用戶不知不覺中完成；准確的硬件故障診斷和解決。

中國石油集團（簡稱中石油）下屬多個機構和企業都采用了極進網絡的方案，當中包括其研究所，以及大慶和遼河油田等。中石油的HPCC 系統采用了極進網絡的大容量、低時延以太網交換機。HPCC 系統是中石油進行能源勘探的核心科研設施，通過傳統的運算集群和GPU集群，在電腦上進行海量的、不間斷的地球仿真。通過這種仿真運算，能夠更快更准確地在不同區域尋找最便於開采的、儲量豐富的油氣資源。極進網絡的方案采用功能強大的BlackDiamond 8800系列模塊化交換機，以及Summit X450 和 Summit X650 固定交換機，能夠滿足中石油 HPCC系統的各種連接要求。

客戶評價

英國原子武器發展局

法國原子能委員會薩克萊核研究中心電網項目“Carriocas”

歐洲同步輻射實驗室 (ESRF)

PetroChina