Upload
juniper-networks-
View
388
Download
2
Embed Size (px)
Citation preview
SRX5k for Cloud Builders〜急激に変化するサービス要件に迅速に対応せよ〜
JUN,2015
Macnica Networks Corp.
Juniper Networks, K.K.
Legal Disclaimer
本資料に記載されている機能や構成、ロードマップ情報などは、資料作成時点におけるジュニパーネットワークスの仕様や予定を示したものであり、事前の通告無しに内容が変更されることがあります。
本資料は技術情報の提供を目的としたものであり、機器、機器の機能、サービスなどに関して保証を行うものではありませんので、ご注意ください。
はじめに
• この資料の目的は、ジュニパーのデータセンター向けサービスゲートウェイであるSRX5000シリーズにおける特徴である“サービス稼働中に様々な拡張を行える”という利点をいくつかの想定構成にて動作確認を行い、サービスへの影響度と効果を明らかにしつつ情報を共有することにあります。検証はマクニカネットワークスとジュニパーとの共同で行いました。
• 出来る限り実際のUse Caseにおける環境を想定し検証を行いましたが、現実にはお客さま毎のアプリケーションを踏まえた想定環境での事前検証が必須となりますので、本資料はあくまで参考資料の位置付けになります。すべての動作を保証するものではないことご留意頂けます様お願い致します。
Agenda
• 評価環境と想定シナリオについて
• Base-Lineの測定
• サービス拡張シナリオ-1 : Network Bandwidth Upgrade(RETHとAEの拡張による帯域増強)
• サービス拡張シナリオ-2 : In-Service Hardware Upgrade(Dynamic Service Architectureの証明)
• サービス拡張シナリオ-3 : Low Latency Service(Express Pathによるサービスの低遅延化)
• まとめ
評価環境と想定シナリオについて
ジュニパーの提唱するCloud DCデザイン・アーキテクチャ
DC EdgeRouter
Service Gateway
FC StorageServers NAS
Ethernet /IP Fabric
The Internet DatacenterInterconnect
North/South & East/West Traffic w/o service
East/West Traffic w service
North/South Traffic w service
Evaluation Test Diagram
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
Breaking Point(Traffic Generator)
10G
DC Edge Router(QFX5100)
10G
30G
30G
10G*3 10G*3 10G*1 10G*1
40G
40G
40G
40G
SRX5k Test Configuration Overview
Breaking Point(Traffic Generator)
XXG
OSPF/BGPGraceful Restart
XXG
XXG
XXG
10G*3 10G*3 10G*1 10G*1
ZoneBLUE
ZoneRED
ZonePURPLE
ZoneMGMT
SNMP/Syslog Server
North/South Traffic w serviceFrom-Zone BLUE To-Zone PURPLE*1000 FW Policies + Logging
East/West Traffic w serviceFrom-Zone BLUE To-Zone RED *1000 FW Policies+ Logging
Session Init Log
root@srx5600node0> show chassis hardware
node0:
--------------------------------------------------------------------------
Hardware inventory:
Item Version Part number Serial number Description
Chassis JN124E56CAGB SRX5600
Midplane REV 01 710-024804 ACRD7518 SRX5600 Midplane
FPM Board REV 01 760-058098 CADR6914 Front Panel Display
PEM 1 Rev 03 740-034701 QCS15030902F PS 1.4-2.6kW; 90-264V AC in
PEM 2 Rev 03 740-034701 QCS150309052 PS 1.4-2.6kW; 90-264V AC in
Routing Engine 0 REV 02 740-056658 9009220567 SRX5k RE-1800X4
CB 0 REV 01 750-056587 CADW3399 SRX5k SCB II
FPC 0 REV 18 750-044175 CABE7913 SRX5k SPC II
CPU BUILTIN BUILTIN SRX5k DPC PPC
PIC 0 BUILTIN BUILTIN SPU Cp
PIC 1 BUILTIN BUILTIN SPU Flow
PIC 2 BUILTIN BUILTIN SPU Flow
PIC 3 BUILTIN BUILTIN SPU Flow
FPC 5 REV 14 750-043157 CADX0824 SRX5k IOC II
CPU REV 05 711-043360 CADY8332 SRX5k MPC PMB
MIC 0 REV 08 750-049487 CADX2231 2x 40GE QSFP+
PIC 0 BUILTIN BUILTIN 2x 40GE QSFP+
Xcvr 0 REV 01 740-032986 QB300176 QSFP+-40G-SR4
Xcvr 1 REV 01 740-032986 QB120851 QSFP+-40G-SR4
MIC 1 REV 07 750-049488 CADY7577 10x 10GE SFP+
PIC 2 BUILTIN BUILTIN 10x 10GE SFP+
Xcvr 0 REV 01 740-032276 APF11130010K8E SFP+-10G-ACU3M
Xcvr 8 REV 01 740-030077 APF11040026935 SFP+-10G-CU3M
Xcvr 9 REV 01 740-030077 APF11040026942 SFP+-10G-CU3M
Fan Tray Enhanced Fan Tray
(snip)
root@srx5600node0> show version
node0:
--------------------------------------------------------------------------
Hostname: srx5600node0
Model: srx5600
JUNOS Software Release [12.3X48-D10.3]
(snip)
使用機材:SRX5600 & JUNOS12.3X48-D10
使用機材:Breaking Point FireStorm@マクニカネットワークス・新横浜検証センター
Breaking Point FireStorm
Hardware• 4RU、3スロット• 10G 4port Network Processor x 2
Software• Software Version 3.4.2
想定シナリオ-1:Network Bandwidth Upgrade
DC EdgeRouter
Service Gateway
FC StorageServers NAS
Ethernet /IP Fabric
The Internet DatacenterInterconnect
North/South & East/West Traffic w/o service
East/West Traffic w service
North/South Traffic w serviceネットワーク帯域が逼迫してきたので拡張しなくてはならない。サービス稼働中に。
想定シナリオ-2:In-Service Hardware Upgrade
DC EdgeRouter
Service Gateway
FC StorageServers NAS
Ethernet /IP Fabric
The Internet DatacenterInterconnect
North/South & East/West Traffic w/o service
East/West Traffic w service
North/South Traffic w serviceサービスゲートウェイの処理負荷が逼迫してきたので拡張しなくてはならない。サービス稼働中に。
想定シナリオ-3:Low Latency Service
DC EdgeRouter
Service Gateway
FC StorageServers NAS
Ethernet /IP Fabric
The Internet DatacenterInterconnect
North/South & East/West Traffic w/o service
East/West Traffic w service
North/South Traffic w service新しいサービスでLow Latencyな通信要件を必要とするシステムを収容しなくてはならない。サービス稼働中に。
Base-Lineの測定
Base-Line
まず最初に、稼働中のサービス拡張へのインパクトを理解する前提のために、以下の点について解説します。
• SRX5k アーキテクチャ• SRX5k のChassis Clusterとスロットナンバリングについて• SRX5k 負荷状態の確認方法について• パフォーマンス測定方法• パフォーマンス測定結果• ダウンタイム測定方法• 各所ダウンタイム測定結果• Graceful Restartについて
SRX5kのコンポーネント
SRX5kのハードウェアは主に以下4つのコンポーネントから構成されます。
• IOC(I/O・カード)I/Oインターフェイスの選択を提供します。今回は40GbE*2、10GbE*10のMICカード構成で試験を行っています。
• SPC(サービス・プロセッシング・カード)SRX5kの筋肉でもあり、心臓部分でもあるパケットフォワーディングエンジンを搭載するカードとなります。ここで各種サービスを提供しながらパケットの転送を行います。詳細は後の頁で解説します。
• SCB(スイッチング・コントロール・ボード)IOCとSPCを結ぶスイッチング・ファブリックカードです。今回はラインカード毎に120Gbpsのバックプレーン帯域を提供するSCBEというファブリックカードを使用しています。真ん中にビルトインのREを挿入する部分があります。
• RE(ルーティング・エンジン)システム全体をコントロールする頭脳部分です。ここでJUNOSが稼働しています。今回はRE-1800X4と呼ばれる最新のREで試験を行っています。
SPU
SRX5kのコンポーネント : SPCについて-1
SRX5000シリーズの現行SPC “SRX5K-4-15-320” には、4つのSPU(サービス・プロセッシング・ユニット)と呼ばれるネットワークプロセッサーが搭載されています。SPUは、Core毎に4 threadを実行する 8つの eight-core プロセッサーから構成されており、各SPUが並列に各種サービスを実行する仕組みになっています。
SPC
SPU
SPU
SPU
SPU0
1
2
3
• Advanced Routing• Stateful Firewalling• IDP/IPS• NAT• ALG• VPN• Some Screens• LoggingEtc…
“SRX5K-4-15-320”
SPC
SPU
(Flow)
SPU
(Flow)
SPU
(Flow)
SPU
(Flow)0
1
2
3
SRX5kのコンポーネント : SPCについて-2
またSRX5kが起動する際、最も若番のSPC内の若番のSPUがCP(Central Point)と呼ばれる役目を担うこととなり、このCPが複数のSPUsに対してFlow処理の割り当てを行うロードバランサーとして動作します。この仕組みによりSRX5kにSPCが増設されるたびに処理能力を向上させることが可能となっています。
SPC
SPU
(Flow)
SPU
(Flow)
SPU
(Flow)
SPU
(CP)0
1
2
3
“SRX5K-4-15-320”がシステムに1枚の場合(1つのCPが、3つのFlowSPU間で負荷分散)
SPU
(Flow)
SPU
(CP)SPU
(Flow)
SPU
(Flow)
SPC
SPU
(Flow)
SPU
(Flow)
SPU
(Flow)
SPU
(CP)0
1
2
3
SPU
(Flow)
SPU
(CP)SPU
(Flow)
SPU
(Flow)
SPU
(Flow)
SPU
(Flow)
SPU
(Flow)
SPU
(Flow)
“SRX5K-4-15-320”がシステムに2枚の場合(1つのCPが、7つのFlowSPU間で負荷分散)
SRX5k Packet Flow-1 : 新規フローの1stパケット
IOC
/40 /10 G/1GMIC
/40 /10 G/1G
MIC
XF
LULU
SCB SPC
SPU
(Flow)
LULU
XMSPU
(Flow)
SPU
(Flow)
SPU
(CP)
100
100
1. 新規パケットを受信フローのルックアップを行い、No Match(New Session)と判断
2. パケットを CPへ転送
3. CP がパケットを転送するSPUを選択し、SPUがセッションをセットアップ
4. パケットがEgress Portに転送される
1
3
4
RE
2
SRX5k Packet Flow-2 : セッションセットアップ
IOC
/40 /10 G/1GMIC
/40 /10 G/1G
MIC
XF
LULU
SCB SPC
SPU
(Flow)
LULU
XMSPU
(Flow)
SPU
(Flow)
SPU
(CP)
RE
100
100
1. SPUがSession Setup MessageをCPに送信
2. SPUがSession Setup MessageをIOCに送信
1
2
SRX5k Packet Flow-3 : Fastパス・プロセッシング
IOC
/40 /10 G/1GMIC
/40 /10 G/1G
MIC
XF
LULU
SCB SPC
SPU
(Flow)
LULU
XMSPU
(Flow)
SPU
(Flow)
SPU
(CP)
100
100
1. パケットを受信フローのルックアップを行い、セッション情報にMatchパケットを処理を担当するSPUに転送
2. SPUはFast Path Processing(セキュリティなどの定義されたサービス)を実施
3. パケットがEgress I/Oから送出される
1
23
RE
RG0
RG1+
SRX5k Chassis Clusterとその構成要素
SRXは以下の要素を踏まえてChassis Cluster(CC)を構成することで冗長システム化することが可能です。ジュニパーのEX/QFXスイッチにおけるVirtual Chassisなどと同様、CC化されたSRXは1台の仮想シャーシ型システムとして動作し冗長性を提供することが可能となります。
• Control Link二台の物理シャーシ間でコントロールプレーンの伝達を行う。
• Fabric Link二台の物理シャーシ間でセッション情報のSyncを行う。必要に応じて(A/A構成時など)パケットの転送も行う
• RETH(Redundant Ethernet)外部ネットワークと接続するためのA/S冗長リンク。
• RG(Redundant Group)切り替わり範囲を指定する冗長グループ。RG0はコントロールプレーン(RE)のグループを示し、RG1〜はデータプレーン(RETH)のグループを示す。
Fabric Link
Control Link
RETH
Master RE
Node 1Node 0
Backup RE
SRX5k Chassis ClusterとI/Oスロット・ナンバリング
SRXがChassis Cluster(CC)化されると一台のシステムとしてみなされるため、Node1側のインターフェイスのスロットナンバリングが右図のように変化します。
右図の例でいうと、et-2/1/0とet-14/1/0でReth0を構成している、というイメージになります。
Master RE
Node 1Node 0
Backup RE
RETH0
Slot0
Slot1 Slot11 Slot12 Slot23
Base-Lineパフォーマンス測定
• SRX5600をChassis Cluster構成とし、East/Westトラフィックで10Gbps、North/Southトラフィックで5Gbpsのアプリケーション負荷をかけて機器の状態を確認する。
• SRXを経由するする全ての通信に対して、1000づつのFirewallポリシーを設定し、Session InitにおけるFirewall Loggingを取得している。
• Breaking Pointからのアプリケーションは以下を使用。• Application Simulator x 4 units
• Protocol TCP• HTTP GET [Contents size 10k] x 20 request / TCP connection• mss 1460 bytes
{primary:node0}
root@srx5600node0> show chassis routing-engine
node0:
--------------------------------------------------------------------------
Routing Engine status:
Slot 0:
Current state Master
Election priority Master (default)
Temperature 34 degrees C / 93 degrees F
CPU temperature 31 degrees C / 87 degrees F
DRAM 3313 MB (16384 MB installed)
Memory utilization 14 percent
CPU utilization:
User 0 percent
Background 0 percent
Kernel 3 percent
Interrupt 0 percent
Idle 97 percent
Model RE-S-1800x4
Serial ID 9009220567
Start time 2015-05-13 01:52:09 UTC
Uptime 34 minutes, 26 seconds
Last reboot reason 0x1:power cycle/failure
Load averages: 1 minute 5 minute 15 minute
0.00 0.01 0.06
JUNIPER-MIB::jnxOperatingCPU.9(REでのCPU Utilization取得MIB)
SRX5kの管理・確認コマンドと該当するMIB(RE)
SRX5kのコントロールプレーン負荷を確認するには、“show chassis routing-engine”コマンドで確認します。
{primary:node0}
root@srx5600node0> show security monitoring fpc 0
node0:
--------------------------------------------------------------------------
FPC 0
PIC 0
CPU utilization : 0 %
Memory utilization : 10 %
Current flow session : 0
Current flow session IPv4: 0
Current flow session IPv6: 0
Max flow session : 0
Current CP session : 5
Current CP session IPv4: 5
Current CP session IPv6: 0
Max CP session : 104857600
Total Session Creation Per Second (for last 96 seconds on average): 0
IPv4 Session Creation Per Second (for last 96 seconds on average): 0
IPv6 Session Creation Per Second (for last 96 seconds on average): 0
PIC 1
CPU utilization : 0 %
Memory utilization : 4 %
Current flow session : 3
Current flow session IPv4: 3
Current flow session IPv6: 0
Max flow session : 4194304
Current CP session : 0
Current CP session IPv4: 0
Current CP session IPv6: 0
Max CP session : 0
...
(snip)
JUNIPER-SRX5000-SPU-MONITORING-MIB::jnxJsSPUMonitoringCPUUsage(SPU毎のCPU Utilization取得MIB)
JUNIPER-SRX5000-SPU-MONITORING-MIB::jnxJsSPUMonitoringCurrentCPSession(システム全体=CPでの処理Session数取得MIB)
JUNIPER-SRX5000-SPU-MONITORING-MIB::jnxJsSPUMonitoringCurrentFlowSession(SPU毎の処理Session数取得MIB)
SRX5kの管理・確認コマンドと該当するMIB(SPC/SPU)
SRX5kのデータプレーン負荷を確認するには、“show security monitoring fpc X”コマンドで確認します。
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentFlowSession
jnxJsSPUMonitoringCurrentFlowSession.0 = 0
jnxJsSPUMonitoringCurrentFlowSession.1 = 375686
jnxJsSPUMonitoringCurrentFlowSession.2 = 369767
jnxJsSPUMonitoringCurrentFlowSession.3 = 371301
jnxJsSPUMonitoringCurrentFlowSession.24 = 0
jnxJsSPUMonitoringCurrentFlowSession.25 = 381381
jnxJsSPUMonitoringCurrentFlowSession.26 = 376222
jnxJsSPUMonitoringCurrentFlowSession.27 = 574778
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentCPSession
jnxJsSPUMonitoringCurrentCPSession.0 = 1127139
jnxJsSPUMonitoringCurrentCPSession.1 = 0
jnxJsSPUMonitoringCurrentCPSession.2 = 0
jnxJsSPUMonitoringCurrentCPSession.3 = 0
jnxJsSPUMonitoringCurrentCPSession.24 = 1330061
jnxJsSPUMonitoringCurrentCPSession.25 = 0
jnxJsSPUMonitoringCurrentCPSession.26 = 0
jnxJsSPUMonitoringCurrentCPSession.27 = 0
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage
jnxJsSPUMonitoringCPUUsage.0 = 1
jnxJsSPUMonitoringCPUUsage.1 = 48
jnxJsSPUMonitoringCPUUsage.2 = 48
jnxJsSPUMonitoringCPUUsage.3 = 48
jnxJsSPUMonitoringCPUUsage.24 = 0
jnxJsSPUMonitoringCPUUsage.25 = 0
jnxJsSPUMonitoringCPUUsage.26 = 1
jnxJsSPUMonitoringCPUUsage.27 = 1
{primary:node0}
root@srx5600node0> show snmp mib walk jnxOperatingCPU.9
jnxOperatingCPU.9.1.0.0 = 3
jnxOperatingCPU.9.3.0.0 = 3
SRX5kの管理・確認コマンドと数字の見方
Node0の各SPUで保持しているSessionの数
Node1の各SPUで保持しているSessionの数(冗長用)
Node0のシステム全体(CP)で保持しているSessionの数
Node1のシステム全体(CP)で保持しているSessionの数(冗長用)
システムのデータプレーン負荷の状況:CC Node0(この例ではFast Pathプロセッシングでデータを転送している負荷で48%)
システムのデータプレーン負荷の状況:CC Node1(こちらは冗長によるスタンバイ側なので、Failover用にセッションのコピーをしているだけ、なので1%くらい)
システムのコントロールプレーン負荷の状況
SRX5k Baseline Performance-1
40G
40G
Breaking Point(Traffic Generator)
5G
5G
10G
10G
10G*3 10G*3 10G*1 10G*1
East/West
10G
North/South
5G
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
DC Edge Router(QFX5100)
確認項目:約15GbpsのトラフィックをSRX5600-CCに印加し、各コンポーネントの状態情報をMIBで取得し状況を確認する
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentFlowSession
jnxJsSPUMonitoringCurrentFlowSession.0 = 0
jnxJsSPUMonitoringCurrentFlowSession.1 = 1546596
jnxJsSPUMonitoringCurrentFlowSession.2 = 1527601
jnxJsSPUMonitoringCurrentFlowSession.3 = 1523715
jnxJsSPUMonitoringCurrentFlowSession.24 = 0
jnxJsSPUMonitoringCurrentFlowSession.25 = 1544386
jnxJsSPUMonitoringCurrentFlowSession.26 = 1526634
jnxJsSPUMonitoringCurrentFlowSession.27 = 1706677
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentCPSession
jnxJsSPUMonitoringCurrentCPSession.0 = 4597263
jnxJsSPUMonitoringCurrentCPSession.1 = 0
jnxJsSPUMonitoringCurrentCPSession.2 = 0
jnxJsSPUMonitoringCurrentCPSession.3 = 0
jnxJsSPUMonitoringCurrentCPSession.24 = 4781204
jnxJsSPUMonitoringCurrentCPSession.25 = 0
jnxJsSPUMonitoringCurrentCPSession.26 = 0
jnxJsSPUMonitoringCurrentCPSession.27 = 0
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage
jnxJsSPUMonitoringCPUUsage.0 = 1
jnxJsSPUMonitoringCPUUsage.1 = 83
jnxJsSPUMonitoringCPUUsage.2 = 84
jnxJsSPUMonitoringCPUUsage.3 = 83
jnxJsSPUMonitoringCPUUsage.24 = 0
jnxJsSPUMonitoringCPUUsage.25 = 2
jnxJsSPUMonitoringCPUUsage.26 = 2
jnxJsSPUMonitoringCPUUsage.27 = 2
{primary:node0}
root@srx5600node0> show snmp mib walk jnxOperatingCPU.9
jnxOperatingCPU.9.1.0.0 = 3
jnxOperatingCPU.9.3.0.0 = 3
SRX5k Baseline Performance-1:15Gbps
システムのデータプレーン負荷としては約83%(Fast Pathプロセッシングでデータを転送している負荷が83%)
システムのコントロールプレーン負荷としては約3%
(SNIP)
Sorry, this is Trailer version.
SRX5k Baseline Performance-2
40G
40G
Breaking Point(Traffic Generator)
5G
5G
20G
20G
10G*3 10G*3 10G*1 10G*1
East/West
20G
North/South
5G
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
DC Edge Router(QFX5100)
確認項目:印加するトラフィックを15Gbpsから25Gbpsへ上げて、各コンポーネントの状態情報がどのように変化するかを確認する
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentFlowSession
jnxJsSPUMonitoringCurrentFlowSession.0 = 0
jnxJsSPUMonitoringCurrentFlowSession.1 = 1577179
jnxJsSPUMonitoringCurrentFlowSession.2 = 1559468
jnxJsSPUMonitoringCurrentFlowSession.3 = 1559371
jnxJsSPUMonitoringCurrentFlowSession.24 = 0
jnxJsSPUMonitoringCurrentFlowSession.25 = 1580839
jnxJsSPUMonitoringCurrentFlowSession.26 = 1568506
jnxJsSPUMonitoringCurrentFlowSession.27 = 1767131
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentCPSession
jnxJsSPUMonitoringCurrentCPSession.0 = 4696755
jnxJsSPUMonitoringCurrentCPSession.1 = 0
jnxJsSPUMonitoringCurrentCPSession.2 = 0
jnxJsSPUMonitoringCurrentCPSession.3 = 0
jnxJsSPUMonitoringCurrentCPSession.24 = 4926937
jnxJsSPUMonitoringCurrentCPSession.25 = 0
jnxJsSPUMonitoringCurrentCPSession.26 = 0
jnxJsSPUMonitoringCurrentCPSession.27 = 0
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage
jnxJsSPUMonitoringCPUUsage.0 = 1
jnxJsSPUMonitoringCPUUsage.1 = 93
jnxJsSPUMonitoringCPUUsage.2 = 93
jnxJsSPUMonitoringCPUUsage.3 = 93
jnxJsSPUMonitoringCPUUsage.24 = 1
jnxJsSPUMonitoringCPUUsage.25 = 3
jnxJsSPUMonitoringCPUUsage.26 = 2
jnxJsSPUMonitoringCPUUsage.27 = 2
{primary:node0}
root@srx5600node0> show snmp mib walk jnxOperatingCPU.9
jnxOperatingCPU.9.1.0.0 = 4
jnxOperatingCPU.9.3.0.0 = 3
SRX5k Baseline Performance-2:25Gbps
システムのコントロールプレーン負荷としては約4%※データプレーンのCPUが限界近くまで高騰していたとしても、コントロールプレーンのCPUは低い位置に留まっているのでシステムとしては安定していることに注目!
システムのデータプレーン負荷としては約93%(Fast Pathプロセッシングでデータを転送している負荷が93%)※この環境(SPC1枚)でこれ以上の負荷をかけるとセッションがドロップし始めた。コントロールプレーンの使用率は3〜4%程度とStableなのでデータプレーンの性能限界である、と理解することができる。
(SNIP)
Sorry, this is Trailer version.
Base-Lineダウンタイム測定
• SRX5600をChassis Clusterの構成とし、East/Westトラフィック、North/SouthトラフィックとしてそれぞれUDPショートパケット(64byte)で秒間100,000パケット送信した状態で、各種障害・メンテナンスアクションを行ってみてドロップするパケット数をカウントする。
• SRXを経由するする全ての通信に対して、1000づつのFirewallポリシーを設定し、Session InitにおけるFirewall Loggingを取得している。
• Breaking Pointからのアプリケーションは以下を使用。• Routing Robot x 4 units
• Protocol UDP• packet size 64 bytes
Base-Lineダウンタイム測定
40G
40G
Breaking Point(Traffic Generator)
10G*3 10G*3 10G*1 10G*1
East/West
100000pps
North/South
100000pps
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
DC Edge Router(QFX5100)
確認項目:UDPのショートパケットを100,000pps印加し、各ポイントでのアクションにおけるパケットドロップの有無、及びダウンタイムを確認する
Ethernet Fabric(QFX5100 Virtual Chassis)
Service Gateway(SRX5600 Chassis Cluster)
Base-Lineダウンタイム測定ポイント・アクション
40G
40G
Breaking Point(Traffic Generator)
10G*3 10G*3 10G*1 10G*1
DC Edge Router(QFX5100)
No. Action Event
1 Reth Member Link Down/Up
2 Control Link Down/Up
3 Fabric Link Down/Up
4 Fabric Link*2 Down/Up
5 Redundancy Group 0 Manual Failover (+OSPF/BGP Graceful Restart)
6 Redundancy Group 1 Failover
7 Chassis 0 Power Down/Up (RG0,1 failover at same time)
8 Chassis 1 Power Down/Up
9 In-Service Software Upgrade
1
23
4
5
6
7
8
9
Base-Lineダウンタイム測定ポイント・アクション解説
No. Action Event Desicription Expectation
1 Reth Member Link Down/Up Rethを構成するMember InterfaceのActive側を抜線する
CCのFailoverが発生して瞬断で通信が復旧する。
2 Control Link Down/Up Control Linkを抜線する CCの保護機能によりSecondary側のNodeがDisableStateとなる。通信には影響なし。
3 Fabric Link Down/Up Fabric Linkの片側を抜線する この試験ではFabric Linkが冗長されているため何も起こらず。通信には影響なし。
4 Fabric Link*2 Down/Up Fabric Linkを2本とも抜線する CC間のセッション同期がされなくなる。通信には影響なし。
5 Redundancy Group 0 Manual Failover (+OSPF/BGP Graceful Restart)
CLIからREのMaster・Backupを切り替える この試験構成ではNorth/Southトラフィックの宛先ルートをOSPF/BGPで受信しているため、通常であれば通信断が発生するが、Graceful Restartの設定によりルートが保持されて、通信には影響がでない。
6 Redundancy Group 1 Failover CLIからRethのメンバーリンクのA/Sを切り替える CCのFailoverが発生して瞬断で通信が復旧する。
7 Chassis 0 Power Down/Up (RG0,1 failover at same time)
RG0,1共にPrimaryを保持するNode0の電源をシャットダウンする
RG0,1共に同時にNode1へ遷移するので、多少のダウンタイムの後に通信が復旧する。
8 Chassis 1 Power Down/Up RG0,1共にSecondary を保持するNode1の電源をシャットダウンする
何も起こらず。通信には影響なし。
9 In-Service Software Upgrade CLIからISSUを使用してソフトウェアのバージョンをアップする
多少のダウンタイムの後にソフトウェアのバージョンアップが完了し通信が復旧する。
Base-Lineダウンタイム測定結果
No. Action Event Down Time @Down Down Time @Up OK/NG Log
1 Reth Member Link Down/Up 0.22 sec 0.37sec OK BackupSlide 1-1
2 Control Link Down/Up 0 sec 0 sec OK BackupSlide 1-2
3 Fabric Link Down/Up 0 sec 0 sec OK BackupSlide 1-3
4 Fabric Link*2 Down/Up 0 sec 0 sec OK BackupSlide 1-4
5 Redundancy Group 0 Manual Failover (+OSPF/BGP Graceful Restart)
0 sec - OK BackupSlide 1-5
6 Redundancy Group 1 Failover 0.93 sec 0.5 sec OK BackupSlide 1-6
7 Chassis 0 Power Down/Up (RG0,1 failover at same time)
0.62 sec 0.42 sec OK BackupSlide 1-7
8 Chassis 1 Power Down/Up 0 sec 0 sec OK BackupSlide 1-8
9 In-Service Software Upgrade 1.74 sec - OK BackupSlide 1-9
(SNIP)
Sorry, this is Trailer version.
UDPショートパケットによるダウンタイム試験でCC切り替わり時における約1秒前後のパケットロスは、現実のTCP通信においてはTCPの再送機能により一時的にトランザクションの再送がなされるのみであり、実際のアプリケーション通信にはほとんど影響しない。
パケットロス アプリケーションのトランザクションには影響なし
Base-Lineダウンタイム トラフィック影響
(SNIP)
Sorry, this is Trailer version.
Protocol Graceful Restartについて
今回の試験構成では、North/Southトラフィックに関してはOSPF/BGPによって学習した経路宛の通信構成としています。この場合にSRX5k-CCのコントロールプレーン・フェイルオーバーをする際のダウンタイムを最小にするためにはSRX側でProtocol Graceful Restartの設定をおこなう必要があります。(JUNOSではDefaultでGraceful Restart Helper機能が動作しているため、QFX側では特別な設定の必要はなし。)
※参考までにGraceful RestartをDisableにした状態でテスト項番.5を実施したところ、ダウンタイムが0秒→約10秒という結果に変化しました。
OSPF/BGP
Service Gateway(SRX5600 Chassis Cluster)
DC Edge Router(QFX5100)
DG0: Primary
DG0: Secondary
Failover
Protocol Graceful Restart設定
{primary:node0}[edit]
root@srx5600node0# set routing-options graceful-restart
root@srx5600node0# set protocols bgp graceful-restart
root@srx5600node0# set protocols ospf graceful-restart restart-duration 190
root@srx5600node0# set protocols ospf graceful-restart notify-duration 40
サービス拡張シナリオ-1〜Network Bandwidth Upgrade〜(RETHとAEの拡張による帯域増強)
サービス拡張シナリオ-1:サービスゲートウェイのネットワーク帯域増強
Service Gateway
The Internet DatacenterInterconnect
データセンターアーキテクチャに於いてサービスゲートウェイをIn-Line型ではなくOne-Arm型でデザインすることのメリットとして、
• サービス宛のトラフィックとサービスを必要としないトラフィックの通信経路を柔軟にデザインできる
• サービス宛のトラフィック容量を増加したい場合、LAGの拡張だけで簡単に増強が可能
という点が挙げられます。
サービス拡張シナリオ-1ではSRX5k-CCにおけるLAG増強時におけるサービストラフィックへのインパクトを確認します。
サービス宛ネットワーク帯域という観点では、管理者はここの使用率傾向をみておくだけで増強すべきタイミングを把握することが可能
40G
40G
サービス拡張シナリオ1:確認項目
Breaking Point(Traffic Generator)
5G
5G
10G
10G
10G*3 10G*3 10G*1 10G*1
East/West
10G
North/South
5G 40G
40G
確認項目:約15Gbpsのトラフィックを印加中のSRX5600-CCにおいて40G(40G*2)→80G(40G*4)へのLAGの増強を行う際のサービスインパクトを測定する
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
DC Edge Router(QFX5100)
Chassis ClusterとVC間のReth/AEについて
Ethernet Fabric(QFX5100 Virtual Chassis)
Service Gateway(SRX5600 Chassis Cluster)
RETH0
AE0
AE1
スイッチとSRX間のリンクは仮に初期導入時には1本だとしても、将来拡張時のために最初からスイッチ側をLAGで組んでおくと便利です。CCのRETHとVCのAEを繋げる場合の考え方は、以下のようにRETH1本に対して、対向のスイッチからは、AE0とAE1の2本のLAGで接続する形になります。この構成でLACPをEnableにすると、VC側はAE0、AE1のLACPは共にActiveとなります。(ただしSRXのBackup Link側ではARPへの返答は一切行われないので通信は流れない。)
{primary:node0}[edit]
root@srx5600node0# show interfaces reth0 |display set
set interfaces reth0 vlan-tagging
set interfaces reth0 redundant-ether-options redundancy-group 1
set interfaces reth0 redundant-ether-options lacp active
set interfaces reth0 redundant-ether-options lacp periodic slow
set interfaces reth0 unit 100 description public-servers
set interfaces reth0 unit 100 vlan-id 100
...
set interfaces et-5/0/0 gigether-options redundant-parent reth0
set interfaces et-11/0/0 gigether-options redundant-parent reth0
...
(snip)
root@srx5600node0# set interfaces et-5/0/1 gigether-options redundant-parent reth0
root@srx5600node0# set interfaces et-11/0/1 gigether-options redundant-parent reth0
{primary:node0}[edit]
root@srx5600node0# show |compare
[edit interfaces]
+ et-5/0/1 {
+ gigether-options {
+ redundant-parent reth0;
+ }
+ }
+ et-11/0/1 {
+ gigether-options {
+ redundant-parent reth0;
+ }
+ }
{primary:node0}[edit]
root@srx5600node0# commit
もともとのSRX5k側のReth周りの設定
サービス拡張シナリオ1:RETHメンバーリンクの追加
Rethにメンバーリンクを追加する設定※対向側のQFX-VCのAE0、AE1に対しても該当のインターフェイスを追加する
Ethernet Fabric(QFX5100 Virtual Chassis)
RETH0
AE0
AE1
VC Seconds: 154 Time: 07:12:37
Interface Link Input bytes (bps) Output bytes (bps)
vcp-255/0/94 Up 754459255781 (37840) 1740598039817 (105910776)
vcp-255/0/95 Up 754796473661 (3800) 1740507771103 (103747624)
et-0/0/96 Up 8120661272810(14836093520) 9078924651190(14836055992)
et-0/0/97 Down 4946543470 (0) 23304064081 (0)
gr-0/0/0 Up 0 (0) 0 (0)
pfh-0/0/0 Up 0 0
xe-0/0/0 Up 167105377313 (207321768) 2228398037067 (6957196304)
xe-0/0/10 Up 2602258830406 (6955225560) 294405787254 (415965712)
xe-0/0/20 Up 342881868509 (416320672) 2423469244320 (6957078704)
xe-0/0/22 Up 163668949402 (0) 1662569789115 (0)
xe-0/0/30 Up 2631571966230 (6954056448) 302839399244 (416194456)
et-1/0/96 Up 16558158617 (0) 33235332184 (640)
pfh-1/0/0 Up 0 0
xe-1/0/0 Up 168281278121 (209100024) 166589117046 (0)
xe-1/0/20 Up 48478234854 (0) 1289028153714 (0)
xe-1/0/30 Up 1832179452368 (0) 162362763586 (152)
xe-1/0/32 Up 1380403611244 (0) 63045625722 (952)
ae0 Up 8570960043651(14836093520) 9362824067411(14836055992)
ae1 Up 21504702087 (0) 56539396265 (640)
ae2 Up 335386655434 (416421792) 2394987154113 (6957196304)
ae3 Down 0 (0) 0 (0)
bme0 Up 0 240166848
bme1 Up 0 0
...
(snip)
サービス拡張シナリオ1:RETHメンバーリンクの追加前
※対向のQFX-VC側のトラフィックカウンターae0で約15Gbpsの通信量がカウントされている。et-0/0/96でも同様の通信量がカウントされている。
VC Seconds: 59 Time: 07:15:49
Interface Link Input bytes (bps) Output bytes (bps)
vcp-255/0/94 Up 568596 (36008) 18594476181 (1969726256)
vcp-255/0/95 Up 77359 (4704) 18523795513 (1922966080)
et-0/0/96 Up 68839732384 (7352206048) 135086502616(14515247648)
et-0/0/97 Up 512 (0) 3646 (1232)
gr-0/0/0 Up 0 (0) 0 (0)
pfh-0/0/0 Up 0 0
xe-0/0/0 Up 1934045234 (203858352) 31036983715 (3444979864)
xe-0/0/10 Up 64407539348 (6907155168) 3754780286 (412885648)
xe-0/0/20 Up 3889930739 (413892016) 62620891559 (6910800424)
xe-0/0/22 Up 0 (0) 2940 (472)
xe-0/0/30 Up 64518850419 (6911536600) 3790273040 (413914624)
et-1/0/96 Up 512 (0) 6014 (1072)
et-1/0/97 Up 68532507767 (7379725536) 2043495848 (220741432)
pfh-1/0/0 Up 0 0
xe-1/0/0 Up 1942307540 (209276240) 30928901956 (3462123304)
xe-1/0/20 Up 0 (0) 2940 (456)
xe-1/0/30 Up 0 (0) 1916 (608)
xe-1/0/32 Up 0 (0) 2315 (1408)
ae0 Up 137372240151(14731931584) 137129998464(14735989080)
ae1 Up 1024 (0) 9660 (2304)
ae2 Up 3876352774 (413134592) 61965885671 (6907103168)
ae3 Down 0 (0) 0 (0)
bme0 Up 0 498480
bme1 Up 0 0
...
(snip)
サービス拡張シナリオ1:RETHメンバーリンクの追加後
※対向のQFX-VC側のトラフィックカウンターae0で約15Gbpsの通信量がカウントされている。et-0/0/96とet-1/0/97(=ae0)で分散されながら同様の通信量がカウントされている。
サービス拡張シナリオ1:結果
No. Action Event Desicription Expectation
10 Reth Member Link Add Rethを構成するMember Linkに新たにインターフェイスを追加し、併せて対向側のQFX-VCのAE0,AE1にもMember Linkを追加することで、40G*2*2(80G-Act/80G-Stby)へとネットワーク帯域を拡張する
SRX5kのRethとQFX-VCのAE間でLACPのネゴシエーションが行われた後に、ネットワーク帯域が拡張され、トラフィックがバランスされる。通信には影響なし。
No. Action Event Down Time @Down Down Time @Up OK/NG Log
10 Reth Member Link Add - 0 sec OK BackupSlide 2-1
まとめ:稼働中のサービスに影響すること無く、サービス・ゲートウェイへのネットワーク帯域の拡張を行うことが可能であることが確認された。
(SNIP)
Sorry, this is Trailer version.
サービス拡張-2〜In-Service Hardware Upgrade〜(Dynamic Service Architectureの証明)
サービス拡張シナリオ-2:In-Service Hardware Upgrade(Dynamic Service Architecture)
SRX5000シリーズのDynamic Service Architectureは、収容するサービスへの需要によって変化するサービスゲートウェイへのパフォーマンス・スケール要件にたいして、SPCの増設だけでシステムとしての拡張性を向上させることが可能です。
サービス拡張シナリオ-2ではSRX5k-CCにおけるSPC増設時におけるサービストラフィックへのインパクトを確認します。
SRX5kのDynamic Service Architectureによりシステムの負荷状況に応じてSPCを追加するだけで、柔軟で迅速なシステムアップグレードが可能に”Pay as you Grow”というコンセプトを実現
増設する毎にリニアにシステムのパフォーマンスやスケーラビリティを上昇させることが可能な
SRX5kのSPC
40G
40G
サービス拡張シナリオ-2:確認項目-1
Breaking Point(Traffic Generator)
5G
5G
20G
20G
10G*3 10G*3 10G*1 10G*1
East/West
20G
North/South
5G 40G
40G
確認項目:約25Gbpsのトラフィックを印加中SRX5600-CCにおけるSPCの枚数を1枚(CCで2枚)から2枚(CCで4枚)へと増強を行う際のサービスインパクトと、SPCを増設した後の効果を確認する
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
DC Edge Router(QFX5100)
In-Service Hardware Upgrade(ISHU)とは、
• ISHUとは、稼働中のSRXにSPCを追加してキャパシティをダイナミックに増加させる機能のこと(≒Dynamic Service Architecture)
• 新しく挿入したSPCを有効に活用するためにはNodeのRebootが必要となるため、いわゆるHot Insertではないただし、Chassis Clusterを構成するSRXにおいてトラフィックへの影響時間は、マニュアルによるRG0のFailoverレベルで実施することが可能となる
• 新しいSPCを挿入することのできるスロットには制限があるので(※後述)注意が必要
• HA & ISSU 機能には影響無し
• SPC InsertはChassis Clusterが構成されているSRXでのみサポートされ、Standaloneデバイスでは実行できない
1. ここでは、DG0、DG1共にNode 0 (N0) が primary 、Node 1 (N1) が secondary としてクラスターが構成されていると仮定します。
2. SPC Insertを実行する前には、両方のNodeが正常に動作していることを確認する。※ “show chassis cluster status” にて RG0 と RG+ のPriorityが オペレーションミスなどで0や255になっていないことを確認する。(重要!)
3. “request system power off” コマンドにてN1をパワーダウンさせた後、新しい SPCを挿入し、再びN1を起動する。
N1が完全に起動し、PICがOnlineになるまで待ち、“show chassis fpc pic-status”コマンドで正常状態を確認する。※ 再度“show chassis cluster status” にて RG0 と RG+ のPriorityが オペレーションミスなどで0や255になっていないことを確認する。
Node 0 Node 1
ISHUの手順-1
RG0 (Ctrl)Primary
RG1 (Data)Primary
RG0 (Ctrl)Secondary
RG1 (Data)Secondary
1st SPC 1st SPC
Node 0 Node 1
RG0 (Ctrl)Primary
RG1 (Data)Primary
RG0 (Ctrl)Secondary
RG1 (Data)Secondary
1st SPC 1st SPC
※新しいSPCを挿入しN1を起動
2nd SPC
4. “RG+” をマニュアルでフェイルオーバーさせてデータプレーンをN1に移す。※“show chassis cluster status” にてRG0 と RG+ のPriorityが0になっていないことを確認する。
5. “request system power off” にてN0をパワーオフする。これによりRG0 のフェイルオーバーが実施される。※“show chassis cluster status” にてRG0 と RG+ のPriorityが0になっていないことを確認する。
ISHUの手順-2
Node 0 Node 1
RG0 (Ctrl)Primary
RG1 (Data)Primary
RG0 (Ctrl)Secondary
RG1 (Data)Secondary
1st SPC 1st SPC
2nd SPC
Node 0
RG0 (Ctrl)Secondary
RG1 (Data)Secondary
1st SPC 1st SPC
2nd SPC
Node 1
RG1 (Data)Primary
RG0 (Ctrl)Primary
6. 新しいSPCをN0に挿入し起動、PICがOnlineになるまで待ち、 “show chassis fpc pic-status”にて正常性を確認、その後“show chassis cluster status” でRG0 と RG+ のPriorityが0になっていないことを確認して完了。
ISHUの手順-3
Node 0
RG0 (Ctrl)Secondary
RG1 (Data)Secondary
1st SPC 1st SPC
※新しいSPCを挿入しN0を起動
2nd SPC
Node 1
RG1 (Data)Primary
RG0 (Ctrl)Primary
2nd SPC
1st SPC 1st SPC
2nd SPC
Node 1
RG1 (Data)Primary
RG0 (Ctrl)Primary
2nd SPC
Node 0
RG0 (Ctrl)Secondary
RG1 (Data)Secondary
• 新しいSPCを挿入する際には、既存のSPCが挿入されているSlotよりも高いスロットナンバーに挿入すること。仮にSPCがSlot4まで挿入されていた場合、Slot5以降を使用してSPCの追加を行う。
• ISHUを行う前に存在していたフローセッションは新しいSPCを挿入しても再度ロードバランスされることはない。新しいセッションがハンドリングされる時から新しく挿入されたSPCがロードバランスの対象としてCPに処理される形となる。
• ISHUを行う手順におけるトラフィックへの影響は、マニュアルでRG0のフェイルオーバーを実施するのと同等のインパクトに抑えることが可能。
• 新しいSPC は既存で存在しているSPCよりも高いSlotナンバーに挿入する必要が有る。もしそのような空きスロットがない場合は、一度システム毎パワーダウンした後にSPCを挿入する必要が有る。(つまりSRX5kの初期導入時に若番スロットよりSPCを挿入し始める事が推奨されます。)
ISHUの注意点
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentFlowSession
jnxJsSPUMonitoringCurrentFlowSession.0 = 0
jnxJsSPUMonitoringCurrentFlowSession.1 = 629397
jnxJsSPUMonitoringCurrentFlowSession.2 = 627402
jnxJsSPUMonitoringCurrentFlowSession.3 = 626636
jnxJsSPUMonitoringCurrentFlowSession.4 = 626239
jnxJsSPUMonitoringCurrentFlowSession.5 = 615707
jnxJsSPUMonitoringCurrentFlowSession.6 = 621165
jnxJsSPUMonitoringCurrentFlowSession.7 = 620860
jnxJsSPUMonitoringCurrentFlowSession.24 = 0
jnxJsSPUMonitoringCurrentFlowSession.25 = 641272
jnxJsSPUMonitoringCurrentFlowSession.26 = 635712
jnxJsSPUMonitoringCurrentFlowSession.27 = 635657
jnxJsSPUMonitoringCurrentFlowSession.28 = 641709
jnxJsSPUMonitoringCurrentFlowSession.29 = 629969
jnxJsSPUMonitoringCurrentFlowSession.30 = 633551
jnxJsSPUMonitoringCurrentFlowSession.31 = 633029
{primary:node0}
root@srx5600node0>
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentCPSession
jnxJsSPUMonitoringCurrentCPSession.0 = 4400484
jnxJsSPUMonitoringCurrentCPSession.1 = 0
jnxJsSPUMonitoringCurrentCPSession.2 = 0
jnxJsSPUMonitoringCurrentCPSession.3 = 0
jnxJsSPUMonitoringCurrentCPSession.4 = 0
jnxJsSPUMonitoringCurrentCPSession.5 = 0
jnxJsSPUMonitoringCurrentCPSession.6 = 0
jnxJsSPUMonitoringCurrentCPSession.7 = 0
jnxJsSPUMonitoringCurrentCPSession.24 = 4450337
jnxJsSPUMonitoringCurrentCPSession.25 = 0
jnxJsSPUMonitoringCurrentCPSession.26 = 0
jnxJsSPUMonitoringCurrentCPSession.27 = 0
jnxJsSPUMonitoringCurrentCPSession.28 = 0
jnxJsSPUMonitoringCurrentCPSession.29 = 0
jnxJsSPUMonitoringCurrentCPSession.30 = 0
jnxJsSPUMonitoringCurrentCPSession.31 = 0
サービス拡張シナリオ2-SPC増加後:25Gbps@2*SPC
※Node0、Node1共にCP*1、SPU*7に増えていることがわかる
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage
jnxJsSPUMonitoringCPUUsage.0 = 1
jnxJsSPUMonitoringCPUUsage.1 = 93
jnxJsSPUMonitoringCPUUsage.2 = 93
jnxJsSPUMonitoringCPUUsage.3 = 93
jnxJsSPUMonitoringCPUUsage.24 = 1
jnxJsSPUMonitoringCPUUsage.25 = 3
jnxJsSPUMonitoringCPUUsage.26 = 2
jnxJsSPUMonitoringCPUUsage.27 = 2
{primary:node0}
root@srx5600node0> show snmp mib walk jnxOperatingCPU.9
jnxOperatingCPU.9.1.0.0 = 4
jnxOperatingCPU.9.3.0.0 = 3
SRX5k Baseline Performance:25Gbps@1*SPC
システムのデータプレーン負荷としては約93%(Fast Pathプロセッシングでデータを転送している負荷が93%)
(SNIP)
Sorry, this is Trailer version.
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage
jnxJsSPUMonitoringCPUUsage.0 = 4
jnxJsSPUMonitoringCPUUsage.1 = 46
jnxJsSPUMonitoringCPUUsage.2 = 48
jnxJsSPUMonitoringCPUUsage.3 = 47
jnxJsSPUMonitoringCPUUsage.4 = 48
jnxJsSPUMonitoringCPUUsage.5 = 48
jnxJsSPUMonitoringCPUUsage.6 = 46
jnxJsSPUMonitoringCPUUsage.7 = 47
jnxJsSPUMonitoringCPUUsage.24 = 3
jnxJsSPUMonitoringCPUUsage.25 = 1
jnxJsSPUMonitoringCPUUsage.26 = 2
jnxJsSPUMonitoringCPUUsage.27 = 1
jnxJsSPUMonitoringCPUUsage.28 = 1
jnxJsSPUMonitoringCPUUsage.29 = 1
jnxJsSPUMonitoringCPUUsage.30 = 1
jnxJsSPUMonitoringCPUUsage.31 = 1
{primary:node0}
root@srx5600node0>
{primary:node0}
root@srx5600node0> show snmp mib walk jnxOperatingCPU.9
jnxOperatingCPU.9.1.0.0 = 4
jnxOperatingCPU.9.3.0.0 = 3
サービス拡張シナリオ2-結果:25Gbps@2*SPC
システムのデータプレーン負荷としては約47%に低下している(Fast Pathプロセッシングでデータを転送している負荷が47%)
(SNIP)
Sorry, this is Trailer version.
40G
40G
サービス拡張シナリオ-2:確認項目-2
Breaking Point(Traffic Generator)
10G
10G
30G
30G
10G*3 10G*3 10G*1 10G*1
East/West
30G
North/South
10G 40G
40G
確認項目:2枚(CCで4枚)へと増強が行われたSRX5600-CCへ印加するトラフィックを40Gbpsまで上昇させて機器の状態を確認する
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
DC Edge Router(QFX5100)
サービス拡張シナリオ2-結果:40Gbps@2*SPC
システムのデータプレーン負荷としては約74%くらいまで上昇(Fast Pathプロセッシングでデータを転送している負荷が74%)
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage
jnxJsSPUMonitoringCPUUsage.0 = Gauge32: 6 percent
jnxJsSPUMonitoringCPUUsage.1 = Gauge32: 75 percent
jnxJsSPUMonitoringCPUUsage.2 = Gauge32: 77 percent
jnxJsSPUMonitoringCPUUsage.3 = Gauge32: 75 percent
jnxJsSPUMonitoringCPUUsage.4 = Gauge32: 76 percent
jnxJsSPUMonitoringCPUUsage.5 = Gauge32: 72 percent
jnxJsSPUMonitoringCPUUsage.6 = Gauge32: 71 percent
jnxJsSPUMonitoringCPUUsage.7 = Gauge32: 73 percent
jnxJsSPUMonitoringCPUUsage.24 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.25 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.26 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.27 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.28 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.29 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.30 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.31 = Gauge32: 1 percent
{primary:node0}
root@srx5600node0>
{primary:node0}
root@srx5600node0> show snmp mib walk jnxOperatingCPU.9
jnxOperatingCPU.9.1.0.0 = 4
jnxOperatingCPU.9.3.0.0 = 3
(SNIP)
Sorry, this is Trailer version.
40Gbps処理時のSRXのインターフェイスカウンタ(参考)
srx5600node0 Seconds: 36 Time: 09:36:20
Interface Link Input bytes (bps) Output bytes (bps)
gr-0/0/0 Up 0 (0) 0 (0)
ip-0/0/0 Up 0 (0) 0 (0)
lt-0/0/0 Up 0 (0) 0 (0)
et-5/0/0 Up 2291161362082(28489324120) 1403864772971(20245234512)
et-5/0/1 Up 498838578288(11077633952) 1402210926092(20081481608)
xe-5/2/0 Up 645777 (1032) 10486532664 (88772216)
xe-5/2/1 Down 0 (0) 0 (0)
xe-5/2/2 Down 0 (0) 0 (0)
xe-5/2/3 Down 0 (0) 0 (0)
xe-5/2/4 Down 0 (0) 0 (0)
xe-5/2/5 Down 0 (0) 0 (0)
xe-5/2/6 Down 0 (0) 0 (0)
xe-5/2/7 Down 0 (0) 0 (0)
xe-5/2/8 Up 303668780 (2056) 18735247308 (161887208)
xe-5/2/9 Up 1238016 (2056) 1352550 (2280)
et-11/0/0 Up 4810431294 (0) 13365681431 (0)
et-11/0/1 Up 14403360854 (0) 13365649930 (0)
xe-11/2/0 Up 777788 (184) 252 (0)
xe-11/2/1 Down 0 (0) 0 (0)
xe-11/2/2 Down 0 (0) 0 (0)
xe-11/2/3 Down 0 (0) 0 (0)
xe-11/2/4 Down 0 (0) 0 (0)
xe-11/2/5 Down 0 (0) 0 (0)
xe-11/2/6 Down 0 (0) 0 (0)
xe-11/2/7 Down 0 (0) 0 (0)
xe-11/2/8 Up 18520858400 (155115008) 304797840 (2280)
xe-11/2/9 Up 1304046 (2056) 1460454 (2280)
avs0 Up 0 (0) 0 (0)
avs1 Up 0 (0) 0 (0)
dsc Up 0 0
Bytes=b, Clear=c, Delta=d, Packets=p, Quit=q or ESC, Rate=r, Up=^U, Down=^D
(SNIP)
Sorry, this is Trailer version.
40G
40G
サービス拡張シナリオ-2:確認項目-3
Breaking Point(Traffic Generator)
10G
10G
30G
30G
10G*3 10G*3 10G*1 10G*1
East/West
30G
North/South
10G 40G
40G
確認項目:約40Gbpsのトラフィックを印加中のSRX5600-CCにおいてSPCの枚数を2枚(CCで4枚)から3枚(CCで6枚)へと増強した際の効果を確認する
Service Gateway(SRX5600 Chassis Cluster)
Ethernet Fabric(QFX5100 Virtual Chassis)
DC Edge Router(QFX5100)
サービス拡張シナリオ2-結果:40Gbps@3*SPC
システムのデータプレーン負荷としては約47%に低下している(Fast Pathプロセッシングでデータを転送している負荷が47%)
{primary:node0}
root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage
jnxJsSPUMonitoringCPUUsage.0 = Gauge32: 6 percent
jnxJsSPUMonitoringCPUUsage.1 = Gauge32: 48 percent
jnxJsSPUMonitoringCPUUsage.2 = Gauge32: 49 percent
jnxJsSPUMonitoringCPUUsage.3 = Gauge32: 49 percent
jnxJsSPUMonitoringCPUUsage.4 = Gauge32: 45 percent
jnxJsSPUMonitoringCPUUsage.5 = Gauge32: 48 percent
jnxJsSPUMonitoringCPUUsage.6 = Gauge32: 48 percent
jnxJsSPUMonitoringCPUUsage.7 = Gauge32: 47 percent
jnxJsSPUMonitoringCPUUsage.8 = Gauge32: 49 percent
jnxJsSPUMonitoringCPUUsage.9 = Gauge32: 48 percent
jnxJsSPUMonitoringCPUUsage.10 = Gauge32: 48 percent
jnxJsSPUMonitoringCPUUsage.11 = Gauge32: 47 percent
jnxJsSPUMonitoringCPUUsage.24 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.25 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.26 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.27 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.28 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.29 = Gauge32: 2 percent
jnxJsSPUMonitoringCPUUsage.30 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.31 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.32 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.33 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.34 = Gauge32: 1 percent
jnxJsSPUMonitoringCPUUsage.35 = Gauge32: 1 percent
{primary:node0}
root@srx5600node0> show snmp mib walk jnxOperatingCPU.9
jnxOperatingCPU.9.1.0.0 = 7
jnxOperatingCPU.9.3.0.0 = 6
(SNIP)
Sorry, this is Trailer version.
サービス拡張シナリオ2:結果
No. Action Event Desicription Expectation
11 Insert 2nd SPC with ISHU steps ISHUの手順で、サービス稼働中のSRX5kに2枚めのSPC増設を行い、システムキャパシティの向上を図る
多少のダウンタイムだけでにハードウェアの拡張が行われ、システムとしてのスケールアップが完了する。
No. Action Event Down Time @Down Down Time @Up OK/NG Log
11 Insert 2nd SPC with ISHU steps 1.0 sec - OK BackupSlide 3-1
まとめ:稼働中のサービスに対して最小限の影響度で、サービス・ゲートウェイのシステムキャパシティの大幅な向上を行うことが可能であることが確認された。
Traffic Number of SPCs SPU average Utiliztion RE average Utiliztion OK/NG
15Gbps 1 83% 3% OK
25Gbps 1 93% 4% OK
25Gbps / 2 47% 4% OK
40Gbps 2 74% 4% OK
40Gbps 3 47% 7% OK
(SNIP)
Sorry, this is Trailer version.
サービス拡張-3〜Low Latency Service〜(Express Pathによるサービスの低遅延化)
(SNIP P.66〜P.106)
Sorry, this is Trailer version.
続きはWebから…
本資料の完全版は以下にお客様情報を入力いただくことでご提供いたします。
ご興味のある方は以下からリクエストください!
https://www2.macnica.net/webapp/form/14276_cdv_324/index.do
※入力頂いたお客様情報は審査をさせていただいた上で、競合さまや企業に紐付かない個人・学生さまと判断された場合には資料の提供を見合わせていただくことがあります。予めご了承ください。
※「ご質問・ご相談」部分に“SRX5k資料希望”と記載ください。
Reference Links
http://kb.juniper.net/InfoCenter/index?page=content&id=KB15694
http://www.slideshare.net/JuniperJapan/vsrx-laptop-201505
http://www.juniper.net/jp/jp/local/pdf/others/JNCIS-SEC-1_.pdf
http://www.juniper.net/jp/jp/local/pdf/others/JNCIS-SEC-2_.pdf
マクニカネットワークス 新横浜技術検証センター
SRXシリーズのシャーシモデル SRX1400、SRX5400、SRX5800などを使用したシステム検証が可能
http://www.macnica.net/contents/techcenter.html/
システム導入前のパフォーマンステスト環境をご提供160Gbpsスループットテスト(アプリケーションレイヤ)
L4-L7負荷分散
200種類以上のアプリケーションロードテスト
35,000種類以上の攻撃パターンのシュミレート(マルウェアを含む)
Thanks!!!Your ideas. Connected.