シスコ・オンラインセミナーシスコデータセンター ......2020/07/15 · Cisco Nexus シリーズスイッチ- ラインナップ Cisco 独自ASIC –シャーシ型、ボックス型

シスコシステムズ合同会社

井上景介・畝高孝雄

2020年7月

シスコ・オンラインセミナー

シスコデータセンターネットワーク入門はじめてのCisco Nexusシリーズ – 後編

© 2019 Cisco and/or its affiliates. All rights reserved. Cisco Public

Cisco Nexusシリーズとは？

DC環境の変化やニーズにいち早く対応すへく開発されたスイッチングフラットフォーム

迅速性

SDNマイクロサーヒス

効率性

クラウトの活用

ML、AI

コンテナ


Ciscoが提供するスイッチ製品

データセンター向けNexus シリーズスイッチ

キャンパス向けCatalyst シリーズスイッチ


データセンタースイッチとキャパススイッチの違い

オフィス、EPS、静音、省エネ指向

パソコン、スマートデバイス、電話

SNS、動画、インターネット、メール（インターネット通信）

端末認証、PoE、QoS（IP通話）

３階層構成（Core, Distri, Access)

DC、ラック収容、安定電力

サーバ、ストレージ

Web、AP、DB、HPC、AI/ML、ストレージ

低遅延、ノンブロッキング、NW仮想化、ファブリック技術

Leaf/Spine構成

キャンパスデータセンター

異なる要件をベースにHW・SWが設計されています

接続機器

機能要件

物理環境

アフリケーション

デザイン


運用負荷の増大

物理環境に依存しない柔軟なNWの構成

アフリケーションの最適なパフォーマンス

問題解決のためのITリソース

昨今のデータセンターネットワークの課題

© 2019 Cisco and/or its affiliates. All rights reserved. Cisco Public© 2019 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

Cisco Nexusシリーズのご紹介


商用シリコン– ディーフバッファ

• Broadcom製 Jericho/J2 ASIC

商用シリコン– ボックス型

• Innovium製, Barefoot製, Broadcom製 ASICに対応

Cisco Nexus シリーズスイッチ - ラインナッフ

Cisco 独自ASIC – シャーシ型、ボックス型

Nexus9000シリーズ

Nexus3000シリーズ

Nexus 9500 & 3600 Rシリーズ

• データセンターのニーズを捉えたCisco独自のASIC “クラウトスケールASIC”を搭載

• 高密度、高速IFを搭載（業界初400G SRv6対応）

• クラウトスケールASICと、ネットワークOS”NXOS”によって最新のデータセンター要件に対応

NX-OSミッションクリティカルな環境にも耐えうる堅牢なアーキテクチャー

Linux Kernel

Netstack

ManagementInfrastructure

Hardware Drivers

HA Infrastructure

UDLD FCF FCoE STP

HSRP OTV vPC LISP

OSPF EIGRP BGP PBR- 細かく分かれたサーヒス (フロセス)

- それぞれのサーヒスは独立してメモリを確保

- 個別にモニタ・管理

- それぞれのサーヒスがコミュニケーションすることで、機能を実現

- ISSU/eISSU, SMU, GIRに対応


© 2019 Cisco and/or its affiliates. All rights reserved. Cisco Public#CLUS

H1CY16 H2CY16 H1CY17 H2CY17 H1CY18 H2CY18 H1CY19 H2CY19 H1CY20 H1CY21

12.8 & 25.6 Tbps

GX2 and GX3

High Density 400G64x400G, 120MB

Buffer

6.4 TbpsS6400

SSX

S6400 GX

Smart BufferFT, FTE, SSX,

16x 400G, SRv6

3.6 Tbps S3600

LS3600FX2

Smart BufferFT, FTE, SSX

MACsec, CloudSec

1.8 TbpsLS1800EX

Smart BufferFT

LS1800FX

Smart BufferFT, FTEMACsec

FT – Flow Table

FTE – Flow Table Event

SSX – Streaming Statistics Export

INT – In-band Telemetry

Features

Scale

Scale + Features

Legend

Cisco クラウドスケールASICの進化 – 機能・パフォーマンス


Cisco Cloud Scale ASIC ファミリの差別化要素

超高密度 : 機器台数の集約、密集したファブリックのデザイン

マルチスピート : 柔軟な回線速度(100M/1/10/25/40/50/100G/400G) と投資保護

豊富なフォワーディングフィーチャーセット : ACI, Segment Routing, シングルパス L2/L3 VXLAN routing

柔軟なフォワーディングスケール : スケーリングフロファイルの選択により単一のフラットフォームにて複数のスケール互換に対応

インテリジェントバッファリング : 共有Egressバッファにて進化した動的なトラフィック最適化を実現

ストリーミングハートウェアTelemetry : リアルタイムのネットワーク可視化によるキャパシティフランニング、セキュリティ向上、リアルタイムデバッギングの実現


Cisco Nexus 9300 Cloud Scale 40/100/400G Switches

Nexus 9300 Leaf40/100G

36p 40/100GNexus 9336C-FX2

Legend ACI Leaf/Spine & NX-OS ACI Spine & NX-OS ACI Leaf & NX-OS NX-OS Only

Check ACI and NXOS release notes for available software support

28p 40/100G + 8p 40/100/400G Nexus 93600CD-GX

16p 40/100/400G Nexus 9316D-GX

Nexus 9300 Leaf /Spine100/400G

64p 40/100GNexus 9364C-GX

Shipping Shipping

hipping

64p 40/100GNexus 9364C

32p 40/100GNexus 9332C

Nexus 9300 Spine40/100G


Cisco Nexus 9000 Fixed Cloud Scale 1/10/25G Switches

Nexus 9300 FXLeaf

48p 1/10GT + 6p 40/100GNexus 93108TC-FX

48p 1/10/25G + 6p 40/100GNexus 93180YC-FX

48p 100M/1GT + 4p 1/10/25G + 2p 40/100GNexus 9348GC-FXP

48p 100M/1GT + 4p 1/10/25G+ 2p 40/100GNexus 92348GC-XNexus 9200

Leaf Shipping!

Legend ACI Leaf & NX-OS NX-OS Only

Nexus 9300 FX2Leaf

96p 1/10GT + 12p 40/100GNexus 93216TC-FX2 96p 1/10/25G + 12p 40/100G

Nexus 93360YC-FX2

48p 1/10/25G + 12p 40/100GNexus 93240YC-FX2


Nexus 9500 モジュラークラウトスケールスイッチ

Nexus 9504 Nexus 9508 Nexus 9516

E/E2-シリーズ

ファブリックモジュール

+

EX / FX シリーズラインカート

共通コンポーネント

+






Cisco Nexus シリーズスイッチによる課題解決

・最新のIF帯域、ボトルネックのないASICパフォーマンス

・Smart Buffer機能によって効率的なトラフィック処理を実現

アフリケーションへ最適なパフォーマンス


Smart Buffer機能 - Approximate Fair Drop (AFD)

着信フローのバイト数を測定し、フローがしきい値を越えると、エレファントフローと識別

エレファントフローをトラッキングし、これに対し出力キューの AFD アルゴリズムが適用

マイスフローにトロッフアルゴリズムが適用されない

Queue admission

Ideal depth exceeded?

AFD set?

N

Y

Y

N

Buffer


Smart Buffer機能 - Dynamic Packet Prioritization (DPP)

• 新規や短いフローの最初のパケットを優先付ける

• 各フローの最初の1023パケットを高優先度のキューへアサインする

> 1023 packets

<= 1023 packets

Track per-flow packet count

Drive new, higher priority

Maintain original priority

SP queue

Q-default

Identify unique flows


競合他社

Smart Buffer VS Deep BufferLarge-Enterprise IT Data Center Flow Distribution and Average Flow Completion Time

https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-738488.html

競合他社

Nexus 9000 シリーズでアフリケーションへ最適なパフォーマンスを提供

https://www.cisco.com/c/en/us/products/collateral/switches/nexus-9000-series-switches/white-paper-c11-738488.html



・ノンブロッキングでオーバレイ技術（EVPN/VXLAN）の実現

・ACI/DCNMを利用することで、より簡単にオーバレイNWを構成可能

・トラフィックをFW、LB経由とサーヒスインサーションを実現

柔軟なネットワーク構成






Internet

柔軟なネットワーク構成の実現

ノンブロッキングでのVXLAN Routing/Switchingに対応

トラフィックをサーヒス経由とさせる柔軟性

オーバレイとアンダーレイの統合

DCI技術を用いたマルチサイトにも対応



・ネットワーク環境を把握するテレメトリ機能に対応

・Cisco Network Insightsによりテレメトリデータの収集・分析・可視化を提供(DCNM/ACI上で動作)

・現在のトラブルシューティングに活用

・フロアクティブな問題把握にも活用可能

問題解決のためのIＴリソース






ハートウェアテレメトリ

• リソース利用率（CPU・メモリ）

• 環境データ（電源・ファン・温度）

• インターフェースカウンタ

• コントロールフレーンフロトコル統計＆イベント

• データフレーンフローインフォメーション

• フローパスデータ

• フロー統計

ソフトウェアテレメトリハートウェアテレメトリ

テレメトリセンサーテレメトリデータ NIR

Push not Pull

ソフトウェアテレメトリ

ハートウェア・ソフトウェアテレメトリとは？



・効率的な一元管理・自動化に対応する様々なオフションを提供

・構成管理ソフトウェアDCNM

・SDNソリューションACI

・REST APIやAnsibleによる自動化







Nexus 9000が提供するファブリックソリューション

L3

・SDNソリューションACI

Turnkey Fabric

Hypervisor

L3 L3

Hypervisor

・構成管理ソフトウェアDCNM

with VXLAN+EVPN

VXLAN / EVPN

RR RR

L3

DCNM

・従来型のトラディショナル

データセンターネットワーク

L2VPC

Hypervisor

L3

DCNM

・OSS，API連携による

フログラマブル

IP Network

L3

L3

L3

Cisco ACI (Application Centric Infrastructure)

シスコシステムズ合同会社

2020年 7月 v5.0(1)

© 2019 Cisco and/or its affiliates. All rights reserved. Cisco Public.

アジェンダ

1. Cisco ACI とは

2. Cisco ACI – Network Fabric としての側面

3. Cisco ACI – SDN (Policy) としての側面

4. Cisco ACI 情報源

5. まとめ

© 2019 Cisco and/or its affiliates. All rights reserved. Cisco Public.© 2019 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

Cisco ACI とは


Web App DB

ERP CRM SCM

物理ネットワーク

ポリシー定義（通信要件）

安定性・信頼性安心・安全・安定の維持安定性・可用性・性能(広帯域・低遅延)

迅速性・柔軟性デジタル化によるサービス提供の迅速化サービスを構成するAppの動的な変化

解決すべき課題

解決策は、SDN?

解決策は、Network

Fabric?


SDNとNetwork Fabricを別々に導入すること

には、良い点と悪い点があることを、正しく認識した上で検討を行って下さい。


ACI Fabric

論理ネットワーク

ACI

論理ネットワーク物理ネットワークの上に仮想ネットワークを構成し、ネットワークアドレスに依存しないポリシー定義 (通信要件)を実現。

物理ネットワークNexus9500/9300を用いたSpine/Leafトポロジで構成されるスケールアウトに対応したIPファブリック。

APICWeb App DB

ERP CRM SCM

ポリシー定義（通信要件）

Spine

Leaf

物理ネットワーク

Cisco ACI の価値


Cisco ACI の構成要素

ポリシーモデル (SDN)Application Profile / EPG / Contract

ファブリック(Nexus 9000)

ACI対応Nexus 9000 (93xx, 95xx)

接続デバイス物理サーバ / 仮想マシン / ルータ / FWやADC等

ADC/LBFW

コントローラ (APIC)Application Policy Infrastructure Controller


Cisco ACINetwork Fabric として


APIC管理対象Leaf台数により3〜7台の範囲でクラスタを構成する(検証評価目的の場合のみ1台構成も可能)

ACIはトポロジーとして『Spine-Leaf』型のみをサポートする。

IS-IS/VXLAN/COOP/MB-BGPスケーラビリティを実現する手段として利用

Endpoint/外部接続あらゆるEndpointはLeaf Switchに接続する(例外あり)

L4-7デバイス、外部ルータ、サーバ(物理マシン、仮想マシン)・・・

※VXLANを意識する必要性のない構成管理

Spine SwitchFabricの性能を上げる=Spineを増やす

Leaf Switch接続するEndpointを増やす=Leafを増やす

Network Fabric としての ACI


ACI – Fabric : Screen shot


•皆様の業務を支えているアプリケーションは、どこで実行されているのか?

• その全てをACIでカバーする“ACI Anywhere”

DC = アプリケーションが実行される場所

IOT Edge

Data Center

Cloud Exchange

ACI Anywhere

On Premises Cloud

Containers Hypervisor


ACI

1.0

アプリケーションのために「つなげる」

東京

1 Data Center,

1 Network Fabric.


アプリケーションのために「つなげる」ACI 2.0

(Multi-Pod)

東京大阪

Multi Data Center,

1 Network Fabric.

(最大12 Pod, 500 Leafまでをサポート)


ACI 3.0 (Multi-Site)


東京大阪

Multi Data Center,

Multi Network Fabric.

= AZ (可用性ゾーン)

(最大12 Site, 6000 Leafまでをサポート)

※500 Leaf / Site まで ACI 5.0(1)〜

海外拠点

DRサイト



福岡(vPod)

vSpine

vLeafvLeaf

ACI Virtual Edge (vSwitch)

vSpine

名古屋 (Remote Leaf)

ACI 4.0 (Multi-Site + Remote Leaf / vPod)

海外拠点

DR

サイト

WAN

LAN

Multi Data Center,

Multi Network Fabric,

and Any Location.

東京大阪



福岡(vPod)

vSpine

vLeafvLeaf

ACI Virtual Edge (vSwitch)

vSpine

名古屋 (Remote Leaf)

ACI 4.1〜 (Cloud ACI)

海外拠点

DR

サイト

WAN

LAN

AWS (4.1-) / Azure (4.2-)

Region

Infra VPC

User VPC

AWS Instances

CSR1k

ACI Anywhere

東京大阪


Cisco ACIPolicy (SDN) として


なぜ “ポリシー” が重要なのか？ネットワークの課題を、根本的に解決するための手段。

利用者に対し快適なサービスを提供したい

適切なシステム間の連携をさせたい

DB

APP

WEB

アプリケーションの通信要件

User

設計→設定(テスト)

IP アドレス

アクセス制御

接続ポートVLAN

STP

QoS

L4-L7

ルーティング

VRF

構築作業/疎通テスト

DB(ベアメタル)

APP

(仮想マシン)

WEB

(仮想マシン)

ユーザアクセス用L3

ユーザーアクセス用L2

ユーザアクセス用FW

ユーザーアクセス用LB

WEB-APP間FW

APP用LB

WEB-APP間Private L3

APP-DB間FW

APP-DB間Private L2

サブネット

プロトコル

ACL

QoS

LB設定

ルーティング

VLAN

FW設定

ネットワークレベルでの要件

要件→設計


従来のネットワーク: ネットワークパラメータでの管理

Aグループ Bグループ

通信ルール

通信の方向・ステートフル/レス

物理サーバ仮想マシン物理サーバ仮想マシン

HypervisorvCenter

System Center HypervisorvCenter

System Center

どのスイッチどのポートどのスイッチどのポート

VLAN VXLAN VLAN VXLAN

IP Address Subnet IP Address Subnet

台数台数Public Cloud Public Cloud

フィルタリングなし

ACLレベルのフィルタリング

どのベンダーの、どのデバイスを使う？

ファイアウォール (L4-L7)

ロードバランシング (L4-L7)


ACI: ポリシーとしての「つながり」の管理

Aグループ Bグループ

通信ルール

(End Point Group) (End Point Group)


ACI – EPG/Contract : Screen shot


EPG (Endpoint Group) / Contract

ACIにおいて定義された抽象的な「グループ」と「通信ルール」。物理・仮想の違い、接続場所の違い、台数の増減などに影響されない。

テナント A

アプリケーション A

Appサーバ DBサーバWebサーバ

Web-EPG App-EPG DB-EPG外部EPG

Contract Contract Contract

アプリ利用者


SDN としての ACI / Network としての ACI

ACIは『SDN的にも使える』が、『SDN的ではない使い方』も同時にできる。

下図のように、APICを通じて様々な連携が可能だが、連携しない使い方もできる。1つのACI Fabric内に連携する部分と、連携しない部分が混在していても問題ない。

APICから構成される (South-bound)

Microsoft

SCVMM

Device

Package

VMware

vCenter

APICを通じてACIを構成する (North-bound)

UCS

Director

Open

Stack

Azure

Pack

Kubernetes

OpenShift ACI Plugin

Cloud

Center

vRealize

Red Hat

Virtualization


ACIは、SDN + Fabric (どこから初めてどこへ広げるか)

レイヤー対応領域

サービスセキュリティADC

管

理

・

自

動

化

論理NW

ACL管理

論理トポロジIP、ルーティング

物理NW

VLAN

STP

物理配線物理機器

ユーザベアメタル・マルチ仮想基盤・コンテナ・既存NW

物理NW

ポリシー管理

論理NW

仮想マシン(vSphere,

Hyper-V, KVM)

コンテナ(K8s, OpenShift)

既存DCNW

WAN接続

ポリシーモデルによる統合管理

従来のL2/L3

ネットワークの置き換えとして(Network Fabric)

Multi-

Hypervisor

仮想基盤連携・VMware vSphere

・Microsoft Hyper-V

・Red Hat Virtualization

・OpenStack

・Kubernetes

・Open Shift

・Cloud Foundry

L4-L7連携(Managed/Unmanaged)

Multi-Site

Multi-Pod

Remote Leaf

ベアメタルx86 / UNIX


Cisco ACI 情報源


Cisco ACI : 公式ドキュメント

Cisco Application Policy Infrastructure Controller (APIC)https://www.cisco.com/c/en/us/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html

Cisco Nexus 9000 Series Switcheshttps://www.cisco.com/c/en/us/support/switches/nexus-9000-series-switches/tsd-products-support-series-home.html

https://www.cisco.com/c/en/us/support/cloud-systems-management/application-policy-infrastructure-controller-apic/tsd-products-support-series-home.html

https://www.cisco.com/c/en/us/support/switches/nexus-9000-series-switches/tsd-products-support-series-home.html


Cisco ACI : 日本語参考情報(ACI How To)

日本メンバーによるACIノウハウの参考情報を公開しています

Cisco ACI How Tohttps://community.cisco.com/t5/-/cisco-aci-how-to/ta-p/4039933

https://community.cisco.com/t5/%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%B3%E3%82%BF%E3%83%BC-%E3%83%89%E3%82%AD%E3%83%A5%E3%83%A1%E3%83%B3%E3%83%88/cisco-aci-how-to/ta-p/4039933


まとめ


ACIは、何を解決・改善してくれるのか？

ACIに求められるものは、案件それぞれ。ACIの使い方も、それぞれ。

最初からSDN的な使い方ではなくてもいい。ただし、“単なるネットワークの置き換え” では終わらずに、“課題を解決する手段” としていかに活用するか・・・が重要。


Any Workload, Any Location, Any Cloud

Remote Leaf / vPod Multi-Pod / Multi-Site

Mini-FabricHybrid Cloud Extension

ACI Anywhere

IP

WAN

IP

WAN

Remote Location Public CloudOn Premise

Security Everywhere Policy EverywhereAnalytics Everywhere


Cisco Intent-Based Datacenter

Intent-Based Analytics:

Network Insights (NIA/NIR)

1. ライフサイクル管理(Bug, PSIRT, Notice, 推奨アップデート)

2. ネットワーク健全性の可視化(リアルタイム・プロアクティブ)

3. ネットワーク全体の把握(転送・ドロップ・遅延・経路)

Intent-Based Networking:

Application Centric Infrastructure (ACI)

1. ネットワークの自動化、リソースプール化2. ネットワークセキュリティ3. マルチクラウドのネットワーク

Intent-Based Assurance:

Network Assurance Engine (NAE)

1. 予測可能な変更管理2. ネットワーク全体の振る舞いの確認3. ネットワークとセキュリティの保証

Documents

シスコ・オンラインセミナー シスコデータセンター ......2020/07/15 · Cisco Nexus シリーズスイッチ- ラインナップ Cisco 独自ASIC –シャーシ型、ボックス型

シスコ・オンラインセミナーシスコデータセンター ......2020/07/15 · Cisco Nexus シリーズスイッチ- ラインナップ Cisco 独自ASIC –シャーシ型、ボックス型