Cisco ACI 活用例 Cisco Application Centric Infrastructure (ACI)

シスコシステムズ合同会社

大平 伸一

ソリューションズシステムズエンジニアリング

テクニカルソリューションズアーキテクト

Agenda

１．VDI 環境に ACI を活用

２．Oracle-DB 環境に ACI を活用

３．SAP 環境に ACI を活用

４．BigData 環境に ACI を活用

クラウド マネージメントと Cisco ACI

Enterprise アプリケーションと Cisco ACI

Cisco ACI とアプリケーション ネットワーク プロファイル

Application Centric Infrastructure (ACI)

アプリケーション ネットワーク プロファイル

Beyond SDN ACI でどう運用が変わるのか？

• サーバ/アプリ担当がきっと気づいていない

IaaS

/PaaS

DB

APP

WEB

サーバ＆アプリケーションレベル

の視点

DB (ベアメタル)

APP

(仮想マシン)

WEB

(仮想マシン)

ユーザー アクセス用L3

ユーザー アクセス用L2

ユーザー アクセス用FW

ユーザー アクセス用LB

WEB-APP間FW

APP用LB WEB-APP間Private L3

APP-DB間FW

APP-DB間Private L2

サブネット

プロトコル

ACL

QoS

LB設定

仮想

ルーティング

VLAN

VXLAN

FW設定

ネットワークレベルの

視点

• ネットワークは実は奥深く、設計、設定が必要

Cisco ACI とは？：アプリケーションとネットワーク

• なぜネットワークの設定には時間がかかってしまうのか？

従来のネットワークへのアプローチ

QoS(優先制御)

L3ネットワーク(VRF, FHRP, ルーティング)

アプリケーション要件

アクセス制御, ファイアウォール, ロギング

モニタリング

ロード バランシング

L2ネットワーク(VLAN, STP, L2マルチパス) スイッチ設計、設定

QoS 設計、設定

ルータ設計、設定

負荷分散装置 設計、設定

FW/ACL 設計、設定

設定すべきポイント

Cisco ACI とは？： アプリケーションとネットワーク

• ネットワークに対するアプローチの根本的革新

従来のネットワークでのアプローチ

QoS(優先制御)

L3ネットワーク(VRF, FHRP, ルーティング)

アプリケーション要件

アクセス制御, ファイアウォール, ロギング

モニタリング

ロード バランシング

L2ネットワーク(VLAN, STP, L2マルチパス)

アプリケーション要件

Cisco ACIにおけるアプローチ

ポリシー

テナント A

Cisco ACI とは？： アプリケーション視点のデザイン

• EPG (End Point Group) と Contract

アプリケーション A

Appサーバ DBサーバ アプリ利用者 Webサーバ

Web-

EPG

App-

PG

DB-

EPG 外部EPG

Contract Contract Contract

EPG（End Point Group）とは

VLAN VXLAN

IP アドレス

MACアドレス

スイッチ単位

または

スイッチポート単位

VMware の

Port-group

EPGは、ACIの抽象化された世界とアンダーレイ ネットワークの各種識別子をマッピングすることで既存ネットワークとの相互接続を可能とする

VMware の

VMアトリビュート

（2015年Q2予定）

（2015年Q2予定）

Contract とは

• Contract は、Cisco ACI の抽象化された EPG 間の接続ルールを定義するもの

• レイヤ２ からレイヤ４ までの情報で通信制御を行うことが可能

• つまり、Contract = フィルタ + アクション の集合体

• アクションは以下が可能：

Permit

Deny

Log

Mark

Redirect

Copy

…

filter action

filter action

filter action

filter action

Contract

Contract とは

• Contract は、Cisco ACI の抽象化された EPG 間の接続ルールを定義するもの

• レイヤ２ からレイヤ４ までの情報で通信制御を行うことが可能

• つまり、Contract = フィルタ + アクション の集合体

• アクションは以下が可能：

Permit

Deny

Log

Mark

Redirect

Copy

filter action

アプリケーション構成要素の識別 L4 ポート

TCP オプション

など

適用するアクション 許可

拒否

マーキング

Log

サービスグラフへリダイレクト

など

Contract

REST/API(JSON/XML)

ハードウェア管理

論理構成管理

(テナント、ポリシー、etc...)

APIC (Application Policy Infrastructure Controller)

Nexus 9000

Fabric

CLI (SSH)

APICとは ACIのコントローラー

APIC GUI REST/API

VM管理

ソフトウェア

クラウド管理

ソフトウェア

APIC上での アプリケーション ネットワーク プロファイル

外部ネットワーク

EPG

Webサーバ

EPG

Appサーバ

EPG

DBサーバ

EPG

Application Network Profile (ANP)

テナント

外部–Web間 コントラクト Web-App間 コントラクト App-DB間 コントラクト

Enterprise アプリケーションと Cisco ACI

企業 A

利用者

External

EPG

IT VLAN/subnet

Sales VLAN/Subnet

Fin. VLAN/Subnet

IT Servers VLAN/Subnet

Sales Servers VLAN/Subnet

Fin. Servers VLAN/Subnet

仮想デスクトップVMは、部署ごとのIPアドレスに基づき

必要なサーバにのみアクセスできるようなネットワーク管理が必要。

VDI 環境に Cisco ACI を活用

部門ごとに仮想デスクトップVMが異なるVLAN/サブネットに所属し、各種サーバへのアクセスには Firewall等の追加のデバイスを用いてアクセスリストでの制御を行っていた

既存ネットワークと VDI の課題

テナント A

VDI 環境に ACI を活用 VMアトリビュート（仮想マシン名など）に基づくEPGのマッピング制御が可能 (2015/Q2リリースのACI-OS)

管理者が手動操作でVMを各EPGに割り当てなくても、自動的にEPGへの関連付けが可能

VDI環境の変更 (増減・変更・削除)時、自動的にネットワーク設定が追従していくことができる

VDI Application Profile

利用者

External

EPG

Bridge Domain (Subnet)

IT

Sales

Fin.

Bridge Domain (Subnet)

IT Servers

Sales Servers

Fin. Servers Contract

Contract

Contract Contract

Contract

Contract

IT02 IT03 IT01

SL02 SL03 SL01

FI02 FI03 FI01

Oracle-DB 環境に ACI を活用

データベースの管理

ベアメタルサーバ

プロビジョニング

（リソース管理やワークフローの自

動化）

ソフトウェア

ベース

分散ストレージ

管理

仮想ネットワーク

管理

ベアメタルサーバのH/W属性管理

（ファームウェア＆プロファイル管

理）

Oracle

Enterprise Manager

Cisco

UCS Director

EMC

ScaleIO GUI

Cisco APIC Cisco IMC or

UCS Manager

本ソリューションに必要なコンポーネントおよびソフトウェア

データベース オーケストレータ ストレージ ネットワーク サーバ

Oracle Cisco Cisco

負荷増 •Oracle RACへのDBトランザクション負荷が増大

検知

•Oracle Enterprise Managerによるデータベース負荷検知

•ストレージの性能不足のため、ストレージの追加が必要と判断

スケールアウト

•Cisco UCS Director からストレージノードのスケール

アウト指示

NW設定 •Cisco UCS Director によりACI(APIC)へのEPGの自動作成

UCSへのデプロイ

•Cisco UCS Director により、UCS上へのPXE BootによるRedhat 及び EMC ScaleIO の自動作成

インストール

•RedHat Linuxの自動インストール

•EMC ScaleIO の自動インストール

負荷軽減 •DBトランザクションによる、ストレージへの負荷が軽減を確認

Oracle-DB 環境に ACI を活用 Cisco UCS Director

DBのIOPS

の性能不足

②ネットワーク プロビジョニング （REST-API）

ScaleIO

ASM共有ディスク

(4台⇒ 5台構成）

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

ノード追加によりIOPS

性能の向上

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

PWR

SYS

CO

NS

OL

E

UCS

C240 M3

!

③ストレージノード

プロビジョニング

（REST-API）

①ストレージ ノード追加依頼

（Webブラウザ）

Oracle RAC

サーバ

CIMC

自動的に

ポリシーの適用

SAP システムランドスケープの柔軟で迅速な展開

ACI アプリケーションプロファイルのクローンを展開

Firewall

ADC

WEB

APP

DB

本番環境

APP PROFILE

Firewall

ADC

WEB

APP

DB

パフォーマンス検証

APP PROFILE

Firewall

ADC

WEB

APP

DB

Ehp 検証

APP PROFILE

Firewall

ADC

WEB

APP

DB

SP 比較検証

APP PROFILE

Firewall

ADC

WEB

APP

DB

障害対応

APP PROFILE

Firewall

ADC

WEB

APP

DB

シミュレーション

APP PROFILE

SAP システムランドスケープ環境

SAP システムコピー

APP PROFILE

SAP システムランドスケープ（複数の同一環境）を SAP のシステムコピーを利用して構築する際、ネットワークについても ACI のアプリケーションプロファイルにより迅速に複製が可能

SAP 環境に ACI を活用

SAPシステムの各テナント向け自動プロビジョニング（クラウド事業者向け） 各テナントは、サービス カタログを選択するだけで、SAP アプリを含むシステムが自動的にプロビジョニングされる。また、ACI により、物理、仮想にとらわれず、ネットワークを含めプロビジョニング可能

ACI ファブリック

本番 EPGs

テナント１

品証 EPGs

開発 EPGs

アプリケーション プロファイル

ERP AP

ERP DB

CRM AP

CRM DB

SAP アプリ

本番 EPGs

テナント2

品証 EPGs

開発 EPGs

アプリケーション プロファイル

ERP AP

ERP DB

BW AP

BW DB

SAP アプリ

本番 EPGs

テナント3

品証 EPGs

開発 EPGs

アプリケーション プロファイル

ERP AP

ERP DB

PI AP

PI DB

SAP アプリ

サービスカタログ

自動プロビジョニング

本番 EPGs

品証 EPGs

開発 EPGs

アプリケーション プロファイル

ERP AP

ERP DB

CRM AP

CRM DB

SAP アプリ

SAP 環境に ACI を活用

SAP

SAP SAP SAP

Hadoop インフラストラクチャーを構成に必要なコンポーネント

Cisco ACI Fabric Cisco Application

Policy Infrastructure

Controller (APIC)

Cisco UCS 6200 Series Fabric Interconnects

Cisco Nexus 2232 Fabric Extenders

Cisco UCS Manager

Cisco UCS 240 M3

Servers

LAN, SAN, Management

LAN, SAN, Management

Common Platform Architecture For Hadoop

Cisco UCS Director

Express for Big Data

Big Data 環境に ACI を活用

Big Data 環境に ACI を活用

Hadoop Map and Reduce トラフィック Many-to-Many トラフィック パターン

Map 1 Map 2 Map N Map 3

Reducer 1 Reducer 2 Reducer 3 Reducer N

HDFS

シャッフル

アウトプット レプリケーション

NameNode

JobTracker

ZooKeeper

HadoopクラスタのKeep-Alive等（マウス）のトラフィックが、エレファント トラフィックに影響を受ける可能性がある

ネットワーク トラフィックパターンを理解する事は重要

Leaf 1 Leaf 2

Spine 2 Spine 1

Normal

Congested

従来のネットワークでは

Leaf 1 は、Spine 2 と Leaf 2の間に発生している混雑を知らない

ダイレクトI/Fではない部分のネットワークの混雑を知る事は最適なトラフィック転送に重要

Dynamic Load Balancing

混雑

リンク障害

Big Data 環境に ACI を活用

混雑状況に応じてダイナミックにトラフィックの負荷分散比率を変更できる

50% Usage

↓

80% Usage 50% Usage

↓

20% Usage

Dynamic Packet Prioritization

Small Flows Large Flows

Dynamic Packet Prioritization

有り

Dynamic Packet Prioritization

無し

ラージフローはリソース(帯域やバッファ)を多く消費する

スモールフローに優先度を付けられなければ、ラージフローは潜在的にスモールフローへ影響を与える可能性がある

Big Data 環境に ACI を活用

クラウド マネージメントと Cisco ACI

Cisco クラウド マネージメントの全体像

Cisco UCS

Director OpenStack

オープンソースを好むお客様向け

ベンダー サポート付きを好む

お客様向け

クラウド マネージメント ソリューションは２つの選択が可能

Cisco

マルチハイパーバイザ

マルチベンダー統合管理

複数Cisco UCS Managerの

統合管理 ブレードサーバ、ラックマウント

サーバ統合管理

Cisco ACI Fabric

および

連携する仮想スイッチ

L4-7デバイスの統合管理

APIC ネットワークの

統合管理

Cisco UCS Performance Manager サーバ、ネットワーク、ストレージ、仮想化の統合監視と視覚化

Cisco クラウド マネージメント ソリューション 概要 Cisco UCS Director サーバ、ネットワーク、ストレージ、仮想化の統合管理と自動化

Cisco UCS Central 複数拠点UCSドメインの統合管理

Cisco UCS Manager Cisco UCSサーバの統合管理

UCS Director ナレッジやノウハウのワークフロー化

Access configuration, VLAN,

VSAN, Security, and

Hardening

Operating System

Configuration

OS Type, Patch Level, Settings

Network interface card (NIC)

configuration: MAC address,

VLAN, and QoS settings;

host bus adapter HBA configuration:

worldwide names (WWNs), VSANs,

and bandwidth constraints;

and firmware revisions

Network interface card (NIC)

configuration: MAC address,

VLAN, and QoS settings;

host bus adapter HBA configuration:

worldwide names (WWNs), VSANs,

and bandwidth constraints;

and firmware revisions

Network interface card (NIC)

configuration: MAC address,

VLAN, and QoS settings;

host bus adapter HBA configuration:

worldwide names (WWNs), VSANs,

and bandwidth constraints;

and firmware revisions

Network interface card (NIC)

configuration: MAC address,

VLAN, and QoS settings;

host bus adapter HBA configuration:

worldwide names (WWNs), VSANs,

and bandwidth constraints;

and firmware revisions

Access configuration, VLAN,

VSAN, Security, and

Hardening

Operating System

Configuration

OS Type, Patch Level, Settings

Access configuration, VLAN,

VSAN, Security, and

Hardening

Operating System

Configuration

OS Type, Patch Level, Settings

Access configuration, VLAN,

VSAN, Security, and

Hardening

Operating System

Configuration

OS Type, Patch Level, Settings

仮想化 担当

ストレージ 担当

サーバ 担当

ネットワーク 担当

Server Policy…

Storage Policy…

Application Network …

Virtualization Policy…

Application Profiles…

各機能の管理者もしくはスペシャリストが運用に必要なオペレーションを洗い出す

1 インフラ管理に必要な オペレーションを タスクに落とし込む

2 タスクをワークフローに統合し、ワーク フローを使用してインフラを管理する

3 運用に必要となる ワークフローがそろい、 自動化された インフラ リソースの運用へ

4

Cisco ACI と OpenStack - GBP

• Group-Based Policy (GBP) アーキテクチャ • シスコは GBP に対するネイティブドライバを提供

Neutron ML2 ドライバ

その他拡張プラグイン 等

Neutron

Neutron ドライバ

Group-Based Policy

GBP ネイティブドライバ

APIC ドライバ

※現在はどちらかを選択する必要があるが、時期リリースでは共存可能となる予定

Cisco

Cisco ACI と OpenStack 連携 – フェーズ1

• Neutron API による連携 • ML2ドライバに含まれるメカニズムドライバとして提供

• OpenStack → ACI の制御 (APIC経由)

• プロジェクトをテナントに紐づける

• EPGをネットワークに紐づける

• ACIファブリックとコンピュートノードのOpen vSwitch の間でVLANに基づく連携が自動的に定義される

• セキュリティはコンピュートノード側で構成される

→ L2スイッチング、L3ルーティングはすべて ACIファブリック側で処理される

※IceHouse 以降で対応

テナント A = プロジェクト

アプリケーション B

Appサーバ DBサーバ 利用者 Webサーバ

EPG=VLAN

Contract

=iptables

Contract

=iptables

Contract

=iptables

Cisco ACI と OpenStack 連携 – フェーズ1

EPG=VLAN EPG=VLAN EPG=VLAN

• 既存のOpenStackの仕組みに合わせる実装

Cisco ACI と OpenStack 連携 – フェーズ2

• Group-Based Policy (GBP) API による連携 • Neutron を拡張する GBP API の実装として提供

• OpenStack → ACI の制御 (APIC経由)

• プロジェクトをテナントに紐づける

• EPGとContractの関係そのものが定義される

• セキュリティはACI側で構成される

→ ACIにおけるポリシーモデルに 基づく管理性がOpenStack 環境から構成することが可能に

※ Juno (2014.2) 以降で対応 （2015.1にGBPはリリースされた）

https://wiki.openstack.org/wiki/GroupBasedPolicy

テナント A = プロジェクト

アプリケーション B

Appサーバ DBサーバ 利用者 Webサーバ

EPG=Group

Contract =Application

Policy

Cisco ACI と OpenStack 連携 – フェーズ2

EPG=Group EPG=Group EPG=Group

• ポリシーという概念をOpenStackの仕組みに実装

Contract =Application

Policy

Contract =Application

Policy

GBPによって、Cisco ACIとOpenStackがより密に連携

“Web”

EPG

VM End Points

Provides “Web” Policy

“App”

EPG

VM End Points

Provides “App” Policy

Consumes

“App” Policy

“DB”

EPG

VM End Points

Provides “DB” Policy

Consumes

“DB” Policy 外部

ネットワーク

EPG

Consumes

“Web” Policy