2015.7.9 Juniper Cloud Builder Conference 2015

Copyright © INTEROP TOKYO 2015 ShowNet NOC Team

Interop Tokyo 2015ShowNetにおける

マルチクラウド実証実験

ShowNet NOC チームメンバーさくらインターネット株式会社

大久保修一

2015.7.9 Juniper Cloud Builder Conference 2015

Copyright © INTEROP TOKYO 2015 ShowNet NOC Team 2

マルチクラウドの活用メリットクラウドA クラウドB

オンプレミス

• 障害、災害対策(DR)• ワークロード分散• オンプレミスとの併用• コスト削減• ベンダーロックインの回避• 異なる機能の組み合わせ• ハイブリッド構成CDN


インターネット

サーバ間連携トラフィックの問題クラウドA クラウドB

オンプレミス CDN

インターネット経由だと・・

• 品質の保証ができない• 障害時の切り分けが難しい• セキュリティの不安

セキュアで堅牢なプライベート接続のニーズが高まっている


East-Westトラフィックの増大


商用クラウドプライベート接続も一般化AWS Direct Connect Equinix Cloud Exchange


昨年のInterop2014での取り組みクラウド間の

インターコネクトにフォーカス

クラウドユーザとの接続は？


コンセプト：Multi Cloud Fabric様々なネットワークが接続可能なオープンな

プライベートコネクトプラットフォームを目指して

Multi Cloud Fabric

オンプレミス

クラウド

モバイルエンタープライズ

コンテンツプロバイダ


ShowNet 2015マルチクラウド構成

さくらのクラウド IDCFクラウド

ビットアイルクラウド

OpenStack幕張ShowNet

パブリッククラウド

BBIXPrivate Connect

エンタープライズ

コンテンツプロバイダ


ミクシィ

モンストスタジオ


ShowNet内の構成BBIX

Private Connect

ボーダ(ASBR)

コア(P)

エッジ(PE)

Cisco Nexus7706Juniper QFX10002

Huawei CE12800Juniper MX240

古河電工FITELnet FX1

サーバファーム

AS131154

Red Hat Enterprise LinuxOpenStack Platform


ボーダ(ASBR)

Cisco Nexus7706

Juniper QFX10002


コア(P)Huawei CE12800

Juniper MX240


エッジ(PE)

古河電工

FITELnet FX1

2台で冗⻑構成




古河電工 FX1

Juniper QFX10002Juniper MX240Huawei CE12800

Cisco Nexus7706


内部ルーティング構成BBIX

Private Connect

ボーダ(ASBR)

コア(P)

エッジ(PE)


AS131154

OSPF, LDPMPLS

VRF-A RD:1:131154 RT:131154:1

10.11.141.0/24

10.11.153.0/29

10.11.153.8/29

10.11.139.0/24

VRF-B RD:2:131154 RT:131154:2

10.11.142.0/24

インターネットの面に加えIP-VPN網を構築


IPsec VPNでも乗り入れ可能


Multi Cloud Fabric

ビットアイルクラウド

テナントA

テナントB

VyOS古河電工

FX1

一般的なIPsec VPNにて特定テナントのVRFを接続可能

IPsec VPN

10.11.139.0/24


外部ルーティング構成

Interprovider IP-VPNRFC4364 Section 10. Multi-AS Backbones Option-B

ShowNet(AS131154) クラウド事業者コンテンツ事業者

ASBRPE BBIX ASBR

MP-eBGPMP-iBGP

・IDCフロンティア(AS7488)・さくらインターネット(AS9370)・ミクシィ(AS38651)


RT:131154:1

10.11.141.0/24 ・・Label=16

RT:131154:2

10.11.142.0/24 ・・Label=17


BBIXのマルチサービス構成AS131154

qfx10k

n7706

BBIX Public Peers

Closed Peers

幕張 NTT DATA大手町 SoftBank

IP Transit

v1151

v1025

v100

ip88s25

GRT

VRF

BBIX


構築中にはまったところ• QFX10002にてMP-eBGPで受けた経路が

hiddenになる


> show route 10.11.140.0/24 table bgp.l3vpn.0 extensive hiddenbgp.l3vpn.0: 11 destinations, 14 routes (7 active, 0 holddown, 4 hidden)9370:11:10.54.0.0/24 (1 entry, 0 announced)

BGP Preference: 170/-101Route Distinguisher: 9370:11Next hop type: Unusable, Next hop index: 0Address: 0x95274a4Next-hop reference count: 5State: <Hidden Ext ProtectionPath ProtectionCand>Peer AS: 9370Age: 1:50:13Validation State: unverifiedTask: BGP_9370_131154.169.254.1.12AS path: 9370 ICommunities: target:9370:11AcceptedVPN Label: 16Localpref: 100Router ID: 169.254.1.12

set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.3set routing-options resolution rib bgp.l3vpn.0 resolution-ribs inet.0

下記設定を追加することで解決


参考：QFX10002の設定

interfaces {xe-0/0/6:0 {

description xg-1-0-3.ip88s25.noc;flexible-vlan-tagging;mtu 9192;unit 100 {

vlan-id 100;family inet {

mtu 1500;address 218.100.6.XXX/24;

}family inet6 {

mtu 1500;address 2001:de8:c::13:1154:2/64;

}}unit 1025 {


address 169.254.XXX.XXX/24;}family mpls;

}

BBIX向け10GbEインターフェイス

40GBASE-LR4 を 10GBASE-LR ×4に



interfaces {et-0/0/1 {

description hg-4-0-1.ce12800.noc;vlan-tagging;mtu 9192;unit 302 {


mtu 1500;address 45.1.3.9/30;

}family inet6 {

mtu 1500;address 2001:3e8:1:302::22/64;address fe80::302:22/64;

}family mpls;

}

Huawei CE12800向け100GbEインターフェイス

100GBase-LR4QSFP28モジュール



protocols {mpls {

interface et-0/0/11.303;interface et-0/0/1.302;interface xe-0/0/6:0.1025;

}ldp {

track-igp-metric;interface et-0/0/1.302;interface et-0/0/11.303;interface lo0.0;

}bgp {

local-as 131154;group 131154-inet-vpn {

type internal;family inet-vpn {

unicast;}neighbor 45.1.0.25 {

description fx1-1;}neighbor 45.1.0.26 {

description fx1-2;

group BBIX-inet-vpn {type external;import rcvfrom-BBIX-inet-vpn;family inet-vpn {

unicast;}export advto-BBIX-inet-vpn;vpn-apply-export;graceful-restart {

disable;}neighbor 169.254.XXX.XXX {

description sakura;passive;peer-as 9370;bfd-liveness-detection {

minimum-interval 1000;}

}

MP-iBGP MP-eBGP

Option-B方式で、routing-instanceを

作らないので本来不要


4Byte-ASでのMP-BGP• BGPでのCapability(VPNv4 Unicast)交換は問題なし• RDのフォーマットに注意が必要

• 4Byte-ASを埋め込むには、Type 2フォーマットの対応が必要。今回は、Type 0フォーマットを利用。

• RD:1:131154, RD:2:131154• Target Communityは特に問題なかった

• JUNOSの場合Lが必要• set policy-options community shownet-vrf1 members

target:131154L:1;


マルチクラウドの機能要件• クラウド間のプライベートコネクト• データのレプリケーション、バックアップ機構• 死活監視、リソース監視、品質監視• 負荷分散制御機構• フェイルオーバ機構• クラウドの自動制御に必要な機構• マルチクラウドコントローラ


Interop Tokyo Webサイトのマルチクラウドロードバランシング

IDCFクラウド

さくらのクラウド

Multi Cloud Fabric

ロードバランサロードバランサ


www.interop.jp

スケーリング

A10 Networks Thunder

F5 Networks BIG-IPCitrix NetScaler MPX

GSLBGSLB AS290NTT

SmartConnect


まとめ• エンドユーザがマルチクラウド環境を手軽に利用可

能とするためのネットワークモデルを提唱• オープンな閉域網接続 “Multi Cloud Fabric”• 商用のInternet eXchange(BBIX)の上に、

Privateな面を切って実装• MP-BGPによるクラウド間/ユーザとの接続• 一般的なIPsec VPNでの乗り入れにも対応• 閉域網のインターフェイスは複数の選択肢が必要