AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

アマゾンウェブサービスジャパン株式会社

ソリューションアーキテクトネットワークスペシャリスト

菊池之裕

2017.10.03

【AWS Black Belt Online Seminar】AWSへのネットワーク接続とAWS上のネットワーク内部設計


自己紹介

名前：菊池之裕(きくちゆきひろ)

所属：アマゾンウェブサービスジャパン株式会社ソリューションアーキテクトネットワークスペシャリスト

ロール： Network系サービスについてのご支援

経歴： ISP,IXP,VPN運用、開発を経てネットワーク機器、仮想ルータ販売会社のプリセールス、プロダクトSEからAWSへ

好きな AWS サービス: Direct Connect,VPC,Market Place


内容についての注意点

• 本資料では2017年10月3日時点のサービス内容および価格についてご説明しています。最新の情報はAWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。

• 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違があった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。

• 価格は税抜表記となっています。日本居住者のお客様が東京リージョンを使用する場合、別途消費税をご請求させていただきます。

• AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.


Agenda

• Direct Connectの冗長化

• Direct Connect の提供形態とパートナー

• AWS内部ネットワークの設計(大規模）

• Transit VPC

• Hub-Spoke VPC peering & Proxy.

• まとめ

Direct Connect及びVPCに関する基本的な説明は割愛します


AWS Direct Connect

特徴 (http://aws.amazon.com/jp/directconnect/)

• 各リージョンへの専用線接続口

• 複数のVPCをのせられる

• キャリアは自由に選択可能提携キャリアも存在

価格体系 (http://aws.amazon.com/jp/directconnect/pricing/)

• ポート利用時間

• データ転送量(OUT) はインターネットの３分の１

AWSへの専用線接続サービス

$0.000

$0.020

$0.040

$0.060

$0.080

$0.100

$0.120

First10TB

Next40TB

Next100TB

Next350TB

Direct Connect

http://aws.amazon.com/jp/directconnect/


• 各リージョンへの専用線接続口

• 複数のVPCまたは、複数のパブリック接続インターフェースをのせられる

• インターネットに比べて– 安価なアウトバウンドトラフィック料金（インは同じく無料）

– 安定したパフォーマンス

• 複数のアカウントで共有可能

• 冗長接続を選択可能

AWS Direct Connect


Direct Connectの冗長化

• Direct Connectは専用線サービス

• 1本の接続では冗長性がない

• 複数接続を利用し、冗長を取るのがベストプラクティス

• 複数パートナーからの契約、拠点冗長、パートナー内での回線冗長などパートナー経由の冗長化も可能


冗長構成の考え方

eBGPeBGP

iBGP

iBGPにより同AS内の隣接ルータにBGPのパス属性値を伝達し、どちらの経路を選択するかAS内で総合的に判断

論理的には一つのオブジェクトに見えるが、実際には物理的に冗長化されている

VPC上のVGW(Virtual Private Gateway)に複数のDirect ConnectまたはVPN接続を終端可能AWS上の設定ではなく、お客様ルータの設定により経路制御を行う経路制御はBGPの一般的な考え方を適用

オンプレミス


BGPパス属性

BGPで経路交換している複数の経路から、ベストな経路を選択するために評価する属性値DXではLP(Local Preference)とAS-Path Prependが有効※MEDはサポートしていない

LP:100Prepend:2つ

LP:200Prepend:1つ

LP:300Prepend:なし

ベストパス

オンプレミスルータ

送信ルートにAS-Path Prependを付与し、受信トラフィックを制御（隣接ルータに情報を与えている）

VGW

受信ルートにLPを付与し、送信トラフィックを制御


冗長構成(Direct Connect x2, Active/Active)

ActiveActive

トラフィックをロードバランス

Direct Connect２本の間でトラフィックをロードバランスし、Active/Activeとして利用

障害時は片方の回線に迂回するため、回線の輻輳がおきないように帯域に注意が必要※CloudWatchの利用やルータの帯域を可視化して監視する

このとき、２つの経路のBGP属性値(LP, ASパス長)は等価である必要がある


冗長構成(Direct Connect x2, Active/Standby)

StandbyActive

障害時にStandbyへ切り替え

Direct Connect２本のどちらかを通常利用とし、障害時は片方の回線へ自動切り替えを行う

それぞれのルータのBGP属性値により、Active/Standbyを判断するように設定

LP=200Prependなし LP=100

Prependあり


冗長構成(Direct Connect/VPN)

StandbyActive

Standby用にインターネットVPNを利用

Direct Connect障害時のバックアップ回線としてインターネットVPNを利用

異なる回線種別のため、フェールオーバー時にはパフォーマンスに影響が出る場合があるため注意

LP=200Prependなし LP=100

Prependあり


障害時のフェールオーバーに関する注意点

AS1 AS2

スイッチ

スイッチ

リンク断のタイミングで障害検知！

スイッチの向こうのリンク断は検知できない

すぐに切り替わるHold timerの間切り替わらない

切断発生〜フェールオーバーまでの時間に発生したトラフィックは到達できない


障害時のフェールオーバーは、BGPピア上の障害を

いかに早く検知するかがカギ！


KeepaliveとHold Timer隣接するルータはお互いにKeepaliveを予め決められたインターバルで定期的に送信Hold Timer(待機時間)はKeepaliveの3倍が設定されており、Keepaliveを受信すると0にリセットされる設定されたHold Timerを超過すると障害と認定隣接ルータ間ではそれぞれの時間が短い方を利用する反映にはBGPピアのsoftリセットが必要

Keepalive

Hold Timer

Keepalive60秒

0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・・・・180

Keepaliveが到達するとHold Timerをリセット

Hold Timerのカウンタが超過するとBGPピアを切断

Keepaliveが到達しないのでHold Timerはカウントアップ

Keepalive=60Hold Timer=180の場合

Keepalive60秒


対策1: keepalive/Hold Timerのチューニング

router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS timers 10 30

お客様ルータのKeepaliveとHold Timerを短く設定することで、フェールオーバーを検知する時間を短縮以下の例はKeepaliveを10秒、Hold Timerを30秒に設定

edit protocols bgp group ebgpset hold-time 30

Cisco Juniper

デフォルト値Keepalive 60秒Hold Timer 180秒

デフォルト値Keepalive 30秒Hold Timer 90秒


対策２: BFD(Bidirectional Forwarding Direction)

経路上の障害を高速に検知し、ルーティングプロトコル(今回はBGP)に通知する機能隣接ルータ同士でパケットをミリ秒単位で送受信する例は50ミリ秒でBFDパケットを送信、3度受け取れない場合は障害とみなす

bfd interval 50 min_rx 50 multiplier 3

router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS fall-over bfd

edit interfaces ge-0/0/1edit bfd-liveness-detectionset minimum-inverval 50set multiplier 3

Cisco Juniper


オンプレミス内部のルーティング

Direct ConnectのBGP接続から受信したルートをOSPFに再配布

VRRP/HSRPなどでLAN上のゲートウェイを冗長

コアスイッチコアスイッチ

OSPF

VRRPコアスイッチはOSPFによりAWSへの経路を選択

© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.© 2017, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Direct Connect の提供形態とパートナー


パートナー様の提供サービス(占有型・共有型）

Direct Connect(占有型)• Connectionをお客様へ提供

• Virtual Interfaceはお客様側で自由に設定可能

Direct Connect(共有型)• Connectionはパートナー様のアカウントで持つ

• Virtual Interfaceはお客様のリクエストベースでパートナー様が設定

Connection

(1Gまたは10G)

Virtual Interface

VLAN:101

お客様アカウント

Connection

(1Gまたは10G)

Virtual Interface

VLAN:101

アカウント：お客様A

パートナーアカウント

Virtual Interface

VLAN:102

アカウント：お客様B

Virtual Interface

VLAN:102

お客様権限で自由に追加可能

リクエストに応じてパートナーが設定

お客様アカウント


パートナー様の提供サービス(共有型 Sub 1G）

Direct Connect(共有型 Sub 1G)• Connectionはパートナー様のアカウントで持つ

• Hosted Connectionと呼ぶ仮想的なConnectionをお客様へ提供

• Virtual InterfaceはHosted Connectionに紐付けされ追加可能

• このモデルの場合、ポート時間料金はお客様に課金される

Connection

(1Gまたは10G)

Hosted Connection

VLAN:101 Speed 100Mbps

パートナーアカウントお客様アカウント

Hosted Connection


リクエストに応じてパートナーが設定

Virtual Interface


Hosted Connection


Virtual Interface


Hosted ConnectionとVirtual Interfaceは1:1

お客様権限で自由に割り当て


パートナーにより拡張されたAWS Direct Connectサービス

相互接続ポイントにおける接続装置等の設置場所• 専用線とのパッケージ提供する場合も

10Mbps, 100Mbps等1Gbps よりも狭帯域のサービス

お客様指定の場所から相互接続ポイントまでのアクセス

広域WANで複数拠点からAWSへの接続


パートナーの提供サービス

• DXが使えるDCの提供

• 相互接続ポイントにおけるコロケーション提供

• 相互接続ポイント込みの専用線サービス提供

• 相互接続ポイント込みの広域ネットワークサービス提供

• 相互接続ポイント込みのモバイル網への接続

ルータレンタル、マネージドサービスなど各社により提供

https://aws.amazon.com/jp/directconnect/partners/#apac


パートナー経由のDirect Connect

• 共有モデル

• 1契約あたり1バーチャルインターフェイスが基本

• 冗長化では2バーチャルインターフェイスが必要

• ベストエフォートとギャランティ

• 通信料固定のものと従量のものがある

（別途パートナーへご確認ください）

• Sub1Gでは従量課金になる

• 専有モデル

• 1契約で複数のバーチャルインターフェイスへの接続が可能（最大50）

• 1Gもしくは10G

• 接続料金は従量でAWSアカウントに請求される


パートナー経由のDirect Connect

相互接続ポイント

VRF-1

VRF-2

パートナーDX集約ルータ

経路はパートナーのサービス集約ルータから広報される。

0.0.0.0/0

モバイルサービス

広域イーサネットサービス

フレッツなどVPNサービス

専用線接続サービス

パートナーレンタルルータ

お客様

パートナーレンタルルータ

自社所有ルータ

モバイル機器お客様から

広告された経路

お客様申告の経路172.16.0.0/16


パートナー経由のDirect Connectの注意点

• VPCへの経路広報のタイプが異なる• エッジルータからの経路情報をVPCへそのままフォワードせず、ある程度の集約がかかるサービスがある

• デフォルトが広報されるもの

• 申告した経路が集約されるもの

冗長を取る場合、経路の偏りの原因となるので、サービスの確認を


Direct ConnectとVPCの上限について

• BGP経路数はVPCあたり100以下(Hard Limit)• 経路集約をおねがいします

• VPNの接続数はVPCあたり50まで

• Direct Connect あたりVLANは50まで(Hard Limit)

※申請により上限緩和可能なパラメータもあります。最新は下記URL参照http://docs.aws.amazon.com/ja_jp/general/latest/gr/aws_service_limits.html


Direct Connectを利用したユースケース


マルチVPC接続

営業支援

会計

BI

文書管理

利用者

保守業者

管理者

AD

監視ソフト

DNS

DirectConnect接続口

Router#1

Router#2

Router#1

Router#2

Router#1 Router#2

FWSSO

NTP

既存環境

人事

専用線

専用線またはVPN

Win

Win

Win

Win

Win Proxy


クローズドWorkSpaces

AS65000

AS65001

外部ネットワーク/DMZ

内部ネットワーク

プライベートネットワーク

WorksSpaces

接続エンドポイント画面転送用

AS10124

S3

パブリック接続

プライベート接続

AD等認証はプライベート接続経由

画面転送のみパブリック接続またはインターネット経由


オンプレミス環境のWebサーバオフロード

ロードバランサ

オンプレミスのロードバランサーからEC2上のサービスをターゲットに加えることが可能（Proxyモード）


オンプレミス環境のWebサーバオフロード

ロードバランサ

ALB,NLBではオンプレミスのサーバがターゲティング可能に→ シームレスな移行が可能


東京/大阪での高可用性Direct Connect接続

EquinixTY2

(東京)

EquinixOS1(大阪)

相互接続ポイント自体を冗長化することが可能ポート料金、トラフィック料金は東阪どちらも同じ


AWS内部ネットワークの設計


AWS内部ネットワークの設計

• Transit VPC

• Hub-Spoke VPC peering & Proxy.


Transit VPC


Transit VPCとは

https://aws.amazon.com/jp/blogs/news/aws-solution-transit-vpc/

• リージョン内、リージョン間のVPC

接続を自動化するソリューション

• 他アカウント、Direct Connectとの

接続も可能

• ハブ・スポークモデルで各拠点を

接続


Transit VPCの構成

• CloudFormationでテンプレートからインストール

• Transit VPC内にマルチAZでCSR100Vを2台起動

• 設定情報を蓄積するS3

• VPCの追加、削除を監視する

LambdaPoller

• 設定を行うLambda Configurator


Transit VPCの構築

• CloudFormationでテンプレートからインストール

• HubのVPCを作成

• VGWを作成し、CloudFormation作成時に設定したタグをVGWに設定

• 自動でHubにあるCSR1000vとトンネルが張られる

• CSRへログイン不要


Hub Spork VPC Peering & Proxy


Hub Spork VPC Peering & Proxyとは

• Transit VPCのモデルをVPC Peeringで実現する設計

• VPC PeeringはとなりのVPCのみ疎通が可能なので

Hub VPCにProxy Serverを置く

• 各VPCからHub VPCのProxyを経由することにより

すべてのVPC間で通信が可能


Hub-Spork VPCのメリット

• VPC Peeringにより完全閉域網が実現できるため、よりセキュアなネットワークを構築可能

Transit VPCはVPC間にVPNを利用する


HUB & Spoke VPC & Proxy

Proxy Proxy


HUB & Spoke VPC & Proxy

Proxy Proxy

HUB VPC上のProxyインスタンスにSpoke VPCからアクセスすることにより、相互のVPCの通信が可能


まとめ

• Direct Connectの冗長化について解説

• APNパートナー経由のDirect Connect の注意点の解説

• AWS内部ネットワークの設計例についてご紹介• Transit VPC

• HUB-Spoke VPC & Proxy


参考資料

AWS Black Belt Online Seminar 2017 Amazon VPC• https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-

seminar-2017-amazon-vpc

AWS Black Belt Online Seminar AWS DirectConnect• https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-aws-

direct-connect

AWS ソリューション – Transit VPC• https://aws.amazon.com/jp/blogs/news/aws-solution-transit-vpc/

46

https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-online-seminar-2017-amazon-vpc

https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-aws-direct-connect

https://aws.amazon.com/jp/blogs/news/aws-solution-transit-vpc/


オンラインセミナー資料の配置場所

AWS クラウドサービス活用資料集• http://aws.amazon.com/jp/aws-jp-introduction/

AWS Solutions Architect ブログ• 最新の情報、セミナー中のQ&A等が掲載されています

• http://aws.typepad.com/sajp/

http://aws.amazon.com/jp/aws-jp-introduction/

http://aws.typepad.com/sajp/


公式Twitter/FacebookAWSの最新情報をお届けします

@awscloud_jp

検索

最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを日々更新しています！

もしくはhttp://on.fb.me/1vR8yWm


AWSの導入、お問い合わせのご相談

AWSクラウド導入に関するご質問、お見積り、資料請求をご希望のお客様は以下のリンクよりお気軽にご相談くださいhttps://aws.amazon.com/jp/contact-us/aws-sales/

※「AWS 問い合わせ」で検索してください

https://aws.amazon.com/jp/contact-us/aws-sales/


Technology

AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計