Embed Size (px)
Citation preview
AWS Direct ConnectAWS Black Belt Tech Webinar 2015 (旧マイスターシリーズ）
アマゾンデータサービスジャパン株式会社ソリューションアーキテクト 吉⽥英世2015.01.28 (2017/01/27 Renewed)
AWS Black Belt Tech Webinar へようこそ！
• 参加者は、⾃動的にミュートになっています• 質問を投げることができます！
– GoToWebinarの仕組みを使って、書き込んでください– ただし環境によっては、⽇本語の直接⼊⼒ができないので、
お⼿数ですが、テキストエディタ等に打ち込んでから、コピペしてください
– 最後のＱ＆Ａの時間で、できるだけ回答させて頂きます– 書き込んだ質問は、主催者にしか⾒えません
• Twitterのハッシュタグは#jawsugでどうぞ
Agenda
• Direct Connect 概要• Direct Connectの接続構成• Direct Connectのオペレーション• 冗⻑構成• 注意事項• ハイブリッド構成事例• まとめ
AWS Direct Connect 概要
AWS Direct Connectとは？
お客様
AWS CloudEC2, S3などのPublic サービス
Amazon VPC
相互接続ポイント専⽤線サービス
AWSとお客様設備（データセンター、オフィス、またはコロケーション）の間に専⽤線を利⽤したプライベート接続を提供するサービス
接続イメージ：東京リージョンの例
AWS機器
東京リージョン
お客様機器もしくはキャリア様機器
お客様
お客様のダークファイバもしくは
キャリア様回線 エクイニクス様 TY2,TY6,TY7(東京)/OS1(⼤阪)
ポート接続を提供(1Gbps or 10Gbps)
相互接続ポイントがあるリージョンに接続
相互接続ポイントの主要なロケーションRegion Location
US East(Virginia) CoreSite NY1 & NY2
Equinix DC1 – DC6 & DC10
US West (Northen Calfornia) CoreSite One Wilshire & 900 North Alameda, CA
Equinix SV1 & SV5
US West (Oregon) Equinix SE2 & SE3
Switch SUPERNAP 8
EU (Frankfurt) Equinix FR5
EU (Ireland) Eircom Clonshaugh
TelecityGroup, London Docklands’
Asia Pacific (Singapore) Equinix SG2
China(北京) CIDS JIACHUANG IDC
SINNET JIUXIANQIAO IDC
Asia Pasific (Tokyo) Equinix TY2Equinix OS1
South America (San Paulo) Terremark NAP do Brasil
https://aws.amazon.com/jp/directconnect/details/その他のロケーションはこちらを参照
東京リージョンにおけるDirect ConnectをサポートするAPNパートナー様
http://aws.amazon.com/jp/directconnect/partners/
・CFN Services・Equinix, Inc.・Hibernia Networks・KVH株式会社・Level3 Communications, Inc.・野村総合研究所(NRI)・NTTコミュニケーションズ株式会社・Pacnet・ソフトバンクテレコム株式会社・Tata Communications・Verizon
リストに掲載されていないパートナー様もいらっしゃるため、詳細は営業・SAにお問い合わせください。
ConnectionとVirtual Interface
VLAN200
VLAN100
VLAN300
ConnectionVirtual Interface
Virtual Interface
Virtual Interface
Connectionは物理インタフェース、Virtual InterfaceはConnection中の論理インタフェースを表す。Virtual InterfaceはそれぞれユニークなVLAN IDをもつ。
クロスアカウント利⽤
ConnectionVirtual Interface
Connectionを保持しているAWSアカウントから、他のAWSアカウントに対しVirtual Interfaceを提供することが可能。
情報システム部AWSID:123456789012
関連会社ZAWSID:999999999999
情報システム部AWSID:123456789012
開発部AWSID:000000000000
関連会社ネットワーク
開発ネットワーク
社内基幹ネットワーク
AWS Direct Connect導⼊のメリット
• 帯域スループット向上• インターネットベースの接続よりも⼀貫性がある• ネットワークコスト削減
$0.042 $0.042 $0.042 $0.042
$0.140 $0.135 $0.130 $0.120
$0.020 $0.040 $0.060 $0.080 $0.100 $0.120 $0.140 $0.160
First 10TB
Next 40TB
Next 100TB
Next 350TB
Direct Connect
Internet
東京リージョン、2015年1⽉28⽇現在
データ転送料⾦(Out)
インターネットVPN vs 専⽤線インターネットVPN 専⽤線
コスト 安価なベストエフォート回線も利⽤可能
キャリアの専⽤線サービスの契約が必要
リードタイム 即時~ 数週間~
帯域 暗号化のオーバーヘッドにより制限あり
~10Gbps
品質 インターネットベースのため経路上のネットワーク状態の影響を受ける
キャリアにより⾼い品質が保証されている
障害時の切り分け インターネットベースのため⾃社で保持している範囲以外での切り分けが難しい
エンドツーエンドでどの経路を利⽤しているか把握できているため⽐較的容易
課⾦体系
AWS Direct Connectの⽉額利⽤料
① ポート使⽤料＋
② データ転送料
データ転送料⾦は・Virtual Interfaceを利⽤しているVPCのオーナーアカウントに課⾦・パブリック接続の場合、パブリック上のリソースを所有している
オーナーアカウントに課⾦
Direct Connectの接続構成
２種類の接続メニュー(Virtual Interfaceの種別)
お客様
AWS CloudEC2, S3などのPublic サービス
Amazon VPC
相互接続ポイント専⽤線サービス
プライベート接続
オフィス/データセンター
VPC subnet
VPC subnet192.168.0.0/24
10.0.0.0/16
BGPによるルーティング
192.168.0.0/24宛の通信をVGWに設定
192.168.0.0/24を広告
10.0.0.0/16のVPC CIDRを広告
VirtualGateway
パブリック接続（⾃前のパブリックIPを利⽤）
オフィス/データセンター
203.0.113.0/28
BGPによるルーティング
パブリックIPである203.0.113.240/28を広告
接続先リージョンのAWSクラウドの
ネットワークアドレスを広告192.168.0.0/24
AWSとの通信はパブリックIPでとなるため
NAT(NAPT)が必要
パブリック接続（AWSからパブリックIPをアサイン）
オフィス/データセンター
BGPによるルーティング
パブリックIPである203.0.113.100/31を広告
接続先リージョンのAWS Cloudの
ネットワークアドレスを広告
192.168.0.0/24
AWSとの通信はパブリックIPでとなるため
NAT(NAPT)が必要
論理接続VPC 1
Private Virtual Interface 1VLAN Tag 101
BGP ASN 10124
BGP Announce 10.1.0.0/16
Interface IP 169.254.251.1/30
10.1.0.0/16
VGW 1
CustomerSwitch + Router
Customer Interface 0/1.101VLAN Tag 101
BGP ASN 65001
BGP Announce Customer Internal
Interface IP 169.254.251.2/30
VLAN 101
VLAN 102
VLAN 103
VGW 2
VGW 3
Route Table
Destination Target
10.1.0.0/16 PVI 1
10.2.0.0/16 PVI 2
10.3.0.0/16 PVI 3
AWS Cloud PVI 5
Customer Internal Network
VPC 210.2.0.0/16
VPC 310.3.0.0/16
VLAN 501
Public AWSRegion
NAT / PATSecurity Layer Connection
Virtual Interface
物理接続
ルータ
Patch Panel
Patch Panel
Patch Panel
ルータ
Patch Panel
クロスコネクト
相互接続ポイント拠点
AWSラックパートナー様/お客様ラック
Meet-Me Room
お客様拠点
AWS
お客様/パートナー様
それぞれのリージョン
APNパートナーにより拡張されたDirect Connect
• 相互接続ポイントにおける接続装置等の設置場所– 専⽤線とのパッケージ提供する場合も
• 10Mbps, 100Mbps等1Gbps よりも狭帯域のサービス
• お客様指定の場所から相互接続ポイントまでのアクセス
• 広域WANで複数拠点からAWSへの接続
パートナー様の提供サービス(占有型・共有型）
• Direct Connect(占有型)– Connectionをお客様へ提供– Virtual Interfaceはお客様側で⾃由に設定可能
• Direct Connect(共有型)– Connectionはパートナー様のアカウントで持つ– Virtual Interfaceはお客様のリクエストベースでパートナー様が設
定
パートナー様のサービス提供形態例
キャリア様閉域網
パートナー様閉域網サイト間ポイントツーポイント
Sub-1G
• AWSがAPNパートナーに対して無償で物理ポートを提供
• シェーピングをしたVLANで分離された論理ポート
• エンドユーザが利⽤料をAWSに⽀払い– 500M, 400M, 300M, 200M, 100M, 50M
• http://aws.amazon.com/directconnect/pricing/
パートナー様とのサービスとの組み合わせ
データセンター
本社
モバイル網
⽀社/店舗 モバイル端末
VPC
キャリア様閉域網
Direct Connectのオペレーション
Direct Connect利⽤開始⼿順フロー(Conncectionの作成）
利⽤ユーザ AWSAPNパートナー相互接続ポイントの事業者
①利⽤申請(マネージメントコンソールから)
②追加情報の確認(オプション)
③追加情報の返信(オプション)④LOA-CFA取得(マネージメントコンソールから)
⑤LOA-CFA転送・物理配線依頼
⑥配線完了
AWS側配線作業
事業者側配線
Virtual Interfaceの作成
①Direct Connect利⽤申請
AWSマネージメントコンソールにログインし、”Tokyo”リージョンを選択。
[Services]-[Networking]-[Direct Connect]をクリック。
“Connections”の”Create Connection”をクリック。
①Direct Connect利⽤申請 (cont)必要な項⽬を⼊⼒し、”Create”をクリック。
Connection Name コネクション名(任意の⽂字列)Location Equinix TY2, TY6 & TY7, Tokyo / Equinix OS1, Osaka
Port Speed: 1Gbps / 10Gbps
①Direct Connect利⽤申請 (cont)
Connectionsのリストに作成したConnectionが表⽰される。Statusは”requested”
②追加情報の確認および③追加情報の返信(オプション)
追加の情報が必要な場合、AWSマネージメントコンソールのメールアドレス宛にAWSから確認メールが送信されます。
7⽇以内に必要情報返信してください。
(7⽇以内に返信が無い場合、前の⼿順で作成したDirect ConnectのConnectionは⾃動的に削除されます。)
④物理配線情報(LOA-CFA)送付、⑤LOA-CFA転送・物理配線依頼
AWS側の物理配線が完了し、72時間以内に相互接続ポイントの物理配線情報:LOA-CFA(Letter of Authorizationand Connecting Facility Assignment)がマネージメントコンソールからダウンロード可能になります。
LOA-CFAの情報をパートナー様もしくは相互接続ポイントのデータセンター事業者へ送付し、構内の物理配線を依頼してください。
注意：配線完了後のメール連絡はありませんので、ご⾃⾝でご確認ください。72時間以内にLOA-CFAができない場合、AWSサポートまでご連絡ください。
⑥配線完了
配線が完了すると、AWSマネージメントコンソールの[Direct Connect]-[Connections]から回線を確認することができます。
Virtual Interfaceの作成(プライベート接続)
Virtual Interfaceの作成(パブリック接続)
クロスアカウントでのVirtual Interface利⽤
Virtual Interfaceを作成
Virtual InterfaceのリクエストをAccept
“Connections”を保持しているアカウント
“Virtual Interface”を利⽤するアカウント
VPCのRouteTable設定
オンプレミスのネットワークを宛先、vgwをターゲットとしてルーティングのエントリを追加。
“Propagate”を設定することでvgwで受信したルートを⾃動的に反映。
オンプレミス拠点側ルータの要件
• BGP対応であること– MD5認証対応
• IEEE 802.1q VLANが利⽤できること– スイッチングハブでタグVLANを終端するなら必要なし
• RFC 3021 (/31サブネット)対応であること– パブリック接続でAWSからパブリックIPアドレスを利⽤する場合のみ
BGPとは？
BGP(Border Gateway Protocol)とは、インターネット上でプロバイダ同⼠の相互接続において、お互いの経路情報をやり取りするために使われるルーティングプロトコルの⼀つです。
ISP-A ISP-BネットワークP ネットワークQ
ネットワークPのアドレスを広告
ネットワークQのアドレスを広告
AS65000 AS65001
ルータ設定
interface GigabitEthernet0/1no ip addressspeed 1000full-duplex
interface GigabitEthernet0/1.VLAN_NUMBERdescription direct connect to awsencapsulation dot1Q VLAN_NUMBERip address IP_ADDRESS
router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS remote-as 7224neighbor NEIGHBOR_IP_ADDRESS password "MD5_key"network 0.0.0.0 exit
edit interfaces ge-0/0/1set description " AWS Direct Connect "set flexible-vlan-taggingset mtu 1522edit unit 0set vlan-id VLAN_IDset family inet mtu 1500set family inet address IP_ADDRESSexitexit
edit protocols bgp group ebgpset type externalset authentication-key "MD5_KEY"set peer-as 7224set neighbor NEIGHBOR IP ADDRESS
CiscoJuniper
サンプルコンフィグのダウンロード
作成したVirtual Interfaceの設定値を元にしたサンプルコンフィグがダウンロード可能。ただし、Connectionsを保持しているアカウントからのみ。[Direct Connect]-[Virtual Interfaces]を選択し、リストから該当のVirtualInterfaceを選択。
サンプルコンフィグ
冗⻑構成
冗⻑構成の考え⽅
eBGPeBGP
iBGP
iBGPにより同AS内の隣接ルータにBGPのパス属性値を伝達し、どちらの経路を選択するかAS内で総合的に判断
論理的には⼀つのオブジェクトに⾒えるが、実際には物理的に冗⻑化されている
VPC上のVGW(Virtual Private Gateway)に複数のDirect ConnectまたはVPN接続を終端可能。AWS上の設定ではなく、お客様ルータの設定により経路制御を⾏う。経路制御はBGPの⼀般的な考え⽅を適⽤。
オンプレミス
BGPパス属性BGPで経路交換している複数の経路から、ベストな経路を選択するために評価する属性値。今回はLP(Local Preference)とAS-Path Prependを使った構成を利⽤。
LP:100Prepend:2つ
LP:200Prepend:1つ
LP:300Prepend:なし
ベストパス
オンプレミスルータ
送信ルートにAS-Path Prependを付与し、受信トラフィックを制御（隣接ルータに情報を与えている）
VGW
受信ルートにLPを付与し、送信トラフィックを制御
冗⻑構成(Direct Connect x2, Active/Active)
ActiveActive
トラフィックをロードバランス
Direct Connect２本の間でトラフィックをロードバランスし、Active/Activeとして利⽤。
障害時は⽚⽅の回線に迂回するため、回線の輻輳がおきないように帯域に注意が必要。
このとき、２つの経路のBGP属性値(LP, ASパス⻑)は等価である必要がある。
冗⻑構成(Direct Connect x2, Active/Standby)
StandbyActive
障害時にStandbyへ切り替え
Direct Connect２本のどちらかを通常利⽤とし、障害時は⽚⽅の回線へ⾃動切り替えを⾏う。
それぞれのルータのBGP属性値により、Active/Standbyを判断するように設定。
LP=200Prependなし LP=100
Prependあり
冗⻑構成(Direct Connect/VPN)
StandbyActive
Standby⽤にインターネットVPNを利⽤
Direct Connect障害時のバックアップ回線としてインターネットVPNを利⽤。
異なる回線種別のため、フェールオーバー時にはパフォーマンスに影響が出る場合があるため注意。
LP=200Prependなし LP=100
Prependあり
障害時のフェールオーバーに関する注意点
AS1 AS2
スイッチ
スイッチ
リンク断のタイミングで障害検知！
スイッチの向こうのリンク断は検知できない
すぐに切り替わる Hold timerの間切り替わらない
切断発⽣〜フェールオーバーまでの時間に発⽣したトラフィックは到達できない。
障害時のフェールオーバーは、BGPピア上の障害を
いかに早く検知するかがカギ！
KeepaliveとHold Timer隣接するルータはお互いにKeepaliveを予め決められたインターバルで定期的に送信。HoldDown Timer(待機時間)はKeepaliveの3倍が設定されており、Keepaliveを受信すると0にリセットされる。設定されたHold Timerを超過すると障害と認定。隣接ルータ間ではそれぞれの時間が短い⽅を利⽤する。反映にはBGPピアのsoftリセットが必要。
Keepalive
Hold Timer
Keepalive60秒
0,1,2,3・・・ 0,1,2,3・・・ 0,1,2,3・・・ ・・・180
Keepaliveが到達するとHold Timerをリセット
Hold Timerのカウンタが超過するとBGPピアを切断
Keepaliveが到達しないのでHold Timerはカウントアップ
Keepalive=60Hold Timer=180の場合
Keepalive60秒
対策1: keepalive/Hold Timerのチューニング
router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS timers 10 30
お客様ルータのKeepaliveとHold Timerを短く設定することで、フェールオーバーを検知する時間を短縮。以下の例はKeepaliveを10秒、Hold Timerを30秒に設定。
edit protocols bgp group ebgpset hold-time 30
Cisco Juniper
デフォルト値Keepalive 60秒Hold Timer 180秒
デフォルト値Keepalive 30秒Hold Timer 90秒
対策２: BFD(Bidirectional Forwarding Direction)
経路上の障害を⾼速に検知し、ルーティングプロトコル(今回はBGP)に通知する機能。隣接ルータ同⼠でパケットをミリ秒単位で送受信する。例は50ミリ秒でBFDパケットを送信、3度受け取れない場合は障害とみなす。
bfd interval 50 min_rx 50 multiplier 3
router bgp CUSTOMER_BGP_ASNneighbor NEIGHBOR_IP_ADDRESS fall-over bfd
edit interfaces ge-0/0/1edit bfd-liveness-detectionset minimum-inverval 50set multiplier 3
Cisco Juniper
オンプレミス内部のルーティング
Direct ConnectのBGP接続から受信したルートをOSPFに再配布
VRRP/HSRPなどでLAN上のゲートウェイを冗⻑
コアスイッチ コアスイッチ
OSPF
VRRP コアスイッチはOSPFによりAWSへの経路を選択
注意事項
VPC Peering利⽤時の注意
オンプレミスオンプレミスのネットワークを広告できない
VPC Peeringはオンプレミスのルートを広告できないため、VPCをまたいだ通信はできない。
経路集約の必要性
192.168.0.0/24
192.168.1.0/24
192.168.2.0/24
192.168.0.0/24+
192.168.1.0/24+
192.168.2.0/24
=192.168.0.0/16
お客様ルータから広告できるネットワーク数は100まで。普段から経路集約を意識する設計を！デフォルトルートの広告も有効な場合もあり。
⾮対称ルーティング時の注意
⾮対称ルーティング⾃体は問題なく通信可能。
Active/Standbyの場合、StandbyがVPNを利⽤していると通信に影響が出る可能性あり。
ファイアウォール利⽤時には⾮対称ルーティングに対応していないクラスタを利⽤するとパケットが破棄されるので注意。
Direct Connectを利⽤したハイブリッド構成の事例
マルチVPC接続
営業⽀援
会計
BI
⽂書管理
利⽤者
保守業者
管理者
AD
監視ソフト
DNS
DirectConnect接続⼝
1 VPC
1 VPC
1 VPC
1 VPC
1 VPC
IGW
VGW
VGW
VGW
IGW
VGW
VGW
Router#1
Router#2
Router#1
Router#2
Router#1 Router#2
FWSSO
NTP
既存環境
OracleWIN
⼈事
WIN
WIN Oracle
BI DB
WIN Proxy
専⽤線
専⽤線またはVPN
３層構造 Webシステム
APPサーバ Webサーバデータベース
データベースアクセス
クローズドWorkSpaces
お客様拠点
プライベートネットワーク
WorksSpaces接続エンドポイント
AWS Cloud
AS65000
AS10124
x.x.x.x/31 or 32
y.y.y.y/30
グローバルIPであること！お客様準備もしくは
AWS提供
S3
プライベートIPでOK
AS65001
インターネット
外部ネットワーク/DMZ
内部ネットワーク
AWS Cloudとの通信はルータで
NAT
プライベートASでもOK
オンプレミス環境のWebサーバオフロード
ロードバランサ
東京/⼤阪での⾼可⽤性Direct Connect接続
EquinixTY2
(東京)
EquinixOS1(⼤阪)
相互接続ポイント⾃体を冗⻑化することが可能ポート料⾦、トラフィック料⾦は東阪どちらも同じ
まとめ
まとめ
• AWS Direct Connectを利⽤することで、オンプレミスとAWS間のネットワークにおいて、帯域のスループット向上、⼀貫性のあるネットワーク接続、データ転送量コスト削減が実現できる
• APNパートナー様の各種サービスにより、多様なネットワークを構成することができる
• 要件に応じていろいろな冗⻑構成を選択することが可能
AWS専⽤線アクセス体験ラボ sponsored by Intel
http://aws.amazon.com/jp/dx_labo/
■事前に設定を確認したい■フェイルオーバー時の動作を確認したい■スループットがどれだけなのか実際に試してみたい■⾃前のルータがDirect Connectに接続できるか確認したい
・・・などなど
お問い合わせは営業・SAまで！
Q&A
Webinar資料の配置場所
• AWS クラウドサービス活⽤資料集– http://aws.amazon.com/jp/aws-jp-introduction/
公式Twitter/FacebookAWSの最新情報をお届けします
@awscloud_jp検索
最新技術情報、イベント情報、お役立ち情報、お得なキャンペーン情報などを日々更新しています！
もしくはhttp://on.fb.me/1vR8yWm
次回のAWS Black Belt Tech Webinar は、
2⽉4⽇(⽔) 18:00〜
~ AWS Key Management Service(KMS)~
ご参加ありがとうございました。
