KLAWS on GCP

KLAWS on GCP

KLab inc. kansei chiba

Profile● Kansei Chiba / 1989 〜● KLab / 2011 〜

○ Infrastructure Management Group 2○ Linux, AWS, Azure, GCP ...○ php, golang, objective-c, swift ...

● Hobby○ RoadBike / 2015 〜○ Diving / 2007 〜

● FB○ Kansei Chiba

KLAWS on GCP● KLAWS = KLab で運用する AWS なインフラ環境

● AWS 一択な状況の打開

● 日本リージョンの完成間近

● AWS での運用経験を前提にした話

KLAWS Components● Network

○ VPC

● VM○ EC2

● PaaS○ Route53, RDS, Elasticache, S3, CloudFront, ELB

● OSS○ apache,nginx,uwsgi,php,fluentd,rlogd,repcached,mysql...

Cloud● 海外展開

● リソース補填

● プロトタイプ

Prototype● とあるゲーム向け環境

● リアルタイム通信を使用し、ユーザ同士が協力して敵を倒す

● サーバは、必要な時間になったら自動立ち上げ、削除

Prototype● WebSocket を使用

● LB には、ELB TCP Listener● ゲームサーバは cron で自動立上げ

Devise● ゲームサーバの自動立ち上げ

● ProxyProtocol● リバプロ

● エラー通知


○ アプリケーションチェック

○ まずは 1 台○ ハズレインスタンス対応


● エラー通知



● エラー通知



● エラー通知



● エラー通知

KLAWS● そんなことを考えるのが普段のお仕事

● あくまで KLAWS で構成された 1 環境の話で、全ての構成ではありません

s/AWS/GCP/● GCP はロードバランサがすごい

● GCP はインスタンスの起動が速い

● GCP はお安いらしい

● GCP を使ったら彼女ができました

● GCP を使ったら身長が伸びました

● ry

● 良さげな噂ばかりが耳に届く

● s/AWS/GCP/ すると、どうなるのか考えてみる

# GCP勉強会みたいになるかもしれませんがご容赦下さい...

KLAWS Components● Network

○ VPC

● VM○ EC2

● PaaS○ Route53, RDS, Elasticache, S3, CloudFront, ELB

GCP Network● Subnet Group● Security Group● Route Table


10.0.0.0/24 日本リージョン・ゾーンA

10.0.1.0/24 日本リージョン・ゾーンB

10.0.0.0/24 東京リージョン

10.0.1.0/24 海外リージョン

AWS

GCP


AWS

GCP

各種リソースに対してセキュリティグループの紐付

タグに対してトラフィックの制限設定を紐付け

GCP Network● Subnet Group● Security Group● Route Table VIP

InstanceBVIP

InstanceAVIP

keepalived + unicast vrrp

# AWS 触ってない人にはちょっとわかりにくいかも ...(__)


優先度宛先IP 宛先インスタンス

0 10.0.0.1/32 A

1 10.0.0.1/32 B

N/A


2 10.0.0.1/32 A

1 10.0.0.1/32 B

F/O


0 10.0.0.1/32 A

1 10.0.0.1/32 B

F/B

Network Performance

ping による測定値

from\to asia-east-1 us-central us-east-1 europe-west

asia-east-1 - 151.642ms 190.175ms 251.908ms

us-central 151.642ms - 36.394ms 103.074ms

us-east-1 190.175ms 36.394ms - 92.627ms

europe-west 251.908ms 103.074ms 92.627ms -

Network Performance

bit/sec packet/sec

9 Gbps 1040 kpps

AWS ( c4.8x HVM / 拡張ネットワーキング有効 )

bit/sec packet/sec

15 Gbps 900 kpps

GCP ( 32 core VM )

iperf3, 独自ツールによる計測値

いんたーねっと

とある性能試験中な昼下がり...

● 異議申し立てボタンの出現

We've recently detected activity on your Google Cloud Platform/APIs project ID ************** that appears to violate our Terms of Service. Please take a moment to review the Google Cloud Platform Terms of Service or the applicable Terms of Service for the specific Google API you are using.It appears that your project is committing denial of service attacks.To protect our users, we have set an outbound bandwidth rate limit on your project.

＿人人人人人＿

＞　英語　＜

￣Y^Y^Y^Y^Y￣# 何やら、DDoS と勘違いされたらしい ...

日本語で書かれてるし、日本語で異議申し立てできるっしょ・・・

＿人人人人人＿

＞　英語　＜

￣Y^Y^Y^Y^Y￣

StressTest● ネットワークの性能試験が、DDoS として検知されることがある

● 負荷試験前に、GCP に通知しておきましょう

● やりとりは基本英語です○ もしかすると、Gold Support 以上なら、日本語でも対応してもらえるかも

● 解除まで諸々のやり取りを含め大体、3 - 4 営業日はかかりました

GCP VM● Instance Type● Metadata● Maintenance● Disk



$ curl http://169.254.169.254/latest/meta-data/

http://169.254.169.254/latest/meta-data/



1TB SSD Bandwidth (512K random read) 1TB SSD IOPS (4k random write)

246MB/sec 15350 IOPS

GCP VM● 内部DNSの断捨離

● LocalSSD

PaaS

AWS GCP

Route53 CloudDNS

RDS CloudSQL

S3 CloudStorage

Elasticache GCE で頑張りましょう

CloudFront CloudCDN

ELB LB (HTTP/Network)

PaaS

AWS GCP

Route53 CloudDNS

RDS CloudSQL

S3 CloudStorage

Elasticache GCE で頑張りましょう

CloudFront CloudCDN

ELB LB (HTTP/Network)● アクセス制限周り● SSL● 性能 etc

KLAWS● s/AWS/GCP したときのざっくりした違い

● あまり時間もないので、差異の紹介はここまで

● 結局使えるのかどうか

KLAWS on GCP● 複数の IaaS を実際に触って、初めて分かるメリットがある

● IaaS の差異を見ていくのは結構面白い

● GCP の今後に期待○ 来年の春には、ガッツリ使えるようなクオリティになっている事を期待

Engineering

KLAWS on GCP