AutoScale×ゲーム ~運用効率化への取り組み~

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

ゲーム事業本部恋愛ゲームチーム　藤原涼!ゲームインフラチーム　本田恭!

2014年07月18日

AutoScale × ゲーム～運用効率化への取り組み～


運用効率化に向けたAWS導入背景から運用のお話

AWSをさらに活用するための技術的なお話

～後半～

～前半～

Agenda


１：アバター合成サーバの負荷対策

２：ログ収集の効率化

３：まとめ

Agenda

～後半～


自己紹介

本田恭 (ほんだたかし)- 2012年新卒入社 (3年目)

- Twitter @Altsencturely

好きなAWSのサービス- S3




３：まとめ

Agenda

～後半～


アバター合成サーバの負荷対策


恋愛ソーシャルゲームとは

アバターなどを着せ替えて可愛くコーディネイトできる


アバター画像の基本的な仕組み


ある

画像のレスポンス

ない

画像のレスポンス

画像の存在確認画像の存在確認

画像の生成 (ImageMagick)


これまでの環境



Image Image Image

NAS


サーバ間で同じ画像は作成されない



AWSのAutoScale運用を行う場合


Image Image Image

S3

AWSの場合1


AWSの場合1

・S3のマウント先への書き込みに時間がかかる

・サーバ高負荷時にマウントが外れる


AWSの場合1

・

・サーバ高負荷時にマウントが外れる

S3のマウントはNASの様にいかない


画像A

画像Aリクエスト

画像Aがないので作成

AWSの場合2

Image Image

Image LoadBarancer

1 2


画像を余分に作成することの問題点

CPUロードアベレージ

サーバを増やしても負荷が減らない


画像を余分に作成することの問題点

安定運用できない


アバター合成サーバの安定運用 ||

合成の回数を減らす

安定運用のために


サーバ間で画像ファイルを共有

アバター合成サーバの安定運用 ||

合成の回数を減らす

安定運用のために


http://shoreditchworks.com/sw/wp-content/uploads/2013/10/orange-ant-glusterfs.png

http://shoreditchworks.com/sw/wp-content/uploads/2013/10/orange-ant-glusterfs.png


マスターレスな分散ファイルシステム

GlusterFSとは


マスターレスとは

特定のサーバに依存しないクラスタ構成


nodeA

nodeB nodeCGlusterFS-Cluster


ノード間で同期


nodeA

nodeB nodeCGlusterFS-Cluster

ノード間で同期


単一障害点が存在しない


1. ルート以外のパーティションでEBSをマウント

2. GlusterFSのクラスタ構築 (peer probe)

3. ファイルシステムを構築

4. 作成したファイルシステムをマウント

AWS上でGlusterFSの構築手順


1. ルート以外のパーティションでEBSをマウント

2. GlusterFSのクラスタ構築 (peer probe)

3. ファイルシステムを構築

4. 作成したファイルシステムをマウント

AWS上でGlusterFSの構築手順


nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

クラスタ構築

GlusterFS-Cluster


nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

追加 peer probe

クラスタ構築

GlusterFS-Cluster


nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

追加peer probeクラスタのメンバが追加する

クラスタ構築

GlusterFS-Cluster


GlusterFSのクラスタのメンバ(nodeAまたはnodeB)がメンバ追加コマンドを実行

# gluster peer probe nodeCまたは

# gluster peer probe 172.31.0.3

peer probeの違い


Number of Peers: 2 !

Hostname: nodeB Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) !

Hostname: nodeC Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected)

# gluster peer status

peer probeの違い


Hostname: 172.31.0.2 Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) !

Hostname: 172.31.0.3 Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected)


AWSだとIPが自動で割り当てられる

AutoScale時のpeer probe


サーバを一意に特定できるホスト名の方が管理しやすい




# gluster peer probe HOSTNAME

サーバを一意に特定できるホスト名の方が管理しやすい




1. GlusterFSのクラスタの生きているノードが　　　クラスタに追加

2. IPアドレスではなくホスト名を使用

GlusterFS構築の注意点


AutoScaleに対応させるためには


1. GlusterFSのクラスタの生きているノードの自動判別

2. クラスタ内での自動名前解決

GlusterFSのAutoScale対応


nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

追加 peer probe

クラスタの自動構築

GlusterFS-Cluster


nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

1. SSH


GlusterFS-Cluster


nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

1. SSH

2. peer probe


GlusterFS-Cluster






案1 GlusterFSのステータスを使う



Hostname: nodeB Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) !

Hostname: nodeC Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected)

# gluster peer status

GlusterFSのステータスを使う


・・・

GlusterFSのステータスを使う

gluster-peer-status

nodeB?

nodeC?

ホスト名がわからない


案1 GlusterFSのステータスを使う

名前解決されていないため構築できない


案2 AWS APIを使う


・・・

1. 情報取得

AWS API

http://cdn.blog.celingest.com/wp-content/uploads/2013/09/aws-s3-512x215.png

http://cdn.blog.celingest.com/wp-content/uploads/2013/09/aws-s3-512x215.png


・・・

2. SSH

AWS API


・・・

3. 情報取得

AWS API


peer probe

・・・

AWS API


・・・

AWS API

名前解決出来ていない


不完全なクラスタが構築される

案2 AWS APIを使う


• Chef Server API

!

• Zabbix API

!

• 内部DNS

その他の案

http://recipe.kc-cloud.jp/wp-content/uploads/2013/04/20130405_02_01.gif

http://recipe.kc-cloud.jp/wp-content/uploads/2013/04/20130405_02_01.gif


単一障害点を作ってしまう






1. GlusterFS自動判別


GlusterFS

GlusterFSのクラスタ内で完結


S E R Fhttp://pocketstudio.jp.s3.amazonaws.com/log3/wp-content/uploads/2013/11/serf-logo.png

http://pocketstudio.jp.s3.amazonaws.com/log3/wp-content/uploads/2013/11/serf-logo.png


マスターレスなクラスタ構成ゴシッププロトコル

Serfとは


$ serf join nodeA

Serfのクラスタ

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

Serf-Cluster


Serfのクラスタ

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

自分からクラスタに参加できる

Serf-Cluster

$ serf join nodeA


Serf-Cluster

member-join

nodeA nodeB nodeC

ゴシッププロトコルとは


Serf-Cluster

nodeA nodeB nodeC


member-join


Serf-Cluster

nodeA nodeB nodeC



Serf-Cluster

nodeA nodeB nodeC


伝播して同じ状態に


クラスタ内の名前解決を自動化


クラスタメンバ情報で生存確認

$ serf members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 alive

Serfで自動名前解決


Serfで自動名前解決

member-join

$ serf members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 alive

/etc/hosts


/etc/hosts

member-join

$ serf members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 aliveクラスタ内の名前解決の自動化

Serfの便利な点


Serfのクラスタをマスターレスに構築


serf-members

172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

http://s3-blog.the-new-it.com.s3.amazonaws.com/wp-content/uploads/2014/01/WPandS3Logos.png

Serfのクラスタをマスターレス

http://s3-blog.the-new-it.com.s3.amazonaws.com/wp-content/uploads/2014/01/WPandS3Logos.png


172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

serf-members

serf-members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 alive nodeD 172.31.0.4:7946 failed



172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

$ serf join nodeA



172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

$ serf join nodeA


マスターレスにクラスタ構築


S3の耐障害性 !

最大 99.999999999% の耐久性と 99.99% の可用性

安定してどこからでも使える

S3を使う理由


Serf　×　S3


クラスタの名前解決クラスタの追加/削除時に/etc/hostsが修正されメンバ間は名前解決可能






GlusterFSのAutoScale対応の仕組み


Serf-Cluster

nodeA nodeB nodeC

GlusterFS-Cluster


nodeA nodeB nodeC

serf-members

Serf-Cluster


Serf-Cluster

serf-members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive

nodeA nodeB nodeC$ serf join nodeB


Serf-Cluster

member-joinmember-joinmember-join

nodeA nodeB nodeC


nodeA nodeB nodeC

GlusterFS-Cluster

Serf-Cluster


nodeA nodeB nodeC

1. SSH

2. peer probe

GlusterFS-Cluster

Serf-Cluster


nodeA nodeB nodeC

serf-members

GlusterFS-Cluster


GlusterFSのマスターレスな構築


GlusterFS × Serf × S3

http://www.gluster.org/images/antmascot.png

http://www.gluster.org/images/antmascot.png


AutoScaleに対応

GlusterFSの導入

Webサーバと同じ様にスケールアウト

ファイル共有により無駄なアバター合成削減し負荷の軽減




３：まとめ

Agenda

～後半～


ログ収集の効率化


http://excalemedia.s3.amazonaws.com/wp-content/uploads/2014/02/fluentd2.png



なぜFluentdを使うの?

AutoScaleだとサーバが削除された時ログも消える


Fluentdの運用を出来るだけ楽に !

中継サーバのリソースを十分に使う

Fluentdの要件


分析用VPCタイトル毎のVPC

Server

Redshift

Elasticsearch

Fluentd Fluentd Fluentd Fluentd

Server Server Server


Redshift

Elasticsearch



Fluentd 中継

Fluentd 中継

Server Server Server Server


Redshift

Elasticsearch

分析用VPCタイトル毎の

Fluentd 中継



Fluentd 中継


https://blog.linode.com/wp-content/uploads/2014/01/docker.png



Redshift

Elasticsearch

Fluentd 中継


Fluentd 中継




分析用VPCタイトル毎の

Fluentd 中継

Fluentd 中継

Fluentd 中継



Fluentd 中継


Redshift

Elasticsearch

Fluentd 中継


Fluentd 中継

Fluentd 中継

Fluentd 中継




Fluentd × Docker × Jenkins


運用効率化

リソースの活用

JenkinsでFluentdの増減を管理

中継サーバのリソースを無駄なく利用

One more thing…


http://tctechcrunch2011.files.wordpress.com/2010/07/github-logo.png

Chef Serverspec

Docker

JMeter

JMeter負荷

Vagrant

JMeter

http://tctechcrunch2011.files.wordpress.com/2010/07/github-logo.png


まとめ


AWSの価値とは


AWSの機能を使えばやりたいことが簡単にすぐに導入できる

試験的・部分的な利用から本番運用まで

幅広い利用をサポート


APIを使って自分たちの体制に合わせて最適化可能

海外等の普段手が回らない部分までカバー

運用コスト削減


すべての開発者が、するキモチのような心やすまる運用を。

AWSが私達にくれたもの


Engineering

AutoScale×ゲーム ~運用効率化への取り組み~