222
Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved. ゲーム事業本部 恋愛ゲームチーム 藤原 ゲームインフラチーム 本田 20140718AutoScale × ゲーム ~運用効率化への取り組み~

AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

  • Upload
    others

  • View
    0

  • Download
    0

Embed Size (px)

Citation preview

Page 1: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

ゲーム事業本部 恋愛ゲームチーム 藤原 涼!ゲームインフラチーム 本田 恭!

2014年07月18日

AutoScale × ゲーム

~運用効率化への取り組み~

Page 2: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

運用効率化に向けたAWS導入背景から運用のお話

AWSをさらに活用するための技術的なお話

~後半~

~前半~

Agenda

Page 3: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1:サービスの特徴とシステム

2:AWSの導入に向けて

3:AWSを利用して発生した問題

Agenda

~前半~

Page 4: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

自己紹介

藤原 涼 (ふじわらりょう)- 2012年新卒入社 (3年目)- Twitter @megadreams14

AWSを使い始めた日- 2013年6月17日(月)

Page 5: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

女性向け

「恋愛ソーシャルゲーム」

における導入事例

Page 6: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

恋愛ソーシャルゲームとは

Page 7: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

恋愛ソーシャルゲームとは

華やかで

甘いストーリー

が楽しめる

http://ikemen.cybird.ne.jp/of/play.html

Page 8: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

アバターなどを

着せ替えて可愛く

コーディネイトできる

恋愛ソーシャルゲームとは

http://ikemen.cybird.ne.jp/of/play.html

Page 9: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

恋愛ソーシャルゲームとは

http://ikemen.cybird.ne.jp/of/message.html

私達が皆様にお約束すること

Page 10: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

リリース一覧

Page 11: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在提供している恋愛ソーシャルゲーム

イケメン大奥 恋の園

イケメン恋戦 平清盛

100日間のプリンセス もうひとつのイケメン王宮

イケメン王宮 真夜中のシンデレラ

新章イケメン大奥 禁じられた恋

イケメン幕末 運命の恋

ラブセン ~V6とヒミツの恋~

美男宮殿 月下灰姑娘

美男大奧 江戶奇緣

イケメン夜曲 ロミオと秘密のジュリエット

한밤중의 신데렐라

Page 12: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在提供している恋愛ソーシャルゲーム

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

AppStore GooglePlayAmeba

AppStore GooglePlayAppStore GooglePlay AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

dゲーム

Page 13: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在提供している恋愛ソーシャルゲーム

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

AppStore GooglePlayAmeba

AppStore GooglePlayAppStore GooglePlay AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

dゲーム

全40サイト

Page 14: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

特徴

Page 15: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

朝と夜にアクセス上昇

月1回の大きなイベント

弊社恋愛ソーシャルゲームの特徴

Page 16: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

朝と夜にアクセス上昇

弊社恋愛ソーシャルゲームの特徴

通勤通学時間帯・日付変更時に集中

http://gamebiz.jp/?p=127080

1日のアクセス数の変化

朝 夜

Page 17: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

月1回の大きなイベント

弊社恋愛ソーシャルゲームの特徴

通常の約5倍のアクセスイベント開始時のアクセス数の変化

Page 18: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

月1回の大きなイベント

弊社恋愛ソーシャルゲームの特徴

アバターの付与

華やかにドレスアップ♪

「100日間のプリンセス◆もうひとつのイケメン王宮」より

Page 19: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

月1回の大きなイベント

弊社恋愛ソーシャルゲームの特徴

アバターの付与

華やかにドレスアップ♪

「100日間のプリンセス◆もうひとつのイケメン王宮」より

アバター合成でサーバ負荷

Page 20: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

システム要件

Page 21: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

弊社恋愛ソーシャルゲームのシステム要件

Web LoadBarancer

Webサーバ アバター合成サーバ

Server Server Server

Image LoadBarancer

Server Server Server

Page 22: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1:サービスの特徴とシステム

~前半~

2:AWSの導入に向けて

3:AWSを利用して発生した問題

Agenda

Page 23: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSを使うまでの苦労

Page 24: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

イベント前のサーバ追加

手動でサーバ追加

サーバの追加に時間がかかる

AWSを使うまでの苦労

Page 25: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

コンテンツ数が多い

イベント前のサーバ追加LB LBLB LBLB LBLB LBLB LBLB LBLB LB

AWSを使うまでの苦労

Page 26: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

事前追加や障害対応

アラートメール

状況確認

サーバ追加

手動でサーバ追加

AWSを使うまでの苦労

Page 27: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

30分~2時間程度サーバの追加に時間がかかる

サーバ追加 ステータスが変わらない

AWSを使うまでの苦労

Page 28: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

機会損失 運用コスト

運用上の課題

AWSを使うまでの苦労

Page 29: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScale

URL

Page 30: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleとは

サーバの負荷に合わせて

自動でサーバを追加/削除する機能

サーバ負荷 スケジュール

Page 31: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用するには

Page 32: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

サーバ構築の自動化

スケールイン時のデータの扱い

AutoScaleを利用するには

Page 33: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

増えるだけでなく減ることも考慮

ログファイル

セッションデータ

画像ファイル

AutoScaleを利用するには

Page 34: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

サーバ構築の自動化

スケールイン時のデータの扱い

AutoScaleを利用するには

Page 35: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AMI

画像ファイル Apacheの設定

ミドルウェアのインストール

AMIで実現可能・・・だがサーバ構築の自動化

Page 36: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在提供している恋愛ソーシャルゲーム

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

GREE Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

Ameba

AppStore GooglePlay

AppStore GooglePlayAmeba

AppStore GooglePlayAppStore GooglePlay AppStore GooglePlay

GREE Mobage Ameba

AppStore GooglePlay

dゲーム

設定が異なる複数のAMIが必要

Page 37: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

http://www.techtonet.com/jenkins-continuous-integration/

Page 38: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

サーバ構築の自動化を目指して

手動によるミスを無くすことが出来る

サーバごとに設定値を変更出来る

繰り返し作業を自動化出来る

Chef導入理由

Page 39: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

NTPのインストール ユーザディレクトリの設定 yum: epelレポジトリ追加 yum: remiレポジトリ追加 yum: tdレポジトリ追加 yumのキャッシュをクリア swap領域の設定 SELinuxの設定 ユーザの作成 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール コンパイル系パッケージインストール mail,sarコマンドなどのインストール gitのインストール 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール

PHPのインストール PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール Apache:インストール ZABBIX: agentインストール Chef:knifeコマンドの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動

全34項目

サーバ構築の自動化を目指して ~Chefで設定したこと~

Page 40: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

NTPのインストール ユーザディレクトリの設定 yum: epelレポジトリ追加 yum: remiレポジトリ追加 yum: tdレポジトリ追加 yumのキャッシュをクリア swap領域の設定 SELinuxの設定 ユーザの作成 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール コンパイル系パッケージインストール mail,sarコマンドなどのインストール gitのインストール 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール

全34項目

サーバ構築の自動化を目指して ~Chefで設定したこと~PHPのインストール PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール Apache:インストール ZABBIX: agentインストール Chef:knifeコマンドの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動

約20分

Page 41: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

NTPユーザディレクトリの設定yum: yum: remiyum: tdyumswapSELinuxユーザの作成sudoファイアウォールの設定【【コンパイル系パッケージインストールmail,sargit社内SWFEditorImagick

全34項目

サーバ構築の自動化を目指して ~Chefで設定したこと~PHPPHPMySQLFluentdApache:ZABBIX: agentChef:knife起動スクリプトの配置起動スクリプトのデーモン化ホストの設定【Apache : Apache ZABBIX: agentFluentd : td-agent

サーバ構築をスピードよく

約20分

Page 42: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

イケメン幕末 運命の恋

イケメン夜曲 ロミオと秘密のジュリエット

共通の部分はAMIの中で定義

サーバ構築の自動化を目指して ~Chefで設定したこと~

イケメン夜曲用AMI イケメン幕末用AMI

Page 43: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

設定の違いのみをChefで実行

サーバ構築の自動化を目指して ~Chefで設定したこと~イケメン幕末 運命の恋

イケメン夜曲 ロミオと秘密のジュリエット

GREE

イケメン夜曲用AMI

GooglePlay

イケメン幕末用AMI

AppStoreMobage GooglePlayAppStoreAmeba

Page 44: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

NTPのインストール ユーザディレクトリの設定 yum: epelレポジトリ追加 yum: remiレポジトリ追加 yum: tdレポジトリ追加 yumのキャッシュをクリア swap領域の設定 SELinuxの設定 ユーザの作成 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール コンパイル系パッケージインストール mail,sarコマンドなどのインストール gitのインストール 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール

PHPのインストール PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール Apache:インストール ZABBIX: agentインストール Chef:knifeコマンドの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動

サーバ構築の自動化を目指して ~Chefで設定したこと~

共通28項目

全34項目

Page 45: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

NTPのインストール ユーザディレクトリの設定 yum: epelレポジトリ追加 yum: remiレポジトリ追加 yum: tdレポジトリ追加 yumのキャッシュをクリア swap領域の設定 SELinuxの設定 ユーザの作成 sudo権限の設定 ファイアウォールの設定 【AWS】CLIのインストール 【AWS】S3コマンドのインストール コンパイル系パッケージインストール mail,sarコマンドなどのインストール gitのインストール 社内gitレポジトリへのアクセス設定 SWFEditorのインストール Imagickのインストール

PHPのインストール PHPパッケージのインストール MySQLクライアントのインストール Fluentdクライアントインストール Apache:インストール ZABBIX: agentインストール Chef:knifeコマンドの設定 起動スクリプトの配置 起動スクリプトのデーモン化 ホストの設定 【AWS】ディスクパーティションの設定 Apache : virtualhostsの設定 Apache : 起動 ZABBIX: agent起動 Fluentd : td-agent: 起動

全34項目

サーバ構築の自動化を目指して ~Chefで設定したこと~

設定6項目

約5分

+ デプロイ

Page 46: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Chef × AWS

サーバ構築の自動化を目指して ~Chefの実行~

Page 47: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScale構成図

Page 48: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

各ゾーンに均等にインスタンスを配置

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

Page 49: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンドインスタンス Auto Scaling Groupオンデマンド

EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

Page 50: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

CloudWatchでサーバ監視CloudWatch

Page 51: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

CloudWatchでサーバ監視CloudWatch

アラートを検知Alarm

Page 52: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

CloudWatchでサーバ監視CloudWatch

Alarm

AMIから起動

AMI

Page 53: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

CloudWatchでサーバ監視CloudWatch

Alarm

Chefの実行

AMI

Page 54: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

CloudWatchでサーバ監視CloudWatch

Alarm

2台ずつ追加

AMI

EC2 Instance

EC2 Instance

Page 55: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleによる運用が順調にスタートAutoScaleを利用した構成図

CPUロードアベレージ

Page 56: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1:サービスの特徴とシステム

~前半~

2:AWSを導入に向けて

3:AWSを利用して発生した問題

Agenda

Page 57: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSを使ってみて

利便性

オンデマンドの価格

機能とサポート

Page 58: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

価格・・・高い問題≈ç

Page 59: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

価格・・・やはり高い問題

リザーブドインスタンス検討

Page 60: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

リザーブドインスタンスとは

予約金を一括で支払うことで、 期間内の時間あたりの料金が安くなる

インスタンス性能の変更に制約がある

年単位での支払い

~特徴~

Page 61: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

リザーブドインスタンスとは

予約金を一括で支払うことで、 期間内の時間あたりの料金が安くなる

インスタンス性能の変更に制約がある

年単位での支払い

~特徴~性能決めつけはリスク

Page 62: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

価格・・・やはり高い問題

スポットインスタンス検討

Page 63: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットインスタンスとは

需要と共有のバランスによって

サーバの価格が決まる入札制度

必要なときに短時間だけ利用

約5分の1の価格~特徴~

Page 64: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Instance Type

Availability zone

それぞれ価格が違う

スポットインスタンスとは

Page 65: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットインスタンスの特徴

2:サーバ価格より入札額が低いと

1:価格が変動

・サーバが落ちる

・サーバが起動しない

Page 66: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1:価格が変動

需要と供給のバランスで価格が変動

Page 67: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

2:サーバ価格より入札額が低いと落ちる

入札額 現在のサーバ価格<=

サーバが落ちる※自動でサーバが落ちた場合、1時間未満の使用料については課金されない

既にサーバを利用中の場合

Page 68: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

2:サーバ価格より入札額が低いと起動しない

入札額 現在のサーバ価格<=

これからサーバを利用する場合

サーバが起動しない

Page 69: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットインスタンスの特徴

2:サーバ価格より入札額が低いと

1:価格が変動

・サーバが落ちる

本番での運用はリスク

Page 70: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットインスタンスの問題点

価格高くなる

サーバ落ちる サーバ起動しない

本番運用での課題

Page 71: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

価格情報を監視

CYBIRDが考えたスポットの解決策1

ō

Page 72: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

解決策1:価格情報を監視

価格変動の状況を把握する

入札価格の決定

Page 73: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

解決策1:価格情報を監視

http://www.zabbix.com/jp/img/logo/zabbix_logo_500x131.png

Page 74: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

価格情報を監視・記録

解決策1:価格情報を監視

Page 75: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットとAutoScale

CYBIRDが考えたスポットの解決策2

ō

Page 76: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

入札価格の変更はConfigの変更だけで可能

解決策2:AutoScaleの利用

AutoScaleの利点

設定されたインスタンス起動数を担保する仕組み

Page 77: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

解決策2:AutoScaleの利用

AutoScalingGroup・インスタンス起動数・LaunchConfigの指定

LaunchConfig・インスタンスタイプ・スポットインスタンス入札額

Page 78: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

入札価格の変更はConfigの変更だけで可能

解決策2:インスタンス起動数を担保する仕組み

AutoScaleの利点

設定されたインスタンス起動数を担保する仕組み

Page 79: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScalingGroup・インスタンス起動数・LaunchConfigの指定

LaunchConfig・インスタンスタイプ・スポットインスタンス入札額

解決策2:インスタンス起動数を担保する仕組み

Page 80: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

解決策2:インスタンス起動数を担保する仕組み

オンデマンド インスタンス すぐにサーバ起動

スポットインスタンス 入札価格足りている 入札後サーバ起動

スポットインスタンス 入札価格足りていない 入札待ちが続く

設定したサーバの起動数に足りていない時

Page 81: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

解決策2:インスタンス起動数を担保する仕組み

オンデマンド インスタンス すぐにサーバ起動

スポットインスタンス 入札価格足りている 入札後サーバ起動

スポットインスタンス 入札価格足りていない 入札待ちが続く

設定したサーバの起動数に足りていない時

Page 82: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

入札価格の変更はConfigの変更だけで可能

AutoScaleの利点

設定されたインスタンス起動数を担保する仕組み

解決策2:AutoScaleの利用

Page 83: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

解決策2:AutoScaleの利用

AutoScalingGroup・インスタンス起動数・LaunchConfigの指定

LaunchConfig・インスタンスタイプ・スポットインスタンス入札額

Page 84: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScalingGroupの設定解決策2:AutoScaleの利用

LaunchConfigA

$2.0入札m3.2xlarge

AutoScalingGroup

2台起動LaunchConfigA

Page 85: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScalingGroupの設定解決策2:AutoScaleの利用

LaunchConfigAの入札額では入札価格が足りない

ずっと入札を待ち続ける

AutoScalingGroup

2台起動LaunchConfigA

入札待ちConfigA

LaunchConfigA

$2.0入札m3.2xlarge

m3.2xlargeの価格 = $3.0

Page 86: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScalingGroupの設定解決策2:AutoScaleの利用

LaunchConfigA

$2.0入札m3.2xlargeLaunchConfigB

$3.0入札c3.2xlarge

AutoScalingGroup

2台起動LaunchConfigB

サーバが起動できるLaunchConfigBに切り替える

新規で入札が入る入札中止ConfigA

新規入札ConfigB

c3.2xlargeの価格 = $0.8

Page 87: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScalingGroupの設定解決策2:AutoScaleの利用

LaunchConfigA

$2.0入札m3.2xlargeLaunchConfigB

$3.0入札c3.2xlarge

AutoScalingGroup

2台起動LaunchConfigB

サーバが起動できるLaunchConfigBに切り替える

新規で入札が入る入札中止ConfigA

新規入札ConfigB

c3.2xlargeの価格 = $0.8無事にサーバ起動

Page 88: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

構成図

CYBIRDが考えたスポットインスタンス運用

ō

Page 89: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

Page 90: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleを利用した構成図

ゾーンA ゾーンB

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

オンデマンド EC2

Elastic Load Balancing

スポットインスタンス AutoScalingGroup

スポット EC2

スポット EC2

Page 91: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

オンデマンドインスタンススポットインスタンス

価格・・・高い問題

オンデマンドとスポットの利用比率

1ヶ月の使用時間の比率

Page 92: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

オンデマンドインスタンススポットインスタンス

オンデマンドとスポットの利用比率

1ヶ月の使用時間の比率

3~4割のコスト削減

価格・・・高い問題

Page 93: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

オンデマンドインスタンススポットインスタンス

オンデマンドとスポットの利用比率

1ヶ月の使用時間の比率

3~4割のコスト削減

価格・・・高い問題

Page 94: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットの利用者が増えた≈ç

Page 95: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

2013年8月からスポットを利用

スポットの利用者が増えた問題

Page 96: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

価格変動はほとんど無かった

スポットの利用者が増えた問題

Page 97: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

価格変動が激しいスポットの利用者が増えた問題

Page 98: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

利用者が増えたことで起きた問題

スポットの利用者が増えた問題

Page 99: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

朝と夜にアクセス上昇

月1回の大きなイベント

再掲

スポットの利用者が増えた問題

Page 100: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

通常時のサーバの例

オンデマンド

WebServer

スポットの利用者が増えた問題

スポット

Page 101: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

イベントに備えサーバ追加

オンデマンド オンデマンド

WebServer

スポット スポット

オンデマンド オンデマンド

スポット スポット

スポットの利用者が増えた問題

Page 102: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットインスタンスの価格上昇スポットの利用者が増えた問題

Page 103: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

スポットの利用者が増えた問題

スポットインスタンスの価格上昇

自分たちで価格吊り上げる

Page 104: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在取り組んでいること

Page 105: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在取り組んでいること

スポットインスタンスConfig切り替え自動化

Page 106: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

今出来ていること

現在取り組んでいること

スポットの!価格状況が把握

AutoScaleの!容易な設定変更

Page 107: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

やりたいこと

AutoScaleの!容易な設定変更

現在取り組んでいること

スポットの!価格状況が把握

自動化

Page 108: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在取り組んでいること

1:価格変動のアラートの閾値を設定

2:最適なインスタンス・入札額の選定

3:AutoScalingGroupに適用

Page 109: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

現在取り組んでいること

1:価格変動のアラートの閾値を設定

安定稼働とコスト最適化を目指す

3:

Page 110: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSのAutoScale

運用コスト削減

様々なツールと組み合わせることで!ニーズに合ったソリューションを構築

AutoScale スポットインスタンス

Page 111: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

ここからは!より技術的なお話

Page 112: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

運用効率化に向けたAWS導入背景から運用のお話

AWSをさらに活用するための技術的なお話

~後半~

~前半~

Agenda

Page 113: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1:アバター合成サーバの負荷対策

2:ログ収集の効率化

3:まとめ

Agenda

~後半~

Page 114: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

自己紹介

本田 恭 (ほんだ たかし)- 2012年新卒入社 (3年目)- Twitter @Altsencturely

好きなAWSのサービス- S3

Page 115: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1:アバター合成サーバの負荷対策

2:ログ収集の効率化

3:まとめ

Agenda

~後半~

Page 116: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

アバター合成サーバの 負荷対策

Page 117: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

恋愛ソーシャルゲームとは

アバターなどを 着せ替えて可愛く コーディネイトできる

Page 118: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

アバター画像の基本的な仕組み

Page 119: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

ある

画像のレスポンス

ない

画像のレスポンス

画像の存在確認 画像の存在確認

画像の生成 (ImageMagick)

Page 120: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

これまでの環境

Page 121: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

これまでの環境

Image Image Image

NAS

Page 122: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

サーバ間で同じ画像は作成されない

これまでの環境

Page 123: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSのAutoScale運用を行う場合

Page 124: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Image Image Image

S3

AWSの場合1

Page 125: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSの場合1

・S3のマウント先への書き込みに時間がかかる

・サーバ高負荷時にマウントが外れる

Page 126: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSの場合1

・サーバ高負荷時にマウントが外れる

S3のマウントはNASの様にいかない

Page 127: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

画像A

画像Aリクエスト

画像Aが ないので作成

AWSの場合2

Image Image

Image LoadBarancer

1 2

Page 128: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

画像を余分に作成することの問題点

CPUロードアベレージ

サーバを増やしても負荷が減らない

Page 129: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

画像を余分に作成することの問題点

安定運用できない

Page 130: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

アバター合成サーバの安定運用 ||

合成の回数を減らす

安定運用のために

Page 131: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

サーバ間で画像ファイルを共有

アバター合成サーバの安定運用 ||

合成の回数を減らす

安定運用のために

Page 132: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

http://shoreditchworks.com/sw/wp-content/uploads/2013/10/orange-ant-glusterfs.png

Page 133: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

マスターレスな分散ファイルシステム

GlusterFSとは

Page 134: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

マスターレスとは

特定のサーバに依存しないクラスタ構成

Page 135: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA

nodeB nodeCGlusterFS-Cluster

マスターレスとは

ノード間で同期

Page 136: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA

nodeB nodeCGlusterFS-Cluster

ノード間で同期

マスターレスとは

単一障害点が存在しない

Page 137: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1. ルート以外のパーティションでEBSをマウント

2. GlusterFSのクラスタ構築 (peer probe)

3. ファイルシステムを構築

4. 作成したファイルシステムをマウント

AWS上でGlusterFSの構築手順

Page 138: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1. ルート以外のパーティションでEBSをマウント

2. GlusterFSのクラスタ構築 (peer probe)

3. ファイルシステムを構築

4. 作成したファイルシステムをマウント

AWS上でGlusterFSの構築手順

Page 139: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

クラスタ構築

GlusterFS-Cluster

Page 140: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

追加 peer probe

クラスタ構築

GlusterFS-Cluster

Page 141: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

追加peer probeクラスタのメンバが追加する

クラスタ構築

GlusterFS-Cluster

Page 142: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

GlusterFSのクラスタのメンバ(nodeAまたはnodeB)が メンバ追加コマンドを実行

# gluster peer probe nodeCまたは

# gluster peer probe 172.31.0.3

peer probeの違い

Page 143: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Number of Peers: 2 !

Hostname: nodeB Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) !

Hostname: nodeC Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected)

# gluster peer status

peer probeの違い

Number of Peers: 2 !

Hostname: 172.31.0.2 Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) !

Hostname: 172.31.0.3 Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected)

Page 144: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSだとIPが自動で割り当てられる

AutoScale時のpeer probe

Page 145: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

サーバを一意に特定できるホスト名の方が管理しやすい

AutoScale時のpeer probe

AWSだとIPが自動で割り当てられる

Page 146: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

# gluster peer probe HOSTNAME

サーバを一意に特定できるホスト名の方が管理しやすい

AutoScale時のpeer probe

AWSだとIPが自動で割り当てられる

Page 147: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1. GlusterFSのクラスタの生きているノードが   クラスタに追加

2. IPアドレスではなくホスト名を使用

GlusterFS構築の注意点

Page 148: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleに対応させるためには

Page 149: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1. GlusterFSのクラスタの生きているノードの自動判別

2. クラスタ内での自動名前解決

GlusterFSのAutoScale対応

Page 150: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

追加 peer probe

クラスタの自動構築

GlusterFS-Cluster

Page 151: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

1. SSH

クラスタの自動構築

GlusterFS-Cluster

Page 152: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

1. SSH

2. peer probe

クラスタの自動構築

GlusterFS-Cluster

Page 153: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

GlusterFSのAutoScale対応

1. GlusterFSのクラスタの生きているノードの自動判別

2. クラスタ内での自動名前解決

Page 154: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

案1 GlusterFSのステータスを使う

Page 155: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Number of Peers: 2 !

Hostname: nodeB Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected) !

Hostname: nodeC Uuid: xxxxxxxx-xxxx-xxxx State: Peer in Cluster (Connected)

# gluster peer status

GlusterFSのステータスを使う

Page 156: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

・・・

GlusterFSのステータスを使う

gluster-peer-status

nodeB?

nodeC?

ホスト名がわからない

Page 157: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

案1 GlusterFSのステータスを使う

名前解決されていないため構築できない

Page 158: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

案2 AWS APIを使う

Page 159: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

・・・

1. 情報取得

AWS API

http://cdn.blog.celingest.com/wp-content/uploads/2013/09/aws-s3-512x215.png

Page 160: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

・・・

2. SSH

AWS API

Page 161: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

・・・

3. 情報取得

AWS API

Page 162: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

peer probe

・・・

AWS API

Page 163: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

・・・

AWS API

名前解決出来ていない

Page 164: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

不完全なクラスタが構築される

案2 AWS APIを使う

Page 165: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

• Chef Server API

!

• Zabbix API

!

• 内部DNS

その他の案

http://recipe.kc-cloud.jp/wp-content/uploads/2013/04/20130405_02_01.gif

Page 166: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

単一障害点を作ってしまう

Page 167: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1. GlusterFSのクラスタの生きているノードの自動判別

2. クラスタ内での自動名前解決

GlusterFSのAutoScale対応

Page 168: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1. GlusterFS自動判別

2. クラスタ内での自動名前解決

GlusterFS

GlusterFSのクラスタ内で完結

Page 169: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

S E R Fhttp://pocketstudio.jp.s3.amazonaws.com/log3/wp-content/uploads/2013/11/serf-logo.png

Page 170: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

マスターレスなクラスタ構成 ゴシッププロトコル

Serfとは

Page 171: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

$ serf join nodeA

Serfのクラスタ

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

Serf-Cluster

Page 172: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serfのクラスタ

nodeA 172.31.0.1

nodeB 172.31.0.2

nodeC 172.31.0.3

自分からクラスタに参加できる

Serf-Cluster

$ serf join nodeA

Page 173: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf-Cluster

member-join

nodeA nodeB nodeC

ゴシッププロトコルとは

Page 174: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf-Cluster

nodeA nodeB nodeC

ゴシッププロトコルとは

member-join

Page 175: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf-Cluster

nodeA nodeB nodeC

ゴシッププロトコルとは

Page 176: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf-Cluster

nodeA nodeB nodeC

ゴシッププロトコルとは

伝播して同じ状態に

Page 177: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

クラスタ内の名前解決を自動化

Page 178: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

クラスタメンバ情報で生存確認

$ serf members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 alive

Serfで自動名前解決

Page 179: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serfで自動名前解決

member-join

$ serf members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 alive

/etc/hosts

Page 180: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

/etc/hosts

member-join

$ serf members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 aliveクラスタ内の名前解決の自動化

Serfの便利な点

Page 181: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serfのクラスタをマスターレスに構築

Page 182: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

serf-members

172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

http://s3-blog.the-new-it.com.s3.amazonaws.com/wp-content/uploads/2014/01/WPandS3Logos.png

Serfのクラスタをマスターレス

Page 183: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

serf-members

serf-members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive nodeC 172.31.0.3:7946 alive nodeD 172.31.0.4:7946 failed

Serfのクラスタをマスターレス

Page 184: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

$ serf join nodeA

Serfのクラスタをマスターレス

Page 185: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

172.31.0.1 172.31.0.2

172.31.0.3 172.31.0.4

$ serf join nodeA

Serfのクラスタをマスターレス

マスターレスにクラスタ構築

Page 186: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

S3の耐障害性 !

最大 99.999999999% の耐久性と 99.99% の可用性

安定してどこからでも使える

S3を使う理由

Page 187: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf × S3

Page 188: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

クラスタの名前解決クラスタの追加/削除時に/etc/hostsが 修正されメンバ間は名前解決可能

Page 189: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1. GlusterFSのクラスタの生きているノードの自動判別

2. クラスタ内での自動名前解決

GlusterFSのAutoScale対応

Page 190: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

GlusterFSのAutoScale対応の仕組み

Page 191: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf-Cluster

nodeA nodeB nodeC

GlusterFS-Cluster

Page 192: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA nodeB nodeC

serf-members

Serf-Cluster

Page 193: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf-Cluster

serf-members nodeA 172.31.0.1:7946 alive nodeB 172.31.0.2:7946 alive

nodeA nodeB nodeC$ serf join nodeB

Page 194: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Serf-Cluster

member-joinmember-joinmember-join

nodeA nodeB nodeC

Page 195: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA nodeB nodeC

GlusterFS-Cluster

Serf-Cluster

Page 196: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA nodeB nodeC

1. SSH

2. peer probe

GlusterFS-Cluster

Serf-Cluster

Page 197: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

nodeA nodeB nodeC

serf-members

GlusterFS-Cluster

Page 198: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

GlusterFSのマスターレスな構築

Page 199: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

GlusterFS × Serf × S3

http://www.gluster.org/images/antmascot.png

Page 200: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AutoScaleに対応

GlusterFSの導入

Webサーバと同じ様にスケールアウト

ファイル共有により無駄なアバター合成 削減し負荷の軽減

Page 201: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

1:アバター合成サーバの負荷対策

2:ログ収集の効率化

3:まとめ

Agenda

~後半~

Page 202: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

ログ収集の効率化

Page 203: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

http://excalemedia.s3.amazonaws.com/wp-content/uploads/2014/02/fluentd2.png

Page 204: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

なぜFluentdを使うの?

AutoScaleだと サーバが削除された時ログも消える

Page 205: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Fluentdの運用を出来るだけ楽に !

中継サーバのリソースを十分に使う

Fluentdの要件

Page 206: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

分析用VPCタイトル毎のVPC

Server

Redshift

Elasticsearch

Fluentd Fluentd Fluentd Fluentd

Server Server Server

Page 207: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Redshift

Elasticsearch

Fluentd Fluentd Fluentd Fluentd

分析用VPCタイトル毎のVPC

Fluentd 中継

Fluentd 中継

Server Server Server Server

Page 208: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Redshift

Elasticsearch

分析用VPCタイトル毎の

Fluentd 中継

Fluentd Fluentd Fluentd Fluentd

Server Server Server Server

Fluentd 中継

Page 209: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

https://blog.linode.com/wp-content/uploads/2014/01/docker.png

Page 210: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Redshift

Elasticsearch

Fluentd 中継

分析用VPCタイトル毎のVPC

Fluentd 中継

Fluentd Fluentd Fluentd Fluentd

Server Server Server Server

Page 211: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

分析用VPCタイトル毎の

Fluentd 中継

Fluentd 中継

Fluentd 中継

Fluentd Fluentd Fluentd Fluentd

Server Server Server Server

Fluentd 中継

Page 212: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Redshift

Elasticsearch

Fluentd 中継

分析用VPCタイトル毎のVPC

Fluentd 中継

Fluentd 中継

Fluentd 中継

Fluentd Fluentd Fluentd Fluentd

Server Server Server Server

Page 213: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

Fluentd × Docker × Jenkins

Page 214: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

運用効率化

リソースの活用

JenkinsでFluentdの増減を管理

中継サーバのリソースを無駄なく利用

Page 215: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

One more thing…

Page 216: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

http://tctechcrunch2011.files.wordpress.com/2010/07/github-logo.png

Chef Serverspec

Docker

JMeter

JMeter負荷

Vagrant

JMeter

Page 217: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

まとめ

Page 218: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSの価値とは

Page 219: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

AWSの機能を使えばやりたいことが簡単にすぐに導入できる

試験的・部分的な利用から本番運用まで

幅広い利用をサポート

Page 220: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

APIを使って自分たちの体制に合わせて最適化可能

海外等の普段手が回らない部分までカバー

運用コスト削減

Page 221: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.

すべての開発者が、するキモチのような心やすまる運用を。

AWSが私達にくれたもの

Page 222: AutoScale ゲーム ~運用効率化への取り組み~ - …Title [当日発表資料]AWS_Summit_CYBIRD_fix.key Created Date 7/22/2014 7:07:32 AM

Copyright 2014 CYBIRD Co., Ltd. All Rights Reserved.