60
開発が運用はじめました Operation JAWS JAWS-UG OSAKA 13 回勉強会 オペレーション じょうず JAWS-UG 2015 / 05 / 23 (Sat) at Motex

20150523 operation jaws(JAWS-UG OSAKA #13)

Embed Size (px)

Citation preview

Page 1: 20150523 operation jaws(JAWS-UG OSAKA #13)

開発が運用はじめました~ Operation JAWS ~

JAWS-UG OSAKA 第13回勉強会

オペレーション じょうず

JAWS-UG2015 / 05 / 23 (Sat)

at Motex

Page 2: 20150523 operation jaws(JAWS-UG OSAKA #13)

森 大樹 (もり だいき)業務系+勢い系エンジニア 大阪生まれ大阪育ちの浪速っ子 今、AWSを利用したシステムの 開発と運用をやってます

facebook : /areaz.daiki twitter : @areaz_

hobby:スノボ(アルペンボーダー)    お酒(毎日コンビニで購入)      →C3(Can Convinience Club)会長

Who am I ?

Page 3: 20150523 operation jaws(JAWS-UG OSAKA #13)

AWSとの出会い

Page 4: 20150523 operation jaws(JAWS-UG OSAKA #13)

2011

このへん

Page 5: 20150523 operation jaws(JAWS-UG OSAKA #13)

Amazon EC2

Elastic IP

Elastic LoadBalancing

Amazon RDS

Amazon S3

至ってシンプルなもの

開発してるとき

Page 6: 20150523 operation jaws(JAWS-UG OSAKA #13)

開発してるとき

ニャーscpコマンド cpコマンド

/etc/init.d/tomcat start

Page 7: 20150523 operation jaws(JAWS-UG OSAKA #13)

自分でやるしかない

対処しないの?

開発してるときこのままでは事故発生

Page 8: 20150523 operation jaws(JAWS-UG OSAKA #13)

開発してるとき

/etc/init.d/tomcat start

ニャーUpload using MACRO

Page 9: 20150523 operation jaws(JAWS-UG OSAKA #13)

開発してるとき

Amazon EC2

Elastic IP

Elastic LoadBalancing

Amazon RDS

Amazon S3

スケーリングしても大丈夫な作りに。

手動スケーリングのみ対応

AMI

ニャー

Page 10: 20150523 operation jaws(JAWS-UG OSAKA #13)

Develop

Operation

Turning Point

Page 11: 20150523 operation jaws(JAWS-UG OSAKA #13)

この後、開発しながら運用が諸事情?により、運用側へ・・・

Page 12: 20150523 operation jaws(JAWS-UG OSAKA #13)

何したらいい?

Page 13: 20150523 operation jaws(JAWS-UG OSAKA #13)

•サーバ動いてる?

•システムでエラー出てない?

•性能落ちてない?

Page 14: 20150523 operation jaws(JAWS-UG OSAKA #13)
Page 15: 20150523 operation jaws(JAWS-UG OSAKA #13)

- オープンソースソフトウェア

- マルチプラットフォーム対応

- 多数の監視機能をデフォルトの機能として提供

- 独自のカスタムスクリプトで監視機能を拡張

- 収集した監視データをRDBSに長期保存可能

- 複数データを利用したカスタムグラフの作成

- システム全体のステータスを表示するダッシュボード

- サーバなどをネットワークマップを作成・表示

- 監視データの表示/設定をWebインタフェースから可能

- メールやSMS、Jabberプロトコルで障害通知

Page 16: 20150523 operation jaws(JAWS-UG OSAKA #13)
Page 17: 20150523 operation jaws(JAWS-UG OSAKA #13)

なんとなく名前が

カッコよかったから

なぜ

Page 18: 20150523 operation jaws(JAWS-UG OSAKA #13)

MySQL

AmazonLinux

サーバ構成

Web Server

App Server

Batch Server

Page 19: 20150523 operation jaws(JAWS-UG OSAKA #13)

•サーバの稼働状態

•サーバのリソース(CPU/Memory/Disk)

•アプリケーションログ

• OSログ(EventLogなど)

Page 20: 20150523 operation jaws(JAWS-UG OSAKA #13)

開発が監視するの?

準備完了。監視開始!

Page 21: 20150523 operation jaws(JAWS-UG OSAKA #13)

んな訳ない。

Page 22: 20150523 operation jaws(JAWS-UG OSAKA #13)

どうしたらいい?

Page 23: 20150523 operation jaws(JAWS-UG OSAKA #13)

やっぱり、こうなる。

Page 24: 20150523 operation jaws(JAWS-UG OSAKA #13)

•システムの動きを知らない

•エラーを解決できない

•初めてのクラウド

問題発生

Page 25: 20150523 operation jaws(JAWS-UG OSAKA #13)

と、いうことで・・・

Page 26: 20150523 operation jaws(JAWS-UG OSAKA #13)

運用してるとき

全く、手順通りいかず

いざ、手順評価

急遽、手順書作成

Page 27: 20150523 operation jaws(JAWS-UG OSAKA #13)

あかんパターン。

Page 28: 20150523 operation jaws(JAWS-UG OSAKA #13)
Page 29: 20150523 operation jaws(JAWS-UG OSAKA #13)
Page 30: 20150523 operation jaws(JAWS-UG OSAKA #13)

作り直しました。

Page 31: 20150523 operation jaws(JAWS-UG OSAKA #13)

問題発生 その2•すごいコストがかかってる

•手順通り、監視してない

• Zabbix •リリース失敗・・・

が動いてない

Page 32: 20150523 operation jaws(JAWS-UG OSAKA #13)

問題発生 その2• すごいコストがかかってる

スモールスタートじゃない

Page 33: 20150523 operation jaws(JAWS-UG OSAKA #13)

問題発生 その2• すごいコストがかかってる

スモールスタートじゃない

MS SQL

MS SQL

Page 34: 20150523 operation jaws(JAWS-UG OSAKA #13)

問題発生 その2• すごいコストがかかってる

インスタンスタイプの変更

DB on Instance を

RDS

複数サーバを

ひとまとめに

Future

Page 35: 20150523 operation jaws(JAWS-UG OSAKA #13)

問題発生 その2•手順通り、監視してない

1. 発生数が多い

2.勝手な思い込み

3. 手順が複雑

手順を簡易化

Page 36: 20150523 operation jaws(JAWS-UG OSAKA #13)

ステータス取得 サーバ切り替え

実行 実行

Page 37: 20150523 operation jaws(JAWS-UG OSAKA #13)

問題発生 その2• Zabbix

発生数が多い

監視項目が増加

DB監視アイテムが蓄積できない

が動いてない

の容量不足

Page 38: 20150523 operation jaws(JAWS-UG OSAKA #13)

盲点

ディスク 増量

1. 監視項目の見直し2. 保存期間の見直し3. RDSの監視(DiskSize)

Page 39: 20150523 operation jaws(JAWS-UG OSAKA #13)

•リアルタイムログ取得

•遠隔サービス起動停止EC2 instance contents

EC2 instance contents

Page 40: 20150523 operation jaws(JAWS-UG OSAKA #13)

問題発生 番外編• 聞いてないよ・・・

仕様検討時に決定

なんでそんな作りなの?

じゃ、俺が変える!

Page 41: 20150523 operation jaws(JAWS-UG OSAKA #13)

できるわけがない!

Page 42: 20150523 operation jaws(JAWS-UG OSAKA #13)
Page 43: 20150523 operation jaws(JAWS-UG OSAKA #13)
Page 44: 20150523 operation jaws(JAWS-UG OSAKA #13)

僕が一番感じたこと

Page 45: 20150523 operation jaws(JAWS-UG OSAKA #13)

Develop( ) VS Operation( )開発者 運用者

Page 46: 20150523 operation jaws(JAWS-UG OSAKA #13)

•開発者の思い– – –

•運用者の思い– – –

Page 47: 20150523 operation jaws(JAWS-UG OSAKA #13)

じゃ、どうするの?

Page 48: 20150523 operation jaws(JAWS-UG OSAKA #13)

Develop( ) VS Operation( )開発者 運用者

Page 49: 20150523 operation jaws(JAWS-UG OSAKA #13)

一緒に、やろう

Page 50: 20150523 operation jaws(JAWS-UG OSAKA #13)

•運用を考えた設計

一緒にやろう

•運用を考えた実装•運用を考えた評価

Page 51: 20150523 operation jaws(JAWS-UG OSAKA #13)

一緒に、やろう

Page 52: 20150523 operation jaws(JAWS-UG OSAKA #13)

•一緒に検討開発と運用の共存

•一緒に設計•一緒に評価•一緒にリリース•一緒に運用

Page 53: 20150523 operation jaws(JAWS-UG OSAKA #13)

開発と運用関係ない!一緒にやろ!

Page 54: 20150523 operation jaws(JAWS-UG OSAKA #13)

Develop( ) VS Operation( )開発者 運用者

Page 55: 20150523 operation jaws(JAWS-UG OSAKA #13)
Page 56: 20150523 operation jaws(JAWS-UG OSAKA #13)

Information

Page 57: 20150523 operation jaws(JAWS-UG OSAKA #13)

AWS Summit Tokyo 2015 グランドプリンスホテル新高輪 (国際館パミール、飛天) 来場無料(要事前登録)

2015-06-02 ~ 03

http://www.awssummit.tokyo/

Page 58: 20150523 operation jaws(JAWS-UG OSAKA #13)

LT登壇者募集!JAWS-UG勉強会 【AWS Summit Tokyo 2015】 グランドプリンスホテル新高輪 (国際館パミール、飛天)

2015-06-03 19:00-20:30

Page 59: 20150523 operation jaws(JAWS-UG OSAKA #13)

登壇予定はありませんたぶん・・・

Page 60: 20150523 operation jaws(JAWS-UG OSAKA #13)

ご静聴ありがとうございました