SWF ＋ FlowFramework を使ってみた2015.09.27 JAWS-UG高尾山

(JAWS-UG中央線＆JAWS-UG京王線合同)

誰？• まてつ

• Twitter: @matetsu

• 名刺管理サービスの会社で雑多なことをしている

• JAWS-UG京王線の言い出しっぺ

何をした？

• RDS/EBSのスナップショットからDBのリストア環境を構築してからのdump取得など

それって

• スナップショットを取っておけばいいのでは？

• ReadReplicaでいいのでは？

• SQSでもいいのでは？

• スナップショットよりも個別に小さい単位でリストアしてデータを確認したいこともある

• SWFが使ってみたかっただけという説もある

でも

SWFって

• SWFで検索すると、「もしかして: AWS」と言われたりもする

• ワークフローの面倒な部分を賄ってくれる

どこで使われってる？

• NASA

• CloudAutomator

• Eightのデータ入力システム

FlowFramework?

• SWFの面倒な部分を比較的楽をさせてくれるフレームワーク

• Eightの裏側はSDKで自前で作ってますけど

どう作った？

• バックアップを担当する部分と制御部分を分けて

• 制御サーバ:リストアインスタンスの作成とバックアップサーバの起動など

• バックアップサーバ: dumpと時間や負荷のかかる日次カウント処理

問題点• バックアップ用workerは各DBインスタンス別に動いてほしかったら、ActivityやらWorkflowをそれぞれに対して作らないといけない。

• そうしないと、空いた人が勝手に次のタスクを取っていく

• そりゃそうだよね。そのための仕組みだもん。。。

というわけで

• dump用のworkerはSWFのフローにはのっけなかった。。

動かしてみた• テスト環境での動作検証は問題なし

• RDSのio1→gp2変換時間かかりすぎ

• EBSの方はすぐに変換できるんだから、同じくらいにしてよ！！！！！

• 本番データでの動作検証も時間かかりすぎ

• テストしまくったけど、リストアインスタンスの削除が走る時はｄｋｄｋする

というわけで

• Auroraに移行できたら、こんな苦労しなくてもいいのでは説がまことしやかに囁かれている

• ReadReplicaが使えない諸事情の部分もなくせるはず

結論

• SWFすごいけど、だいたいのことはSQSで繋げばよい

まとめ

• 今日交換した名刺は「Eight」で管理しましょう！

• ちょっとSNS的になってきてるけど、名刺管理の部分はしっかりしてるので是非！

• ステッカーもあるよ！！