© RecoChoku Co.,Ltd. Proprietary and Confidential2017/01/26
Mackerel x Twilio ~レコチョクの場合~
© RecoChoku Co.,Ltd. Proprietary and Confidential
自己紹介
205/01/2023 205/01/2023
名前 伊藤 智之
部署 プラットフォーム推進部 基盤グループ
経歴 もともとは営業職。 IT 業界は、 10 年ちょい。。。 主に運用周りの設計や業務を担当
名前 鷹箸 兼介
部署 システム事業部 ミュージック・アーキテクトグループ
経歴 元 Sier でシステム設計・構築・運用を主に担当 レコチョクに来てからは AWS の運用周りを担当
© RecoChoku Co.,Ltd. Proprietary and Confidential 305/01/2023 305/01/2023
・レコチョクについて
・監視システムについて
・ Mackerel x Twilio
・まとめ
アジェンダ
© RecoChoku Co.,Ltd. Proprietary and Confidential 405/01/2023 405/01/2023
レコチョクについて
© RecoChoku Co.,Ltd. Proprietary and Confidential 5
(デバイス
=
ソフトウェア)インターネット
× ×× 音楽
レコチョクはどんな IT 企業か?
© RecoChoku Co.,Ltd. Proprietary and Confidential 6
http://techblog.recochoku.jp/
外部に向けたエンジニア活動
© RecoChoku Co.,Ltd. Proprietary and Confidential 705/01/2023 705/01/2023
監視システムについて
© RecoChoku Co.,Ltd. Proprietary and Confidential 805/01/2023 805/01/2023
・プラットフォーム: AWS・ AWS アカウント: 100over ※システム単位でアカウント作成
・ネットワーク構成:スター型で VPC Peering・利用コンポーネント: EC2 : 1000over 、 ELB : 200over 、 RDS :100over etc
レコチョクシステムについて
© RecoChoku Co.,Ltd. Proprietary and Confidential
①
905/01/2023 905/01/2023
システムA
監視項目: ① web 監視 ②ログ監視 ③ Cloudwacth Alarm監視
システム担当者
監視委託会社②
③
HUB
既存の監視概要図
© RecoChoku Co.,Ltd. Proprietary and Confidential 1005/01/2023 1005/01/2023
・監視設定依頼申請の手間とリードタイム問題
・監視ツール混在状態 - グラフ確認 Cloudwatch - アラート通知は、 zabbix & Cloudwatch ・ Zabbix 自体の監視
・システム毎の属人化と監視レベルのばらつき
・監視コストの最適化
既存の課題
© RecoChoku Co.,Ltd. Proprietary and Confidential
①
1105/01/2023 1105/01/2023
システムA
システム担当者
②
③
監視項目:① web 監視 → 外形監視 ②ログ監視 → マカレルエージェント監視 ③ Cloudwacth Alarm 監視 → AWS インテグレーション
Twillio
Mackerel 導入後の監視概要図
organization A
© RecoChoku Co.,Ltd. Proprietary and Confidential 1205/01/2023 1205/01/2023
・監視設定依頼申請の手間とリードタイム問題 ⇒システム担当で完結
・監視ツール混在状態 ⇒ Mackerel で一元管理 ・ Zabbix 自体の監視 ⇒ Mackerel からの監視実装
・システム毎の属人化と監視レベルのばらつき ⇒ Mackerel の利用ガイドラインを策定
・監視コストの最適化 ⇒ Mackerel x Twilio 連携して・・・ここについて、掘り下げま
す!
Mackerel 導入後の変化
© RecoChoku Co.,Ltd. Proprietary and Confidential 1305/01/2023 1305/01/2023
Mackerel x Twilio 連携して・・・
© RecoChoku Co.,Ltd. Proprietary and Confidential
重要度高サービス影響あり電話と Slack
重要度低サービス影響なし
Slack のみ
Mackerel x Twilio 連携して・・・
1405/01/2023
• zabbix で架電通知してたので Mackerel でもやりたかったが出来なかった• 通知先がメールや Slack 等だけだと障害を取りこぼす可能性がある
これがしたい
© RecoChoku Co.,Ltd. Proprietary and Confidential
Mackerel x Twilio 連携して・・・
1505/01/2023
Git
Shell
Twilio 各設定
Mackerel 上での設定内容
User A
User B
User CTwiMLUserAUserBUserC
TwiMLShell
TwiMLTwiMLTwiML
© RecoChoku Co.,Ltd. Proprietary and Confidential
Mackerel x Twillio 連携して・・・
1605/01/2023
① メトリクス送信 ② アラート検
知③TwiML ファイル読み込み
④TwiML 実行
⑤ 一定時間 TwiMLファイル読み込み
⑥ 架電通知開始
⑦ 順次発信
© RecoChoku Co.,Ltd. Proprietary and Confidential 1705/01/2023 1705/01/2023
まとめ
© RecoChoku Co.,Ltd. Proprietary and Confidential 1805/01/2023 1805/01/2023
まだまだ、導入システムが少ない!!
横展開の加速化、横断的に導入をリード!!
監視レベルの標準化監視コスト最適化
Mackerel 導入で、既存課題は潰し込めた!!!結果
課題
NEXT
ゴール
今後の展開
© RecoChoku Co.,Ltd. Proprietary and Confidential
要望的な・・
1905/01/2023
Twilio• ローテーションの柔軟性• 発信者番号の通知 ( 非通知みたいになる )
Mackerel• アラート内容のパラメータを Twilio に渡して欲しい• アラート自動閉塞の設定• Dashboard 作る際にサジェストを出して欲しい• AWS インテグレーションの対象が少ない• メトリクスの保持期間延長• スマホアプリ作って欲しい