Transcript
Page 1: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential2017/01/26

Mackerel x Twilio ~レコチョクの場合~

Page 2: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential

自己紹介

205/01/2023 205/01/2023

名前 伊藤 智之

部署 プラットフォーム推進部 基盤グループ

経歴 もともとは営業職。 IT 業界は、 10 年ちょい。。。    主に運用周りの設計や業務を担当

名前 鷹箸 兼介

部署 システム事業部 ミュージック・アーキテクトグループ

経歴 元 Sier でシステム設計・構築・運用を主に担当    レコチョクに来てからは AWS の運用周りを担当

Page 3: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 305/01/2023 305/01/2023

・レコチョクについて

・監視システムについて

・ Mackerel x Twilio

・まとめ

アジェンダ

Page 4: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 405/01/2023 405/01/2023

レコチョクについて

Page 5: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 5

(デバイス

ソフトウェア)インターネット

× ×× 音楽

レコチョクはどんな IT 企業か?

Page 6: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 6

http://techblog.recochoku.jp/

外部に向けたエンジニア活動

Page 7: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 705/01/2023 705/01/2023

監視システムについて

Page 8: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 805/01/2023 805/01/2023

・プラットフォーム: AWS・ AWS アカウント: 100over    ※システム単位でアカウント作成

・ネットワーク構成:スター型で VPC Peering・利用コンポーネント:  EC2 : 1000over 、 ELB : 200over 、 RDS :100over etc

レコチョクシステムについて

Page 9: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential

905/01/2023 905/01/2023

システムA

監視項目: ① web 監視        ②ログ監視        ③ Cloudwacth Alarm監視

システム担当者

監視委託会社②

HUB

既存の監視概要図

Page 10: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 1005/01/2023 1005/01/2023

・監視設定依頼申請の手間とリードタイム問題

・監視ツール混在状態   - グラフ確認  Cloudwatch   - アラート通知は、 zabbix & Cloudwatch  ・ Zabbix 自体の監視

・システム毎の属人化と監視レベルのばらつき

・監視コストの最適化

既存の課題

Page 11: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential

1105/01/2023 1105/01/2023

システムA

システム担当者

監視項目:① web 監視 → 外形監視        ②ログ監視 → マカレルエージェント監視        ③ Cloudwacth Alarm 監視 → AWS インテグレーション

Twillio

Mackerel 導入後の監視概要図

organization A

Page 12: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 1205/01/2023 1205/01/2023

・監視設定依頼申請の手間とリードタイム問題 ⇒システム担当で完結

・監視ツール混在状態 ⇒ Mackerel で一元管理  ・ Zabbix 自体の監視 ⇒ Mackerel からの監視実装

・システム毎の属人化と監視レベルのばらつき ⇒ Mackerel の利用ガイドラインを策定

・監視コストの最適化 ⇒ Mackerel x Twilio 連携して・・・ここについて、掘り下げま

す!

Mackerel 導入後の変化

Page 13: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 1305/01/2023 1305/01/2023

Mackerel x Twilio 連携して・・・

Page 14: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential

重要度高サービス影響あり電話と Slack

重要度低サービス影響なし

Slack のみ

Mackerel x Twilio 連携して・・・

1405/01/2023

• zabbix で架電通知してたので Mackerel でもやりたかったが出来なかった• 通知先がメールや Slack 等だけだと障害を取りこぼす可能性がある

これがしたい

Page 15: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential

Mackerel x Twilio 連携して・・・

1505/01/2023

Git

Shell

Twilio 各設定

Mackerel 上での設定内容

User A

User B

User CTwiMLUserAUserBUserC

TwiMLShell

TwiMLTwiMLTwiML

Page 16: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential

Mackerel x Twillio 連携して・・・

1605/01/2023

① メトリクス送信 ② アラート検

知③TwiML ファイル読み込み

④TwiML 実行

⑤ 一定時間 TwiMLファイル読み込み

⑥ 架電通知開始

⑦ 順次発信

Page 17: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 1705/01/2023 1705/01/2023

まとめ

Page 18: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential 1805/01/2023 1805/01/2023

      

まだまだ、導入システムが少ない!!

横展開の加速化、横断的に導入をリード!!

監視レベルの標準化監視コスト最適化

Mackerel 導入で、既存課題は潰し込めた!!!結果

課題

NEXT

ゴール

今後の展開

Page 19: Mackerel x Twilio ~レコチョクの場合~

© RecoChoku Co.,Ltd. Proprietary and Confidential

要望的な・・

1905/01/2023

Twilio• ローテーションの柔軟性• 発信者番号の通知 ( 非通知みたいになる )

Mackerel• アラート内容のパラメータを Twilio に渡して欲しい• アラート自動閉塞の設定• Dashboard 作る際にサジェストを出して欲しい• AWS インテグレーションの対象が少ない• メトリクスの保持期間延長• スマホアプリ作って欲しい