DUMP-2013 Serverside - Система сборки и отображении статистики...

Graphite

Халиков Антон, NetAngels.RU

четверг, 23 мая 13 г.

High LA caused by

• IO wait

• RPS

• CPU usage

• Network PPS

• Low memory

• Mail traffic

• CRON

• SWAP

• OOM

четверг, 23 мая 13 г.

четверг, 23 мая 13 г.

RRDTool: Round Robin Database

четверг, 23 мая 13 г.

Round Robin Database

• Файл фиксированного размера• Фиксированные временные шаги• Автоматическая агрегация данных• Обнаружение аномального поведения

четверг, 23 мая 13 г.

RRD: проблемы

Как найти чей это трафик?

четверг, 23 мая 13 г.

RRD: пути решения

• Своя реализация rrd на mongodb

• RRDTool + SQLite

• Проблемы все равно остались

четверг, 23 мая 13 г.

Graphite: плюсы

• Масса функций преобразования данных• Нет проблем с потерей точек

• Вставка данных задним числом

четверг, 23 мая 13 г.

Анатомия Graphite

• whisper: собственная реализация rrd

• carbon: система сбора статистики

• graphite: django based web app (graphs)

четверг, 23 мая 13 г.

Анатомия Carbon

• carbon-cache.py

• carbon-relay.py

• carbon-aggregator.py

• нет никакой авторизации

четверг, 23 мая 13 г.

Graphite в NetAngels• nginx (http post + http auth)

• carbon-collector (berry based WSGI app)

• carbon-collector-processor (bash script)

• carbon-aggregator.py (aggregation/sharding)

• 4 * carbon-cache.py

четверг, 23 мая 13 г.

Graphite в NetAngels• Всего около 260k whisper-файлов

• 250k файлов данных с серверов

• 120k файлов данных о сайтах

• 30k ресурсы клиентов shared хостинга

• 98k ресурсы серверов БД

четверг, 23 мая 13 г.

NetAngels servicedash• dashboard альтернативный graphite

• https://github.com/NetAngels/servicedash

• yaml based config

• группировка серверов/сервисов по типам• summary pages

четверг, 23 мая 13 г.

четверг, 23 мая 13 г.

четверг, 23 мая 13 г.

Спасибо. Вопросы?

• http://www.netangels.ru

• Jabber: ak@netangels.ru

• fb.com/anton.khalikov

четверг, 23 мая 13 г.