Upload
yandex
View
9.423
Download
6
Embed Size (px)
DESCRIPTION
Количество данных, серверов и приложений растёт — нужны новые способы анализа этой информации. В докладе я расскажу о сравнительно новой системе для рисования графиков под названием Graphite. Почему мы выбрали именно её, какие возможности предоставляет эта система. Также я покажу, как собраны наши инсталляции Graphite.
Citation preview
1
2
Graphite – как построить миллион графиков
Куликовский Дмитрий
3
О чем
! Почему графит?
! Архитектура
! Производительность
! Вкусности
4
В чем проблема?
Проще увидеть один график, чем просмотреть тысячу логов.
5
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite
6
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite
7
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite
8
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite
9
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite
10
Варианты решения
! Zabbix
! Agave
! Munin
! Collectd
! Cacti
! Graphite
11
А у нас в графите…
! Масштабирование
! Построение отказоустойчивого сервиса
12
А у нас в графите…
! Простота работы с большими объёмами данных
! Гибкость работы с шаблонами графиков
13
Тест на разладку hw балансера
14
Графики сетевой активности p2p
15
Немного цифр
! 61 requests ❘ 902 KB transferred ❘ 17.54 s
! 6900 метрик выбрано
! 3 преобразования: derivative, scale to seconds, sum
16
Маловато будет!
! Нестрогий порядок timestamp’ов точек
! Данные в реальном времени
! Внутренняя простота
17
18
Маловато будет!
! Нестрогий порядок timestamp’ов точек
! Данные в реальном времени
! Внутренняя простота
19
Маловато будет!
! Нестрогий порядок timestamp’ов точек
! Данные в реальном времени
! Внутренняя простота
20
Архитектура графита
21
Он такой же как и все
! 2 логических части – frontend и backend
! backend на twisted
! frontend на django
22
Мegacarbon
23
Мegacarbon
24
3х слойная масштабируемая архитектура
25
Многослойная безумная архитектура
26
Наш вариант
27
Производительность
28
Конфигурация машин
! E5-2660
! 64Gb RAM
! 4 x ssd 300Gb в raid10
29
Whisper
+ фиксированный размер файла + стабильность - один файл для всех данных - очень ресурсоёмкое создание новых метрик
30
Ceres
+ внутренний механизм кеширования + мгновенное создание новых метрик + rollup идёт отдельным процессом - есть баги - rollup это дорогостоящая операция, которую надо делать
31
whisper
ceres
32
Решение проблем с производительностью
! Шардирование
! Распределённая отрисовка графиков
33
Решение проблем с производительностью
! Шардирование
! Распределённая отрисовка графиков
34
Вкусности
35
Источники данных
! Collectd
! Diamond
! Collectl
! Ganglia
36
Альтернативные интерфейсы - 19 альтернативных веб-интерфейсов для графита
clck.ru/8pjLG
37
Giraffe
38
Graph explorer
39
Graphene
40
Dashboard ex. 1
41
Dashboard ex. 2
42
Dashboard ex. 3
43
Dashboard ex. 4
44
Skyline
45
Наши патчи
! cacti style zoom + fullscreen
! история графика
! свои функции для обработки данных
! дополнительные горячие клавиши
46
Ссылочки
Форк на гитхабе - clck.ru/8pjLr Инструкция для домохозяек - clck.ru/8pjM3
47
Выводы
48
Спасибо за внимание
49
Куликовский Дмитрий Руководитель отдела администрирования рекламных технологий [email protected]