Анализируем результаты тестирования производительности с Graphite и Grafana

Software quality assurance days17 Международная конференция по вопросам качества ПОsqadays.com

Минск. 29–30 мая 2015

Семерханов ИльяT-Systems RUS. Санкт-Петербург. Россия

Анализируем результаты перфоманс тестирования с Graphite и Grafana


О себе

https://www.linkedin.com/profile/view?id=110159845

Теперь CM \ DevOpsРаньше QA

https://www.facebook.com/ilya.semerhanov


Перфоманс тестирование. Еще раз?

o Много рассказывают как и чемпроводить тест

o Забывают рассказывать что и какделать дальше


Зачем нам перфоманс?

Производительность

Стрессоустойчивость

Максимальная нагрузка

Стабильность


Создаем нагрузку


Создаем модель нагрузки

o Определяем ключевые показатели эффективности (KPI)

o Выбираем профиль нагрузки

o Определяем необходимое количество нагрузки


Создаем тесты

Apache ab

Apache Jmeter

The Grinder

Selenium

SoapUI

Другое


Запускаем тесты и....анализируем…


Личный опыт

o Топ проект в Telekom Deutschland (T-Mobile)

o Миллионы пользователей по всей Германии

o UI + веб сервисы + сложная бизнес логика

o Сотни новых контрактов заключаются в минуту

o Сотни тысяч одновременных сессий ежеминутно

o Стек java технологий


Личный опыт. Проблемы

Перфоманс тесты проводились каждый релиз 2мя командами

Результаты хорошие

На продакшене все равно переодически проблемы

Недоверие заказчика к результатам тестов


Метрики. Клиент

Время отклика

Пропускная способность

Среднее время работы до отказа

Максимальная нагрузка

Измеряется инструментамиперфоманс тестирования


Метрики. Сервер

Загрузка CPU\JVM

Загрузка памяти

Время сбора мусора

Количество соединений с базой

Утекшие соединения

Количество сессий


Анализируем

Таблица и график в Excel

Встроенный отчет

Профайлер


JRMC (JRockit Mission Control)

JVM аргументы: -Xmanagement:ssl=false,authenticate=false,port=8011,rmiserver_port=8011 -Djava.rmi.server.hostname=localhost


JRMC (JRockit Mission Control)Что можно посмотреть:

oЗагрузка CPU на JVM

oЗагрузка памяти на JVM

oКоличество тредов

oВремя для GC

oСодержимое памяти


JRMC (JRockit Mission Control)Что нельзя посмотреть:

oЗагрузка CPU на сервере

oЗагрузка памяти на сервере

oКоличество сессий

oКоличество подключений к базе данных

oСпецифичные для приложения метрики

oДинамику изменений


Хотим больше данных


Может нам поможет готовыйинструмент...

Например Grafana и Graphite?


Graphite

Масштабируемая система построения графиков в реальном времени.

Специализированная база данных для метрик + бекенд для их обработки + GUI


Grafana

Визуальный редактор и панель для отображения метрик для Graphite.

oНеограниченное количество панелей

oНабор фильтров

oРедактор запросов к Graphite

oКастомизация

oи многое другое


Graphite + Grafana


Graphite + Grafana


Graphite + Grafana


Компоненты

Graphite Webapp – GUI

Graphite Carbon – бекенд

Whisper – специализированная файловая база данных

Graphite API – REST API

Grafana – Rich GUI

Collectors – сборщики данных


Архитектура


Откуда брать данные

Операционная система

Сервера приложения через JMX (MBeans)

Приложение через JMX (Кастомные MBeans)

База данных


Пример коллектора

Отправлем метрику в Graphite


Пример коллектора


Создание графика в Grafana1. Создать dashboard

2. Создать панель

3. Выбрать метрики и нужные машины

4. Выбрать функции преобразования

5. Сохранить


Создание графика в Grafana


Функции, фильтры и трансформации

o averageSeries

o aggregateLine

o countSeries

o diffSeries

o highestAverage

o Integral

o timeShift

http://graphite.readthedocs.org/en/latest/functions.html


Сдвиг по времени


Graphite API

/render endpoint

# Большой графикhttp://graphite/render?target=server.web1.load&height=800&width=600

# Средняя нагрузка за 12 часовhttp://graphite/render?target=averageSeries(server.web*.load)&from=-12hours

# Выгрузка данных в jsonhttp://graphite/render?target=app.numUsers&format=json


Заключение

Анализировать надо данные не только на стороне клиента, но и на сервере

Grafana + Graphite – замена профайлерам при проведении перфоманс тестов

Графики в Grafana дают большие возможностей по анализу результатов тестирования

Graphite API удобный доступ к метрикам для отчетов

Test and have fun


Спасибо за внимание

https://www.linkedin.com/profile/view?id=110159845

https://www.facebook.com/ilya.semerhanov

Education

Анализируем результаты тестирования производительности с Graphite и Grafana