Badger - инструмент для

мониторинга качества продуктов

Шрейдер Ирина

1

2

3

4

5

О чем речь?

Проблемы

Проблема доступности тестов

8

Проблема доступности тестов

• сложный запуск тестов

~10 ручных действий

9

Проблема доступности тестов

• сложный запуск тестов

~10 ручных действий

• кол-во окружений

изменение конфигов вручную

10

Проблема количества тестов

11

Проблема количества тестов

• время выполнения

4 часа ожидания

12

Проблема количества тестов

• время выполнения

4 часа ожидания

• неполнота/некорретность отчетов

нет причины скипов

13

Отсутствие тестовой статистики

14

Отсутствие тестовой статистики

сколько тестов?

тенденции развития?

результаты последней регрессии?

сколько фейлов?

какое качество у продукта?

и т.д.

15

Еще раз

сложный запуск тестов

большое количество окружений

время выполнения

неполнота/некорретность отчетов

отсутствие тестовой статистики

16

Решение

Основные требования

• подробные и понятные отчеты

18

Основные требования

• подробные и понятные отчеты

• сбор результатов тестирования

19

Основные требования

• подробные и понятные отчеты

• сбор результатов тестирования

• удобство использования

20

Основные требования

• подробные и понятные отчеты

• сбор результатов тестирования

• удобство использования

• возможность интеграции

21

Основные требования

• подробные и понятные отчеты

• сбор результатов тестирования

• удобство использования

• возможность интеграции

• простота расширения

22

Попробовали

23

Выводы

TestLink TestRail

подробные отчеты - +/-

импорт результатов - +/-

удобство использования - +/-

интеграция с JIRA + +

простота расширения + -

стоимость бесплатный платный

24

Badger - инструмент

для мониторинга

качества продуктов

25

Возможности

26

Возможности

• сбор и хранение результатов тестирования

27

Возможности

• сбор и хранение результатов тестирования

• информативные графики

28

Возможности

• сбор и хранение результатов тестирования

• информативные графики

• интеграция с JIRA

29

Возможности

• сбор и хранение результатов тестирования

• информативные графики

• интеграция с JIRA

• запуск тестов*

* пока только для unix

30

Что мониторить?

Статистика по тестамПример: время выполнения

32

Статистика по тестамПример: количество скипов

33

Статистика по тестамПример: количество фейлов

34

Статистика по тестамПример: тенденции

35

Статистика по релизам

36

Статистика по багам

37

Статистика по багам

38

Как мониторить?

40

Путь 1:отправка данных в Badger

Отправка данных

42

Отправка данных

43

Отправка данных

• способы

python утилита, api метод

44

Отправка данных

• способы

python утилита, api метод

• форматы

nunit, junit

45

Путь 2:настройка тестов в Badger

Описание задач

47

Описание задач

48

Описание задач

49

Переменные окружения

50

Переменные окружения

51

Выбор тестов

52

Выбор тестов

53

Выполнение тестов

54

Выполнение тестов

55

Наши проблемы решены

сложный запуск тестов

большое количество окружений

время выполнения

неполнота/некорретность отчетов

отсутствие тестовой статистики

56

Особенности

57

Особенности

• нельзя создавать свои дашборды

• нет настройки графиков

• нет локализации

58

Технологический стек

Технологии

API UI

Python + Django

Django REST Framework

Celery

ExpressJS

AngularJS

60

Инфраструктура

61

Тестирование

API UI

Unit & Functional tests Selenium tests

62

Итоги

Итоги

• повысили качество продуктов

доступность, актуальность

64

Итоги

• повысили качество продуктов

• 18 команд

65

Итоги

• повысили качество продуктов

• 18 команд

время: было 4 часа, стало ~40 минут

скипов: было 20%, стало 4%

релизы: было 1 в неделю, стало 2-3 в неделю

66

Итоги

• повысили качество продуктов

• 18 команд

• гибкий, легкий инструмент

1 человек на поддержке

67

Итоги

• повысили качество продуктов

• 18 команд

• гибкий, легкий инструмент

• opensource

fork, pull request, issues

68

github.com/2gis/badger

github.com/2gis/badger-api

69