Performance management lessons learnt / Андрей Дмитриев (JUGRU)

19 Международная конференция по вопросам качества ПО

sqadays.com

Андрей Дмитриев

Москва 2016

Performance Management lessons learnt


sqadays.com• разработчик, тимлид, груплид

• лидер JUG.ru и CodeFreeze.ru

2

Кто я?

http://JUG.ru

http://CodeFreeze.ru




3

Кто я?

http://JUG.ru





4

Кто я?

http://JUG.ru





5

Кто я?

http://JUG.ru



sqadays.com• Научить вас проводить performance-тестирование

6

Цель



7

Цель



• Показать как не надо делать

8

Цель




9

Цель




• Поделиться своим опытом

10

Цель





11

Цель





• Нагрузочное тестирование – это не (с)только автоматизированные сценарии, но и автоматизация:

12

Цель






• выборки данных,

13

Цель







• предстартовой проверки и

14

Цель








• анализа результатов.

15

Цель


sqadays.com





16

ЦельА B


sqadays.com





17

ЦельА B C


sqadays.com•Все лгут

•Тестирование – это данные

•Знай и умей свои компоненты

18

План


sqadays.com

19

Все лгут


sqadays.com• Файл с 1,5 миллионами ордеров

20

Тестирование начинается с volumetrix


sqadays.com• Файл с 1,5 миллионами ордеров

• Валидация заказчиком пройдена

• Тем не менее, ошибка в плане допущена

21

Тестирование начинается с volumetrix


sqadays.com

22

Дело о пропавшей диаграммеПослеДо

App server

Oracle

Node1Node3 Node4

Node2


sqadays.com

23

Дело о пропавшей диаграммеПослеДо

App server

Oracle

Node1Node3 Node4

Node2


sqadays.com• Отчет на тесте работает моментально, а на проде - часы

24

Отчет убить нельзя починить


sqadays.com

25

Отчет убить нельзя починить: Было

EVT:

CCN:

PON:

*

*

TOMS:

IMA:

*


sqadays.com

26

Отчет убить нельзя починить: Как нужно

EVT:

CCN:

PON:

*

*

TOMS:

IMA:

ICON:

*

*


sqadays.com

27

Отчет убить нельзя починить: Стало

EVT:

CCN:

PON:

*

*

TOMS:

IMA:

ICON:

*


sqadays.com

28

Отчет убить нельзя починить: Как нужно

EVT:

CCN:

PON:

*

*

TOMS:

IMA:

ICON:

*

*



• Разработчик в хотфиксе не поставил звездочку на поле

• Тест продолжал искать без одного критерия и выдавал пустое множество

29






• После восстановления функциональности тест по-прежнему работал быстрее, чем на проде

30






• После восстановления функциональности тест по-прежнему работал быстрее, чем на проде

• Но это уже следующая история

31



sqadays.com

32

Тестирование – это данные


sqadays.com• Отчет на тесте работает быстро, а на проде - часы

33

Синтетика данных


sqadays.com• Отчет на тесте работает быстро, а на проде - часы

• Причина - разные сложности данных

• Да, мы делаем автопроверку теперь

• Да, мы делаем выборку правильных данных теперь

34

Синтетика данных


sqadays.com• Отчет все равно строится дольше, чем ожидается

• Причина: синтетические данные лежат в файлах данных последовательно

• В реальности они сильно фрагментированы

35

Синтетика данных - копаем дальше


sqadays.com• Отчет все равно строится дольше, чем ожидается

• Причина: синтетические данные лежат в файлах данных последовательно

• В реальности они сильно фрагментированы

• Данные выровняли:

• эмулировали “натуральное” их создание

• создали индексы правильно

• Идеально было бы копировать .dbf-файлы вместо импорта

36

Синтетика данных - копаем дальше


sqadays.com

37

Кривая 90% line


sqadays.com

38



sqadays.com

39



sqadays.com

40



sqadays.com

41


Квартет Энскомба: https://goo.gl/wBOLhI

https://goo.gl/wBOLhI


sqadays.com

42

Знай и умей свои компоненты


sqadays.com• Результаты тестов показали таймауты

43

Я твои стабы на перфоманс проверял



• Проблема – в стабах

44



sqadays.com

45




• Проблема – в стабах

• Решение – это ядро плюс сторонние компоненты

46



sqadays.com• Отсутствие данных sar на тестовой системе

47

Дело о пропавшей Саре


sqadays.com

• Отсутствие данных sar на тестовой системе

48



sqadays.com• Отсутствие данных sar на тестовой системе

• Причина - переполнение партиции /home

• В чеклист и скрипт включили проверку места подо все

49



sqadays.com• В отчетах снова стали появляться задержки по 30 секунд!

• Хьюстон, у нас проблемы!

50

Injector не выдержит двоих


sqadays.com• В отчетах снова стали появляться задержки по 30 секунд!

• Хьюстон, у нас проблемы!

51

Injector не выдержит двоих

Injector


sqadays.com• Нужна проверка окружения до начала тестов

• Нужна проверка данных до и после замера

• Нужна проверка результатов после замера

• Автоматизация – это не только скрипты тестов

52

Итоги


sqadays.com

53

Extra

Введение в Performance Management

• В систему будет поступать в среднем 3000 запросов в сутки

• Длительность теста - 1 час

А. 375 C. 125

B. 3000 D. Неизвестно

Сколько запросов должно быть выполнено за 1 час?


• В систему будет поступать в среднем 3000 запросов в сутки


А. 375 (3000/8) C. 125 (3000/12)

B. 3000 D. Неизвестно

Сколько запросов должно быть выполнено за 1 час?

Простой пример #1• В систему будет поступать в среднем 3000 запросов в сутки


• Сколько запросов должно быть выполнено?



sqadays.com• Что такое конфигурация

• Когда используется Compliance

• Причины почему недотюнили

• Что получилось в итоге

57

Мертвая лошадь Compliance


sqadays.com• Runnable run = new Runnable (){

• public void run () {

• synchronized (STATIC_OBJECT) {

• вызватьЗапрос();

• }

• }

• }

58

ThreadPool не параллелится

Engineering

Performance management lessons learnt / Андрей Дмитриев (JUGRU)