Деградация автоматизаторов - "горе от ума"

Деградация автоматизаторов – "горе от ума"

Дмитрий Химион. Performance-Lab

ПриветствиеДмитрий Химион

руководитель направления

автоматизации тестированияPerformance Lab

Тел. +7(910)454-04-69Skype: Picasso-Key d.khimion@pflb.ru

Докладчик на конференциях:– SQA Days 13– ITSM Forum– SQA Days 14

14 проектов по автоматизации тестирования

1

План доклада

• Формализуем ожидания от автоматизации;• Рассмотрим проекты;• Выявим проблемный проект;• Определим факторы, приведшие к

деградации;• Проведём анализ и сделаем выводы, как не

допустить ошибки;• Итоги полученного урока;• Вопросы и ответы.

2

Справедливые ожидания• Чем умнее и гибче решение, тем быстрее и надёжнее тесты.

Уровень автоматизации

Трудозатраты

3

Справедливые ожидания• Чем сложнее решение, тем выше квалификация людей.

Квалификация

Сложность автоматизации

4

Предыстория• Схожие системы• Схожий состав команд• Схожая квалификация

5

Отчётность

6

Метрики• Проекты соответствуют плановым ожиданиям, всё хорошо!

7

Наблюдения

• Всё идёт по плану, а трудозатраты на разработку тестов растут?

8

Анализ метрик Framework• Меньше кода в тесте, больше проверок силами Framework-а

10

Анализ выполнения тестов

11

12

3

• Логи тестовых прогонов системы continuous integration

Анализ выполнения тестов• Логи тестовых прогонов системы continuous integration

12

39,5%

Перспектива

3X

13

Анализ Framework

• Static code analysis;• Code-review;• Сode profiling.

14

Анализ тестов

• Структура теста;• Модульность теста;• Описание проверок.

15

Причина деградации

16

А

B

CTime = 1X А B C

Причина деградации

17

Time = 6X

А

А B C

Причина деградации

18

Time = 10X А B C

Парадокс• Чем совершеннее разрабатывалось решение тем хуже становились

показатели разработки

9

Выявление и пресечение

• Стандартная отчётность;• Оперативные методы определения проблем;

– Статический анализ кода;– Code review;

• Общие метрики разработки проекта.

19

Если всё уже случилось

Период кривой разработки

20

Мораль басни!

• Техническая мораль:– Технология не цель, а средство;– Поддержка обратной совместимости без

фанатизма;– Не отказывайтесь от проведения

периодического code-review;– Использование меток @deprecated

• Менеджерская мораль:– Ведение базовых метрик проектов;– Шаблоны отчётов.

21

Вопросы и ответы

• Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru

?22

Большое спасибо!

• Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru

23