Embed Size (px)
DESCRIPTION
Доклад Дмитрия Химиона на конференции SQADays-14, Львов 8-9 ноября 2013
Citation preview
Деградация автоматизаторов – "горе от ума"
Дмитрий Химион. Performance-Lab
ПриветствиеДмитрий Химион
руководитель направления
автоматизации тестированияPerformance Lab
Тел. +7(910)454-04-69Skype: Picasso-Key [email protected]
Докладчик на конференциях:– SQA Days 13– ITSM Forum– SQA Days 14
14 проектов по автоматизации тестирования
1
План доклада
• Формализуем ожидания от автоматизации;• Рассмотрим проекты;• Выявим проблемный проект;• Определим факторы, приведшие к
деградации;• Проведём анализ и сделаем выводы, как не
допустить ошибки;• Итоги полученного урока;• Вопросы и ответы.
2
Справедливые ожидания• Чем умнее и гибче решение, тем быстрее и надёжнее тесты.
Уровень автоматизации
Трудозатраты
3
Справедливые ожидания• Чем сложнее решение, тем выше квалификация людей.
Квалификация
Сложность автоматизации
4
Предыстория• Схожие системы• Схожий состав команд• Схожая квалификация
5
Отчётность
6
Метрики• Проекты соответствуют плановым ожиданиям, всё хорошо!
7
Наблюдения
• Всё идёт по плану, а трудозатраты на разработку тестов растут?
8
Анализ метрик Framework• Меньше кода в тесте, больше проверок силами Framework-а
10
Анализ выполнения тестов
11
12
3
• Логи тестовых прогонов системы continuous integration
Анализ выполнения тестов• Логи тестовых прогонов системы continuous integration
12
39,5%
Перспектива
3X
13
Анализ Framework
• Static code analysis;• Code-review;• Сode profiling.
14
Анализ тестов
• Структура теста;• Модульность теста;• Описание проверок.
15
Причина деградации
16
А
B
CTime = 1X А B C
Причина деградации
17
Time = 6X
А
А B C
Причина деградации
18
Time = 10X А B C
Парадокс• Чем совершеннее разрабатывалось решение тем хуже становились
показатели разработки
9
Выявление и пресечение
• Стандартная отчётность;• Оперативные методы определения проблем;
– Статический анализ кода;– Code review;
• Общие метрики разработки проекта.
19
Если всё уже случилось
Период кривой разработки
20
Мораль басни!
• Техническая мораль:– Технология не цель, а средство;– Поддержка обратной совместимости без
фанатизма;– Не отказывайтесь от проведения
периодического code-review;– Использование меток @deprecated
• Менеджерская мораль:– Ведение базовых метрик проектов;– Шаблоны отчётов.
21
