Embed Size (px)
Citation preview
Когда стоит закончить автоматизировать?
Об авторе:
- Automation QA в SoftServe- 5 лет опыта- организатор QA Dnepr community
Skype: pashidlosEmail: [email protected]
• Проблемы• Декомпозиция проекта• Синхронизация автоматизированного и ручного тестирования• Расчеты (часы/$)• Заключение• Вопросы
План
• Раздельная работа QA
• Отсутствует стратегия автоматизации
• Приоритеты не определены
• Сроки не согласованы
Проблемы
• Провели декомпозицю проекта
• Определили критичность с точки зрения системы
• Определили лучшие части для автоматизации
Что мы сделали:
Декомпозиция
Критичность функционала
• Critical• Major• Normal
Лучший функционал для автоматизации
• Как быстро можно написать тест?• Сколько времени уходит на ручной
прогон?• Код будет использован повторно?• Тест будет стабилен?
Комбинируем...
Система Автоматизация
Critical P1 P1P2
Major P2 P1P2
P1 P3Normal P2 P3
P3 P1P2P3
АвтоматизацияСистема
Чек-лист
Оценка времени для тестов
• P1: 12ч• P2: 27ч• P3: 6ч
ИТОГО: 45ч
Оценка времени для ручной проверки
• P1: 2ч• P2: 1.5ч• P3: 0.5ч
ИТОГО: 4ч
Реальные затраты при ручной проверке
В среднем два прогона тестов за релиз:
ИТОГО: 8ч
Расчеты в часахИтого P1 P2 P3
Автоматизация (ч) 45 12 27 6
Ручная проверка (ч) 8 4 3 1
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 6 3 9 6
Окупаемость автоматизации
Расчеты в деньгахQA рейт: 10$/ч
• P1: 2ч = 20$• P2: 1.5ч = 15$• P3: 0.5ч = 5$
ИТОГО: 4ч= 40$
Automation QA рейт: 15$/ч
• P1: 12ч = 180$• P2: 27ч = 405$• P3: 6ч = 90$
TOTAL: 45ч = 675$
Расчеты в деньгахИтого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Окупаемость автоматизации
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
График окупаемости
А как же поддержка тестов?
Поддержка
+10 - 20 % каждый релиз
Расчеты с учетом затрат на поддержку
Тесты Стоимость ($) 10% ($) 20% ($)
Total 675 67.5 135
P1 180 18 36
P2 405 40.5 90
P3 90 9 18
График окупаемости с учетом поддержки
Расчет автоматизации Р1 тестовИтого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
Окупаемость автоматизации
Расчет автоматизации Р1 тестов с учетом поддержки
Тесты Стоимость ($) 10% ($) 20% ($)
Total 675 67.5 135
P1 180 18 36
P2 405 40.5 90
P3 90 9 18
График окупаемости Р1 тестов с учетом поддержки
P2+P3 нужно проверить вручную!
Добавляем Р2+Р3 тестыИтого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
Окупаемость автоматизации
График окупаемости
Пример из жизни
ПокрытиеЗатраты на
автоматизацию (ч) Тесты (ч) Поддержка (ч)Ручное
тестирование (ч) Затраты на релиз (ч)0% 0 0 96 96
33% 552 526 26 48 74
66% 1104 1051 52 16 68
99% 1,656 1577 79 4 83
График окупаемости (ч)
Расчет окупаемости ($)
ПокрытиеЗатраты на
автоматизацию ($) Тесты ($) Поддержка ($)Ручное
тестирование ($) Затраты на релиз ($)0% 0 0 960 960
33% 8280 7890 390 480 870
66% 16560 15765 780 160 940
99% 24840 23655 1185 40 1225
QA рейт: 10$/ч Automation QA рейт: 15$/ч
График окупаемости ($)
• Автоматизировать сложные для ручной проверки тесты
• Уменьшать время на поддержку тестов
• Следить за изменением затрат на регрессию
Как ускорить окупаемость автоматизации?
• Текущие затраты на регрессию (ТЗР)▪Ручное тестирование (ч/$)▪Поддержка автоматизированных тестов (ч/$)
• Ожидаемые затраты на регрессию (ОЗР)▪Ручное тестирование (ч/$)▪Поддержка автоматизированных тестов (ч/$)
Что отслеживать:
ТЗР > ОЗР
ТЗР = ОЗР
ТЗР < ОЗР
Summary
Ручное тестирование
Автоматизация
