Автоматизация для не-автоматизаторов:Хотелки и реальность

Андрей Ладутько

Ноябрь 5, 2016

АНДРЕЙ ЛАДУТЬКО

Минск, Беларусь

Тест-лид, Эксперт ЦКТ

8+ лет опытаПроцессы, аудиты, тест-дизайн, личная эффективность

SQA Days-12-20 – докладчик и кураторISTQB Full Advanced Level

ladutko_andrey@tut.by, andrey_ladutko@epam.com ladutko_andreysof_minskhttp://qastugama.blogspot.comp://qastugama.blogspot.com

3CONFIDENTIAL

О ЧЕМ ПОГОВОРИМ

•Почему я здесь•Плюсы и минусы автоматизации•Обходим минусы•Вывод•Ваши вопросы

4CONFIDENTIAL

ЗАКАЗЧИКИ ЛЮБЯТ АВТОМАТИЗИРОВАННОЕ ТЕСТИРОВАНИЕ

http://www.istqb.org/documents/ISTQB_Worldwide_Software_Testing_Practices_Report.pdf

5CONFIDENTIAL

АВТОМАТИЗАЦИЯ И ПРОЦЕССЫ ТЕСТИРОВАНИЯ

6CONFIDENTIAL

ПЛЮСЫ АВТОМАТИЗАЦИИ

1. Заказчики любят автоматизацию2. Автоматизацию легко продавать3. Автоматизация - тренд4. CI невозможна без АТ5. АТ ускоряет релиз6. АТ минимизирует влияние человеческого

фактора7. Экономит деньги?

7CONFIDENTIAL

… И МИНУСЫ

1. Дорого2. Находит мало дефектов3. Много времени на сопровождение4. Нужны опытные специалисты5. АТ нестабильны6. Может потребовать много времени для

запуска

8CONFIDENTIAL

1. АВТОМАТИЗАЦИЯ ДОРОГАЯ

9CONFIDENTIAL

ТРЕУГОЛЬНИК КАЧЕСТВА

Time

Costs

Quality

Visibility

Automation

10CONFIDENTIAL

ОЖИДАНИЯ ЗАКАЗЧИКА ОТ АВТОМАТИЗАЦИИ

Деньги(экономия на ручном

тестировании)

УлучшитьКачест

во

Время(ускорить

релиз)

11CONFIDENTIAL

ЗАКАЗЧИК ХОЧЕТ СЭКОНОМИТЬ

1. Посчитать ROI (чем чаще релизы – тем эффективнее автоматизация)

2. Подумать о других способах сэкономить деньги (например, не тестировать области с малым риском)

3. Обсудить эти пункты с заказчиком перед началом автоматизации

Деньги(экономия на ручном

тестировании)

12CONFIDENTIAL

ЗАКАЗЧИК ХОЧЕТ УСКОРИТЬ РЕЛИЗЫ

1. Определите желаемую частоту релизов

2. Внедрите CI3. Увеличьте объем API и юнит-тестов

вместо UI-тестов4. Увеличьте скорость запуска тестов

(параллель)5. Подумайте о стабилизации тестов

(инструмент, фреймворк, взаимодействие с разработчиками чтобы подготовить UI для автоматизации)

Время(ускорить

релиз)

13CONFIDENTIAL

ПИРАМИДА АВТОМАТИЗАЦИИ

В идеале* Заказчик хочет

14CONFIDENTIAL

КУДА РАСХОДУЕТСЯ БЮДЖЕТ

http://www.istqb.org/documents/ISTQB_Worldwide_Software_Testing_Practices_Report.pdf

15CONFIDENTIAL

• Юнит-тесты всегда красные – процесс не работает• Юнит тесты всегда зеленые – есть вероятность, что они ничего

не проверяют. Как проверить?

МОДУЛЬНОЕ ТЕСТИРОВАНИЕ. КАК ПРОВЕРИТЬ?

16CONFIDENTIAL

МУТАЦИОННОЕ ТЕСТИРОВАНИЕ

Test suites are measured by the percentage of mutants that they kill.

Execute SAME test

Mutant killed

Execute SAME test Mutant

survived

17CONFIDENTIAL

ЮНИТ VS МУТАЦИОННОЕ ТЕСТИРОВАНИЕ

Industry Target Value:>85% for mutation testing coverage

 

18CONFIDENTIAL

ЗАКАЗЧИК ХОЧЕТ УЛУЧШИТЬ КАЧЕСТВО

1. Тщательно подумайте, может ли автоматизация улучшить качество

2. Посчитайте метрики, проведите аудит проекта

3. Разработайте улучшения

УлучшитьКачест

во

19CONFIDENTIAL

2. АВТОМАТИЗАЦИЯ НАХОДИТ МАЛО ДЕФЕКТОВ

20CONFIDENTIAL

1. Заносите в багтрекер и отмечайте все дефекты, найденные автоматизацией (more visibility)

2. Проанализируйте области, выделите те, в которых автоматизация принесет наибольший эффект

3. Посмотрите перекрытия в тестах по уровням, нет ли избыточности4. Посчитайте на % невалидных дефектов, переоткрытых дефектов, которые заводит

автоматизация, проанализируйте причины их возникновения

Метрики и измерения в помощь:

5. % покрытия АТ (тесты с высоким приоритетом)6. Частота регрессии7. # дефектов на АТ8. Время разработки АТ

СОВЕТЫ

21CONFIDENTIAL

3. АТ ТРЕБУЕТ МНОГО ВРЕМЕНИ НА СОПРОВОЖДЕНИЕ

22CONFIDENTIAL

1. Используйте инструменты для ускорения анализа результатов АТ (Allure, EPAM RP и т.д.): нестабильные тесты, тесты по открытым дефектам, визуализация результатов запуска АТ

2. Проанализируйте, есть ли необходимость запускать все тесты: какие можно исключить, и/или запускать реже

3. Разбейте тесты по группам и уровням (приоритеты + модули)4. Подумайте о низкоуровневой автоматизации (Unit, API)

Метрики и измерения в помощь:

5. Сколько времени уходит на анализ автотестов6. % тестов, поддающихся автоматизации7. Стабильность АТ8. % времени необходимого на сопровождение АТ9. # дефектов на 1 запуск автотеста

СОВЕТЫ

23CONFIDENTIAL

goal

ВЫВОД

24CONFIDENTIAL

ladutko_andrey@tut.by, andrey_ladutko@epam.com ladutko_andreysof_minskhttp://qastugama.blogspot.com

СПАСИБО!