18
От простого к сложному: Автоматизация тестирования Тимченко Сергей [email protected] om

От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Embed Size (px)

Citation preview

Page 1: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

От простого к сложному:Автоматизация тестирования

Тимченко Сергей[email protected]

Page 2: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Первый тест

Page 3: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Первый автоматический тест

1

Старт автоматизацииВремя

Количество тестов

Первый тест:

• CLI – значение exit code

• GUI – появление окна

• Сервис – состояние

• Web – Get “/” 200 OK

0

Page 4: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Фреймворк

Page 5: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Использование фреймворка

Цель: Сэкономить время

Решаемые задачи:• Диагностика ошибок – место возникновения, используемые данные

• Выборочный запуск тестов – по группам, тегам, части имени

• Визуализация результатов – построение отчета, расчёт статистики

• Сравнение результатов – стабильность падения/прохождения

• Интеграция с системой сборки – специализированные форматы отчетов,

публикация артефактов тестирования

Page 6: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Тестовый клиент

Page 7: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Тестовый клиент

Цель: Оставить в тесте только важное

Решаемые задачи: • Реализация контрактов

• Упрощение структур данных

• Значения по умолчанию

• Встраивание проверок в действия

Бонус: возможность использовать одни

и те же тесты с разными реализациями клиента

Page 8: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Data Driven Testing

Page 9: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Data Driven Testing

Цель: Уменьшить количество кода

Плюсы:

• Сокращение затрат на поддержку

• Проще расширять покрытие

• Единообразие проверок

• Возможность проверять глубже

Page 10: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Data Driven Testing

Тест 2Действия

ПроверкаОжидаемый результат

Исходные данные

Тест 1Действия

ПроверкаОжидаемый результат

Исходные данные

Тест 2

Ожидаемый результат 2

Исходные данные

СценарийДействия

Проверка

Тест 1

Ожидаемый результат 1

Исходные данные

Было Стало

Page 11: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Data Driven Testing

Механизм контроля отклонений• Автоматизация решения проблемы нестабильности данных (текущее время, список процессов)• Фиксация имеющегося некорректного поведения (баги заведены, но в процессе исправления)

Отклонения: Все = Ожидаемые + Неожиданные (ручной разбор)

Page 12: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Data Driven Testing

Исходные данные

Эталонный результат Неожиданные отклонения

Отчёт

Page 13: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Keyword Driven Testing

Page 14: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Keyword Driven Testing

Цель: Автоматизированное выполнение ручных тестов

Плюсы:

• Автоматизатор – автоматизирует

• Тестирует – тестировщик

• Повышение формальности тестов

• Высокая детализация отчета о выполнении

Бонус: инструмент для автоматизации вне рамок тестирования

(первичное наполнение данными, демонстрация функциональности)

Page 15: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Keyword Driven Testing

Ручной тест

Автоматический тестОписание

Шаги

Логирование

Шаги

Было Стало

Данные

Тест

Шаги

Данные

Данные

Page 16: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Keyword Driven Testing

Текст теста

Отчет о выполнении

Page 17: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Keyword Driven Testing

Состав

Действие

Page 18: От простого к сложному: автоматизируем ручные тест-планы | Сергей Тимченко

Благодарю за внимание!

ptsecurity.com