Архитектура автоматизированных тестов

Scalable eCommerce Platform Solutions

Архитектура автоматизированных тестов

Алексей Лянгузов

План

● Введение● Развитие архитектуры авто-тестов● Примеры● Выводы

Архитектура ПО

АрхитектураАрхитектура

ДизайнДизайн

ТребованияТребования

РеализацияРеализация

КомпонентыКомпоненты

API/PatternsAPI/Patterns

Код программыКод программы

http://www.sei.cmu.edu/architecture/start/glossary/

http://www.sei.cmu.edu/architecture/start/glossary/

Архитектура ПО

АрхитектураАрхитектура

ДизайнДизайн

ТребованияТребования

РеализацияРеализация

КомпонентыКомпоненты

API/PatternsAPI/Patterns

Код программыКод программы

Автоматизированные тесты — это программный проект!Автоматизированные тесты — это программный проект!

WebServer

Архитектура тестируемого ПО

Программа(eCommerce platform)

Сервис

Чужой сервисАдминка

База

Сервис

Сервис

Сервис

Чужой сервис

20000+ авто-тестов

Наша ниша

~2500 авто-тестов

WebServer

Программа(eCommerce platform)

Сервис

Чужой сервисАдминка

База

Сервис

Сервис

Сервис

Чужой сервис

План


Итак, первый тест

AppApp

Функции:● Доказательство того, что автоматизация возможна● Первая пробная реализация, обкатка идеи● Начало положено!

TestsTests

Библиотеки

AppApp

TestsTests

Функции:● Использование стандартных технологий● Протестированные и оптимизированные алгоритмы

LibsLibs

Совместные библиотеки (App и Test), должны быть Совместные библиотеки (App и Test), должны быть синхронизированы!синхронизированы!

Промежуточная картина

AppApp LibsLibs

TestsTests

Тестовый Framework

AppApp LibsLibs

TestsTests

Функции:● Генерация отчетов● Организация тестов (suites, tags etc)● Определение языка и формата написания тестов● Запуск тестов

TestFramework

TestFramework

TestFramework

TestFramework


AppApp LibsLibs

TestsTests

TestFramework

TestFramework

Fixtures

AppApp LibsLibs

TestsTests

Функции:● Связь тестов с Framework-ом● Служебные функции, диктуемые как тестами (логикой), так и Framework-ом● Контроль исполнения тестовых действий

FixturesFixtures

http://www.ibm.com/developerworks/ru/edu/j-junit4/section4.html

http://www.ibm.com/developerworks/ru/edu/j-junit4/section4.html

TestFramework

TestFramework


AppApp LibsLibs

FixturesFixtures

TestsTests

TestFramework

TestFramework

Тестовые данные

AppApp LibsLibs

FixturesFixtures

TestsTests

Функции:● Отвязывание реализации тестов и данных● Повторное использование данных● Структурирование и организация данных для тестов● Упрощение создания тестовых данных

TestDataTestData

TestFramework

TestFramework


AppApp LibsLibsTestDataTestData

FixturesFixtures

TestsTests

TestFramework

TestFramework

Настройки

AppApp LibsLibsTestDataTestData

FixturesFixtures

TestsTests

Функции:● Настройка окружения выполнения тестов● Избавление от «Magic Numbers» и других «hardcoded» значений● Влияние на исполнение тестов извне (без переделки кода)● Возможность создавать параллельные реализации (старая-новая)

PropertiesProperties

TestFramework

TestFramework


AppApp LibsLibs


TestDataTestData

FixturesFixtures

TestsTests

TestFramework

TestFramework

Конфигуратор

AppApp LibsLibs


TestDataTestData

FixturesFixtures

TestsTests

Функции:● Настройка окружения выполнения тестов в целях конфигурационного тестирования● Упрощение работы с настройками (файлы, имена ключей итд)● Подготовка окружения (например, генерация security certificates)● Знания о Run-time окружении

ConfiguratorConfigurator

TestFramework

TestFramework


AppApp LibsLibs


TestDataTestData


FixturesFixtures

TestsTests

TestFramework

TestFramework

Общее тестовое стафло

AppApp LibsLibs


TestDataTestData


FixturesFixtures

TestsTests

Функции:● Хранит общие методы тестов● Отвечает за связь с приложением● Содержит всю тестовую логику

Данный компонент является временным и позднее будет Данный компонент является временным и позднее будет переименован!переименован!

CommonTest Stuff

CommonTest Stuff

TestFramework

TestFramework

Почти полная картина

AppApp LibsLibs


TestDataTestData

CommonTest Stuff

CommonTest Stuff


FixturesFixtures

TestsTests

TestFramework

TestFramework

Менеджер данных

AppApp LibsLibs


TestDataTestData

CommonTest Stuff

CommonTest Stuff


FixturesFixtures

TestsTests

Функции:● Упрощает работу с тестовыми данными● Содержит логику обработки данных● Генерация данных

TestDataManager

TestDataManager

TestFramework

TestFramework

Полная картина

AppApp LibsLibs


TestDataTestData

CommonTest Stuff

CommonTest Stuff


FixturesFixtures

TestDataManager

TestDataManager

TestsTests

TestFramework

TestFramework

Тестовые инструменты

AppApp LibsLibs


TestDataTestData

CommonTest Stuff

CommonTest Stuff


FixturesFixtures

TestDataManager

TestDataManager

TestsTests

Функции:● Содержит вспомогательные инструменты, используемые в тестах (helpers, tools, utils)

TestUtilities

TestUtilities

Не зависит ни от тестов ни от тестируемого приложения, может Не зависит ни от тестов ни от тестируемого приложения, может быть переиспользован в другом проекте!быть переиспользован в другом проекте!

TestFramework

TestFramework


AppApp LibsLibs


TestDataTestData

TestUtilitiesTest

Utilities

CommonTest Stuff

CommonTest Stuff


FixturesFixtures

TestDataManager

TestDataManager

TestsTests

TestFramework

TestFramework

Связь с программой

AppApp LibsLibs


TestDataTestData

TestUtilitiesTest

Utilities

CommonTest Stuff

CommonTest Stuff


FixturesFixtures

TestDataManager

TestDataManager

TestsTests

Функции:● Предоставляет набор универсальных интерфейсов (абстракций) для общения с тестируемым приложением● Общается с тестируемым приложением через предоставляемые им интерфейсам (реализация протоколов общения)

AppInterfaces

AppInterfaces

TestFramework

TestFramework


AppApp LibsLibs


TestDataTestData

TestUtilitiesTest

Utilities

TestCoreTestCore


FixturesFixtures

TestDataManager

TestDataManager

TestsTests

AppInterfaces

AppInterfaces

TestFramework

TestFramework

Расширения Framework-а

AppApp LibsLibs


TestDataTestData

TestUtilitiesTest

UtilitiesAppInerfaces

AppInerfaces

TestLogicTest

Logic


FixturesFixtures

TestDataManager

TestDataManager

TestsTests

Функции:● Расширяет тестовый Framework , добавляя нестандартные методы и функции● Исправляет существующие ошибки в тестовом Framework-е (особенно если Framework с открытыми исходниками)● Интеграция с другими приложениями (например, Jenkins-plugin для тестового Framework-а)

Framework AddonsFramework Addons

TestFramework

TestFramework

Финальная картина

AppApp LibsLibs


TestDataTestData

TestUtilitiesTest

Utilities


TestCoreTestCore


FixturesFixtures

TestDataManager

TestDataManager

TestsTests

third-party code, usually not-modifiableour test related codeusually not a code, structured text or othertest code, might be DSL or parsable text

AppInterfaces

AppInterfaces

depends on uses

План


Структура каталогов

Структура каталогов: зачем?

Структура каталогов: затем!

Точка приложения теста

http://localhost:8080/myapp?parameters

AppAppWebServerWebServer ServiceService

Submit


HttPServlet.get(parameters)



Service.doIt(parameters)



return someResult;



return ResultAdapter(someResult);



<html><table>...</html>


Тестируем User Management


User Management

Тестируем User Management


User ManagementНу и где мы это Ну и где мы это будем тестировать?будем тестировать?

Пример теста

UsedData userData = TestDataManager.getUserData(

UserData.NON_EXISTENT_USER);

UserManagement.assertUserExists(userData, false);

UserManagement.addNewUser(userData);

UserManagement.assertUserExists(userData, true);

*это java-подобный псевдоязык!

Точки приложения теста

UsedData userData = TestDataManager.getUserData(

UserData.NON_EXISTENT_USER);

UserManagement.assertUserExists(userData, false);

UserManagement.addNewUser(userData);

UserManagement.assertUserExists(userData, true);


UserManagement.addNewUserProperties

use.api=serviceUserManagement

addNewUser

UserMngmntServletaddNewUser

AppUserMngmntaddNewUser

ServiceUserMngmntaddNewUser


Новый клиент сервиса


<?xml version="1.0" encoding="utf-8" ?> <soap:Envelope><soap:Body> <AddNewUser xmlns="http://SERVER/VDir/VName"> <UserName>TestUser1</UserName> <Password>TestPassword1</Pasword> </AddNewUser> </soap:Body></soap:Envelope>

New TestFrameworkNew Test

Framework

Другой Framework

AppApp LibsLibs


TestDataTestData

TestUtilitiesTest

Utilities


AppInerfaces

AppInerfaces

TestCoreTestCore


StepsSteps

TestDataManager

TestDataManager

TestsTests

Old TestFrameworkOld Test

FrameworkFixturesFixtures

TestsTests

New Framework AddonsNew Framework Addons

План


Выводы


Выводы


Правильность архитектуры зависит от многих вещей. Нет абсолютно правильной.

Выводы



Если в вашей структуре каталогов появляются такие названия как «stuff», «other», «temp»,то ваша архитектура нуждается в пересмотре.

Выводы



Если в вашей структуре каталогов появляются такие названия как «stuff», «other», «temp»,то ваша архитектура нуждается в пересмотре.

Нужны взгляды с разных сторон и с разной степенью детализации

QA

Alexey LyanguzovSoftware Quality [email protected]

Спасибо!

Education

Архитектура автоматизированных тестов