Архитектура автоматизированных тестов

Scalable eCommerce Platform Solutions

Алексей Лянгузов

План

● Введение● Развитие архитектуры авто-тестов● Примеры● Выводы

Архитектура ПО

АрхитектураАрхитектура

ДизайнДизайн

ТребованияТребования

РеализацияРеализация

КомпонентыКомпоненты

API/PatternsAPI/Patterns

Код программыКод программы

http://www.sei.cmu.edu/architecture/start/glossary/

Архитектура ПО

АрхитектураАрхитектура

ДизайнДизайн

ТребованияТребования

РеализацияРеализация

КомпонентыКомпоненты

API/PatternsAPI/Patterns

Код программыКод программы

Автоматизированные тесты — это программный проект!Автоматизированные тесты — это программный проект!

WebServer

Архитектура тестируемого ПО

Программа(eCommerce platform)

Сервис

Чужой сервисАдминка

База

Сервис

Чужой сервис

20000+ авто-тестов

Наша ниша

~2500 авто-тестов

WebServer

Программа(eCommerce platform)

Сервис

Чужой сервисАдминка

База

Сервис

Чужой сервис

План

Итак, первый тест

AppApp

Функции:● Доказательство того, что автоматизация возможна● Первая пробная реализация, обкатка идеи● Начало положено!

TestsTests

Библиотеки

AppApp

TestsTests

Функции:● Использование стандартных технологий● Протестированные и оптимизированные алгоритмы

LibsLibs

Совместные библиотеки (App и Test), должны быть Совместные библиотеки (App и Test), должны быть синхронизированы!синхронизированы!

Промежуточная картина

AppApp LibsLibs

TestsTests

Тестовый Framework

AppApp LibsLibs

TestsTests

Функции:● Генерация отчетов● Организация тестов (suites, tags etc)● Определение языка и формата написания тестов● Запуск тестов

TestFramework

AppApp LibsLibs

TestsTests

TestFramework

Fixtures

AppApp LibsLibs

TestsTests

Функции:● Связь тестов с Framework-ом● Служебные функции, диктуемые как тестами (логикой), так и Framework-ом● Контроль исполнения тестовых действий

FixturesFixtures

http://www.ibm.com/developerworks/ru/edu/j-junit4/section4.html

TestFramework

AppApp LibsLibs

FixturesFixtures

TestsTests

TestFramework

Тестовые данные

AppApp LibsLibs

FixturesFixtures

TestsTests

Функции:● Отвязывание реализации тестов и данных● Повторное использование данных● Структурирование и организация данных для тестов● Упрощение создания тестовых данных

TestDataTestData

TestFramework

AppApp LibsLibsTestDataTestData

FixturesFixtures

TestsTests

TestFramework

Настройки

AppApp LibsLibsTestDataTestData

FixturesFixtures

TestsTests

Функции:● Настройка окружения выполнения тестов● Избавление от «Magic Numbers» и других «hardcoded» значений● Влияние на исполнение тестов извне (без переделки кода)● Возможность создавать параллельные реализации (старая-новая)

PropertiesProperties

TestFramework

AppApp LibsLibs

TestDataTestData

FixturesFixtures

TestsTests

TestFramework

Конфигуратор

AppApp LibsLibs

TestDataTestData

FixturesFixtures

TestsTests

Функции:● Настройка окружения выполнения тестов в целях конфигурационного тестирования● Упрощение работы с настройками (файлы, имена ключей итд)● Подготовка окружения (например, генерация security certificates)● Знания о Run-time окружении

ConfiguratorConfigurator

TestFramework

AppApp LibsLibs

TestDataTestData

FixturesFixtures

TestsTests

TestFramework

Общее тестовое стафло

AppApp LibsLibs

TestDataTestData

FixturesFixtures

TestsTests

Функции:● Хранит общие методы тестов● Отвечает за связь с приложением● Содержит всю тестовую логику

Данный компонент является временным и позднее будет Данный компонент является временным и позднее будет переименован!переименован!

CommonTest Stuff

TestFramework

Почти полная картина

AppApp LibsLibs

TestDataTestData

CommonTest Stuff

FixturesFixtures

TestsTests

TestFramework

Менеджер данных

AppApp LibsLibs

TestDataTestData

CommonTest Stuff

FixturesFixtures

TestsTests

Функции:● Упрощает работу с тестовыми данными● Содержит логику обработки данных● Генерация данных

TestDataManager

TestFramework

Полная картина

AppApp LibsLibs

TestDataTestData

CommonTest Stuff

FixturesFixtures

TestDataManager

TestsTests

TestFramework

Тестовые инструменты

AppApp LibsLibs

TestDataTestData

CommonTest Stuff

FixturesFixtures

TestDataManager

TestsTests

Функции:● Содержит вспомогательные инструменты, используемые в тестах (helpers, tools, utils)

TestUtilities

Не зависит ни от тестов ни от тестируемого приложения, может Не зависит ни от тестов ни от тестируемого приложения, может быть переиспользован в другом проекте!быть переиспользован в другом проекте!

TestFramework

AppApp LibsLibs

TestDataTestData

TestUtilitiesTest

Utilities

CommonTest Stuff

FixturesFixtures

TestDataManager

TestsTests

TestFramework

Связь с программой

AppApp LibsLibs

TestDataTestData

TestUtilitiesTest

Utilities

CommonTest Stuff

FixturesFixtures

TestDataManager

TestsTests

Функции:● Предоставляет набор универсальных интерфейсов (абстракций) для общения с тестируемым приложением● Общается с тестируемым приложением через предоставляемые им интерфейсам (реализация протоколов общения)

AppInterfaces

TestFramework

AppApp LibsLibs

TestDataTestData

TestUtilitiesTest

Utilities

TestCoreTestCore

FixturesFixtures

TestDataManager

TestsTests

AppInterfaces

TestFramework

Расширения Framework-а

AppApp LibsLibs

TestDataTestData

TestUtilitiesTest

UtilitiesAppInerfaces

AppInerfaces

TestLogicTest

FixturesFixtures

TestDataManager

TestsTests

Функции:● Расширяет тестовый Framework , добавляя нестандартные методы и функции● Исправляет существующие ошибки в тестовом Framework-е (особенно если Framework с открытыми исходниками)● Интеграция с другими приложениями (например, Jenkins-plugin для тестового Framework-а)

Framework AddonsFramework Addons

TestFramework

Финальная картина

AppApp LibsLibs

TestDataTestData

TestUtilitiesTest

Utilities

TestCoreTestCore

FixturesFixtures

TestDataManager

TestsTests

third-party code, usually not-modifiableour test related codeusually not a code, structured text or othertest code, might be DSL or parsable text

AppInterfaces

depends on uses

План

Структура каталогов

Структура каталогов: зачем?

Структура каталогов: затем!

Точка приложения теста

http://localhost:8080/myapp?parameters

AppAppWebServerWebServer ServiceService

Submit

HttPServlet.get(parameters)

Service.doIt(parameters)

return someResult;

return ResultAdapter(someResult);

Тестируем User Management

User Management

Тестируем User Management

User ManagementНу и где мы это Ну и где мы это будем тестировать?будем тестировать?

Пример теста

UsedData userData = TestDataManager.getUserData(

UserData.NON_EXISTENT_USER);

UserManagement.assertUserExists(userData, false);

UserManagement.addNewUser(userData);

UserManagement.assertUserExists(userData, true);

*это java-подобный псевдоязык!

Точки приложения теста

UsedData userData = TestDataManager.getUserData(

UserData.NON_EXISTENT_USER);

UserManagement.assertUserExists(userData, false);

UserManagement.addNewUser(userData);

UserManagement.assertUserExists(userData, true);

UserManagement.addNewUserProperties

use.api=serviceUserManagement

addNewUser

UserMngmntServletaddNewUser

AppUserMngmntaddNewUser

ServiceUserMngmntaddNewUser

Новый клиент сервиса

<?xml version="1.0" encoding="utf-8" ?> <soap:Envelope><soap:Body> <AddNewUser xmlns="http://SERVER/VDir/VName"> <UserName>TestUser1</UserName> <Password>TestPassword1</Pasword> </AddNewUser> </soap:Body></soap:Envelope>

New TestFrameworkNew Test

Framework

Другой Framework

AppApp LibsLibs

TestDataTestData

TestUtilitiesTest

Utilities

AppInerfaces

TestCoreTestCore

StepsSteps

TestDataManager

TestsTests

Old TestFrameworkOld Test

FrameworkFixturesFixtures

TestsTests

New Framework AddonsNew Framework Addons

План

Выводы

Правильность архитектуры зависит от многих вещей. Нет абсолютно правильной.

Выводы

Если в вашей структуре каталогов появляются такие названия как «stuff», «other», «temp»,то ваша архитектура нуждается в пересмотре.

Выводы

Если в вашей структуре каталогов появляются такие названия как «stuff», «other», «temp»,то ваша архитектура нуждается в пересмотре.

Нужны взгляды с разных сторон и с разной степенью детализации

Alexey LyanguzovSoftware Quality Specialistbudabum@gmail.com

Спасибо!

Архитектура автоматизированных тестов

Education

создание тестов-на-основе-формы-Google

Высоцкий Неортодоксальный дизайн тестов

Фонд Социум Отдел проведения Холл-тестов

Ответы тестов по бухучету 2000 тестов.docx

Тема 1 2 . Методы оценки эффективности автоматизированных информационных технологий

пример создания тестов

Безопасность новых информационных систем (10.05.03 Информационная безопасность автоматизированных систем)

Создание автоматизированных систем в защищенном исполнении

КАФЕДРЫ: ТЕХНОЛОГИЯ АВТОМАТИЗИРОВАННЫХ ПРОИЗВОДСТВ И ОБЩАЯ ТЕХНОЛОГИЯ МАШИНОСТРОЕНИЯ

Краткий обзор курса: Создание автоматизированных систем в защищенном исполнении

Построение системы анализа и мониторинга состояния информационной безопасности автоматизированных

Центр дистанционных автоматизированных учебных лабораторий

Повышаем надёжность тестов через JavaScript

УДК 72 - img-gorod.ru€¦ · архитектура Архитектура Древней Руси Ранне-христианская архитектура Архитектура

РАЗРАБОТКА ТЕСТОВ ДЛЯ ВЫЯВЛЕНИЯ ГЕНОВ ... · 2011-12-02 · РАЗРАБОТКА ТЕСТОВ ДЛЯ ВЫЯВЛЕНИЯ ГЕНОВ КАРБАПЕНЕМАЗ

Фабрика Автоматизированных Продаж - система оптимизации бизнес-процессов

Выбор и внедрение автоматизированных информационных систем для крупного девелопера

Тесты (типы тестов, организация тестов, создание тестов)

Разработка и сопровождении авто-тестов (Selenium)

Тестов. Вопр. По Информ