Parallelization of Selenium tests with .NET/C# + NUnit

Пример построения системы распределенного запуска

Selenium тестов в .NET

Волков Станислав UFS Ltd

О себеСвою карьеру тестировщика начал в 2009 году.

!

Постепенно двигаясь от ручного тестирования, к использованию HP QTP, тестированию веба

POST, GET запросами, и затем с помощью WebDriver.

!

В данный момент специализируюсь на автоматизации тестирования в веб приложений

на .net

Зачем нужна параллелизация?

Быстро перепроверить изменившийся функционал Долго проходят ночные тесты

Внутренние причины

Среднее выполнения теста 198 секунд

Зависимость от поставщиков 10-120 секунд на ответ

Большое количество тест кейсов (более 500)

Нестабильность ответов (до 20% потерь)

Итого 35,6 часов выполнение тестов последовательно

Что сделать, чтобы работало быстрее?

Объединение тестов?

Увеличивается нестабильность

Усложняются тесты

Теряется понимание, что работает, а что нет

Нет возможности динамического сокращения выполения времени за счет компьютерных ресурсов

Параллелизация!

Selenium Grid + PNUnit?

Selenium Grid + NUnit

Нестабильно работает по сети

Необходимость Java

Нет возможности из «коробки» получать отчеты

PNUnit

«Нечестная» параллезация(нет динамического распределения по пулам)

Невозможность использования нескольких компьютеров из коробки

Нет возможности получить отчеты

Surak - система запуска и выполнения тестов

Паралельный запуск на компьютере

Единое место синхронизации тестов

Таск проверяет сколько запущенно тестов и запускает новые если есть свободные места

Убивание зависших тестов

WebDriver - поддерживает параллельные запросы

! public IList<SSVariantsAvia> GetSSVariantsAvia()!! ! {!! ! ! IList<IWebElement> variants = GetElementExists(PVariantsFlight.VariantsFlightTable.Row).Where(v => v.Displayed).ToList();!!! ! ! IList<SSVariantsAvia> result = variants.Select(element => new SSVariantsAvia()).ToList();!!! ! ! Parallel.For(0, variants.Count(), i => { result[i] = GetSSVariantsAvia(variants[i]); });!!! ! ! return result;!! ! }

Удобно для работы с таблицами

Выигрыш в скорости

FireFox: выйгрыш в 10 - 80%

Отчеты

Статусы тестов

Лог информации

Скриншоты

Время выполнения

Экспорт в формат NUnit0

25

50

75

100

Апрель Май Июнь Июль

Ещё быстрее?


Одновременный запуск на нескольких

компьютерах




Балансировка нагрузки




Балансировка нагрузки

Горизонтальное маштабирование

База данных MSSQL


Запись в базу тестов

Сервис на компьютере 1


Сервис на компьютере n








Обмен информацией






Nunit+AddNunit на компьютере n

Nunit+AddNunit на компьютере 1















Запуск теста

















Сохранение

результатов


результатов


резул

ьтатов




База MSSQLКонфиг XML

Сервис


Можн

о запустить

7 тестов

одновременно

Сервис


Своб

одны

й тест

на за

пуск

Можн


7 тестов


Сервис


Своб

одны

й тест

на за

пуск

Тест

127

зан

ят

Можн


7 тестов


Сервис


Nunit+AddNunit

Своб

одны

й тест

на за

пуск

Тест

127

зан

ят

Выполнить тест 127

Можн


7 тестов


Сервис


Nunit+AddNunit

Своб

одны

й тест

на за

пуск

Тест

127

зан

ят

Выполнить тест 127

Данные выпо

лнения тест

а 127Можн


7 тестов


Сервис

AddNunit подписывание на событие

Конфиг XML

Конфиг XML

Запускалка тестов

Список тестов, браузеры,

сервера

Конфиг XML


База MSSQL


сервера

Список тестов для запуска

Конфиг XML


База MSSQL


сервера

Список тестов для запускаУпавшие тесты

Конфиг XML


База MSSQL


сервера

Перезапустить или завершить пул

Список тестов для запускаУпавшие тесты


Правка тестов и новые тесты

Visual Studio


git

Visual Studio

Push


git

Visual Studio

Push

CIPull каждую ночь


git

Visual Studio

Push

CIPull каждую ночь

Сервер 1 Сервер 2 Сервер n

Выкладка

новой в

ерсии

Выкладка

новой

версии Выкладка новой версии

Continuous Integration

Время работы

35,6 ч


35,6 ч 5 PC


35,6 ч 5 PC 5 Threads


35,6 ч 5 PC 5 Threads 2 ч

Расширение

По данным из базы можно строить разные отчеты

Простой перезапуск тестов

Увеличение производительности за счет увеличения количества компьютеров

Можно запускать любые NUnit тетсты

Что все равно пришлось бы дописывать

Selenium Grid + PNUnit Surak

Nunit + +

NunitAdd + +

Runner - +

Service - +

MSSQL + +

Оказалось что не очень большими ресурсами можно заметить связку

Selenium Grid + PNUnit

Спасибо за внимание

e-mail:[email protected] about.me/stanislav.volkov

Technology

Parallelization of Selenium tests with .NET/C# + NUnit