BDD girls battle JBehave vs Cucumber€£ Раннер тестов: Добавить tags...

BDD girls battle JBehave vs Cucumber

‣ JBEHAVE ‣ Чернышева Анна

Герои битвы‣ CUCUMBER ‣ Ковалева Юлия

Процессы разработки и тестирования в Альфа Лаборатории

‣ SCRUM, BDD

‣ User Story пишет тестировщик или аналитик

‣ Автоматизатор развивает тестовый фреймворк

‣ Кросс функциональность команд

Стоит ли переписывать готовый фреймворк на новый ради нескольких преимуществ?

‣ Как решать похожие проблемы? Нужно ли решать?

‣ А если ничего не предпринимать

‣ Наши решения и выводы - это не панацея ...

‣ Максимум полезного в одном докладе

‣ Возможно мы что-то не учли...

Зачем нужна битва?

Selenium

HttpClient

Serenity

JBehave

Selenium

HttpClient

Serenity

JBehave

Selenium Selenide

HttpClient

Serenity

JBehave

Maven Gradle

Rest Assured

Cucumber

Написание сценариев

Раунд 1 Ключевые слова

Задача: Я хочу использовать текст шагов без привязки к ключевым словам

Given currency equals USD When currency equals USD

JBehave

Cucumber

"ru": { "and": [ "* ", "И ", "К тому же ", "Также " ]...

gherkin-languages.json

* = And | But | Given | When | Then

When currency equals USD Then currency equals USDGiven currency equals USD * currency equals USD

Cucumber

Cucumber Win

Раунд 2 Меньше повторов

Задача: Я хочу использовать одну реализацию шага для нескольких текстовых описаний.

When click on 'Cancel' button When click on 'Cancel' popup

JBehave

@When ("click on 'Cancel' {button | popup}") public void clickCancel() { //some magic here }

JBehave

@When("click on 'Cancel' button") @Alias("click on 'Cancel' popup") public void clickCancel() { //some magic here }

JBehave

@When("click on 'Cancel' button") @Alias("click on 'Cancel' popup") public void clickCancel() { //some magic here }@When("click on 'Cancel' button") @Aliases(values = {"click on 'Cancel' popup", "выполнено нажатие на кнопку 'Отмена'"}) public void clickCancel() { //some magic here }

Cucumber

@When("click on 'Cancel' (?:button|popup)") public void clickOnCancel() { //some magic here }

JBehave Win

Раунд 3 Формат даты

Задача: Я хочу, чтобы дата передавалась в шаг в определенном формате.

JBehave

@Given("ISO date format is $date") public void theIsoDateIs(@Named("date") Date date) { // ... }

Given ISO date format is 09/09/2009

JBehave

private ParameterConverter[] customConverters() { List<ParameterConverter> converters = new ArrayList<ParameterConverter>(); converters.add(new DateConverter(new SimpleDateFormat("yyyy-MM-dd"))); return converters.toArray(new ParameterConverter[converters.size()]); }

JBehave

private ParameterConverter[] customConverters() { List<ParameterConverter> converters = new ArrayList<ParameterConverter>(); converters.add(new DateConverter(new SimpleDateFormat("yyyy-MM-dd"))); return converters.toArray(new ParameterConverter[converters.size()]); }

Jbehave

@Override public Configuration configuration(){ return new MostUsefulConfiguration() .useParameterConverters(new ParameterConverters() .addConverters(customConverters())) .useStoryLoader(new LoadFromClasspath(this.getClass())) .useStoryReporterBuilder(new StoryReporterBuilder() .withDefaultFormats() .withFormats(Format.CONSOLE, Format.TXT)); }

Cucumber

Feature: Date format of current date

Scenario: Correct format * current date is 12.06.2014

Scenario: Incorrect format * current date is 2014-04-12

Cucumber

@Given("^current date is (.+)$") public void checkDateFormat(@Format("dd.MM.yyyy") Date date){ alfaScenario.write(date.toString()); this.date = date; }

Cucumber - падающий тест

ConversionException: Couldn't convert "2014-04-12" to an instance of: [class java.util.Date]

Cucumber Win

Раунд 4 Ключевые слова на разных языках

Задача: Владелец продукта хочет получать отчеты о тестировании на русском языке.

JBehaveСоздать properties файл с описанием ключевых слов Для русских слов i18n/keywords_ru.properties: Символы Unicode

@Override public Configuration configuration(){ ClassLoader classLoader = this.getClass().getClassLoader(); Keywords keywords = new LocalizedKeywords(new Locale("ru")); return new MostUsefulConfiguration() .useKeywords(keywords) .useStoryParser(new RegexStoryParser(keywords)) //... }

Определить ключевые слова в конфигурациях

JBehave

Cucumber

import cucumber.api.java

Cucumber

Cucumber Win

Раунд 5 Аннотации жизненного цикла тестов

Задача: Организовать для тестов пред/пост обработчики: * делать скриншот при каждом фейле * очищать куки перед каждым тестом * установить размер экрана 1240*780

JBehave

@BeforeScenario

@BeforeScenario public void beforeEachScenario() { // ... } @BeforeScenario(uponType=ScenarioType.EXAMPLE) public void beforeEachExampleScenario() { // ... }

JBehave

@BeforeStory

@BeforeStory // @BeforeStory(uponGivenStory=false) public void beforeStory() { // ... } @BeforeStory(uponGivenStory=true) public void beforeGivenStory() { // ... }

JBehave

@AfterScenario public void afterAnyScenario() { // ... } @AfterScenario(uponOutcome=AfterScenario.Outcome.SUCCESS) public void afterSuccessfulScenario() { // ... } @AfterScenario(uponOutcome=AfterScenario.Outcome.FAILURE) public void afterFailedScenario() { // ... }

@AfterScenario

JBehave

@AfterStory

@AfterStory //@AfterStory(uponGivenStory=false) public void afterStory() { // ... } @AfterStory(uponGivenStory=true) public void afterGivenStory() { // ... }

JBehave

@BeforeStories @AfterStories

@BeforeStories public void beforeCollectionOfStories() { // ... } @AfterStories public void afterCollectionOfStories() { // ... }

Обратный порядок...

@BeforeScenario

@BeforeScenario public void beforeEachScenario() { // ... } @BeforeScenario(uponType=ScenarioType.EXAMPLE) public void beforeEachExampleScenario() { // ... }

JBehave

@BeforeStory

@BeforeStory // @BeforeStory(uponGivenStory=false) public void beforeStory() { // ... } @BeforeStory(uponGivenStory=true) public void beforeGivenStory() { // ... }

JBehave

@AfterScenario public void afterAnyScenario() { // ... } @AfterScenario(uponOutcome=AfterScenario.Outcome.SUCCESS) public void afterSuccessfulScenario() { // ... } @AfterScenario(uponOutcome=AfterScenario.Outcome.FAILURE) public void afterFailedScenario() { // ... }

@AfterScenario

JBehave

@AfterStory

@AfterStory //@AfterStory(uponGivenStory=false) public void afterStory() { // ... } @AfterStory(uponGivenStory=true) public void afterGivenStory() { // ... }

JBehave

@BeforeStories @AfterStories

@BeforeStories public void beforeCollectionOfStories() { // ... } @AfterStories public void afterCollectionOfStories() { // ... }

Cucumber

Всего 2 аннотации в наличии: @After и @Before

Дополнительные настройки:

@After("dataUI") @Before(value = "unstable", timeout = 1000, order = 3)

Cucumber - Не запутайся!

@Before(order = 3) @Before(order = 1)

@After(order = 3) @After(order = 1)

Документация

Cucumber - Не запутайся!

@Before(order = 3) @Before(order = 1)

@After(order = 3) @After(order = 1)

Документация

Cucumber Scenario

@AfterScenario(uponOutcome=AfterScenario.Outcome.FAILURE) public void afterFailedScenario()

JBehave

А как в Cucumber?

Cucumber Scenario

@AfterScenario(uponOutcome=AfterScenario.Outcome.FAILURE) public void afterFailedScenario() JBehave

интерфейс cucumber.api.Scenario ...

JBehave Win

Раунд 6 Заготовки или предусловия

Задача: Было бы удобно выполнять некую последовательность шагов перед схожими по логике сценарями.

Например: Хотим рисовать несколько кошек разных пород или окрасов.

JBehave

!-- Предусловие ко всему .story файлу GivenStories: path/to/openPaintAndCreateNewFile.story

Scenario: Drawing a munchkin cat Given file is opened When the user draws cat with short legs Then they should see a munchkin cat

Scenario: Drawing a maine coon cat ***

JBehave

!-- Предусловие ко всему .story файлу GivenStories: path/to/openPaintAndCreateNewFile.story

Scenario: Drawing a white munchkin cat !-- Предусловия к конкретному сценарию GivenStories: path/to/selectWhiteBrush.story Given file is opened When the user draws cat with short legs Then they should see a munchkin cat

JBehave

Scenario: Drawing a munchkin cat specifying cats color using the rows of the Examples table

Scenario: Drawing a munchkin cat GivenStories: selectBrush.story Given file is opened When the user draws cat with short legs Then they should see a 'Color' munchkin cat

Cucumber

Feature: Cats drawing Background: Sketch preparing Given blank area for drawing When choose a color of line When choose a line thickness

Cucumber

Feature: Cats drawing Background: Sketch preparing Given blank area for drawing When choose a color of line Scenario Outline: Draw a cat When draw cat "<type>" Then cat is appeared Examples: | type | | british |

Scenario Outline: Change a color When color was changed to <color_name> Examples: | colorname | | red |

Cucumber

# language: en

Cucumber Win

Раунд 7 Наборы тестов

Задача: Я хочу запускать наборы смоук и регрессионных тестов отдельно

default meta matcher :== ([+|-] [name] [value pattern])+

testAnnotations.properties smoke=+smokeTests -skip

JBehave

Meta: @smokeTests

Scenario: Some smoke scenario Given the user is on home page When the user makes base action Then the user sees result

./gradlew clean test -PtestType=smoke

JBehave @skip

Meta: @skip

Scenario: Some unstable scenario Given the user is on home page When the user makes base action Then the user sees result

Cucumber

‣ Запуск тестов: ./gradlew clean test -Dcucumber.options=”--tags @smoke” ‣ Раннер тестов: Добавить tags ={"@smoke"} в аннотацию @CucumberOptions

Feature: Create request for Credit @smoke Scenario: Create credit request for sum equals 0 rubles Given application Credits is started

@regress Scenario: Create credit request for sum equals 100 rubles Given application Credits is started

Cucumber

‣ -Dcucumber.options=”--tags @smoke --tags @regress” - срабатывает условие И

‣ Альтернатива: tags ={"@smoke","@regress"}

Cucumber

‣ -Dcucumber.options=”--tags @smoke,@regress” - срабатывает условие ИЛИ

‣ Альтернатива: tags ={"@smoke,@regress"}

‣ -Dcucumber.options=”--tags @smoke --tags @regress” - срабатывает условие И

‣ Альтернатива: tags ={"@smoke","@regress"}

Cucumber

А если чуть сложнее настройку сделать ...

@smoke Feature: Create request for Credit @smoke Scenario: Create credit request for sum equals 0 rubles Given application Credits is started

@regress Scenario: Create credit request for sum equals 100 rubles Given application Credits is started

Cucumber

‣ -Dcucumber.options=”--tags @smoke --tags ~@regress” - срабатывает условие И и ИСКЛЮЧЕНИЕ

‣ Альтернатива: tags ={"@smoke", "~@regress"}

Cucumber Win

Раунд 8 Нереализованные шаги

Задача: У меня еще не реализован шаг, но я хочу запускать тест и чтобы он не падал.

JBehave

@Given("page is opened with title $title") @Pending public void pendingMethod(String title) { // not yet implemented }

@Pending keyword

Cucumber

@Pending можно навешивать на класс-исключение

Тестовые методы могут кидать исключение: throw new PendingException();

В консоли:

Then step was not written # AccountsSteps.notImplementedStep() cucumber.api.PendingException: TODO: implement me

Cucumber

Cucumber Win

Раунд 9 Кроссбраузерность

Задача: Я хочу организовать кроссбраузерное тестирование без использования сторонних инструментов помимо BDD библиотеки.

JBehave

Поддерживаются браузеры в JBehave: PropertyWebDriverProvider.class

Поддерживается системной переменной browser

public enum Browser { CHROME, FIREFOX, IE, ANDROID, HTMLUNIT }

Cucumber

‣ Нет реализации запуска тестов в разных браузерах

‣ Придется писать свою фабрику драйверов или же воспользоваться сторонними инструментами. Например, Selenide

./gradlew clean test -Dbrowser=chrome

chrome ie edge firefox safari

JBehave Win

6 / 3 2

Раунд 10 Тестовые данные отдельно от тестов

Задача: Я хочу одни и те же тестовые данные использовать для многих кейсов. Мне будет удобно хранить их в одном месте в файле. Возможно даже удаленно.

JBehave

Scenario: The Examples tables could be loaded from external resources Given page is opened with <title> When user clicks on button <button> Then the alert status should be <status> Examples: org/project/examples/stories/allert.table

Простой и понятный способ

Cucumber

JBehave Win

6 / 4 3

Отчеты о тестировании

Раунд 11 Удобный отчет о тестировании

Задача: Я хочу предоставить своей команде удобный отчет без лишней информации и без подключения дополнительных библиотек.

JBehave

JBehave + Serenity

Cucumber

Cucumber минимум полезной суммарной информации

Cucumberможно прикреплять скриншоты/логи

Cucumber Win

6 7 / 4

Раунд 12 Запуск тестов параллельно

Задача: Я хочу распараллелить запуск тестов, чтобы уменьшить время выполнения регрессионого тестирования.

Jbehave

JBehave & Cucumber - отдельный доклад

Embedder для JBehave - и плагин не нужен!

Cucumber

Для Maven есть реализация на gitHub: https://github.com/temyers/cucumber-jvm-parallel-plugin

Для Gradle мы ничего подходящего не нашли и написали свой: https://github.com/alfa-laboratory/cucumber-parallel-test-gradle-plugin

JBehave Win

7 / 5 4

Dependency Injection

JBehave + Spring

@RunWith(SpringAnnotatedEmbedderRunner.class) @Configure() @UsingEmbedder(embedder = Embedder.class, generateViewAfterStories = true, ignoreFailureInView = true) @UsingSpring(resources = {"org/examples/spring/steps.xml" })

public class EmbedderUsingSpring extends InjectableEmbedder { //some magic here }

Cucumber + Guice

1) требуется добавить в build.gradle: compile group: 'com.google.inject', name: 'guice', version: '<guice.version>'

2) помним про три аннотации: @Inject @ScenarioScoped @Singleton

JBehave Win

7 / 6 5

Page Object

JBehave + Serenity PageObject

@DefaultUrl("https://www.wikipedia.org/") public class HomePage extends PageObject {

@FindBy(name="search") private WebElementFacade searchElement;

@FindBy(name="go") private WebElementFacade goButton;

public void enterKeywords(String keyword) { searchElement.type(keyword); } }

JBehave + Serenity PageObject

‣ Работа с WebDriver ‣ Работа с переменными среды ‣ Работа с ожиданиями (появление, наличие данных) ‣ Взаимодействие с элементами страницы ‣ Работа с загрузкой файлов ‣ Организация базовых проверок ‣ Angular и Ajax ожидания

Cucumber + Selenide

@Name("Login page") public class LoginPage extends AlfaPage {

@FindBy(css = "div[eventproxy$=\"WPanel1_WImage1\"]") @Name("logo") private SelenideElement loginLog;

@FindBy(css = "div[eventproxy$=\"lblGotoNewDshb\"]") @Name("newBankLink") @Optional private SelenideElement newBank; }

Dead Heat

7 8 / 7 6

Cucumber — победитель!

Заключение

Jbehave мощный, тяжелый инструмент

Cucumber модный, молодежный, стремительно развивающийся

Свои фишки и ограничения есть у каждого, также как и решения для быстрого старта проекта

Выбор остается за вами: классика или модерн, сложности есть везде, главное азарт!

Контакты

‣ Чернышева Анна ‣ skype Ganna_Chernyshova ‣ facebook anna.chernyshova.79

‣ Ковалева Юлия ‣ skype juliana_kov

BDD girls battle JBehave vs Cucumber€£ Раннер тестов: Добавить tags...

Documents

Повышаем надёжность тестов через JavaScript

Архитектура автоматизированных тестов: представление предметной области

Тесты (типы тестов, организация тестов, создание тестов)

Александр Баглай, Сергей Зеленин - "Автоматизация тестирования с помощью BDD. Используем JBehave"

BDD JBehave

сборник тестов новый

Behaviour driven development, com jbehave

Большая энциклопедия тестов

Как добавить водяной знак на фото?

413.маркетинг сборник тестов

как добавить презентацию на сайт

ТЕСТЫ ПО ПЕДАГОГИКЕtef.vlsu.ru/fileadmin/docs/PED/Metodichki/Doroshenko_JUI/...рии тестов успешности или педагогических тестов

Как создать группу и добавить участника

soft-shake.ch - Ecrivez et automatisez vos tests fonctionnels avec jBehave

Качество кода авто-тестов @ uatestingdays

Подготовка тестов в ПМК Знак

Отдел холл-тестов Фонда "Социум"

пример создания тестов

"Как добавить digital куда угодно?"

Разработка и сопровождении авто-тестов (Selenium)