Современное функциональное

тестированиес Codeception

Я

• Боднарчук Михаил

• Веб разработчик (PHP с 2004, Ruby с 2008)

• Автор Codeception

• @davert

Тестирование

Ручное Автоматизированное

Когда автоматизировать?

• Частые изменения в проекте

• Много изменений в проекте

• Много разработчиков, мало тестировщиков.

Пишем тесты?

• Что-что?

• А… Это… Лениво.

• А… Не… Сложно.

• Да, как-то пытался писать юнит-тесты.

• Не, у нас для этого есть QA отдел.

• Да!

С чего начать?

• Тестирования функционала.

• Типичные пользовательские сценарии.

• API

Противопоказано

• А давайте напишем юнит тест!

• Как же? Юнит тесты это круто!

• Нам надо 100% покрытия кода!

Казалось бы…

при чем тут Codeception…

Существующие решения

• PHPUnit

• ?

• ?

• ?

• ?

• ?

• Selenium

Чего не хватает?

• Простоты написания тестов

• Простоты чтения тестов

• Простоты отладки тестов

Codeception

• Простой но мощный фреймворк

• Основан на PHPUnit

• Open Source

• Хорошо документирован

• Версия 1.1.3

• PHP >= 5.3

Чуваки

• Тестирование с «человеческим лицом»

• Действия от лица людей.

• Минимум технических терминов.

Чуваки

• WebGuy – тестирует работу сайта вцелом

• Приемочное тестирование.

• Олицетворяет менеджера

Чуваки

• TestGuy - проверяет работу зная внутренности системы.

• Обеспечивает функциональное тестирование.

• Проф. тестировщик.

Чуваки

• CodeGuy – тестирует код.

• Юнит-тестирование.

• Разработчик.

WebGuy

• Selenium RC

• WebDriver

• ZombieJS

• PhpBrowser

Типичный тест

• $I = new WebGuy($scenario);

• $I->click('Login');

• $I->fillField('username','davert');

• $I->fillField('password','gfhjkm');

• $I->click('Submit');

• $I->see('Hello, Davert!');

Запускаем…

Codeception PHP Testing Framework v1.1.3 Powered by PHPUnit 3.6.10 by Sebastian Bergmann. Suite acceptance started Trying to sign in as a customer (LoginCept.php) Scenario: * I click “Login" => Moved to page http://login * I fill field “name",“davert" * I fill field “password",“gfhjkm" * I click “Submit" => Moved to page http://localhost/user/davert * I see “Hello, Davert" OK Time: 2 seconds, Memory: 10.25Mb OK (1 test, 1 assertion)

Написание теста

Как находятся элементы?

• $I->click('Login'); - ?

• $I->fillField('username','davert'); - ?

Я же умный, красивый, в меру упитанный фреймворк ну в полном

расцвете сил!

Поиск элемента на странице

• По имени (name, value, alt, …)

• По лейблу

• По CSS селектору

• По Xpath (с версии 1.1)

Результаты теста

Команды: see..

$I->see (‘text on a page’)

$I->see(‘heading on page’,’h1’);

$I->dontSee(‘Error’);

$I->seeInCurrentUrl(‘/user/davert’);

$I->seeCheckboxIsChecked(‘#terms’);

$I->see(‘XPath’, ‘//h:a/h:span’);

TestGuy

• Symfony2

• Zend Framework

• Kohana

• Social Engine

• MySQL, PostgreSQL

• ORM

• Ожидается Drupal 8

Интеграция с фреймворками

• Не обращаемся к веб-серверу.

• Работает гораздо быстрее.

• Stack trace и отладочная информация.

CodeGuy

• Простые тесты с PHPUnit

• Комплексные тесты в виде сценариев

• Доступны все модули

Типичный тест

function testSavingUser()

{

$user = new User();

$user->setName('Miles');

$user->setEmail(‘miles@davis.com');

$user->save();

$this->codeGuy->seeInDatabase('users',array(

'name' => 'Miles‘,

‘email' => ‘miles@davis.com‘,

));

} // интеграционный тест

Сценарный тест

function create(CodeGuy $I) { $I->wantTo('create new user by name'); $I->haveStub($user = Stub::makeEmptyExcept('User', 'create') ); $user->setName('davert'); $I->executeMethod($user, ‘create’); $I->expect('user is validated and saved') $I->seeMethodInvoked($user, 'validate') $I->seeMethodInvoked($user, 'save'); } // юнит тест

Отладка

• Все промежуточные данные выводятся на экран

• При сбое делается скриншот последней страницы

• Модуль WebDebug

Очистка

• Тесты должны работать в изоляции

• Тесты не должны гадить друг другу

• Очистка кеша, данных, сессий…

Очистка БД

• перезаливать sql-дамп БД.

• использовать SQLite.

• через rollback в транзакции.

Модули

• Веб (Selenium, ZombieJS, PhpBrowser)

• API (REST, SOAP)

• MVC Frameworks (Symfony, Zend, …)

• Database (MySQL, PostgreSQL, …)

• …. всего 19

Когда модулей мало

• Пишем свои!

• Helper-код • public function seeReceivedSms() {

• $messages = $this->_getOutgoingMessages();

• $this->assertGreaterThen(0, $messages->count());

• }

• Тест

• $I->click("Confirm by Sms");

• $I->seeReceivedSms();

Continuous Integration

• Автоматический запуск тестов

• «Письма счастья» при поломках

• Раннее выявление ошибок

Интеграция с CI

• Экспорт HTML, XML, JSON, TAP

• Jenkins, Bamboo, etc…

• Красивые HTML репорты

Репорт

Подходит для BDD

// As a new customer

$I->am(‘new customer’);

// I want to buy a notebook

$I->wantTo(‘buy a notebook’);

// In order to spend money faster

$I->lookForwardTo(‘spend money faster’);

Hardcore BDD

Документация

• http://codeception.com

• Guides – всё о фреймворке (9 глав)

• Модули – все функции

• Reference – команды, опции.

Вопросы?

• http://Codeception.com

• https://github.com/codeception/codeception

• Skype: Davert.ua

• davert@ukr.net

• Twitter: @davert