Автоматизация функционального тестирования REST API: секреты, тонкости и подводные камни

Автоматизация функционального тестирования REST API

секреты, тонкости и подводные камни

Павел Асанов

QA Lead

90 городов

700 тыс. пользователей

12 млн просмотров

1 млн отзывов

3 млн посетителей

API как продукт

API как продукт

80%

20%

Регрессия

3 месяца 5 минут

● Ресурсы, однозначно определяемые по URL

● Представления ресурсов (JSON)

● Методы работы с ресурсами

REST - это...

POST /reviews GET /reviews/666PUT /reviews/666PATCH /reviews/666DELETE /reviews/666

Что тестируем?

1. Логика

отсутствие обязательных параметров

невалидный протокол

параметры запроса

скрытыйобычный скрытый с особым типом

авторизованный гость

БАК

удалённыйзаблокированный

забаненный

филиал БАК

автор неактивированный удалённый

обычный

корректные

с фото

невалидные значения

параметров

невалидные типы


БАК

expired

другой юзер

приватныйконтент

пользователь

аксесс токен






БАК



филиал БАК


обычный


с фото





БАК

expired


201

Авторизованный пользователь добавляет отзыв с фото



аксесс токенPOST






БАК



филиал БАК


обычный


с фото





БАК

expired


200

Авторизованный владелец Бизнес-аккаунта запрашивает приватное обращение




GET






БАК



филиал БАК


обычный


с фото





БАК

expired


401

Гость добавляет отзыв




POST






БАК



филиал БАК


обычный


с фото





БАК

expired


403

Авторизованный пользователь запрашивает чужое приватное обращение




GET





авторизованный гостьаксесс токен

БАК



филиал БАК


обычный


с фото





БАК

expired


500 400 400 404

Невалидный запрос



2. Данные и их формат

{code: 200status: "success"review: {

filial_id: "985690699651034"

text: "Для меня Code Fest - это глоток свежего воздуха. Только надо баги пофиксить."

is_recommended: false

project_id: 1

source: "flamp"

rating: 4

date_created: "2011-03-28T05:30:50+04:00"

user_id: 171

photo: null

}}


filial_id: "985690699651034"



project_id: 1

source: "flamp"

rating: 4

date_created: "2011-03-28T05:30:50+04:00"

user_id: 171

photo: null

}}

точное значение


filial_id: "985690699651034"



project_id: 1

source: "flamp"

rating: 4

date_created: "2011-03-28T05:30:50+04:00"

user_id: 171

photo: null

}}


тип значения и его диапазон


filial_id: "985690699651034"



project_id: 1

source: "flamp"

rating: 4

date_created: "2011-03-28T05:30:50+04:00"

user_id: 171

photo: null

}}


enum



filial_id: "985690699651034"



project_id: 1

source: "flamp"

rating: 4

date_created: "2011-03-28T05:30:50+04:00"

user_id: 171

photo: null

}}


enum


формат значения


filial_id: "985690699651034"



project_id: 1

source: "flamp"

rating: 4

date_created: "2011-03-28T05:30:50+04:00"

user_id: 171

photo: null

}}


наличие атрибута

enum



3. Изменение состояния системы

● После DELETE сущность стала недоступна

● После логаута access token удаляется



запрос сущности возвращает 404



запрос с данным токеном возвращает 401




запрос с данным токеном возвращает 401или


access token отсутствует в БД

Глава первая, в которой мы знакомимся с JSON-schema

JSON-схема — это…

1) готовая документация + примеры

header: "Информация об отзыве",description: "Информация об отзыве",request: { type: "GET", url: "https://flamp.ru/api/2.0/reviews/{id}", properties: {

id: { type: "integer", required: true,

examples: ["1"], description: "Идентификатор отзыва" }

}},

https://flamp.ru/api/2.0/discussions/%7Bid

response: { type: "object", required: true, properties: {

code: "{{ common/code }}", status: "{{ common/status }}", review: "{{ objects/review }}"

}},

...

2) валидация запроса на сервере

3) валидация ответа на сервере в dev-режиме

+ простейший smoke-тест+ полная проверка формата

+ простейший smoke-тест+ полная проверка формата

- white-box- схема может содержать ошибки- нельзя использовать на продакшне

Глава вторая, в которой мы добавляем assertions в JSON-

schema

assertions: [ {

name: "View Review #1", request: { id: 1 }, response: { status: "success", review: {

id: 1, date_created: "_is_datetime", date_edited: "_is_datetime|null"

} }

},]

assertions: [{ name: "View Review #99999999", request: { id: 99999999 }, response: { status: "error" }

}]

Flamposcope

+ smoke testing+ выполняется ~20 сек+ тесты пишет разработчик

+ smoke testing+ выполняется ~20 сек+ тесты пишет разработчик

- только GET- захардкоженные данные- тесты пишет разработчик

Глава третья, в которой мы хотели прикрутить

к JSON-схеме UI

+ удобный UI+ нет кода+ автоподстановка из схемы

+ удобный UI+ нет кода+ автоподстановка из схемы

- серый ящик- фикстуры- поддержка UI

Глава четвёртая, в которой мы начали писать на PHP

Параметризованные тестыhttps://flamp.ru/api/2.0/filials/?what=кафе&project=1&lon=71&lat=65&radius=1000&sort=relevance&limit=12&page=5&with_markers=false&building_id=1&metarubric=323&depth=1&scopes=reviews&access_token=fa07c31442508e2248fcd634a786d409428ca50d


[params_set_1] => 200,[params_set_2] => 404,[params_set_3] => 401,[params_set_4] => 403,[params_set_5] => 400,[params_set_6] => 500,...


[params_set_1] => 200,[params_set_2] => 404,[params_set_3] => 401,[params_set_4] => 403,[params_set_5] => 400,[params_set_6] => 500,...

набор N

...

набор 1 тест

2fingers =PHPUnit + сomposer + http-клиент

(Guzzle поверх cURL) + данные

данные

dataProvider

параметры

проверки

Структура теста

test

Тестовые наборыТестовые наборыТестовые наборы

Данные

Установка параметров запроса

источник данных

Проверки

если success

ожидаемый код

ожидаемый результат

фактический результат

ожидаемый кодрольпараметры

запросаобъект

запрос

код ответа

ожидаемый ответ

тело ответа

Данные

фикстуры дамп

● реальные

● случайные, но однородные

● уникальные

Требования к данным

Работа с БД

$entity = Db()->entity('review')->forFilial('141265770608749')

->isHidden(false)->withPhoto(true)->getRandomEntity();

$user_id = Db()->user()->withStatus(1)->getRandomUser()->id;

$article = Db()->table('articles')->isPublished(true)->getRow();

Всегда ли?

'bacs' => [

'flamp_nsk' => 1,

'flamp_krsk' => 4,

'flamp_msk' => 13,

],

'filials' => [

'pac' => '141265770608749',

'pac2' => '141265771836316',

'bac' => '141265771910841',

'simple' => '141265771459351',

],

config.php

assertions

$this->assertEquals($user_id, $actual->user_id, “incorrect user_id”);

$this->assertEquals($project_id, $actual->project_id, “incorrect project_id”);

$this->assertEquals($id, $actual->id, “incorrect id”);

...

$this->assert($expected, $actual);

// Фактический результат$actual = $this->getResponseBody();

// Ожидаемый результат$expected = [

'user' => CHECK_STRING_NOT_EMPTY,'access_token' => CHECK_STRING_NOT_EMPTY

];

// Сравниваем ФР и ОР$this->assert($expected, $actual);

assertions

// Ожидаемый результат $expected = [ 'filial_id' => $filial_id, 'user_id' => $user_id, 'text' => $text, 'date_created' => CHECK_DATETIME_FORMAT, 'date_edited' => null, 'comments_count' => 0, 'likes_score' => 0, 'source' => CHECK_SOURCE, 'filial' => CHECK_NOT_NULL, 'user' => CHECK_EXIST, 'comments' => CHECK_NOT_NULL, 'official_answer' => null, 'additional_data' => [ 'is_liked' => false, 'is_subscribed_to_comments' => false ], 'url' => CHECK_STRING_NOT_EMPTY, 'id' => CHECK_POSITIVE ];










enum






enum






enum


наличие атрибута


Примеры

public function providerGetBlogAuthors()

{

// запись блога $article = Db()->table('articles')->isPublished(true)->hasAuthor(true)->getRow();

// неопубликованная запись блога $article_not_published = Db()->table('articles')->isPublished(false)->getRow();

return [

// опубликованная [$article, Config()->roles->user, 200],

// неопубликованная под авторизованным юзером [$article_not_published, Config()->roles->user, 404],

// неопубликованная под гостем [$article_not_published, Config()->roles->guest, 404],

];

}

public function testGetBlogAuthors($article, $user_id, $expected_code)

Формируем тестовые наборы

/**

* @dataProvider providerGetBlogAuthors

*/

public function testGetBlogAuthors($article, $user_id, $expected_code)

{

// Задаём http-метод, метод API, параметры запроса $this->http_method = 'GET';

$this->method = "blogs/{$article->id}/authors";

// Выполняем запрос и проверяем коды ответа $this->asUser($user_id)->send();

$this->waitFor($expected_code);

Получаем авторов записи блога

// проверяем поля в ответе if ($expected_code === 200) {

$actual = $this->getResponseBody()->authors;

// авторов может быть много, проверяем первого $expected[0] = [

'name' => CHECK_STRING_NOT_EMPTY,

'user' => CHECK_NOT_NULL,

];

$this->assert($expected, $actual);

}

Получаем авторов записи блога

public function testDeleteReview($entity_id, $cause, $user_id, $expected_code)

{

// Задаём http-метод, метод API, параметры запроса $this->http_method = 'DELETE';

$this->method = "reviews/{$entity_id}";

$this->params = [

'cause' => $cause

];

// Выполняем запрос и проверяем коды ответа $this->asUser($user_id)->send();

$this->waitFor($expected_code);

// Проверка на повторное удаление сущности if ($expected_code === 202) {

$this->asUser($user_id)->send();

$this->waitFor(404);

}

}

Удаляем отзыв

Запуск и отладка

Запуск и отладка

Приёмочное тестирование фичи

10-20 сек

Регрессия

1400 тестов

35 000 проверок

5 минут 1400 тестов

Регрессия

1400 тестов

35 000 проверок

5 минут 1400 тестов

28 860 минутвместо

Процессы

● отдельный репозиторий

● все пушат, мёржат, коммитят

● новая фича покрывается при тестировании,или даже параллельно с разработкой :)

Flamp API

JSON-schema

Flamposcope

2fingers

Луковица качества API

Вопросы?

Education

Автоматизация функционального тестирования REST API: секреты, тонкости и подводные камни