Развитие процессов тестирования в Badoo за три года

Развитие процессов тестирования в Badoo за три года,

или как мы думали, что всё хорошо, а оказалось, что можно лучше.

Кудинов Илья, Badoo Development

Немного цифр — как обычно

● 2 серверных релиза в день● Еженедельные релизы приложений

● ~80 => ~150 разработчиков● ~20 => ~50 QA-инженеров

● 180 => 300+ миллионов пользователей● 0.6 => 1+ миллиона пользователей онлайн

Разные QA-флоу

● Web / сервер мобильных приложений● Демоны на С / C++ / Go● Мобильные флоу:

– iOS

– Android

– Windows

– Mobile Web

5 (или около того) этапов контроля качества

1. Code Review

2. Тестирование на девеле

3. Тестирование в шоте

4. Тестирование на стейджинге

5. Верификация на продакшне

Code Review

Code Review

● «Автоматизированное» ревью — гит-хуки

Code Review

● «Автоматизированное» ревью — гит-хуки– Проверка имени ветки

Code Review


– Проверка прав на коммит

Code Review



– Проверяем соответствие код-формату (phpcf!)

https://habrahabr.ru/company/badoo/blog/232133/

Code Review




– Обновление статусов и комментарии в Jira

Code Review





– Корректность тестов

Code Review





– Корректность тестов

– И мнооооогое-многое другое

Code Review

● «Ручное» ревью


Code Review

● «Ручное» ревью– Корректность логики

Code Review


– Оптимальность решения

Code Review



– Соответствие архитектуре

Code Review




– Покрытие юнит-тестами

Code Review




– Покрытие юнит-тестами

– Проверка со стороны других отделов

Автоматическое тестирование ветки

История войны за автоматический прогон юнит-тестов


2012● 15'000 тестов● Однопоточный / топорный многопоточный запуск● >40 минут на прохождение тестов● Запускаем только руками :(


2013● 25'000 тестов● Многопоточная пускалка● 5 минут на прохождение тестов● Запускаем по резолву задачи!



2014● 40'000 тестов● Облачная пускалка● 2-3 минуты на прохождение тестов


2015● 55'000 тестов (каверидж ~50%)● Стараемся запускать тесты по кавериджу● 1-2 минуты на прохождение тестов для ветки● 5-7 минут на прохождение всех тестов



2016● 60'000+ тестов (and counting!)● PHP7!● SoftMocks!● 2-3 минуты на все тесты!



Тестирование на девеле

Совсем ручное тестирование


● Регистрируем пользователя для каждого теста


● Регистрируем пользователя для каждого теста● Заливаем и модерируем фотографии


● Регистрируем пользователя для каждого теста● Заливаем и модерируем фотографии● Подготавливаем тестовые данные


● Регистрируем пользователя для каждого теста● Заливаем и модерируем фотографии● Подготавливаем тестовые данные● Сложновоспроизводимые кейсы


● Регистрируем пользователя для каждого теста● Заливаем и модерируем фотографии● Подготавливаем тестовые данные● Сложновоспроизводимые кейсы● Не забываем удалять

QAAPI

QAAPI

● Быстрая регистрация пользователя

QAAPI

● Быстрая регистрация пользователя● Генерация и заполнение любых данных

QAAPI

● Быстрая регистрация пользователя● Генерация и заполнение любых данных● Изменение нередактируемых параметров

QAAPI

● Быстрая регистрация пользователя● Генерация и заполнение любых данных● Изменение нередактируемых параметров● Ускорение автотестов

QAAPI

● Быстрая регистрация пользователя● Генерация и заполнение любых данных● Изменение нередактируемых параметров● Ускорение автотестов● QAAPI сценарии

QAAPI

● Быстрая регистрация пользователя● Генерация и заполнение любых данных● Изменение нередактируемых параметров● Ускорение автотестов● QAAPI сценарии● Недоступно для внешних пользователей


Улучшенное окружение и инструментарий

Облачный скриптовый фреймворк

* * 1 * * script1.php* 5 * * * script2.php

User Split


Более стабильные тесты для девела

Тестирование в шоте

● Микростейджинг 'master + task'● Продакшн-окружение● Генерация переводов


● Микростейджинг 'master + task'● Продакшн-окружение● Генерация переводов● NEW! Сбор скриншотов лексем для переводчиков


● Микростейджинг 'master + task'● Продакшн-окружение● Генерация переводов● NEW! Сбор скриншотов лексем для переводчиков● NEW! Автоматический запуск селениум-тестов

Селениум-теста нет?

Селениум-теста нет?

● Тесты пишутся после релиза задачи● Селениум-тестами покрывается только устоявшийся и

критический функционал

Селениум-тест упал!



Сборка релизаAIDA: Automated Interactive Deploy Assistant


Сборка релиза

● Определение задач, готовых к релизу


● Определение задач, готовых к релизу● Автомерж


● Определение задач, готовых к релизу● Автомерж● Деплой релиза на стейджинговые сервера


● Определение задач, готовых к релизу● Автомерж● Деплой релиза на стейджинговые сервера● Запуск автоматического тестирования

Автоматическое тестирование релиза


● Смоук-тесты при каждом обновлении релизной ветки


● Смоук-тесты при каждом обновлении релизной ветки● Постоянно гоняющиеся юнит- и селениум-тесты


● Смоук-тесты при каждом обновлении релизной ветки● Постоянно гоняющиеся юнит- и селениум-тесты● Сигнализация о каждой ошибке


● Смоук-тесты при каждом обновлении релизной ветки● Постоянно гоняющиеся юнит- и селениум-тесты● Сигнализация о каждой ошибке● Возможность быстрой пересборки билда при ошибке

Ручное тестирование релиза

Что-то сломалось!(на стейджинге, не на продкшне, конечно же!)

Локализуем проблему


● Смотрим логи тестов


● Смотрим логи тестов● Запускаем там, где не

запускались



запускались● Находим тикет, в

котором всё сломалось



запускались● Находим тикет, в

котором всё сломалось● Помогает не всегда —

приходится искать самим :(

Устраняем проблему

● Если всё совсем плохо — откатываем тикет


● Фиксим коммитом в ветку билда (?)


● Делаем патч в билд!

Всё готово к релизу?

Всё готово к релизу?

Р Е Л И З !

Нет, на самом деле мы работаем дальше

Верификация на продакшне

Мониторинг!

Мониторинг● RRDTool

– Основные метрики

– Нагрузка

– Логи ошибок

Мониторинг● RRDTool

– Основные метрики

– Нагрузка

– Логи ошибок

● Splunk– Динамика событий в реальном времени

– Создание тикетов на ошибки прямо из интерфейса

Всегда есть куда стремиться!

Вопросы?

Кудинов Илья

vk.com/relzegfb.com/relzeg

Badoo Development

vk.com/badoocomfb.com/BadooMoscow

habrahabr.ru/company/badoo

Статьи на Хабре

● GitPHP: https://habrahabr.ru/company/badoo/blog/200946/● PHPCF: https://habrahabr.ru/company/badoo/blog/232133/● Пускалка тестов: https://habrahabr.ru/company/badoo/blog/181488/● Каверидж, QAAPI: https://habrahabr.ru/company/badoo/blog/264497/● SoftMocks: https://habrahabr.ru/company/badoo/blog/279617/● User Split: https://habrahabr.ru/company/badoo/blog/278089/● AIDA: https://habrahabr.ru/company/badoo/blog/169417/

Education

Развитие процессов тестирования в Badoo за три года