QA как услуга

Юрий Цыганенко

Качество продукта и услуги

• Качество vs удовлетворённость• Удовлетворённость – соответствие ожиданиям

– Продукт: довольные пользователи– Услуга: довольный заказчик

Ещё не заказчик

Принятие решения об аутсорсинге• Нехватка собственных ресурсов,

(сжатые сроки, и т.п.)

• Требуются рабочие места, офисное пространство• Нереально быстро найти,

отсобеседовать кандидатов, выбрать• Неравномерность загрузки:

(пик тестирования перед релизом)• Высокая стоимость человеко-месяца• Предыдущий опыт аутсорсинга,

(рекомендации, примеры/антипримеры)

...у заказчика

• Решили аутсорсить !

• Знакомство

• - с компанией-исполнителем

• - с участниками проекта

• Процесс идёт

- исполнители оправдывают ожидания,

- вписываемся в планируемый цикл.

• Ура! Первый релиз! Спасибо!

• Аутсорсить больше задач

У аутсорсера

• Подбор команды

• Знакомство

• с продуктом, документацией, тестами.

• с циклом

• Ручное тестирование

• Подготовка Тест кейсов

• Автоматизация (regression), в промежутках между фазами

• Возрастание роли автоматизации

Путь к счастью

• Регулярно — отчёты • Метрики

- Число багов.- Скорость регресс.

– Чем подробнее.. ?

ещё к счастью

Регулярно

• Созвоны– Куда движемся

– Дополнение к письмам

– Эмоционально-окрашенные результаты...

exit-criteria - за представителем заказчика, но ...

Нравится• Превосходить ожидания

• Инициативность • Вовлечённость всех• Активно выяснять• Доступность

внеурочно - чат.

Отторгает

• Невнятные ответы• Языковые трудности• Отсутствие к-л• «Глупые» вопросы

Рас-шар-кать-ся• . . .

В процессе

• Тест кейсы

• - Вики / Tool /почта

• Общие аккаунты для ..

• -Дампо-почта

• - Тest Management tool

• - Сервера, и пр.

• - Экономия на лицензии

• - Нужны договорёности, «подписи»

Хинт: Злой Полицейский

Бывает нужно:• Тормошить dev заказчика

«Спеки нет, ясности тоже»

• Работать? А деньгами? А гулять?

Пусть это будет MGR заказчика

Случилось страшное

Пропустили баг(и)..

• Провести аудит.• Сообщить заказчику

о принятых мерах для предотвращения подобного.

Напр.: - Pевью тесткейсов / данных /

- Регулярный статус report...

Автоматизация: начало

• Желание автоматизировать регрессионные тесты• Выбор инструмента, языка (консультации..)

• Начинают 1-2 человека

• Экономить... - ?

Авто?

• Итог - через разумное время:– Автоматизировано

несколько тестов– Базовый набор

функций/классов

... Так держать?

За-Пуски

• Гоняем. Часто FAIL. :– Конфигурация– Не та машина– Не те права– Изменили UI– Кривые данные– Timeout'ы

... 10 раз.. На 11-й бага не ждём?

... Авто - работает!

• Выявлены баги• % автоматизированного мал

% - метрика, статус!• Конфигурации –

на откуп автоматизаторамЭто не метрика(и о конфиг. Мало думают)

– Авторы сами гоняют тесты– Логов мало, анализ недолгий

(тестов немного)

...А побольше?

• Заказчик хочет больше и быстрее• Привлечь больше ресурсов• % автоматизированного – единственная метрика!

• Только авторы запускают тесты

• О конфигурациях всё ещё не думают

... Экономить ?

• Экономить на прогонах - “гоняю сам”(Получается?)

• Пишем вместе (Нравится?)

• Общаемся регулярно:

– Про FWK напоминаем (вежливо)– Ревью коммитов

«Авто» в идеале

• Запускать умеет любой:o QA Аутсорсера

(Автор, коллеги)

o QA Заказчикаo Разработчики

(у заказчика, у аутсорсенров..)

o Робот (Типа Continuous Integration)

• Any– Конфигурация

– User account

– Domain

Бывает ..

• Расширена команда • Существенно повышен % автоматизированного

• Только авторы прогоняют• В одной и той же среде

(конфиги)

Ещё можно поправить?

o Как только меняется продукт:o – ОЙ...o – Логов навалило

(Успевай разбирать!)o Как бы поскорее...

Фатально

• Framework — отсутствует• Слишком много надо менять• Не отделаться

Search-and-replace• Fail, Fail Fail .. Непобедимо! • ... Stop!

(Кто/что виноват(о,ы) и ...)

По-хорошему вначале - Framework

• «Обвязка» UI

• Конфигурация инструментов

• Репорты

• Бизнес-логика

• Конфигурация (приложения)

А по-хорошему• Всем разъяснить

Framework

• Ни шагу без FwkНикому!

• Refactoring

• Зелёные билды!

• Логов много, но посильно

Деньги и счастье

• Превращение проекта в процесс– Крупные QA проекты обычно «пожизненны»

Счастье сотрудников

• «Пожизненные» проекты надоедают?• Ротации• Поводы подготовить

замену

• Убедить заказчика

Спасибо!

• ?• ??• ???