QUALITY RATING как идентификация готовности продукта к релизу

Тимофей СургученкоHead of QA, Parallels

О себе

• 2003 – н.вр. – работаю в Parallels

• Junior Tester -> Head of QA

Тимофей Сургученко

• 100+ департамент

• 10+ продуктовых линеек

• Parallels Desktop for Mac – главный продукт

О докладе

• Quality Rating – что это такое

• Основные преимущества

• Прочие плюшки

• Что нужно помнить

• Каких проблем избегать

Как все начиналось

• 6 лет назад• Уже не стартап в самом начале,

есть успешный продукт• Жесткое противостояние с

конкурентами

• Очередная версия • Делали-делали...

• А можно ли это показать пользователю?

Что такое Quality Rating

Простая числовая оценка уровня качества некоторых аспектов продукта

• Простая числовая метрика

• Выставляется тестерами

• Оценка уровня качества некоторых аспектов или компонентов продукта

QR as defined by Parallels

5 No problems at all.

Clearly ready to ship

1 Totally unusable/untestable

4 Can be shipped into production, but there are several non-critical issues

2Not OK even for

evaluation, blo/cri issues on main paths

3Can NOT be shipped into

production,

but is OK for evaluation

QR – степень готовности компонента к передаче конечному пользователю

Фокус на пользователя

QR помогает сфокусировать команду на конечном пользователе

Нет: - баги- требования- покрытие

Да:- комфорт

пользователя- простота,

целостность, юзабилити

- готовность к релизу

Коммуникации проще

Коммуникация с помощью QRов гораздо проще и понятнее

“Ну как там качество?”

QR = 2

Нашли 1 критический и 15 мажорных багов. Есть проблемы со скоростью рендеринга некоторых экранов. Клик по кнопке “Далее” в корзине иногда вызывает фатальную ошибку, не понятно почему. Функциональные тесты надо переделать после очередного изменения в корных компонентах...

Общее представление о качестве

Общее представление получить проще

4

5

2

3

Детали

Легко понять качество конкретных компонент и динамику

Какой QR?

QR – величина субъективная

QR – фокус на конечного пользователя

Субъективная оценка

QR необходимо хорошо обосновать

• Зависит от человека, его выставляющего

• Требует• хорошего менеджмента и

правильного выбора тестеров

• доверия между членами команды

• QR необходимо хорошо обосновать:• багами

• заблокироваными тестами

• и прочими объективными вещами

Какой QR?

QR = 1, если нас интересует процесс

QR vs процесс

QR – и качество процессов в том числе

• QR• качество продукта• и процесса

• Необходимо договариваться на берегу

• И жестко следовать договоренности

QR и разработчики

Не стесняйтесь отобрать фичу в тестирование

• “Я хочу погонять больше тестов”!

• “Я хочу проверить больше конфигураций”!

• “Я хочу пятерку”

• Разработчики не так эффективны как тестеры

QR vs KPI

Не делайте этого во имя мира в команде

• QR:• субъективен• ориентирован на

функционал, а не на его автора

• “живая” метрика

• Не может быть частью KPI

Резюме

1. QR – оценка уровня качества некоторых аспектов продукта

2. Преимущества:a. (!) фокусирует разработку и

тестирование на конечном пользователеb. упрощает коммуникацииc. позволяет быстро получить обзор

текущего уровня качества продукта

3. Помнить о том, что:a. заведомо субъективная оценкаb. требует правильного обоснованияc. не может быть частью командных или

индивидуальных KPI

Спасибо mailto: timsus@gmail.comtwitter: @sstims