Software Quality Assurance Days19 Международная конференция по вопросам качества ПОsqadays.com

Санкт-Петербург. 20–21 мая 2016

Ладутько Андрей

EPAM Systems, Минск, Беларусь

Самостоятельная оценка процессов тестирования на проекте – с чего

начать?

АНДРЕЙ ЛАДУТЬКО

Тест-лид, Эксперт ЦКТ

8+ лет опытаПроцессы, аудиты, тест-дизайн, личная эффективность

SQA Days-12,13,15,16,17,19 - докладчикSQA Days-18,19 – куратор ПК

ISTQB Full Advanced Level

ladutko_andrey@tut.by, andrey_ladutko@epam.com ladutko_andreysof_minskhttp://qastugama.blogspot.comp://qastugama.blogspot.com

3CONFIDENTIAL

ШАГ 0. ПРИНЯТИЕ

В ЛЮБОЙ КОДЕ ВСЕГДА МОЖНО НАЙТИ ОШИБКИ.ЛЮБУЮ ТЕСТОВУЮ СТРАТЕГИЮ МОЖНО ЕЩЕ ЧУТЬ-ЧУТЬ УЛУЧШИТЬ

4CONFIDENTIAL

ШАГ 1. ОПРЕДЕЛЕНИЕ

5CONFIDENTIAL

ШАГ 1. ОПРЕДЕЛЕНИЕ

•Цель тестирования•Вопросы, на которые хотим получить ответ

6CONFIDENTIAL

ЦЕЛИ ТЕСТИРОВАНИЯ

Time

Costs

Quality

Visibility

Automation

7CONFIDENTIAL

1 2 3

ПОЧЕМУ МЕТРИКИ

Четкий Измеряемый Реалистичный

8CONFIDENTIAL

ОТВЕЧАЕМ НА ВОПРОС:КАКОЕ КАЧЕСТВО ТЕСТИРОВАНИЯ?

• % ошибок, пропущенных в релиз (Defect Containment )

• % отклоненных дефектов (Decline Rate)• Число дефектов по типам и приоритетам

(Total number of issues by types of testing VS priority)

• Дэшборд (Testing Dashboard)• Количество открытых дефектов (Open

Defects)• % рабочего времени по категориям (Total

working time by categories)

9CONFIDENTIAL

ОТВЕЧАЕМ НА ВОПРОС:УСПЕВАЕМ ЛИ МЫ ПРОТЕСТИРОВАТЬ ВОВРЕМЯ?

• Дэшборд (Testing dashboard)• Диаграмма выгорания (Burn Down Chart)• Число рабочих дней VS запланированное время на

тестирование (Test team work Days remaining vs testing effort remaining)

• Закрытые VS все дефекты (Total vs Closed)• Изменение количества дефектов по статусу (Defect

progression by status and quality)• Количество дефектов на верификацию (# of defects

to be verified)

10CONFIDENTIAL

ШАГ 2. ИЗМЕРЕНИЕ И АНАЛИЗ

11CONFIDENTIAL

ПРИМЕР ИЗМЕРЕНИЯ. DEFECT CONTAINMENT

• Показывает % дефектов найденных до релиза VS общее количество дефектов

• Считается после определенного периода после релиза

• Невалидные баги не учитываются

𝑫𝒆𝒇𝒆𝒄𝒕 𝑪𝒐𝒏𝒕𝒂𝒊𝒏𝒎𝒆𝒏𝒕=𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔−𝒑𝒓𝒐𝒅𝒖𝒄𝒕𝒊𝒐𝒏 𝒅𝒆𝒇𝒆𝒄𝒕𝒔𝒂𝒍𝒍𝒅𝒆𝒇𝒆𝒄𝒕𝒔 ∗𝟏𝟎𝟎%

Целевое значение – 95%

NOTES

12CONFIDENTIAL

ПРИМЕР АНАЛИЗА ПРОПУЩЕННЫХ ДЕФЕКТОВ

• Конфигурации и окружения• Вид тестирования (функциональный – нефункциональный)• Сценарий или ad-hoc• Компонента или модуль системы•Причина пропуска (регрессия, неясное требование, недостаток времени, апгрейд версии)

13CONFIDENTIAL

ШАГ 3. ДЕЙСТВИЕ

14CONFIDENTIAL

ШАГ 4. КОРРЕКЦИЯ

15CONFIDENTIAL

САМОСТОЯТЕЛЬНЫЙ АУДИТ – ИТОГОВАЯ СХЕМА

Определение

Кор

рекц

ияИ

змерен

ие и анализ

Действие

Цель тестирования Вопросы Метрики и KPI

Сравниваем метрики до и после внедрения

Улучшение – продолжаем

Застой или ухудшение – ищем другие способы

Метрики и KPI Шаги по улучшению

Just do it!

16CONFIDENTIAL

ladutko_andrey@tut.by, andrey_ladutko@epam.com ladutko_andreysof_minskhttp://qastugama.blogspot.com

СПАСИБО!