Waterfall revisited: практические метрики тестирования

Григорий Сенин. Anywayanyday.com, Luxoft Training

«Что у нас с качеством?»

Closed P3 =

All Found

Проще всего -- так

• График незакрытых дефектов

10

0 %

P3

Q = … P3

1. …2. …3. дефекты исправлены;

исправления дефектов подтверждены

Критерий качества #3

passed

Прогнали не все тесты…

P3P

2

Тест

ов

вы

пол

нен

о

Тест

ов

созд

ан

оQ= … P2

x P3

Критерий качества #2

1. …2. Прогнать тесты и найти дефекты

• test run

3. Подтвердить исправления дефектов

Написали не все тесты…

P3P

2Тест

ов

созд

ан

о P1

Тест

ов

зад

ум

ан

оQ = P1

x P2 x P3

Критерий качества #1

1. Создать тесты на базе требований • test design

2. Прогнать тесты и найти дефекты 3. Подтвердить исправления дефектов

Зависимости и ограничения

поправка на:Проектирование

тестов, P1

Выполнение тестов, P2

Верификация дефектов, P3

--Closed----------- = 25%Found

Невыполненные тесты

Executed------------- = 80%Designed

20% = 25% * 80%

Ненаписанные тесты

Designed------------- = 50%Planned

40% = 80% * 50% 10% = 25%*80%*50%

«Старшинство» процессов

P3P

2P1

Достижение цели тестирования

P3

P2

P1

Работа, которую нужно сделать

• Тесты пишутся, написаны не все• Тесты частично прогоняются• Найденные дефекты не исправляются

Вариации: Разработка в разгаре

• Тесты разработаны полностью• Почти все тесты выполнены• Большая часть найденных дефектов

исправлена и закрыта

Вариации: Разработка на финише

Вариации: Шлифовка подсистем

• Тесты разработаны полностью• Протестирована половина

функционала• Все найденные дефекты исправлены и

закрыты

Вариации: Разработчики задерживают тестирование

• Требования определены, тесты написаны• Разработка отстаёт => тесты не прогоняются• Дефекты не выявляются

Вариации: Требования задерживают разработку

• Требования к части продукта неизвестны (не утверждены, не изучены)

• Оставшаяся часть продукта полностью протестирована, все дефекты закрыты

Последствия изменений

CR

Показатели в динамике

Успеем ли к сроку?

Пример с реальными данными

Взгляд через «диаграмму сгорания»

Проектирование и прогон тестов: P1, P2

Прогноз скорости исправлений

Индикация отставания

Зазор качества

Откуда первичные данные?

P3: данные из баг-трекера

• Статус дефектов

P2: данные из таблицы Excel

• завершённость прогона тестов

P2: данные из инструментария

• завершённость прогона тестов

P1: данные из Excel

• Готовность тестов

P1 = 38%

P1: ‘осталось’ против ‘сделано’

• Трудозатраты на тест-проектирование

P1 = 13,75 / (2,25+13,75) = 86%

P1: данные из статуса задачи

• завершённость тест-проектирования

Статус P1 =

Open 10%

In Progress 50%

Resolved 90%

Closed 100%

P1: данные из статусов задач

• завершённость тест-проектирования

P1 = (5*100% + 4*50%)/9 = 78%

P1: данные покрытия

завершённость тест-проектирования

не есть полнота тестового покрытия ?

P1: данные покрытия

T1 T2 T3 T4 T5 T6 T7 Да/нет

R1 +

R2 +

R3 +

R4 +

R5 -

P1 = 80%

Если есть инструментарий…

Ещё «стакан»: тест-идеиТребован

ий

все

го

Q = P0 x P1

x P2x …

P2

Тест

ов

разр

абот

ано

P1

Тест

ов з

адум

ано

- ид

еи

Тест

ов

выпо

лне

ноP0

Что у нас с качеством?

− Пока 18%. Ждали 25% ...

GregSenin@Gmail.com

Вопросы?