CodeFest 2011. Олейников С. — 5 параметров, которые должен...

1

Пять параметров, которые должен знать каждый тест-менеджер

Сергей Олейников

Parallels

2

• 2000-2002, РосНИИ ИИ НФ• 2000 – 2001, разработчик• 2001 – 2002, вед. разработчик

• 2002-2004, Softberry• вед. разработчик

• 2004 – сегодня, Parallels• 2004 – 2005, разработчик в Plesk for Linux• 2005 – 2007, вед. разработчик Plesk API• 2007 – 2008, руководитель группы• 2008 – 2009, руководитель по организации R&D процессов • 2008 – 2010, руководитель тестирования• 2009 – 2010, руководитель направления производительности и

безопасности продуктов Parallels Panel• 2011 – по наст. момент, директор по разработке программных

продуктов

О себе

3

Управлять качеством, как?

• Организация тестирования

• Анализ текущего качества и прогнозирование

4

Показать текущее качество, как?

• Я думаю, что....

• С пеной у рта

• Использовать метрики

5

Метрики

• Объективны

• Помогают спрогнозировать развитие ситуации

6

Метрики vs. Команды

• 2-8 инженеров

• от 10 инженеров, в т.ч.• разработчики• тестировщики• тех. писатели• и т.д.

7

Как считать метрики

• Bug tracker

• Excel

8

Метрика: Открытые баги (Open Trend)

• Показывает количество багов, которые нужно исправить

• Скорость

9

Метрика: Открытые баги (Open Trend)

• Показывает количество багов, которые нужно исправить

• Скорость (Found trend, To fix)

10

Time

Bug

s

1-2 months 1-2 months 1-2 months 1-2 months 1-2 monthsBeta Release

Traditional 1 milestone waterflow

Integration/ReleaseIntegration/Release

Метрики

12

Метрика: Найденные баги (Found Trend)

• Показывает количество найденных багов

• Сортировка по важности

13

Метрика: Найденные баги (Found Trend)

• Показывает количество найденных багов

• Сортировка по важности

14

Метрика: Разрешенные к фиксу

• Неважные баги можно выкинуть

• Показывает %%

15

Метрика: Разрешенные к фиксу

• Неважные баги можно выкинуть

• Показывает %%

16

Метрика: Надежность

• Показывает количество найденных reliability багов

• Сортировать по важности

17

Метрика: Надежность

• Показывает количество найденных reliability багов

• Сортировать по важности

18

Метрика: Регрессия

• Показывает количество найденных регрессионных багов

• Сортировать по важности

19

Метрика: Регрессия

• Показывает количество найденных регрессионных багов

• Сортировать по важности

20

Метрика: Quality Rating

• от 1 до 5

• Ставится инженерами

• Субъективна

21

Итого:

• Найденные баги

• Разрешенные баги к фиксу

• Надежность

• Регрессия

• Quality Rating

22

Спасибо!

Сергей Олейников

soleynikov@parallels.com

oleynikov.blogspot.com