Решение для управления процессами тестирования

Ирина Луцюк, Serena Software

2

Управление тестированием 5 лет назад

3

Тест кейсы

4

Где хранились

• В системе контроля версий (PVCS VM) как файлы

5

Где хранились

• В сети на сервере как офисные документы

6

Где хранились

• Страницы Wiki

7

В каких форматах

• Офисные документы в форматах MS Word и Excel

8

В каких форматах

• На листочках бумаги

9

Статус-кво по тест-кейсам

• Не было единого хранилища

• Совершенно непонятна степень покрытия функционала приложений сценариями тестирования

• Не было единого формата и требований к содержанию

• Оценка времени, требуемого для прохождения сценария, не проводилась

• Сложилась негибкие, неустойчивые, но как-то применяемые практики

• Невозможно проследить зависимости

• История изменений не велась и не хранилась

10

Результаты тестирования

11

Статус-кво по результатам тестирования

• Отчеты по факту прохождения каждого тест-кейса заполнялись не всегда

• Прослеживание связей между функциональностью/функциями/требованиями не происходило (не было такой возможности)

• Не фиксировались связи с запросами на изменения

• Не отслеживались конфигурации, на которых проводилось тестирование

• Невозможно проиллюстрировать достигнутый уровень качества

12

Планирование тестирования

13

Статус-кво по планированию тестирования

• Очень неформальное

• Основной принцип – необходимо «все проверить» к такому-то сроку безотносительно масштабов изменений

• Посмотреть прогресс или статус было невозможно

• Совершенно бесполезно для оценки готовности релиза к финальному выпуску

14

Управление тестированием сегодня

15

Библиотека тест-кейсов (TMS Test Library)

• Жизненный цикл сценария тестирования

In Work In Review Approved

Out of Date

16

Библиотека тест-кейсов (TMS Test Library)

• Жизненный цикл сценария тестирования

In Work In Review Approved

Out of Date

17

Библиотека тест-кейсов (TMS Test Library)

• Жизненный цикл сценария тестирования

In Work In Review Approved

Out of Date

18

Библиотека тест-кейсов (TMS Test Library)

• Жизненный цикл сценария тестирования

In Work In Review Approved

Out of Date

19

Библиотека тест-кейсов

20

Кратко по библиотеке тест-кейсов

• Простой процесс

• Единый репозиторий

• Интуитивное использование

• Унифицированная форма тест-кейса

• Покрытие тестами относительно функциональной декомпозиции

• Связи с запросами на изменение

• Хорошая оперативная и аналитическая отчетность

• Уведомления пользователям

•Полный контроль над решением (можем сами менять ЛЮБЫЕ элементы реализации)

21

Результаты тестирования

• Жизненный цикл тестирования

To Be Executed

Passed Failed Blocked

22

Результаты тестирования

• Жизненный цикл тестирования

To Be Executed

Passed Failed Blocked

23

Результаты тестирования

• Жизненный цикл тестирования

To Be Executed

Passed Failed Blocked

24

Результаты тестирования

• Жизненный цикл тестирования

To Be Executed

Passed Failed Blocked

25

Результаты тестирования

26

Результаты тестирования

• Каждый запуск тест-кейса фиксируется

• Результат ассоциируется с конкретным сценарием тестирования

• Есть прямые связи с запросами на изменения, которые тестируются

• Есть возможность проследить информацию по сборкам и релизам

• Фиксируется информация по статусам тестирования, времени тестирования и т.д.

• Расширенная отчетность

27

Планирование тестирования Пакеты тест-кейсов

• Test Requirement Lifecycle

New Planning In Review Ready

Assigned For

Testing

In Progres

sCCRB Complete

d

28

Пакеты тестирования

29

Планирование тестирования Пакеты тест-кейсов

• Простой процесс планирования

• Гибкость в определении покрытия тест-кейсами

• Наглядное представление покрытия функционала кейсами по• Функциональной декомпозиции• Конфигурации и Среды тестирования• Проектных характеристик

• Понятные оценки продолжительности тестирования

• Наглядное представление объема работы

• Простое отслеживание статуса

30

QA Отчет по прогрессу тестирования

31

Управления средами тестирования

New

In Pool

Configuring

Available In Use

32

Управления средами тестирования

33

Управления средами тестирования

• Стандартизация описания сред тестирования

• Наглядное представление доступности сред

• Взаимосвязь между пакетом тестирования и средой исполнения тестовых сценариев

34

Статистика использования

Manual Test Cases

Test Results

35

Планы по развитию

36

Планы по развитию

• Интеграция с платформами автоматизированного тестирования• Возможность запускать автоматические сценарии из

Serena• Единый репозитарий результатов исполнения тестов

• Улучшение пользовательского интерфейса в части наполнения пакета тестирования тест-кейсами

• Возможность представления Шагов тест-кейса и Результатов в табличной форме.

• Возможность наглядной привязки ошибки к конкретному шагу тест-кейса

37

Спасибо