7 шагов к улучшению процесса тестирования в больших проектах

Татьяна ЗакатоваApriorit

6 лет в тестировании

Сертификат ISTQB

Организация курсов тестировщиков

Полное тестирование занимает больше 2х недель?

Большой проект:

Больше 20 фичРелизы раз в 3-6 месяцевПолное тестирование дольше 2 недель

Тяжело отвечать на вопросы по статусам Сложно планировать Важные задачи накапливаются Постоянно кажется, что что-то упустили

Новые проблемы:

1.Организация багтрекинга

2.Хранение результатов тестирования

3.Передача нового билда на тестирование

4.Планирование регрессионного тестирования

5.Оценка времени на повторяющиеся задачи

6.Работа с невоспроизводимыми багами

7.Работа с отложенными задачами

ПЛАН

1. Организация багтрекинга

Что осталось пофиксить?

Как мы работали:

Багтрекер

PM

Списки устаревают:

Разработчик не успевает

Заказчик попросил добавить

QA нашел еще баг

Проблемы

Monkey test management

Надо рыться в почте

Список багов неактуальный

Решение

Советы

1. В любой момент времени посмотреть список багов на ближайший релиз одним кликом.

Статусы Приоритеты Версии продукта

Советы

2. Легко добавить тикет в список и выбросить его оттуда

Советы

3. Пересматривайте новые тикеты каждый день

2. Хранение результатов тестирования

Как там дела с тестированием?

Что уже протестировано? С каким результатом? Что осталось протестировать?

Как мы работали

Отчет о тестировании модуля

Как мы стали работать

Win7 x86 Win7 x64

Server 2008

x86 Comment

Feature1

Feature2

Feature3

Feature4 #53123

Feature5

Feature6

…

Плюсы

Таблица позволяет визуализировать полную картину тестирования

Виден свет в конце тоннеля

3. Передача билда на тестирование

Я просто оставлю это здесь

Проблема

Задержка между билдом и началом тестирования

Решение

Запрос на тестирование – письмо со ссылкой на билд, как только он готов

Проблема №2

Получил билд

Начал проверять resolved тикеты

Разработчик

Пофиксил баг

Закоммитил изменения

Перевел тикет в resolved

Проблема не исправлена!

Тестировщик

Решение №2

Добавить в запрос на тестирование список тикетов, которые точно вошли в текущий билд

Проблема №3

Много запросов в почте

Сложно сортировать Низкоприоритетные задачи теряются Законченные задачи вперемешку с активными Двое тестировщиков делают одну и ту же задачу

Решение №3

Переезд в Jira

СоветыЗапросы стоит использовать, если:

1. Задержка между сборкой и началом тестирования

2. Вам не хватает информации об изменениях в текущем билде

4. Планирование регрессионного тестирования

Как съесть слона?

По кусочкам?

1. Долго!

2. Пока едите голову протухнут ноги

Если брать только часть слона

Видео доклада: http://www.youtube.com/watch?v=YwGmuNrTGLs&feature=youtu.be

Слайды: http://www.slideshare.net/VLDCORP/impact-analysis-10602510

SQA Days 10 в Москве

Impact Analysis в тестировании

Анна Шеретова

Используем знания разработчиков о внутренней структуре слона продукта

Импакт анализ

Импакт для одной сборки

Общий импакт

Мы уменьшили слона

5. Оценка времени на регрессионное тестирование

1. Норматив на прохождение тестов

Добавляем количество тестов

2. Тесты, в которых нужно ждать

Таблица “действие-время”

Добавляем колонку “дополнительное время”

6. Боремся с невоспроизводимыми багами

Сколько времени было потрачено в попытках воспроизвести баг?

Шаги – не единственная возможность!

логи

дампы памяти

бекапы баз данных

Таблица “симптомы-информация”на вики

Клиент1 Клиент2 Сервер База Инсталл

Всегда логи логи логи бекап логи

Висим дамп процесса

дамп процесса + список .NET dlls

дамп процесса

Креш креш дамп креш дамп креш дамп

BSOD полный дамп полный дамп

Копирование хеш файлы

Очередь задач

скриншот

7. Как не забыть сделать то, что отложили до “после релиза”?

Таблетки от склероза

1.Организация багтрекинга

2.Хранение результатов тестирования

3.Передача нового билда на тестирование

4.Планирование регрессионного тестирования

5.Оценка времени на повторяющиеся задачи

6.Работа с невоспроизводимыми багами

7.Работа с отложенными задачами

Повторяем