Upload
alexei-lupan
View
766
Download
2
Embed Size (px)
Citation preview
8-я Международная конференцияСанкт-Петербург, Россия
Нерелизное тестированиеЕвгения Фирсова
Когда релизы – это слишком медленно
Большим релизам – нет:
• Процессы в разработке:
• объём работ – до 70 новых задач в месяц;
• распараллеливание – до 10 потоков
одновременно.
• Организационные особенности:
• периодическая смена приоритетов;
• календарные ограничения релизов.
Нерелизное тестирование
Предмет, объект, основание
Одновременно в тестировании:
• релиз1:
• задача 1;
• … пакет
• задача N1:
• …
• релиз N:
• задача NN.
Нерелизное тестирование
Куда идёшь, путник?
Фиксируем цели для ОТ:
• Адекватный задаче выбор
требуемого уровня качества.
• Минимизация времени
на подготовку релизов.
• Совместное с разработкой планирование.
Нерелизное тестирование
Оценка переданного в ОТ релиза
Критерии готовности:
• окончательность постановки;
• вероятность незапланированных
изменений после начала тестирования;
• полнота сборки пакета;
• ожидания по каждой задаче;
• планируемое перетестирование.
Нерелизное тестирование
Оценка переданного в ОТ релиза
Параметры релиза:
• приоритет, срочность, дедлайны;
• вероятность, что релиз будет отложен;
• обязательность/наличие тест-плана;
• доступность оптимального ресурса
(в ОТ и разработке);
• нетестируемый функционал:
• если тестирование невозможно;
• если тестирование не нужно.Нерелизное тестирование
Что тестируем на самом деле?
Подлежит проверке:
• типизация изменений: логические,
интерфейсные, …;
• реализация, меняющая глобальное
поведение компонент;
• «рубильники», способы выкладки и отката;
• предчувствия и сомнения разработчика.
Нерелизное тестирование
Пора начинать?
Выбор момента для начала тестирования:
• рассчитывая длительность тестирования:
• опыт аналогичных задач;
• скорость закрытия багов;
• процессы в реальном времени;
• асинхронные процессы;
• длительность регрессионного тестирования;
• как можно ближе к дате возможной выкладки.
Нерелизное тестирование
Остановиться и подождать
Тестировщики могут ждать:
• готовность релиза;
• и релизов всех связанных компонент;
• наличие необходимых ресурсов
(люди, сервера, настройки, деньги, …);
• исправление найденных ошибок;
• помощь в воспроизведении проблем;
• экспертная оценка источника проблем;
• выкладки.Нерелизное тестирование
Считаем цыплят
Результат тестирования:
• основание для смены постановки;
• отмашка на выкладку;
• список багов;
• отдельно неисправленные в данном релизе;
• тест-план для регрессионного тестирования.
Нерелизное тестирование
За счёт и вопреки
Стоимость скорости:
• перетестирование:
• если пакет устарел;
• после рефакторинга;
• перед выкладкой;
• отсутствие/написание «задним числом» тест-планов;
• частое переключение между релизами;
• частичная передача проверок разработчикам;
• наконец, скорость тестирования.Нерелизное тестирование
Уточнения? Вопросы?
Нерелизное тестирование
[email protected] – задать любые вопросы
www.control-freak.ru – почитать подробнее об управлении версиями, задачами, проблемами и людьми