1 © L

uxoft

Tra

inin

g 2

012

Григорий Сенин

Нарушение

лучших практик

тестирования

Webinar Sep 24, 2016

2 © L

uxoft

Tra

inin

g 2

012

1969-1977 – МГУ, ВМК, к.ф.-м.н.

1977-1990 – ВЦ АН СССР

1996-2005 – IBS, Luxoft, руководитель отдела подготовки документации, отдела тестирования

2006-2008 – Auriga, CDO

2009-2014 – менеджер/директор по качеству, начальник отдела тестирования (Ritzio Entertainment Group, AnywayAnyday, Luxoft)

C 2011 – Учебный Центр Luxoft, тренер/эксперт

О себе

GSenin@Luxoft.com GregSenin@Gmail.com

4 © L

uxoft

Tra

inin

g 2

012

Иметь независимую группу

тестирования

Оценивать трудозатраты

Управлять требованиями:

трассировка, изменения

Рецензировать артефакты

Некоторые практики тестирования

5 © L

uxoft

Tra

inin

g 2

012

«Схема убеждения»

практика

хорошая вещь 1

хорошая вещь 2

хорошая вещь 3

раннее

вовлечение

тестировщиков

• Требования более ясные и точные

• … анализируются и рецензируются

• … лучше понимаются тестерами

• … одинаково понимаются всеми

• Раньше начинается тест-дизайн

• …

6 © L

uxoft

Tra

inin

g 2

012

Пол Джеррард. Аксиомы тестирования

7 © L

uxoft

Tra

inin

g 2

012

Знать, против чего тестировать (наличие требований)

Аксиома #2: Testers need sources of knowledge to select things to test (база

тестирования)

Знать, какое поведение системы «правильное» (ожидаемые

результаты тестирования)

Аксиома #3: Testers need sources of knowledge to evaluate actual out-comes or

behaviours (оракул)

Источники нашего знания небезупречны

Аксиома #4: Our sources of knowledge are fallible and incomplete (изъяны в

артефактах)

Уметь оценить полноту/тщательность тестирования

Аксиома #7: Testing needs a coverage model or models (покрытие)

Понимать, что момент завершения тестирования - компромисс

Аксиома #13: The scope of testing and acceptance are always compromises (Good

Enough)

Аксиома #14: Testing never finishes; it stops (неисчерпаемость)

Аксиомы универсальнее, чем практики

8 © L

uxoft

Tra

inin

g 2

012

оценка

рисков

«Схема убеждения» (альтернатива)

практика риск

это мои текущие

проблемы?

или для меня

не актуально?

На шаг дальше в оценке

данной практики

9 © L

uxoft

Tra

inin

g 2

012

Контекст (источники рисков):

1. Тестирование субъективно

2. Отсутствует «установка на разрушение»

3. У тех, кто тестирует, отсутствует представление о системе в целом

4. Методики тест-проектирования не применяются систематическим образом

5. Тесты не опираются непосредственно на требования

Риски нарушения:

1. Недостоверны результаты тестирования

2. Многие функциональные области не протестированы

3. Многие дефекты не обнаружены

Практика: Независимая группа тестирования

10 © L

uxoft

Tra

inin

g 2

012

Контекст (источники рисков):

1. Тестеров не оценивают свои трудозатраты

2. Группа независимого тестирования отсутствует

Риски нарушения:

1. Бюджет тестирования недооценен

2. Ресурсов тестирования (число тестировщиков)

недостаточно

3. Цели тестирования не достигнуты (не получена

достоверная информация о качестве продукта)

Практика: Оценка трудозатрат на тестирование

11 © L

uxoft

Tra

inin

g 2

012

Контекст (источник риска)

1. Только динамическое тестирование

Риски нарушения:

1. Некоторые типы дефектов не обнаружены

2. Многие дефекты обнаружены слишком поздно

3. Не достигнуты цели разработки:

Низкое качество продукта

Поздний выпуск продукта

Превышение бюджета

Практика: Рецензирование артефактов

12 © L

uxoft

Tra

inin

g 2

012

Установить процедуры выявления и анализа

требований

Документировать требования

Проводить рецензирование требований (ясность,

непротиворечивость, полнота, …)

Управлять изменениями

Утвердить требования у заказчика

Практика: Управление требованиями 1/2

13 © L

uxoft

Tra

inin

g 2

012

Риски нарушения:

1. Часть функций не реализована,

тем более не проверена

2. Найденные дефекты отклонены (время и труд

тестировщиков потеряны)

3. Ошибочное (с т.зр. Заказчика) поведение системы не

признано тестировщиками за дефект

4. Качество продукта низкое или сроки сорваны или бюджет

превышен

5. Продукт не принят в эксплуатацию

6. …

Практика: Управление требованиями 2/2

14 © L

uxoft

Tra

inin

g 2

012

оценка

рисков

Можно по-разному реагировать на риски

практика риск

• Насколько они актуальны в моей организации?

• Можно ли ими пренебречь?

• Какова моя стратегия воздействия на риски?

15 © L

uxoft

Tra

inin

g 2

012

Источник риска: запросы на изменение

Риск: расширение рамок, сдвиг сроков, недооценка

трудозатрат

1. Смягчение: формальное управление изменениями

2. Устранение: мораторий на изменения в течение итерации

Варианты воздействия на риск 1

16 © L

uxoft

Tra

inin

g 2

012

Источник риска: документы требований

Риск: разная трактовка требований внутри команды

1. Смягчение: рецензирование

2. Устранение: эффективная коммуникация внутри команды

Варианты воздействия на риск 2

17 © L

uxoft

Tra

inin

g 2

012

Источник риска: документы требований

Риск: разная трактовка требований с заказчиком

1. Смягчение: утверждение у заказчика

2. Устранение: отсутствие документов; вовлечение заказчика в

разработку, постоянное присутствие его в команде

Варианты воздействия на риск 3

18 © L

uxoft

Tra

inin

g 2

012

Источник риска: неявные требования

Риск: ожидания заказчика не удовлетворяются на

приёмке

1. Смягчение: дополнительное время на процедуру приёмки

2. Передача: короткие итерации, регулярные демонстрации

продукта

Варианты воздействия на риск 4

19 © L

uxoft

Tra

inin

g 2

012

Источник риска: слабая база оценки (или нет

процедуры!)

Риск: неверная оценка трудозатрат

1. Смягчение: методики оценки (или ввести процедуру)

2. Принятие: ошибки не страшны - их становится меньше при

большом числе итераций

3. Принятие пассивное: заказчика не волнуют сроки (риск

ничтожен)

Варианты воздействия на риск 5

21 © L

uxoft

Tra

inin

g 2

012

Альтернативная работа с рисками вам

ничего не напоминает?

Agile?

22 © L

uxoft

Tra

inin

g 2

012

Эффективная устная коммуникация, встречи для обмена

информацией по требованиям и др.

-- а не документы требований

Валидация требований путём вовлечения заказчика

– а не формальное утверждение

Прототипирование – демо для заказчика в каждом спринте – а не

рецензирование

Мораторий на изменения в ходе спринта

-- а не формальные запросы на изменение

Постепенное наращивание функционала – итеративный выпуск

релизов

-- рефакторинг продукта, а не документации

Альтернативное нивелирование рисков в Agile

23 © L

uxoft

Tra

inin

g 2

012

Позволяет:

Оценить приемлемость или неприемлемость подхода к

тестированию

Получить ясное представление об угрозах, связанных с

пренебрежением к тестированию

«Лучшие практики» -- не аксиомы: можно нарушать при

понимании последствий

Побудить к альтернативному реагированию на риски;

Вообще – применять аппарат управления рисками в целом

Адекватно выстроить аудит процесса тестирования

Использовать как инструмент для обучения

Прикладная ценность подхода

24 © L

uxoft

Tra

inin

g 2

012

Благодарю за внимание!

Вопросы?