Тестирование систем с большим количеством входных данных или как достичь цели и не сойти с ума

Александра Чичелева. Performance Lab

Разрешите представиться

Александра Чичелева

Ведущий инженер по обеспечению качества

Основная сфера тестирования: Банковский сектор

Основные направления: работа с кредитами, депозитами и с пластиковыми картами

Заказчики: Крупные российские и зарубежные банки

План доклада

Постановка вопроса

Теоретическая часть

Примеры из жизни

Итоги

Вопросы

Большой объем входных данных?

Тестирование больших систем с разнообразными процессами и

данными

Тестирование однотипной функциональности с большим числом

вариаций входящих параметров

Типовые трудности

Количество тестов может достигать нескольких тысяч;

Достичь 90-100% покрытия малой командой в заданные сроки почти невозможно;

Выполнение большого количества однотипных тестов;

Длительность итерации стремиться к бесконечности.

Решение проблем

VS

Большая команда

Длительная итерация

Грамотное применение

техник тест-дизайна

Техники тест-дизайна

Классы эквивалентности

Граничные условия

Таблицы комбинаций

Классы эквивалентности

Граничные условия

Попарное тестирование

(allpairs)

Инструменты для попарного тестирования

PICT

ALLPAIRS

IBM Functional Coverage Unified Solution

TestCover

Со списком всех тулзов можно ознакомиться на сайте www.pairwise.org

А теперь практика…

Задача: протестировать карточные операции

Начало работ

Эти страшные таблицы и цифры….

Оценка будущих работ

Каждый тест занимает около 4х часов. Количество тестов 6000 Общая длительность 24 тыс. чел/часов или 12 чел/лет

Выбор лучшего пути

Выделить все значимые параметры

Составить классы эквивалентности

Создать матрицу вариантов

Использовать таблицы комбинаций для минимизации тестовых наборов

Проведение тестирования

Количество тестов: 300 Время на тестирование: 1200 чел/часов

Результаты тестирования

0

1000

2000

3000

4000

5000

6000

7000

начальное

оптимизированноеK=20

Ко

ли

чес

тво

тес

тов

0% 10%

25%

50%

60%

70%

85%

90%

100%

0

1000

2000

3000

4000

5000

6000

7000

Первоночальное кол-во тестов

кол-во тестов ПОСЛЕ оптимизации

Процент покрытия

Ко

ли

чес

тво

тес

тов

Итоги

В нашем случае использовать таблицы комбинаций было верным решением.

Наиболее целесообразно применять попарное тестирование и тестирование комбинаций в случае если имеется большое количество входных данных, которые можно комбинировать.

Спасибо за внимание

Ваши вопросы?

Вопросы и замечания направляйте на почту a.chicheleva@pflb.ru

http://www.performance-lab.ru/