Регрессионное тестирование Случайное тестированиеkspt.icc.spbstu.ru/media/files/2013/courses/softwarequality/04-Testi… · Регрессионное

Регрессионное тестированиеСлучайное тестирование

Software Testing 102

Марат Ахин

Санкт-Петербургский государственный политехнический университет

2013

Марат Ахин (СПбГПУ) RT 2013 118 / 201

Quiz


Recap


Регрессионное тестирование

Содержание

1 Регрессионное тестированиеТестирование ПО в процессе разработкиРегрессионное тестированиеВыборочное регрессионное тестированиеУправление регрессионными тестамиРегрессионное тестирование на практике

2 Случайное тестирование

3 Homework


Регрессионное тестирование Тестирование ПО в процессе разработки

Тестирование ПО в процессе разработки

Как ПО изменяется в процессе разработки?

Инкрементально, небольшими независимыми шагамиИзменение уже существующего кодаИсправление ошибокДобавление новой функциональностиАдаптация имеющихся компонентов к новым задачам

Любые (даже самые незначительные) изменения могут серьезноповлиять на качество ПО
















После любого изменения требуется проверить, что в программе непоявилось новых ошибокДля этого мы выполняем все имеющиеся тесты и проверяем, чтовсе они успешно завершаются

Основной вид тестирования в процессе разработки ПО – эторегрессионное тестирование


Регрессионное тестирование Регрессионное тестирование


Как выглядит одна итерация регрессионного тестирования?

1 Мы модифицируем программу P и получаем программу P′

2 Из всего множества тестов T мы выбираем набор тестов T′,

который необходимо выполнить на P′

3 Для новой функциональности мы разрабатываем новые тесты T′′

4 Полученный набор тестов T′+ T

′′запускается на P

′

5 Результаты выполнения анализируются с последующейвозможной модификацией как программы, так и набора тестов

Какие проблемы связаны с РТ?




Проблема №1

Как выбрать набор тестов T′после изменения в программе?

Консервативный подходВыбираем все имеющиеся тестыПолное регрессионное тестирование

Экономичный подходВыбираем все тесты, каким-либо образом связанные потребованиям/спецификации/интуиции с изменениями в коде«Выборочное» регрессионное тестирование




Каким свойствам должно удовлетворять выборочное регрессионноетестирование?

Полнота – способность выбирать те тесты, которые могутобнаружить ошибки, связанные с изменениями в кодеТочность – способность пропускать такие тесты, которые неизменяют своего поведения на модифицированной программеЭффективность – способность выполняться быстрее, чем полноерегрессионное тестированиеУниверсальность – применимость в большинстве практическихситуаций

«Качественно. Быстро. Дешево. Выберите любые два.»




Умный подходВыбирать тесты, которые «затрагивают» при выполненииизмененные части программыВыборочное регрессионное тестирование

Существует множество подходов к ВРТ на различных уровняхМодульное ВРТИнтеграционное ВРТСистемное ВРТ

Все подходы различаются по двум основным критериямСпособ идентификации измененных программных компонентовМетод получения информации о покрытии элементов программытестами


Регрессионное тестирование Выборочное регрессионное тестирование

Подход МакКарти

Анализ изменений на уровне целого модуляСвязь элементов программы с тестами задается вручнуюразработчиком

Преимущества и недостатки?



Подход на основе концепции файервола

Анализ изменений на уровне целых модулейСвязь элементов программы с тестами задается вручнуюразработчиком




Поход Ротермела и Харролд

Анализ изменений на уровне узлов CFG программыСвязь элементов программы с тестами задается на уровне CFG наоснове динамической информации о выполнении каждого теста




Подход Балла

Анализ изменений на уровне узлов CFG программыСвязь элементов программы с тестами задается на уровне CFG наоснове динамической информации о выполнении каждого теста




Подход на основе AST

Анализ изменений на уровне вершин AST программыСвязь элементов программы с тестами задается на уровне AST наоснове динамической информации о выполнении каждого теста



Регрессионное тестирование Управление регрессионными тестами

Управление регрессионными тестами

Проблема №2Как управлять набором регрессионных тестов?

Когда и как добавлять в набор новые тесты?Когда можно удалять старые тесты?



Добавление новых тестов

Когда надо добавлять новый регрессионный тест?

Когда в ПО появилась новая функциональностьКогда в ПО была исправлена ошибкаКогда мы хотим улучшить тестовое покрытие ПОКогда мы можем себе позволить добавить новыйнеповторяющийся тест



















С течением времени число тестов увеличиваетсяЧем больше тестов, тем лучше тестовое покрытиеПроблемы начинаются, когда тестов становится слишком много

Что такое «слишком много»?



Удаление старых тестов

Когда можно удалять старый тест?

Никогда

Когда тест дублирует другие тестыКогда тест не улучшает тестовое покрытиеКогда тест ни разу не обнаружил ошибки за все времятестированияКогда тест обнаруживает такие же ошибки, как и другие тесты





Никогда






Никогда






Никогда






Никогда




Приоритизация регрессионных тестов

Проблема №3Как запускать регрессионные тесты?

Взяли имеющийся набор тестов и запустили их

Такой подход может не всегда нас устраиватьЧто мы можем изменить?




Мы можем изменить порядок, в котором мы запускаемрегрессионные тестыЗачем?

Чем раньше мы узнаем о том, что в ПО появилась регрессионнаяошибка, тем скорее мы сможем приступить к ее исправлениюЧасто причиной непрохождения различных (напрямую несвязанных друг с другом) тестов является одна и та же ошибка вПОИногда время на тестирование является ограниченным, инеобходимо найти наибольшее число ошибок с учетом всехограничений

Как мы можем приоритизировать регрессионные тесты?



Приоритизация регрессионных тестовПри помощи интуиции

Подход работает, если у Вас хорошая интуицияКроме интуиции можно использовать имеющийся опыт разработкиПО

На основе знаний о тестовом покрытии ПОСперва выполняются тесты, которые имеют наибольшее покрытиеПОСперва выполняются тесты, которые покрывают более важныекомпоненты ПО

На основе истории разработкиПриоритет отдается тестам, которые чаще других обнаруживалирегрессионные ошибкиПервыми выполняются тесты, проверяющие корректность работынаиболее «проблемных» компонентов ПО




Случайным образомПодход перекликается со случайным ВРТЕсли мы можем случайным образом поменять порядоквыполнения тестов, то почему бы это не сделать?

На основе характеристик тестовПервыми выполняются тесты с наименьшим временем выполненияПриоритет отдается тестам, которые наиболее активно работают сокружением программной системы



Анализ результатов регрессионного тестирования

Проблема №4Что делать с результатами регрессионного тестирования?

Если все тесты проходят – все хорошо

Если тест не проходит – то все зависит от того, по какой причинеон не проходит

Варианты?



Анализ результатов регрессионного тестирования

В тестируемом модуле есть ошибкаОшибку необходимо локализовать и исправитьПосле исправления требуется выполнить повторное РТ

Тест больше не является корректнымНапример, была изменена спецификация модуляНеобходимо либо обновить тест, либо удалить его


Регрессионное тестирование Регрессионное тестирование на практике

Регрессионное тестирование на практике

Как обстоит дело с РТ/ВРТ на практике?




РТ используется очень частоTDDAgile DevelopmentRUP

ВРТ практически не используется

Почему?




Крайняя сложность выбора регрессионных тестовОпасность пропустить регрессионную ошибку при использованиинебезопасного ВРТСтрах перед использованием «непонятной» технологииПростота экстенсивного пути решения проблем РТ

Отсутствие инструментальной поддержкиДо недавнего времени




Сложность получения динамической информации о покрытиитестами компонентов программы

Требуется инструментирование ПО дополнительнымитрассирующими вызовамиЖурналирование особого вида

Какие сложности могут при этом быть?


Случайное тестирование


1 Регрессионное тестирование

2 Случайное тестированиеГенерация тестовFuzzingGenerative random testingMutation random testingDirected random testing

3 Homework


Случайное тестирование Генерация тестов

Генерация тестов

Основная идеяЗаставить компьютер работать вместо нас

ДешевлеБыстрееНет человеческого фактора


Случайное тестирование Генерация тестов

Генерация тестов

kd-treestoimd5sumPDF reader


Случайное тестирование Fuzzing

Fuzzing

Прародитель случайного тестирования

Полностью случайные данныеВариант smoke testing

P8FT8PjBG7s71Bw1a8EP4svDPL5g4E791TJcs5t9ZbxQAsLZx436PdJcxk3vq61192



Fuzzing

md5sumkd-treestoiPDF reader

Работает для всех программНо есть одно «но»... c©



Проблема валидности данных

Полностью случайные данные являются невалидными входнымиданными для большинства программ



Проблема валидности данных

Большинство программ ожидают структурированные входныеданные

P8FT8PjBG7s71Bw1a8EP4svDPL5g4E791TJcs5t9ZbxQAsLZx436PdJcxk3vq61192

vs3.1415926535897932384626433832797[(1,0,0),(0,1,0),(0,0,1),(1,1,1)]


Случайное тестирование Generative random testing

Generative random testing

Если мы знаем структуру, то мы можем ей воспользоваться

Генерируем отдельные элементыКомбинируем их в соответствии с заданной структуройВносим случайные нарушения структуры



Generative random testing

kd-treestoiPDF reader

Работает для структурированных входных данныхНо есть одно «но»... c©



Проблема сложной структуры

Иногда структура входных данных является слишком сложной


Случайное тестирование Mutation random testing

Mutation random testing

Обычно у нас есть какой-то набор тестовых входных данных

Подвергаем тестовые данные мутацииПри этом возможно использование знания структуры данныхЧасть данных может генерироваться случайно



Mutation random testing

PDF readerWeb browser

Работает практически для всегоНо есть одно «но»... c©



Проблема скелета в шкафу

Добраться до самых дальних закоулков нельзя


Случайное тестирование Directed random testing

Directed random testing

Мы можем узнать, где мы былиМы можем узнать, как мы туда пришли

А дальше начинается магия...




1 void f(int x) {2 int y = x^2;34 bool A = x > 0;5 bool B = x < 10;6 bool C = y > 20;78 if (B && C) {9 if (A) {

10 ...11 }12 }13 }

SMT FTW!

SMT ⇔ NP-hard

Never believe NP-hard isalways hard!




Visual StudioMicrosoft Office

Работает для всегоНо есть одно «но»... c©



Проблема мистера Икс

Некоторые части системы могут быть «черным ящиком»


W.I.L.T. What I Learned Today?

W.I.L.T.


Homework


1 Регрессионное тестирование

2 Случайное тестирование

3 Homework


Homework

Homework

Try http://pex4fun.com


http://pex4fun.com

Documents

Регрессионное тестирование Случайное тестированиеkspt.icc.spbstu.ru/media/files/2013/courses/softwarequality/04-Testi… · Регрессионное