Проблема тестовых входных данных

Проблема тестовых входных данныхSoftware Testing 101

Марат Ахин

Санкт-Петербургский государственный политехнический университет

2014

Марат Ахин (СПбГПУ) Input 2014 48 / 321

Quiz


Recap


Проблемы тестирования Проблемы тестирования

Проблемы тестирования

What’s up, Doc? (с)

Проблема тестовых входных данныхПроблема наблюдаемостиПроблема «останова»Проблема тестового оракула


Проблема тестовых входных данных

Содержание

1 Проблема тестовых входных данныхОбеспечение достижимостиВходные данныеТестовые данныеКлассы эквивалентности

2 Проблема неявных входных данных

3 Разработка через тестирование

4 Интеграционное тестирование


Проблема тестовых входных данных Обеспечение достижимости

Обеспечение достижимости

Какими способами можно управлять выполнением кода?Изменением входных данныхИзменением самого исходного кода

Какой способ можно использовать для обеспечения достижимости(reachability)?

















Проблема тестовых входных данных Входные данные

Входные данные

Что такое входные данные?


Проблема тестовых входных данных Входные данные

Входные данные

ФайлыФактические аргументы функцийСетевые пакетыРезультаты запроса к БДПоследовательность вызовов функцийКонфигурация ПО


Проблема тестовых входных данных Тестовые данные

Тестовые данные

Почему бы просто не перебрать все возможные варианты?

1 int add(int a, int b) { ... }

18,446,744,073,709,551,616 вариантов

А если у тестируемого модуля есть внутреннее состояние?


Проблема тестовых входных данных Тестовые данные

Тестовые данные


Проблема тестовых входных данных Классы эквивалентности

Классы эквивалентности

Все пространство входных состояний можно разбить намножество классов эквивалентности

Каждый класс эквивалентности обрабатывается тестируемыммодулем одинаково с точки зрения спецификацииТестирование всех классов эквивалентности позволяет найтиошибки прямого нарушения спецификации

Как найти классы эквивалентности?



Ad hoc testing

Тестирование методом «научного тыка»

Запускаем ПОСмотрим на результаты работы...PROFIT!



Ad hoc testing

А что будет, если я нажму на этукнопочку?Если сложить два положительныхчисла, то...После умножения на ноль врезультате должен получится нольЕсли ввести очень большое число иудвоить его, то...

В чем проблемы при таком подходе к тестированию?



Метод свободного поиска

Ad hoc testing + планирование

Описываем тест-планПроверяем ПО на соответствие тест-плану...PROFIT!



Метод свободного поиска

Если ввести число «42», потомнажать «+», потом ввести «1» инажать «=», в результате должнополучиться «43»Многократные нажатия на «C» недолжны приводить к видимымизменениям в интерфейсе




Анализ граничных значений

Баю баюшки баю, не ложися на краю...

Находим пограничные значения входных данныхПроверяем ПО вокруг выбранных пограничных значений...PROFIT!



Анализ граничных значений

Если умножить любое число на «0»,должен получиться «0»Деление любого числа на «0»должно приводить к выводусоответствующей ошибкиЕсли изменить знак наибольшегопредставимого положительногочисла, должно получитьсясоответствующее ему отрицательноечисло




Причинно-следственный анализ

А давайте сделаем все по уму!

Строим граф причинно-следственных связейПолностью покрываем граф тестами...PROFIT!



Причинно-следственный анализ

При последовательном выполнениипрямой и обратной операции долженполучиться исходный результатОперации должны выполняться впорядке, соответствующем ихприоритетуПоследовательные нажатия «=»должны приводить к повторномувыполнению последней операции надпредыдущим результатом




Примеры

kd-treestoimd5sumPDF reader


Проблема неявных входных данных


1 Проблема тестовых входных данных

2 Проблема неявных входных данныхНеявные входные данныеИспользование заглушек




Проблема неявных входных данных Неявные входные данные

Неявные входные данные

Покрывает ли спецификация все множество входных данных?В некоторых случаях – даВ большинстве случаев – нет

Почему?Проблема заключается в том, что на тестовый модуль, кромеявных, влияет множество неявных входных данныхНеявные входные данные часто не находят отражения вспецификации



Неявные входные данные

Текущая дата/времяIP/MAC адресЛокаль пользователяИдентификаторы устройствКонтекстные переключения/планирование нитейСкорость поступления IP пакетовРитм нажатия клавиш на клавиатуре

Все это – примеры неявных входных данных



Therac-25


Проблема неявных входных данных Использование заглушек

Как учесть неявные входные данные?


Simulate and StubЗаменяем части модуля управляемыми заглушкамиЭто позволяет сделать неявные входные данные явнымиЭто также делает управление явными входными данными проще



Использование заглушек

Данный подход позволяет:имитировать возникновение редких ситуацийвнести детерминизм там, где его нет

Для того, чтобы можно было использовать S&S, тестируемыймодуль должен разрабатываться соответствующим образом



Mock-объекты

Пример S&S – mock-объекты

Повторяют внешний интерфейс тестируемого объектаМогут демонстрировать любое требуемое поведение



Mockito

1 @Test2 void testFoo () {3 List mockedList = mock(List.class);45 when(mockedList.get (0)). thenReturn("first");6 when(mockedList.get (1)). thenReturn("second");78 assertEquals("first", mockedList.get (0));9 assertEquals("second", mockedList.get (1));

10 assertEquals(null , mockedList.get (42));11 }



Mockito

Сервис аутентификации и авторизации

Вход пользователя с корректными логином/паролем долженприводить к переходу его учетной записи в активное состояние



Mockito

1 @Test2 void testLoginForValidUser () {3 IPasswordInfo passInfo = mock(IPasswordInfo.class );4 when(passInfo.matches(anyString ())). thenReturn(true);56 IAccount account = mock(IAccount.class);7 when(account.getPasswordInfo ()). thenReturn(passInfo );89 IAccountRepository repo = mock(IAccountRepository.class);

10 when(repo.find(anyString (), anyString ())). thenReturn(account );1112 AuthService service = new AuthService(repo);13 service.login("marat", "password2");1415 verify(account ). setLoggedIn(true);16 }



Mockito

Сервис аутентификации и авторизацииТри последовательные попытки входа пользователя снекорректным паролем должны приводить к блокированию егоучетной записи



Mockito

1 @Test2 void testBlockOnIncorrectLogin () {3 IPasswordInfo passInfo = mock(IPasswordInfo.class );4 when(passInfo.matches(anyString ())). thenReturn(false );56 IAccount account = mock(IAccount.class);7 when(account.getPasswordInfo ()). thenReturn(passInfo );89 IAccountRepository repo = mock(IAccountRepository.class);

10 when(repo.find(anyString (), anyString ())). thenReturn(account );1112 AuthService service = new AuthService(repo);13 service.login("bob", "111");14 service.login("bob", "123");15 service.login("bob", "321");1617 verify(account ). setBlocked(true);18 }



Mockito1 @Test2 void testBlockOnIncorrectLoginPerAccount () {3 IPasswordInfo aliceInfo = getMockedPasswordInfo(false );4 IPasswordInfo bobInfo = getMockedPasswordInfo(false);56 IAccount aliceAcc = getMockedAccount(aliceInfo );7 IAccount bobAcc = getMockedAccount(bobInfo );89 IAccountRepository repo = mock(IAccountRepository.class);

10 when(repo.find("alice", anyString ())). thenReturn(aliceAcc );11 when(repo.find("bob", anyString ())). thenReturn(bobAcc );1213 AuthService service = new AuthService(repo);14 service.login("bob", "111");15 service.login("alice", "111");16 service.login("bob", "123");17 service.login("alice", "123");18 service.login("bob", "321");1920 verify(aliceAcc , never ()). setBlocked(true);21 verify(bobAcc , times (1)). setBlocked(true);22 }



Mocks 6= Stubs 6= Fakes 6= Dummies

Разве есть разница?

DummiesОбъект-муляж, не обладающий собственным поведением

FakesУпрощенная реализация требуемой функциональности

StubsТестовая заглушка, способная отвечать на внешние запросы

MocksТестовая загрушка, способная отвечать на внешние запросы ипроверять их корректность


Разработка через тестирование




3 Разработка через тестированиеTest-driven developmentПлюсы TDDМинусы TDD



Разработка через тестирование Test-driven development

Нужны ли заглушки?

А как использовать mock-объекты в процессе разработки?

Для управления неявными входными даннымиДля управления явными входными данными

А когда их следует использовать?



Заглушки не нужны?

Никогда!

Зачем тратить время на разработку и использование заглушек?Можно просто подождать, пока не будут разработаны всекомпоненты

Получится проще, дешевле и лучше, чем с заглушками!



Заглушки не нужны?

Все же будет хорошо, да?



Заглушки нужны?

Чем дольше итерация, тем сложнее и дороже исправление ошибок

Чем быстрее будут написаны тесты для разрабатываемогокомпонента, тем проще найти ошибки

После разработки компонента пишем для него тестОтсутствующие части системы заменяем заглушками...PROFIT!



Заглушки нужны?

А давайте писать тесты еще быстрее?



Test-driven development

Пишем тест для компонента перед его разработкойЗаменяем сам компонент заглушкой...PROFIT???

Разве это будет работать?



Test-driven development

Разве это будет работать?


Разработка через тестирование Плюсы TDD

Плюсы TDD

Разработка ведется небольшими контролируемыми фрагментами

В каждый момент времени разработчик думает об ограниченномфрагменте спецификацииЭто упрощает анализ возможного пространства входных данныхКроме того, код получается более модульным и расширяемым



Плюсы TDD

Минимальная цена ошибки

В случае возникновения ошибки очень просто вернуть систему врабочее состояниеПрактически отсутствует необходимость в отладкеКрайне просто использовать метод бисекции в случае, еслиошибка смогла пробраться в релиз



Плюсы TDD

Ошибки обнаруживаются сразу же после их появления

Постоянный запуск тестов гарантирует практически моментальноеобнаружение ошибкиМалый размер тестов позволяет быстро найти причину ошибки



Плюсы TDD

Сильно упрощается рефакторинг кода

Программист уверен в том, что его изменения ничего не ломаютОблегчается раздельное владение кодом



Почему я слышу о TDD впервые в жизни?

Почему TDD не используют везде и всюду?!


Разработка через тестирование Минусы TDD

Минусы TDD

Синдром «розовых очков»

Большое количество тестов создает иллюзию бесконечнойнадежности системы тестированияПри создании теста разработчик может сделать те же допущения,что и при разработке самого компонента



Минусы TDD

Поддержание тестов в актуальном состоянии

При внесении изменений в интерфейсы компонентов системынеобходимо соответствующим образом изменить и все тестыБольшое количество тестов приводит к значительным затратамна рефакторинг тестов



Минусы TDD

Невозможность тестирования сложного взаимодействия несколькихкомпонентов

Каждый тест проверяет ограниченный фрагментфункциональности системыВзаимодействие компонентов затрагивает множество аспектовсистемы сразу



Стоит ли использовать TDD?


Интеграционное тестирование





4 Интеграционное тестированиеПроблема «Большого Взрыва»Нисходящее интеграционное тестированиеВосходящее интеграционное тестирование


Интеграционное тестирование Проблема «Большого Взрыва»

Проблема «Большого Взрыва»

Когда приходит время заменять заглушки на реализацию...




Поведение реализации может (и скорее всего будет) отличатьсяот поведения заглушкиЕсли заглушек было много...




Каскадное распространение сбоевСложность локализации ошибокБольшая стоимость исправления ошибок

Что мы можем сделать?




Ускорить процесс замены заглушек на реализацию

Выполнять тестирование взаимодействия постоянно, в процессеразработкиЗаменять заглушки на реализацию инкрементально

Инкрементальное интеграционное тестирование





Интеграционное тестирование Нисходящее интеграционное тестирование

Нисходящее интеграционное тестирование

Тестирование начинается с верхних уровней системыОтсутствующие на данный момент модули заменяются«заглушками»По мере реализации новых модулей они подключаются к системевместо «заглушек»




ПреимуществаВозможность ранней проверки корректности высокоуровневогоповеденияМодули могут добавляться по одному, независимо друг от другаНе требуется разработка множества драйверовМожно разрабатывать систему как в глубину, так и в ширину




НедостаткиОтложенная проверка низкоуровневого поведенияТребуется разработка «заглушек»Крайне сложно корректно сформулировать требования ковходам/выходам частичной системы


Интеграционное тестирование Восходящее интеграционное тестирование

Восходящее интеграционное тестирование

Тестирование начинается с нижних уровней системыОтсутствующие на данный момент модули заменяютсядрайверамиПри реализации всех модулей нижнего уровня драйвер можетбыть заменен на соответствующий модуль




ПреимуществаВозможность ранней проверки корректности низкоуровневогоповеденияНе требуется написание заглушекПросто определить требования ко входам/выходам модулей




НедостаткиОтложенная проверка высокоуровневого поведенияТребуется разработка драйверовПри замене драйвера на модуль высокого уровня можетпроизойти «мини-Большой Взрыв»



Проблемы тестирования

What’s up, Doc? (с)

Проблема тестовых входных данныхПроблема наблюдаемостиПроблема «останова»Проблема тестового оракула



Обеспечение порчи внутреннего состояния

Для того, чтобы обеспечить порчу внутреннего состояния(corruption), необходимо:

обеспечить достижимостьпередать такие тестовые входные данные, которые вызываютнарушение целостности внутреннего состояния

См. проблему тестовых входных данных


W.I.L.T. What I Learned Today?

W.I.L.T.


Education

Проблема тестовых входных данных