Оценка качества автотестов

Алексей Баранцев Software-Testing.Ru Selenium2.Ru facebook.com/groups/selenium.ru/ [email protected] skype:barancev

Характеристикикачестваавтотестов© 2015 Алексей Баранцев

Software-Testing.Ru


Кто здесь?Алексей Баранцев[email protected]

http://software-testing.ru/http://selenium2.ru/


Как оценить качество?


Серия стандаров 250NN


Серия стандартов 25000

• ГОСТ Р ИСО/МЭК 25010– модель качества продукта– модель качества при использовании

• ГОСТ Р ИСО/МЭК 25012– модель качества данных


Цели моделей качества


ГОСТ Р ИСО/МЭК 25010


Функциональная пригодность

•Функциональнаяполнота•Функциональнаякорректность•Функциональнаяцелесообразность


Целесообразность





Пример №1@Rulepublic TemporaryFolder tempDir = new TemporaryFolder();

@Testpublic void canCreateFileWithValidName() throws IOException { String validName = "test.txt"; File f = new File(tempDir.getRoot(), validName); f.createNewFile();}



@Testpublic void canCreateFileWithValidName() throws IOException { String validName = "test.txt"; File f = new File(tempDir.getRoot(), validName); Assert.assertTrue(f.createNewFile());}



@Testpublic void canCreateFileWithValidName() throws IOException { String validName = "test.txt"; File f = new File(tempDir.getRoot(), validName); assertTrue(f.createNewFile()); assertTrue(f.exists());}



@Testpublic void canCreateFileWithValidName() throws IOException { String validName = "test.txt"; File f = new File(tempDir.getRoot(), validName); assertTrue(f.createNewFile()); assertTrue(f.exists()); assertEquals(1, tempDir.getRoot().listFiles().length);}





Уровень производительности

• Временные характеристики•Использование ресурсов•Потенциальные возможности


Параллельность


Шаблон проектирования «Сон»

http://www.slideshare.net/orgeirIngvarsson/ui-automation-patterns-sleep


Уровень производительности

• Временные характеристики•Использование ресурсов•Потенциальные возможности


Та самая пирамида


Совместимость• Сосуществование•Интероперабельность


Изоляция тестов@ClassRulepublic static TemporaryFolder tempDir = new TemporaryFolder();

@Testpublic void canCreateFileWithValidName1() throws IOException { String validName = "test.txt"; File f = new File(tempDir.getRoot(), validName); assertTrue(f.createNewFile());}

@Testpublic void canCreateFileWithValidName2() throws IOException { String validName = "test.txt"; File f = new File(tempDir.getRoot(), validName); assertTrue(f.createNewFile());}


Oops…


Совместимость• Сосуществование•Интероперабельность


Failed to start up socket within 45000 ms

OpenQA.Selenium.WebDriverException: Failed to start up socket within 45000 msResult StackTrace:at OpenQA.Selenium.Firefox.Internal.ExtensionConnection.ConnectToBrowser(TimeSpan timeToWait) at OpenQA.Selenium.Firefox.Internal.ExtensionConnection.Start() at OpenQA.Selenium.Firefox.FirefoxDriver.StartClient() at OpenQA.Selenium.Remote.RemoteWebDriver..ctor(ICommandExecutor commandExecutor, ICapabilities desiredCapabilities) at OpenQA.Selenium.Firefox.FirefoxDriver..ctor(FirefoxBinary binary, FirefoxProfile profile) at OpenQA.Selenium.Firefox.FirefoxDriver..ctor()


Взаимодействие с баг-трекером

@Test@Bug(12345)public void testSomething() { Assert.assertTrue(someOperationWithBug());}


TestNG и MantisBTpublic class AssumeBugIsFixed implements IAnnotationTransformer { public void transform(ITestAnnotation annotation, Class testClass, Constructor testConstructor, Method testMethod) { Bug bugAnnotation = testMethod.getAnnotation(Bug.class); if (bugAnnotation != null) { try { MantisConnectLocator mcl = new MantisConnectLocator(); MantisConnectPortType mcp = mcl.getMantisConnectPort( new URL("http://localhost/mantisbt-1.2.17/api/soap/mantisconnect.php")); IssueData issue = mcp.mc_issue_get("administrator", "root", BigInteger.valueOf(bugAnnotation.value())); String status = issue.getStatus().getName(); if (! ("closed".equals(status) || "resolved".equals(status))) { annotation.setEnabled(false); } } catch (Exception e) { e.printStackTrace(); } } }}


Удобство использования

• Определимость пригодности• Изучаемость• Управляемость• Защищенность от ошибки пользователя• Эстетика пользовательского интерфейса• Доступность


Пользовательский интерфейс


Доступность


Тоже доступность


Удобство использования

• Определимость пригодности• Изучаемость• Управляемость• Защищенность от ошибки пользователя• Эстетика пользовательского интерфейса• Доступность


Надёжность• Завершённость• Готовность•Отказоустойчивость• Восстанавливаемость


Позаботься о себе самdef test_delete_some_group(app, db):

if len(db.get_group_list()) == 0: app.group.create(Group(name="test"))

group = random.choice(db.get_group_list()) app.group.delete_group_by_id(group.id)


Эффект домино


Защищённость• Конфиденциальность•Целостность•Неподдельность•Отслеживаемость•Подлинность


Переносимость• Адаптируемость• Устанавливаемость• Взаимозаменяемость


Пример №6@Rulepublic TemporaryFolder tempDir = new TemporaryFolder(new File("C:/temp"));

@Testpublic void canCreateFileWithValidName() throws IOException { String validName = "test.txt"; File f = new File(tempDir.getRoot(), validName); assertTrue(f.createNewFile());}


Пример №7@Testpublic void deleteGroup() { driver.get(baseUrl + "/addressbook/group.php");

driver.findElement( By.xpath("//input[@value='42']")).click();

driver.findElement(By.name("delete")).click();}


Сопровождаемость•Модульность• Возможностьмногократного использования• Анализируемость•Модифицируемость• Тестируемость


Читайте хорошие книжки


Удачной автоматизации!

Алексей Баранцев[email protected]

http://software-testing.ru/http://selenium2.ru/

Education

Оценка качества автотестов