UI Testing mit Xcode 7

#WISSENTEILEN

UI Testing mit Xcode 7Michael Kotten | OPEN KNOWLEDGE @michaelkotten

@_openknowledge

#WISSENTEILEN

Warum testen?

UI Testing mit Xcode 7MTC2016

Motivation

#WISSENTEILEN

„Wer testet, ist feige!“

„Ich weiß doch, dass mein Code funktioniert!“

„Wenn ich den Test selber schreibe, hat es eh keinen

Sinn!“„Keine Zeit für Unit Tests!“


Motivation

#WISSENTEILEN


Motivation

„Unit testing is not about finding bugs.“

#WISSENTEILEN

‣ Notwendig bei komplexen Systemen

‣ Sicherung von ‣ Qualität ‣ Funktionalität

‣ Wichtig bei agilen Entwicklungsprozessen ‣ Schnelle Entwicklungszyklen


Motivation

#WISSENTEILEN

Wie testen?


Motivation

#WISSENTEILEN

eXtreme Clicking


Motivation

#WISSENTEILEN

nur auf dem Entwicklerrechner

MotivationUI Testing mit Xcode 7

MTC2016

#WISSENTEILEN

Kunden


MTC2016

#WISSENTEILEN

© Ultrashock - iStock


MTC2016

Expect the Unexpected!

#WISSENTEILEN

Anforderungen an Testabdeckung

‣ Alles “Offensichtliche” plus …‣ … Umwelteinflüsse & Störungen ‣ … System Notifications ‣ … zu unterstützende Devices, Locales …


MTC2016

#WISSENTEILEN

Was testen?


Motivation

#WISSENTEILEN


Motivation

„It makes no sense to test something that

can’t be broken (or fixed)!“(Zitat: alter weiser Mann)

#WISSENTEILEN

Gute Tests ... ‣… treffen Annahmen nur einmal ‣… sind isoliert ‣… laufen unabhängig ‣… sind vorhersehbar


MTC2016

#WISSENTEILEN

Unit Test

‣ Testen der korrekten Funktionsweise einzelner, isolierter Komponenten

‣ Automatisiert ‣ Wiederholbar


MTC2016

#WISSENTEILEN

UI Test

‣ Wie Unit Test ‣ Fokus auf ‣ Event Handling (Tap, Swipe etc.) ‣ GUI Elemente


MTC2016

#WISSENTEILEN


Historie

#WISSENTEILEN


Historie

Das war UI Testing vor Xcode 7

‣ UI Automation ‣ KIF - Keep it functional ‣ Frank ‣ Subliminal*

* wird nicht mehr weiterentwickelt

#WISSENTEILEN


Historie

UI Automation

#WISSENTEILEN


Historie - UI Automation

UI Automation

‣ JavaScript ‣ Nur per Instruments ‣ Kein echtes Debugging

#WISSENTEILEN


Historie - UI Automation

#WISSENTEILEN


Historie

KIF – Keep It Functional

#WISSENTEILEN


Historie - KIF

KIF – Keep It Functional

‣ Objective-C ‣ Integration in Xcode ‣ Test Navigator ‣ Debugging

‣ Gray-Box-Test ‣ nutzt private API

#WISSENTEILEN


Historie - KIF

class CalculatorUiTests : KIFTestCase {

func testAdd() { tester.tapViewWithAccessibilityLabel("one") tester.tapViewWithAccessibilityLabel("add") tester.tapViewWithAccessibilityLabel("two") tester.tapViewWithAccessibilityLabel("equal") XCTAssertEqual(display.text!, "3", "result should be 3") } }

#WISSENTEILEN


Übersicht

+

#WISSENTEILEN


Übersicht

#WISSENTEILEN


Übersicht

‣ Integration in Xcode

#WISSENTEILEN


Übersicht

‣ Integration in Xcode ‣ Test Navigator

#WISSENTEILEN


Übersicht

‣ Integration in Xcode ‣ Test Navigator ‣ Debugging

#WISSENTEILEN


Übersicht

‣ Integration in Xcode ‣ Test Navigator ‣ Debugging ‣ Test recording

#WISSENTEILEN


Übersicht

‣ Integration in Xcode ‣ Test Navigator ‣ Debugging ‣ Test recording ‣ Test Report

#WISSENTEILEN


Übersicht

‣ Integration in Xcode ‣ Test Navigator ‣ Debugging ‣ Test recording ‣ Test Report ‣ Code Coverage

#WISSENTEILEN


Übersicht

‣ Integration in Xcode ‣ Test Navigator ‣ Debugging ‣ Test recording ‣ Test Report ‣ Code Coverage ‣ Continuous Integration

#WISSENTEILEN


Übersicht

‣ Integration in Xcode ‣ Test Navigator ‣ Debugging ‣ Test recording ‣ Test Report ‣ Code Coverage ‣ Continuous Integration ‣ On device

#WISSENTEILEN


Übersicht

+

#WISSENTEILEN


Übersicht

#WISSENTEILEN


Übersicht

‣ Per Interface Builder

#WISSENTEILEN


Übersicht

‣ Per Interface Builder ‣ Per API

func setValue(value: String) { self.label.text = value self.label.accessibilityValue = value }

#WISSENTEILEN


Vorraussetzungen

ab iOS 9

#WISSENTEILEN


API

‣ XCUIApplication ‣ XCUIDevice ‣ XCUIElementQuery ‣ XCUIElement

#WISSENTEILEN


API

‣ XCUIApplication ‣ Einstieg in die App

override func setUp() { super.setUp() let app = XCUIApplication() app.launch() }

#WISSENTEILEN


API

‣ XCUIApplication ‣ Einstieg in die App ‣ Startparameter steuern

override func setUp() { super.setUp() let app = XCUIApplication() app.launchArguments = [ "TEST_MODE" ] app.launchEnvironment = [ "animations" : "0" ] app.launch() }

#WISSENTEILEN


API


let testMode = NSProcessInfo.processInfo().arguments.contains("TEST_MODE")

#WISSENTEILEN


API


if NSProcessInfo.processInfo().environment["animations"] == "0" { UIView.setAnimationsEnabled(false) }

#WISSENTEILEN


API


let testMode = NSProcessInfo.processInfo().arguments.contains("TEST_MODE")

#WISSENTEILEN


API

‣ XCUIDevice ‣ Zugriff auf „Hardware“

XCUIDevice.sharedDevice()

#WISSENTEILEN


API

‣ XCUIDevice ‣ Zugriff auf „Hardware“ ‣ Device Orientation

XCUIDevice.sharedDevice().orientation = .LandscapeLeft

#WISSENTEILEN


API

‣ XCUIDevice ‣ Zugriff auf „Hardware“ ‣ Device Orientation ‣ Hardware Buttons

XCUIDevice.sharedDevice().pressButton(.Home)

#WISSENTEILEN


API

‣ XCUIElement ‣ Interaktion (z.B. tap() oder swipeUp())

XCUIApplication().buttons["five"].tap()

#WISSENTEILEN


API

‣ XCUIElement ‣ Interaktion (z.B. tap() oder swipeUp()) ‣ Sichtbarkeit mit exists

XCTAssert(XCUIApplication().buttons["five"].exists)

#WISSENTEILEN


API

‣ XCUIElementQuery ‣ „Suche“ nach UI Elementen

app.tableViews[0].cells[0]

#WISSENTEILEN


API


app.tables.element.cells.elementAtIndex(0)

#WISSENTEILEN


API


app.tables.element.cells["cellIdentifier"]

#WISSENTEILEN


API

‣ XCUIElementQuery ‣ „Suche“ nach UI Elementen ‣ Ausführung erst bei Interaktion ‣ Fehler falls nicht eindeutig

app.tables.element.cells["cellIdentifier"].tap()

#WISSENTEILEN


API

‣ XCUIElementQuery Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API

‣ XCUIElementQuery ‣ Descendants

Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API


Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API


app.tables.element.descendantsMatchingType(.StaticText)

Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API


app.tables.element.staticTexts

Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API

‣ XCUIElementQuery ‣ Children

Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API


Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API


Application

Table

Cell

Cell„one“ Label

„two“ Label

View

app.tables.element.childrenMatchingType(.Cell)

#WISSENTEILEN


API

‣ XCUIElementQuery ‣ Containment

Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API


Application

Table

Cell

Cell„one“ Label

„two“ Label

View

#WISSENTEILEN


API


Application

Table

Cell

Cell„one“ Label

„two“ Label

View

app.cells.containingType(.StaticText, identifier: "one")

#WISSENTEILEN


API

‣ Auf Elemente warten

let element = app.alerts["Timeout"] let existsPredicate = NSPredicate(format: "exists == true") expectationForPredicate(existsPredicate, evaluatedWithObject: element, handler: nil) waitForExpectationsWithTimeout(5, handler: nil)

#WISSENTEILEN

Code Diving

#WISSENTEILEN

UI Automation Keep it Functional UI Testing

Sprache Javascript Objective-C/Swift Objective-C/Swift

Maintainer Apple Community Apple

Accessibility ✔ ✔ ✔

Xcode ✖ ✔ ✔

Debugging ✖ ✔ ✔

Mocking ✖ ✔ ✖

Continuous Integration ✔ ✔ ✔

Zukunftssicher ✖ ✖ ✔


KIF vs. UI Automation vs. UI Testing

#WISSENTEILEN


Fazit

✓ Offizielle Lösung von Apple✓ Kein JavaScript mehr ✓ Test recording ✓ Schnelligkeit - Flexibilität

One more thing ...

#WISSENTEILEN

Social Media

One more thing…UI Testing mit Xcode 7

MTC2016

Broken Windows Theorie

#WISSENTEILEN

UI Testing mit Xcode 7Michael Kotten | OPEN KNOWLEDGE @michaelkotten

@_openknowledge

#WISSENTEILEN

#1, #71, #72: © pexels.com #10: © iStock.com/ultrashock

#17: © iStock.com/alexsl #39: © apple.com

#67: © 2436digitalavenue - Fotolia


Bildnachweise

http://pexels.com

Software

UI Testing mit Xcode 7