Upload
others
View
8
Download
0
Embed Size (px)
Citation preview
2
• Entmystifizierung• DevOps vs. Test Management
• Fundamentaler Testprozess• Rollenverteilung
• Testerstellung
• Testplanung für Sprints
• Testausführung
• Testauswertung
• Fazit
Agenda
3
• Klarheit in der Begriffswelt
• Änderungen im Rollenverständnis / Kulturwandel
• Test Design
• Tipps für die Strukturierung von Testplänen
• Toolsupport
Take-Aways
5
6
• Change in IT culture
• Focusing on rapid IT service delivery
• Adoption of agile, lean practices
• System-oriented approach
• Emphasizes people (and culture)
• Seeks to improve collaboration (Dev <-> Ops)
• Utilize technology
http://www.gartner.com/it-glossary/devops/, Abgerufen am 03.12.2016
https://blogs.msdn.microsoft.com/uk_faculty
_connection/2016/06/23/devops-the-wall-
of-confusion-understanding-the-basics-of-
devops/
7
Fundamentaler Testprozess nach ISTQBISTQB-Standard:
Test Analysis
Test Design
Test Execution
Test Tracking and Reporting
Test Closure
Planning
and
Steering
8
(Agile) Testing QuadrantsBusiness Facing
Su
pp
ort
ing
Team
Functional Tests
Examples
Story Test
Prototypes
Simulations
Explorative Testing
Scenarios
Usability Testing
UAT (User Acceptance
Testing)
Alpha / Beta
Critiq
ue P
rod
uctUnit Tests
Component Tests
Performance and Load
Testing
Security Testing
“Ility Testing”
Technology-FacingSource: Brian Marrick
10
• Kennt sich in der Fachlichkeit aus
• Hat im Bereich schon selbst gearbeitet
• Kann wenig bis gar nicht programmieren
Meinung: „Code ist etwas für Entwickler.“
Releases dauern mehre Monate / Jahre
Persona Tester - Klassisch
11
• Kennt sich mit Code / Technologien aus
• Kann Architektur designen
• IT Background, aber nie Anwender des System gewesen
Meinung: „Tester kritisieren nur.“
Releases dauern mehre Monate / Jahre
Persona Entwickler - Klassisch
12
Das Internet zu DevOps und Sicherheit
Quelle:
https://twitter.com/petecheslo
ck/status/5956172042736189
44?lang=en
13
Eine Abwandlung …
1:301:291:281:271:261:251:241:231:221:211:201:191:181:171:161:151:141:131:121:111:101:091:081:071:061:051:041:031:021:011:000:590:580:570:560:550:540:530:520:510:500:490:480:470:460:450:440:430:420:410:400:390:380:370:360:350:340:330:320:310:300:290:280:270:260:250:240:230:220:210:200:190:180:170:160:150:140:130:120:110:100:090:080:070:060:050:040:030:020:01End1:30
15
Testmanagement:
• Unabhängigkeit
• Fachlichkeit (Prozesse)
DevOps:
• Kultur
• Automatisierung
• Technik
Gute Dinge aus beiden Welten
16
Testmanagement:
- „Geschwindigkeit“ (Monate)
- Fehlendes Technikverständnis
DevOps:
- Als Techi „den Kunden verstehen …“
- Verständnis für den Tester
Nicht so gute Dinge aus beiden Welten
17
• Hat im Bereich schon selbst gearbeitet
• Schärft den Blick des Entwicklers für Fachlichkeit
• Hat keine Angst vor Code/Skripte
Meinung: „Entwickler helfen mir bei der Automatisierung
der Tests.“
Releases dauern Wochen / Viele Feature-Experimente
Persona Tester – DevOps Ära
18
• Kennt sich mit Code / Technologien aus
• Kann Architektur designen
• IT Background, aber nie Anwender des System gewesen
Meinung: „Tester helfen mir die die Perspektive des Kunden
besser zu verstehen.“
Releases dauern Wochen
Viele Feature-“Experimente“
Persona Entwickler – DevOps Ära
20
Recap: Fundamentaler Testprozess
Test Analysis
Test Design
Test Execution
Test Tracking and Reporting
Test Closure
Planning
and
Steering
ISTQB-Standard:
21
Test Design
Testfälle
22
Test Design
Testfälle
Akzeptanz-
Kriterien
23
Demo - Testfallerstellung
27
Test Design
Testfälle
Akzeptanz-
Kriterien
Experimente
/ Erfahrung
28
Test Design
Testfälle
Daten aus
der
Produktion
Akzeptanz-
Kriterien
Experimente
/ Erfahrung
29
• Telemetriedaten ermöglichen quantitative
Analyse der Anwendung sowie des
Anwenderverhaltens bei hoher Datenqualität
• Telemetrie wird aktuell leider nur von Entwicklern genutzt
• Telemetriedaten bilden wertvollen Input für Testplanung
Neu: Daten aus der Produktion
30
Telemetriedaten – Woher?
HockeyAppApplication
InsightsAndere …
iOS Android
Windows Phone
WebServices WebApps
32
Hierarchischer TestplanTeam Project
Test Plan
Release 1Test Plan Release 2 …
Test Suite 1Test Suite
2…
Test
Daten
Test
Steps
Shared
Parameters
Test 1
Test
DatenTest
Steps
Test 2
KonfigurationenShared
Steps
33
Knackpunkte:
• Wie kann man Testplanung bei kurzen Zyklen realisieren?
• Wie behält man die Übersicht?
• Wie kann ich Sprints vergleichbar machen?
Organisation bei kurzen Zyklen
34
Testplanstruktur
• Release-Ebene:<Produktname>_<Version>_Repository
• Sprint Ebene:<Produktname>_<Version>_<SprintName1>
<Ort>_<Produktname>_<Version>_<SprintName1>
Ein oder mehre Testpläne?
35
Testplan-Name
Testsuite Struktur
Automated Tests
Manual Tests
UI
Backend
Services
UI
Backend
Services
36
Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Services
DB
Rest
37
Planung Sprint 1
MyEvent_1.0_S1 UI Test Case 1
38
Planung Sprint 2
MyEvent_1.0_S2 UI
Test Case 1
Test Case 3
39
Planung Sprint 3
MyEvent_1.0_S3 UI
Test Case 2
Test Case 3
40
Planung Gesamt
MyEvent_1.0
UI
Test Case 1
Test Case 2
Test Case 3
Test Case 4
Services
DB
Rest
41
Planung Sprint 4
MyEvent_1.0_S4 UI
Test Case 3
Test Case 4
43
„Sprintplanung“ für Testfälle
Sprint 1 Sprint 2 Sprint 3 Sprint 4
Repository
v 1.0 Testplan
Copy Copy Copy Copy
Copy = Testfälle als Referenzen übernehmen (Copy by
Reference)
44
Testplan „Baselining“ bei mehren Releases
Klonen
Repository
v 1.0 Testplan
Repository
v 2.0 Testplan
Klonen = Element physisch duplizieren
45
Demo – “Agile” Testplanung
48
Grundprozess:
• Testfälle sind im Vorfeld definiert
• Testfälle sind genau eingeplant
• Testfälle werden nach Skript abgearbeitet
Trennung von Spezifikation und Ausführung
Testausführung – Formal
49
Testausführung und –spezifikation finden gleichzeitig statt
Abhängig von Erfahrung des Testers
Dokumentation problematisch
Testausführung – Explorativ
1:301:291:281:271:261:251:241:231:221:211:201:191:181:171:161:151:141:131:121:111:101:091:081:071:061:051:041:031:021:011:000:590:580:570:560:550:540:530:520:510:500:490:480:470:460:450:440:430:420:410:400:390:380:370:360:350:340:330:320:310:300:290:280:270:260:250:240:230:220:210:200:190:180:170:160:150:140:130:120:110:100:090:080:070:060:050:040:030:020:01End1:30
51
• Recap: Rahmenbedingungen durch DevOps + AgileNeu: Kurze Zyklen
Alt: Mehre Monate Testphase
• Probleme in der PraxisPlanung, Ausführung und Reporting in kurzen Zyklen
Organisation bei einer großer Testanzahl und gleichzeitig kleinen Zyklen
Wieviel Formal und Explorativ ist richtig?
52
Demo - Testausführung
55
Daten für Testauswertung stecken in verschiedenen
Bereichen
• Release Management
• Build
• Test-Management
• Telemetrie
Tester müssen auch in andere Bereiche schauen
Testauswertung
56
Demo - Testauswertung
62
• DevOps und Testmanagement gehören zusammen
• Formales vs. Exploratives Testen – richtiger Mix!
• Input für Testdesign aus verschiedenen Quellen
• Testplanstrukturen: Release vs. Sprint
Zusammenfassung
63AIT GmbH & Co. KG – Ihre Software effizienter entwickelt
64AIT GmbH & Co. KG – Ihre Software effizienter entwickelt
WIR UNTERSTÜTZEN SIE
[email protected]+49 151 55052628
AIT GmbH & Co. KGLeitzstr. 45, 70469 Stuttgart
www.aitgmbh.de
BERATUNGAgile ALM und TFS
.NET und Architektur
ENTWICKLUNGDienstleister für individuelle
Lösungen mit .NET und Azure
© AIT GmbH & Co. KG – Alle genannten und gezeigten Marken oder Warenzeichen sind eingetragene Marken oder eingetragene Warenzeichen ihrer jeweiligen Eigentümer
und ggf. nicht gesondert gekennzeichnet. Aus dem Fehlen der Kennzeichnung kann nicht geschlossen werden, daß es sich bei einem Begriff oder einem Bild nicht um eine
eingetragene Marke oder ein eingetragenes Warenzeichen handelt.
+49 151 55052624