Upload
others
View
7
Download
0
Embed Size (px)
Citation preview
Workshop
Context Driven
Testverbetering
Amersfoort, 31 mei 2018
Focus
Kennisdeling
Persoonlijk
Plezier
Vakmanschap
Meer
Oprecht
Lokaal
4
Roadmap voor
Context Driven Testverbetering
https://improvement.polteq.com
Context Driven Testverbetering
heeft een aanleiding zoals een behoefte (+) of een knelpunt (-),
krijgt doelstellingen mee om deze op te lossen,
binnen een gegeven aandachtsgebied,
met een aanpak,
die zich laat sturen door de context,
als basis voor een onderzoek,
dat leidt tot een rapport,
met verbetervoorstellen,
die worden geïmplementeerd en
waarvan het effect wordt geëvalueerd
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
We beginnen bij de hoofdvraag
“Hoe kan Testservices bijdragen aande doelstellingen van de afdeling?”
Hoe kunnen we het testen op een hoger plan brengen in de agile teams?
Testen duurt te lang, hoe kan dat sneller?
Waar en hoe kunnen we testen verbeteren in ons ontwikkelproces?
We willen testen verbeteren, maar waar moeten we beginnen?
Kunnen jullie bevestigen dat deze testgroep inderdaad erg goed is?
Wat is uw hoofdvraag?
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Wanneer zijn we succesvol?
“Op basis van het antwoord wil men visie ontwikkelen op testen en op de services van Testservices”
Minder fouten in productie
Lagere testkosten
Verbetervoorstellen in logische volgorde
Inzicht in vergelijking met andere organisaties
Wanneer zijn we bij u succesvol?
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Wat is het aandachtsgebied?
13
“Testen bij de afdelingen Logistiek, Kantoorautomatisering en Life cycle management”
Zes agile teams
Testautomatisering
Testen van mobile apps
Automatisch testen van mobile apps
CI/CD
ScopeOne or more test levels
• unit, system, integration, …One or more test types
• functional, performance, security, …Project, department, product group, company, …One or more agile teams
Center of Excellence
Specific testing aspects
• performance test
• test automation
• mobile testing
• ….
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Wat is de context?
16
Logistiek: zeer hoog risicoprofiel
Kantoorautomatisering: agile, testautomatisering
Life cycle management: devops
Prototyping
Lean
Rapid Software Test
Management
(Acceptance) Test
Driven Development
V-model
TMap (Next)
Not on this list…
Wat is uw context?
Mobile
SOA
Cloud
Wat is uw context?
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
INTERMEZZO: 7000 testers, of 9000?
Out-of-comfortzone TPI, een 10
jarig jubileum bij Huawei,
China.
Laatste telling 26000...
23
TPI original is best streng
24
Beijing 2011
25
Upgrade naar TPI Next
Complexiteit
MBT
Outsourcing
Requirements
Agile
Terugkerende thema’s
Initial Controlled Efficient Optimizing
1 Stakeholder commitment A B B C F H H K M M
2 Degree of involvement A B C E H H J L L
3 Test strategy A A B E F F H K L
4 Test organization A D D E I I J J K L L
5 Communication B C C D F F J M M
6 Reporting A C C F G G K K
7 Test process management A A B B G H J K M
8 Estimating and planning B B C C G H I I K L L
9 Metrics C C D G H H I K K
10 Defect management A A B D F F H J K L L
11 Testware Management B B D E I I J L L L
12 Methodology practice C D E F H J J M M
13 Tester professionalism D D E E G G I I K K M
14 Test case design A A E F I I J K K M
15 Test tools E E E F G G I L M M
16 Test environment C D D E G H J J L M M26
TPI Next transparanter, motiveert meer
Xi’an 2012
27
Te goed!
Kan het wat minder?
Key areas Initial Controlled Efficient Optimizing
1 Stakeholder commitment A B B C F H H K M M
2 Degree of involvement A B C E H H J L L
3 Test strategy A A B E F F H K L
4 Test organization A D D E I I J J K L L
5 Communication B C C D F F J M M
6 Reporting A C C F G G K K
7 Test process management A A B B G H J K M
8 Estimating and planning B B C C G H I I K L L
9 Metrics C C D G H H I K K
10 Defect management A A B D F F H J K L L
11 Testware management B B D E I I J L L L
12 Methodology practice C D E F H J J M M
13 Tester professionalism D D E E G G I I K K M
14 Test case design A A E F I I J K K M
15 Test tools E E E F G G I L M M
16 Test environment C D D E G H J J L M M
Context: testen was even ‘klaar’ met verbeteren
29
42, or:
what happens in Xi’an,
stays in Xi’an...
Chengdu 2014, out of comfortzone
30
Eerste keer:
TPI alleen
Agile TPI (TI4Agile)
Michael Bolton
TI4Agile kijkt naar Testen en Agile (samen)werken
32
Hangzhou 2017
33
Waar is TPI gebleven?
I4agile
Wat is de aanpak?
34
Testen of breder?
Training?
Staged of Continuous?
Gelinkt aan SPI of CMMi?
Formeel of informeel?
Schaalbaarheid?
Studie?
Zelf of extern?
Verbetersuggesties?
Budget?
Top down? Bottom up?
Interviews?
Groepsessies?
Mee testen?
Meetings bijwonen?
“De aanpak van het assessment wordt gedifferentieerd per domein vastgesteld.”
Wat voor aanpak past bij
uw organisatie?
Kies / combiner wat past en bijdraagt
Algemene modellen• TPI Next
• TMMI
• STEP
• CTP
• GQM
• ……
Specifieke focus• TI4Agile
• TI4Automation
• CTPI
• SFAI-web
• Belbin
• ……
Heuristieken• Exploring
• Test along
• Heuristieken
- Discussies
- Bevragen
• Impliciete kennis
• Experience based
• Mindmapping
• Brainstormsessies
• Out-of-the-Box
• Good Practices
• …
Meer details na de pauze!
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Het onderzoek: een beeld ontstaat
38
Praatplaatjes
Leidende thema’sBasis voor testbeleid bouwt op
Testafdeling in zijn kracht zetten
Bijsturen en inzoomen
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Wat is het resultaat?
40
Management presentatie
Testservices presentatie
Ondersteunend rapport
Concrete voorstellen voor actie afgestemd op doelgroep
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
42
Intermezzo:Ervaringen met implementatie van
Context Driven Testverbetering
Testverbetering take-1: Top-down
Verbeteringfase Actie Context Effect
Voordoen Test strategie 1.0 • V model
• Management
draagt uit
• Geen
hulpvraag van
testers
• Q er in
reviewen
• Papieren tijgerMeedoen Trainen
Hulp aanbieden
Zelf doen Reviewen
Testen stond nu wel op de kaart!
Testverbetering take-2: Bottom up
Verbeteringfase Actie Context Effect
Voordoen Test strategie 2.0 • Agile scrum
• Organisatie
zoekend:
Zelfsturend vs
zelf
management
• Indringer!
• Team beslist
zelf hoe met
testen om te
gaan!
Meedoen Trainen
Helpen bij test
refinement
Zelf doen Reviewen
Agile testen geïntroduceerd
CDTI aanjager discussie over zelfsturend / zelf management
Early adopters kwamen met hulpvraag over implementatie van teststrategie
Testverbetering take-3: Samen
Verbeteringfase Actie Context Effect
Voordoen Teststrategie 2.0 • Management is
agile aware
• Scrum teams
nog weinig
volwassen
• Management
buy-in
• Team buy-inMeedoen Aansluiten bij SM
gilde
Samen met team
verbeterbacklog
opstellen
Zelf doen Gebruik
retrospective
Agile teststrategie duidelijk
Test (verbetering) ingebed in de Agile scrum methodiek
Men kon zelf verder
CDTImplementatie - conclusies
De CDTI implementatie verandert de context
• Verschuivende weerstandshobbel
- Fase 1: team
- Fase 2: management
- Fase 3: weerstand weg
Weet wat er anders nog speelt
• Pas de implementatie daarop aan
Door de implementatie wordt je onderdeel van de context
• Dwing jezelf om scherp te blijven
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Implementatie
49
“Er is meer uit het assessment gekomen dan we verwacht hadden. Bepaalde uitkomsten herkenden we en op dat gebied waren we zelf ook al kleine stapjes aan het zetten. Andere
bevindingen waren nieuw voor ons en het was nuttig dat we daarop gewezen werden”
Nieuw testmodel - sluit beter aan bij Agile en Waterval
• Laagdrempeliger, beter toegankelijk voor een breed publiek
Inzicht geven in wat we wel/niet doen
• Duidelijke scheiding van taken en verantwoordelijkheden
• Draagt bij aan beter voortbrengingsproces
Belangrijkst van alles: de zaadjes die zijn gepland
Implementatie
50
“We zijn voortdurend bezig om onszelf te verbeteren en hebben ook echt de drive om zaken aan te pakken.”
“Het rapport geeft ons steeds weer een extra duwtje in de goede richting.”
51
CDTV helpt ... met modellen en
aanpakken
Waarom een model?
Om..
aan te sluiten bij het testproces zoals TPI Next + TMap Next
aan te sluiten bij andere verbetermodellen zoals TMMi + CMMi)
te kunnen vergelijken afdelingen, de industrie, een niveau
tegen een industriestandaard te meten TestSpice (Duitsland)
makkelijker buy-in te krijgen model geeft gezag
te focussen op een specifiek gebied TI4Automation, TI4Mobile
niets te missen eigenlijk geldt dit voor alle modellen
DekkingObjectiviteit
Waar bestaan modellen vaak uit?
Levels
Areas
Checkpoints
ontwikkeling
Een greep uit bestaande verbetermodellen
Model Focus Strong inTPI Next Test process in traditional
organizationsFocus test improvement
TMMi Test process in traditional, large organizations
Formal test maturity measurement
TestSPICE Test process in industry oriented organizations
Link to standards and SPICE
STEP Test & Evaluation Drive test improvement
CTP Testing Drive test improvement
GQM Software metrics Quality improvement
T5 (imbus)TI4Agile (polteq)
Testing in agile context Test improvement in agile context
TI4Automation Automated testing (checking) Implementation of test automation
TI4Mobile Mobile testing Improve mobile testing
Belbin Team roles Improve team work
Cloutest Testing cloud services Organizing testing in cloud context
TOGA Test Outsourcing Governance Approach
Improve testing in outsourcing context
…
CDTV modellen en aanpakken
55
TPI Next
TI4Agile
TI4Automation
I4Agile
TI4Mobile
Testen in Agile context
Testen en ontwikkelen in Agile context
Testen als discipline
Testen van mobile apps
Test-automatisering
TOGARoadmap voor
(test)outsourcing
CloutestTesten van
cloudservices
IoT risico’sProductrisicomodelInternet of Things
Compact TICDTV in een
notendop
Modellen voor (test)verbetering Andere CDTV-hulpmiddelen
Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.
CDTV modellen en aanpakken
56
TPI Next
TI4Agile
TI4Automation
I4Agile
TI4Mobile
Testen in Agile context
Testen en ontwikkelen in Agile context
Testen als discipline
Testen van mobile apps
Test-automatisering
TOGARoadmap voor
(test)outsourcing
CloutestTesten van
cloudservices
IoT risico’sProductrisicomodelInternet of Things
Compact TICDTV in een
notendop
Modellen voor (test)verbetering Andere CDTV-hulpmiddelen
Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.
TPI Next
Continuous representation
Focus on test process
Covers entire test process
Improvement sequence
Improvement suggestions
TMap Next terminology
Book (e-book)
Within the context of software development process
Nieuwe modellen
Waarom hebben we die gemaakt? Context!
Welke zijn er?
• TI4Agile
• TI4Automation
• TI4Mobile
• I4Agile
- Uitbreiding met development
- Uitbreiding met projectmanagement
- TODO: business (analysis) integreren in bestaande delen
CDTV modellen en aanpakken
59
TPI Next
TI4Agile
TI4Automation
I4Agile
TI4Mobile
Testen in Agile context
Testen en ontwikkelen in Agile context
Testen als discipline
Testen van mobile apps
Test-automatisering
TOGARoadmap voor
(test)outsourcing
CloutestTesten van
cloudservices
IoT risico’sProductrisicomodelInternet of Things
Compact TICDTV in een
notendop
Modellen voor (test)verbetering Andere CDTV-hulpmiddelen
Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.
TI4Agile
Testing in Agile context
Consistent with Scrum
Many suggested practices
Covers agile team aspects
More strict on testing skills
https://improvement.polteq.com/en/ti4agile/TI4Agile has been developed by Polteq
CDTV modellen en aanpakken
61
TPI Next
TI4Agile
TI4Automation
I4Agile
TI4Mobile
Testen in Agile context
Testen en ontwikkelen in Agile context
Testen als discipline
Testen van mobile apps
Test-automatisering
TOGARoadmap voor
(test)outsourcing
CloutestTesten van
cloudservices
IoT risico’sProductrisicomodelInternet of Things
Compact TICDTV in een
notendop
Modellen voor (test)verbetering Andere CDTV-hulpmiddelen
Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.
TI4Automation
Improvement of test automation
Goal driven
Not tool driven
TI4Automation roadmap
Reference model
Focus: added value of test automation
https://improvement.polteq.com/en/ti4automation/TI4Autmation has been developed by Polteq
CDTV modellen en aanpakken
63
TPI Next
TI4Agile
TI4Automation
I4Agile
TI4Mobile
Testen in Agile context
Testen en ontwikkelen in Agile context
Testen als discipline
Testen van mobile apps
Test-automatisering
TOGARoadmap voor
(test)outsourcing
CloutestTesten van
cloudservices
IoT risico’sProductrisicomodelInternet of Things
Compact TICDTV in een
notendop
Modellen voor (test)verbetering Andere CDTV-hulpmiddelen
Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.
TI4Mobile
Improvement of testing mobile apps
Mobile awareness
Test process in mobile context
Special topics:
• Mobile device lab
• Device analytics
• API testing
https://improvement.polteq.com/en/ti4mobile/
TI4Mobile has been developed by Polteq
Expert
Advanced
Basics
CDTV modellen en aanpakken
65
TPI Next
TI4Agile
TI4Automation
I4Agile
TI4Mobile
Testen in Agile context
Testen en ontwikkelen in Agile context
Testen als discipline
Testen van mobile apps
Test-automatisering
TOGARoadmap voor
(test)outsourcing
CloutestTesten van
cloudservices
IoT risico’sProductrisicomodelInternet of Things
Compact TICDTV in een
notendop
Modellen voor (test)verbetering Andere CDTV-hulpmiddelen
Bovenstaande modellen en hulpmiddelen zijn ontwikkeld door Polteq, behalve TPI next dat een een merk is van Sogeti.
I4Agile
Agile
Testing
Development
Projectmanagement
https://improvement.polteq.com/en/i4agile/
67
CDTV helpt ...
… bij de introductie van Agile
Transitioning to agile
Process WaterfallDevelopment
Transition Agile Development
Measure ofSuccess
Management Culture
Requirements & Design
Coding & Implementation
Test & Quality Assurance
Planning & Scheduling
Conformanceto plan
Response to change,working code
Command & control
Leadership,self managing teams
Big & upfrontdocumentation
Continuous,just in time elaboration
Code all features in parallel. Test later
Code & unit test,deliver serially
Big, planned / test late
Continuous & concurrenttesting starts early
detailed / fixed scope, estimate time & resources
Two-level plan / fix date, estimate scope
(Scaling Software Agility: Best Practices for large Organisations – DeanLeffingwell 2007)
Evolution of Agile testing
PerformingNormingForming .
Pioneering
Structured
Agile
Time
Str
uctu
red
N
ot
str
uctu
red
Agile testing maturity levels
Forming Norming Performing
Ag
ile t
esti
ng
levels
Set the basis and the first
steps towards working in an Agile manner
Adopt a process that facilitates the Agile view
on working
Continuously improve the
way you work by living the
Agile way
Assessment model
Key area Forming Norming Performing
1 Stakeholder commitment 1 2 3 4 1 2 3 4 1 2 3
2 Planning & Estimation 1 2 3 4 1 2 3 4 1 2 3 4
3 People 1 2 3 4 1 2 3 4 1 2 3
4 Interaction 1 2 3 4 1 2 3 4 1 2 3 4
5 Teamwork 1 2 3 1 2 3 4 1 2 3 4
6 Environments 1 2 3 1 2 3 1 2 3 4
7 Test process 1 2 3 1 2 3 4 1 2 3
8 Test management 1 2 3 4 1 2 3 1 2 3
9 Test profession 1 2 3 4 1 2 3 4 1 2 3
10 Test automation 1 2 3 1 2 3 4 1 2 3 4
11 Regression & E2E testing 1 2 3 4 1 2 3 1 2 3 4
12 Defect management 1 2 3 1 2 3 4 1 2 3
Stakeholder commitment
Recognise the value of a team and of each role in the team
Create an environment in which the team can work effectively
Deliver acceptance criteria
Participate in acceptance
Prioritise backlog, risks and defects
Deliver context for user stories
Allow freedom of choice
Facilitate Agile/SCRUM
Stakeholder commitment
Forming Norming Performing
TI4Agile
Stakeholders start projects
Stakeholders help projects
Stakeholders participate in
projects
The path to commitment
Contact
Awareness
Understanding
Positive perception
Adoption
Institutionali-zation
Internalization
Le
vel
of
co
mm
itm
en
t
People
People
Forming Norming Performing
TI4Agile
People are motivated
People embrace
changes in the product
People initiate process changes
People – Feedback
State something positive related to the subject
State your criticism objectively
Don’t use the word “but”State the effect
Suggest an improvement
Thank you for delivering a lot of information in the meeting. I noticed that you were talking a lot, this provided me little room to give my opinion. You might want to ask others for their input in the future.
People – T-shaping
Know the context
Know your own strengths
Assist others
Leave your comfort zone
78
Stakeholder commitment – Forming
1. The principal stakeholder is defined and known by the team(s)
2. Stakeholders deliver the committed resources
3. Stakeholders actively acquire information on the progress of the project
4. Stakeholders are willing to adapt their way of working to the (test) process
Stakeholder commitment – Norming
1 The stakeholders provide a mandated representative (PO) to the team
2 The stakeholders define business value and provide a prioritized product backlog
3 The stakeholders define acceptance criteria for the items on the product backlog
4 Stakeholders attend the review meeting
Stakeholder commitment – Performing
1 The product owner is actively participating in the team
activities
2 Stakeholders trust and value the team(s)
3 Stakeholders share responsibility for the quality of the
product
People – Forming
1. People are well trained and/or experienced in their functions
2. People are willing to put in extra effort when needed
(commitment)
3. People can explain their value in the project context
4. People take full responsibility for their work
People – Norming
1 People understand project (management) terminology and know the purpose of the different meetings
2 Scrum master keeps track of the process
3 Scrum master removes roadblocks outside the team
4 People have a positive attitude towards change
People – Performing
1 People proactively provide feedback
2 People know how to handle feedback and use the
feedback to improve
3 People are able to help with tasks outside their main
area of expertise (T-shaping)
Assessment model
Key area Forming Norming Performing
1 Stakeholder commitment 1 2 3 4 1 2 3 4 1 2 3
2 Planning & Estimation 1 2 3 4 1 2 3 4 1 2 3 4
3 People 1 2 3 4 1 2 3 4 1 2 3
4 Interaction 1 2 3 4 1 2 3 4 1 2 3 4
5 Teamwork 1 2 3 1 2 3 4 1 2 3 4
6 Environments 1 2 3 1 2 3 1 2 3 4
7 Test process 1 2 3 1 2 3 4 1 2 3
8 Test management 1 2 3 4 1 2 3 1 2 3
9 Test profession 1 2 3 4 1 2 3 4 1 2 3
10 Test automation 1 2 3 1 2 3 4 1 2 3 4
11 Regression & E2E testing 1 2 3 4 1 2 3 1 2 3 4
12 Defect management 1 2 3 1 2 3 4 1 2 3
86
CDTV helpt ...
… bij Mobile
TI4Mobile
Improvement of testing mobile apps
Mobile awareness
Test process in mobile context
Special topics:
• Mobile device lab
• Device analytics
• API testing
TI4Mobile has been developed by Polteq
Expert
Advanced
Basics
Mobile expert
TI4Mobile maturity levels
Mobile advanced
Mobile basics
1st Level – Mobile basics
The level of mobile awareness across the project, people within a team and organization. This is enabling the conditions that are required for mobile testing.
Mobile basics aspects
• Testability of the mobile app
• Available testing skills
• Mobile test environment
• Usage of Analytics
• API testing
Basics
2nd Level – Mobile advanced
All the mobile perspectives are understood and used to increase the effectiveness of the test process.
Mobile Advanced aspects
• Team shares mobile test knowledge
• Mobile perspectives in the Product Risk Analysis
• Dedicated test role in a co-located development team
• Device lab for all types of tests
• Development heartbeat corresponds to market demands
• End-users are involved in the development cycle
Advanced
3rd level – Mobile expert
Testing is so organized that it is constant capable of giving a
quality feedback from unit to end-user and from backend to
app for all perspectives within hours
Mobile Expert aspects
• Multiple test layers (environments, architecture, users)
• Regular updates of the ‘device usage market analysis’• User sessions as integrated part of the development cycles
• “Passion or innovation time” to incorporate trends
Expert
The key areas of TI4Mobile
The key areas of TI4MobileExpert
Advanced
Basics
Organizational
mobile awareness
Test device policy
Mobile testing skills
Mobile analyticsUsers
&
Personas
Mobile API
Test environment
Defect analysis
Organizational mobile awarenessExpe
rt
Advanced
Basics
95
CDTV helpt ...
… bij Test Automation
TI4Automation
Improvement of test automation
Goal driven
Not tool driven
TI4Automation roadmap
Reference model
Focus: added value of test automation
Test automation maturity levels
Forming Norming Performing
Test
Au
tom
ati
on
levels
Set the basis and the first
steps towards automated
tests
Facilitateintegration of
test automation in
the test process
Continuously improve test
automation by applyinglessons learned
Assessment model
Key area Forming Norming Performing
1 Automation strategy 1 2 3 4 1 2 3 4 1 2 3 4
2 Automation architecture 1 2 3 1 2 3 4 1 2 3 4
3 Automation standards 1 2 3 1 2 3 4 1 2 3
4 Automation scripts 1 2 3 1 2 3 4 1 2 3
5 Team 1 2 3 1 2 3 4 1 2 3
6 Test environments 1 2 3 4 1 2 3 4 1 2 3 4
7 Test data 1 2 3 1 2 3 4 1 2 3 4
8 Tooling 1 2 3 4 1 2 3 4 1 2 3
9 Tool integration 1 2 3 1 2 3 4 1 2 3
10 Planning & estimation 1 2 3 1 2 3 4 1 2 3
Key areas Forming Norming Performing
1Automation strategy Scope defined Priorities defined Regression
strategy
defined
Strategy
agreed with
stakeholders
All components
incorporated
All test levels
addressed
Selection and
scheduling
defined
Test automation
risks addressed
Strategey based
on ROI
Strategy
frequently
reviewed
End to end
strategy
defined
Performance
strategy linked to
automation
strategy
2Automation architecture High level architecture
available
Test abstraction for
each part of the
architecture
Tests use their
respective
abstractions
Abstraction(s)
guarantee read
and write
access to the
test object
All tests use
their respective
abstractions
Intelligible test
output available
Test coverage
visible in test
results
Reusable
examples
available
Autonomous
execution
possible
Continous
Integration
supported
Metrics
supported
3Automation standards Information on
application of
standards available
Distributed version
control used
Test automation
code tested and
debugged
Configuration
instead of magic
numbers
Coding
convention
consistently
applied
Code reviews
practiced
Rubber ducking
practiced
Defacto design
patterns applied
Refactoring
frequently practiced
Continuous integration
practiced
4Automation scripts Scripts communicate
their intent
Scripts can run
atomically
Scripts deliver
consistent test
output
Scripts can take
different data
sets
Scripts and
linked data
stored
separately
Scripts can be
executed in
separate groups
Effort according
to test pyramid
Scripts contain no test
logic
Common
development
practices applied
Test fixtures control
setup and data actions
5Team Team experienced in
structured testing
Team experienced in
development
Team understands
and applies the
automation
strategy
Team can
explain rationale
of automation
strategy
Team has
domain
knowledge
Shared
understanding
of added value
of automated
testing
Mutual support
in automation
efforts
Team continuously
improves automation
Team continuously
improves skills and
knowledge
Team provides
improvement
suggestions for
testability
6Test environments Environments
available when
needed
Tooling has
access to
environments
Environments
enable
consistent
execution
Scheduled
environment
changes
Environments
continously
available
Environments
support all
automated test
levels
Environments
support testing
all components
Environments
continuously
kept up-to-date
Acceptance
environment
production like
Validity of
environments
frequently
checked
Environments
support end to
end
automation
Environments
can be
duplicated and
scaled
7Test data Test data available Automated data
selection possible
Test data enables
consistent
execution
Test data linked
to scripts
Test data
honors privacy
regulations
Test data
consistent
across
components
Test data
acceptance
environment
production like
Test data can be
reset to original
state
Test data
automatically
replicated in
BPT
Test data
continuously
kept up-to-
date
Validity of test
data frequently
checked
8Tooling Information on
tooling available
Unattented
execution
supported
Tooling
manages
scripts
Test results
can be
verified
Tooling used for
detailed logging
Tooling used
for CRUD
actions
Tooling gathers
metrics
Tooling used for
tracibility to
requirements
Tooling used for
recovery
Tooling supports
configurable plugins
Tooling used for end to
end testing
9Tool integration Test reporting
integrated with
surrounding tools
Import from external
sources facilitated
Export to external
targets facilitated
Automation
uses defect
management
system
Automation logs
defects
automatically
Test results
linked to
component and
environment
Configuration
management
supported
Defect life cycle
automated
Tool integration
fully automated
Automated scheduling
of tests based
resolved defects
10Planning & Estimation Automation activities
planned and
estimated
Estamation
substantiated
Planning and
estimation agreed
with stakeholders
Automation
planned in small
tasks
Script review
planned
Sequence
based on
business value
and risk
Devations from
stategy
discussed and
agreed
Automation activities
monitored
Metrics and lessons
learned are
collected
Metrics and lessons
learned are used for
improvement
Team – Levels
Forming Norming Performing
TI4Automation
The team applies the automation
strategy
The teamgives mutual support in automation
The team continuously
improves skillsand test
automation
Keep the goal visible
Team development
(Bruce W. Tuckman – Stages of group development)
Team – Forming
1. The team has sufficient knowledge and experience in
structured testing
2. The team has sufficient knowledge and experience in
development
3. The team understands and applies the chosen test
automation strategy
Team – Norming
1. The team can explain the rationale behind the chosen
test automation strategy
2. The team has sufficient domain knowledge
3. Other skill groups understand the added value of the
test automation efforts of the team
4. All relevant skill groups actively support each other
Team – Performing
1. The team strives to continuously improve their skills and
products
2. The team proactively gathers relevant information about
good practices in test automation
3. The team provides constructive feedback on the
testability of the test object, including improvement
suggestions
106
CDTV helpt ... met heuristiek
CDTV helpt ... met heuristiek
How do you feel?Ever felt this before?How about your work?Doing sports?How is your family?
In the morning?When was that?Need to walk?At what level?Similar complaints?
Before breakfast?…………
110
CDTV helpt ...
… wrap up
Insanity:
Doing the same
thing over and over
again and expecting
different results.
Albert Einstein
Aanleiding
Onderzoek
Verbetervoorstellen
Implementatie
voor een
CDTV initiatief
Doelstellingen
Aandachtsgebied
Context
voorzien van
gerichtop een
gestuurddoor de
dat
oplevert voor de
die worden geëvalueerd
tegen de
Effect
leidt tot een Aanpak
die leidt tot een
voor een
Start
Roadmap Context Driven Testverbetering
Assessment Heuristics
The assessment approachVolg het model
‘Speak to management first’‘Follow the problems (exploration)’
‘Ask open questions’
Haal kennis op via
‘Observe the work’‘(Don’t) Jump to conclusions’
‘The Period Of The Great Confusion’
…Interviews
Idearaising sessions
Heuristics
Study
…
…Walkaround
Testalong
Attend meetings
Feedbackand react
…
ReportAssessment results
- Model based results
- ‘Unbound’ results
- Positive points too!
Recommendations
- Model based improvements
- ‘Unbound’ improvements
- Related to goals/objectives
Management presentatie
Presentatie voor de (test)groep
Ondersteunend rapport
Concrete voorstellen voor actie
afgestemd op doelgroep
Reporting – heuristics
‘A picture is worth a 1000 words’‘Iterate with major stakeholders’
‘Identify quick wins’
ReportAssessment results
- Model based results
- ‘Unbound’ results
- Positive points too!
Recommendations
- Model based improvements
- ‘Unbound’ improvements
- Related to goals/objectives
Management presentatie
Presentatie voor de (test)groep
Ondersteunend rapport
Concrete voorstellen voor actie afgestemd op doelgroep
Reporting – heuristics
‘A picture is worth a 1000 words’‘Iterate with major stakeholders’
‘Identify quick wins’
Continuous
Improvement is
better than delayed
perfection.
Mark Twain