View
217
Download
0
Category
Preview:
Citation preview
2
01 Introductie
02 Het ESTH Test centrum
‐ Organisatie
‐ Werkwijze
‐ Onze Klanten
‐ Onze diensten
03 Expertise
‐ Methode
‐ Expertise
AGENDA
04 Performance testen
-Het model, de doelen en de test campagne
05 Testautomatisering
‐ Testautomatisering en TMap Next
‐ 5 stappen naar volwassen testautomatisering
‐ Lessons learned
06 Conclusie en vragen
3
2 ESTH Overview European Software Test Hub
Key info
Oprichting testcentrum in 2008
125 fulltime testprofessionnels
Meer dan 70% ISTQB gecertificeerden
21 000 productiedagen per jaar
Offshoring naar India en Marokko
1 500 m² werkoppervlak
Meer dan 600 dagen opleidingen per jaar
Realisatie opdrachten binnen tijd en geld 99%
Gemiddeld cijfer van onze klanten in 2015 : 7,96/10
123
€
Voordelen voor onze klanten
Kostenvermindering
Flexibiliteit
Geoptimaliseerd Delivery Model
Industrialisatie
Kwaliteit
Geborgde transitie
Continue verbetering
123
€
Ambities 2016
85% gecertificeerde medewerkers
Groei van minimaal 20%
Uitbreiding diensten catalogus
123
€ Expertise
0-4 jaar
5-10 jaar
11-20 jaar
>20 jaar
Expertise
European Sogeti Test Hub(ESTH)
Innovation center
Sogeti lab
Test innovation lab
Demo’s
R&D
Service Catalogs
TDC
Factories – all test activities
Managed testing services (MTS)
Product Risk Analysis
Transitioning
Automation
Performance
Mobile & Multi-device
Tools
Environments
Market Units
Sales teams
Staff augmentation
Large Est, Large West & IDF
European sales (tbd) ESTH
TDC
Testing in the MU’s
Gateway to India
and Marocco
Innovation Center
Academy
Academy
Training
Coaching
TPI
Gateway
India
Marocco
5
5
TELECOM
Test Factory
Leader
Test
management
Test team
BANKING &
ASSURANCE
Test Factory
Leader
Test
management
Test team
PUBLIC
Test Factory
Leader
Test
management
Test team
TRANSPORTS
Test Factory
Leader
Test
management
Test team
E-COMMERCE
MOBILE
Test Factory
Leader
Test
management
Test team
Support
services
Perf
Tools
Aut
Trans
Factory 1 Factory 2 Factory 3 Factory 4 Factory 5
Performance
Tools
Automation
Transition
Management
Team
Man.
PM
PS
DEL
Peter Betting- Management
Marc Deligny – Practice management
Benoit Heib- Pre-Sales & BD
Julien Corne – Delivery management
ESTH De 5 Test Factories
6
Public E-commerce Banken en
Verzekeringen
Telecom
Functional testing
End to End testing
Functional testing
End to End testing
Web testing
End to End testing
FO / BO
Full BO
Full BO
(Offshore)
Shadow testing
Full BO
Functional testing
Qual. and integration
Full BO
6
FO / BO
Performance testing
Support HP ALM
Integration testing
Test automation
Mobile testing
Functional testing
Infra testing
Integration testing
Supporting End User
Test automation
Transport
Functional testing
TPI
Full BO
FO / BO
Integration testing
ESTH Onze klanten 2
TPI
7
Klant A
Klant B
Klant C
kernteam
kernteam
kernteam
Project A
Project B
Project C
Planning forecast Porductieplanning
Wekelijkse
resource meeting
Gemiddelde workl load > 87%
Onderbezetting: samenwerking
met Testing Capgemini/Sogeti
en andere wervingspartners
Overbezetting: verschuiving
teams, trainingen, continu
verbetertraject …
productieplanning 12 weken
2 ESTH Resourceplanning en schaling teams
>120 test professionals in ESTH
600 test professionals in Frankrijk
> 3000 test professionals in meer dan 14 landen ….
8
BA
CK
OFF
ICE
FR
ON
T O
FFIC
E
Strategie Specifi-
catie
Uit- voering
Borging
Strategie
Spécifi- catie
Uit- voering
Borging
Strategie
Specifi- catie
Uit- voering
Borging
1
De testactiviteiten verdeeld over de klant en het ESTH testcentrum worden bepaald door de wens en mate van
industrialisatie, de complexiteit en de volwassenheid van testen bij onze klanten
3 2
1 ESTH DE VERSCHILLENDE SAMENWERKINGSVORMEN
9
Functional testing
Test Web & Mobile
Automatisering
Admin. & support tools
Performance testing
Testomgevingen
Qualification & intégration
Statisch testen
Security testing
4 ESTH Overzicht diensten
9
MB
T
Co
ver, A
gR
D…
Automation Tools
Xamarin Selenium UFT
Performance Testing Tools
Neoload Loadrunner Stormrunner
Hosting Tools
OneShare
Device Lab
Ghostlab
Web Browsers Tools
CrossBrowserTesting
Test
Man
ag
em
en
t To
ols
IBM
RQ
M, H
P A
LM
, SQ
UA
SH
TM
, Te
stlin
k,
ALM
TV
(re
po
rtin
g)
Code review
ESEC – European Security Expertise Center
Kiuwan
Code review
Sonar Qube
Work unit model
Quick start
Flexibiliteit
Pay-Per Use
Standaard rapportage
SLA
Klant tevredenheid
11
Quality assurance&
(automated)
DevelopmentTeamplayer
Business
3 Onze specialisten T-shaped tester
12
12
Formele test
technieken
Lichte test technieken
Impact
Lik
elih
oo
d
0 50 100
50
100
IV
II I
III
Lichte test technieken
Informele test
technieken of
helemaal geen test
technieken! Planning
aan het eind
3 Prioriteren testen met de klant Product Risico Analyse
14
1 ESTH - Performance
Banque de France
Banque de France is the Central
Bank of France.
It is linked to the European
Central Bank (ECB) and its main
charge is to implement the interest
rate policy of the European System
of Central Banks (ESCB).
1 year =
25 campaigns between 8 to 30 work days
From 30 to 30000 virtual users
Around 500 runs
200 scripts
125 analysis and recommandations
25 results presentations
2 Consultants
WEB, Citrix, RTE, SAP
over http protocoles
HP Performance Center Solution (Vugen, Analysis, SiteScope)
HP Diagnostics
expertise PerfMon analysis AWR reports analysis
123
€ Details
We manage performance tests campaigns as following
Our activity
15
1 ESTH - Performance Het 6 stappen Performance test model
PRA
&
Test stragegy
Preparation
connections
&
environments
Performance Scenarios provided
by the customer
Test
Specification
High complexity
Medium complexity
Low complexity
Execution Reporting
Troubleshooting
One time action Pay per use: number of Work Units
16
1 ESTH - Performance De verschillende test doelen
Performance
test
objectives
Capacity and
performance
modelling
System
validation
testing
Benchmark
Code profiling
and
optimization
Infrastructure
tuning
Performance tests objectives are set with the customer during the test strategy definition phase. What we need to learn from
the system, its software and infrastructure.
Verschillende typen performance testen : load test, soak test, stress test, component test, etc
Protocols : Web (http/https, Java, Web services, etc) SAP, Citrix, RDP, RTE, etc
Infrastructure monitoring : operating systems (Windows, Linux, Unix, Aix), database servers (Oracle, SQLServer), web and application servers (Jboss, Weblogic,
Websphere, IIS, etc), etc
Details
17
1 ESTH - Performance Een performance test campagne
Definitie
•Teststrategie
•Risicoanalyse
•Load
•Planning
Voorbereiding
•Technical feasibility
•Platforms for Monitoring
deployment
•Data set
Realisatie
•Scripts
•Load scenarii
•Monitors
Uitvoering
•Analyzes
•Aanbevelingen
•Tuning en optimalisatie
Afronding
•Eindrapportage
•Presentatie eindresultaat
Performance test campagne wordt als een project gemanaged:
18
Tools
Partners
1 ESTH - Performance
Tooling en partners
20
Controle
Infra
Voorb. Spec. Uitv. Afrond. Test infra inrichten voor de
ontwikkeling, het onderhoud
en de uitvoer van de
geautomatiseerde testset
Testauto core team inrichten
Testomgeving configureren
Vaststellen welke scenario’s geautomatiseerde
dienen te worden
Traceability matrix opstellen en valideren
Geselecteerde scenario’s valideren
Ontwikkelen of bijstellen automatiserings
framework
Geautomatiseerde testscripts ontwikkelen
Debuggen en testen van gemaakte scripts
Validatie dekking testsets
Traceability matrix invullen en bijhouden
• Opstellen automatiseringstestplan
• Risicoanalyse
• Keuze tooling en aantal licenties
• Verzamelen bestaande manuele scripts
• Beheer automatiserings Framework
Metrieken verzamelen voor het opstellen en
uitvoeren van testscripts
Dekking controle
Volwassenheidsmeting
Uitvoeren geautomatiseerde scripts
Testuitvoer resultaten analyseren
Tunen bestaande testauto scripts
Vastleggen geconstateerde bevindingen
Opstellen rapport testuitvoering
Opstellen eindrapportage
Opleveren testauto scripts
en bijbehorend framework
Metrieken
Integratie test automatisering binnen Tmap Next®
21
5 volwassenheidsstappen van testautomatisering
Losse Scripts (QTP / Winrunner / Rational Robot / VB )
Herbruikbaarheid en aanpasbaarheid miniem
Beschikbare testdata is miniem en niet automatisch gegenereerd
Scripts generen test data
Scripts kunnen vaak worden gebruikt waarbij gebruik gemaakt wordt van diverse testdata
Herbruikbaarheid en aanpasbaarheid beperkt
Een deel van de scripts kan via 1 tool worden afgetrapt
De testscripts worden opgeknipt in
losse geautomatiseerde testgevallen;
het script roept de onderliggende
geautomatiseerde testgevallen aan
1 scenario om de onderliggende
bundel testscripts geautomatiseerd uit
te voeren
Scripts kunnen vanuit 1 tool worden afgetrapt
Een automatiseringsframework op maat gemaakt rekening houdend met de eisen van de klant, de verschillende omgevingen en de eisen van de acceptanten
Initiele opstartkosten voor het Framework
Mogelijkheid tot het genereren van specifieke rapportages
Business Test Process Framework: een framework met de business aan de knoppen
Management commitment
Een permanent automatiseringsteam
Complexe scenario’s kunnen worden afgetrapt
De uitvoer van de geautomatiseerde scripts
kunnen door de klant ZELF worden uitgevoerd
zonder enige technische of programmeer
kennis
Naast losse scripts zijn ook de Ketentest
scenario’s geautomatiseerd en beschikbaar
gesteld
Onderhoud is eenvoudig en kost weinig
inspanning
Vroege foutdetectie
Garantie op de dekking van de testen
Traceability tussen bevinding, testgeval en
testbasis
Losse Scripts
Scripts welke testdata
generen
Modulaire en herbruikbare
scripts
Maatwerk test automatiserings
Framework
Framework aangestuurd door
de Business
Mate
van v
olw
assen
heid
van t
esta
uto
matiseirng
22
Vroege foutdetectie: • Completeren testbasis
• Alles .... Nee! En denk aan de risicoanalyse
• Inzetten model based testen (Traceability)
• Gebruik testspecificatie technieken
• Het juiste aantal testgevallen
23
Zo snel mogelijk maar wel eerst aandacht voor: • Handmatige testset
• Traceability
• Kwaliteit testbasis
• Expertise testteam
• Testomgeving
• Tooling
Durf er ook voor te kiezen om NIET te automatiseren • Wat is de ROI?
• Hoe vaak worden deze testen uitgevoerd?
• Hoe belangrijk is dit proces voor de bedrijfsvoering?
• Hoe richt ik het beheer in?
Recommended