Upload
kristian-brandser
View
677
Download
1
Embed Size (px)
DESCRIPTION
Citation preview
Risikobasert testingMinh Nguyen og Kjetil Gjelsten, Knowit Quality Mangement Oslo
Målsetning
• Anvende risikostyring i planlegging og gjennomføring av test slik at testingen blir mest mulig kostnadseffektiv samt gir mest mulig avkastning i form av tiltro til systemet.
• Benytte risikobasert testing som et redskap for å motvirke de rammebetingelsene som test ofte blir utsatt for:• Begrenset tid og ressurser avsatt til testing. Ofte gitte rammer og liten påvirkningsmulighet.
• Testing blir ofte skviset ut / nedprioritert pga. tidspress eller forsinkelser.
• Med risikobasert testing kan vi likevel skaffe oss tilstrekkelig tiltro til kvaliteten på systemet før testingen blir stoppet
• Skape en bevissthet rundt dette temaet• Deler eller hele kan benyttes der det passer.
• Fallgruver (dårlig metrikker (antall gjennomførte tester, antall testede komponenter, …) som kan gi oss falsk trygghet
• Bruke som et rammeverk for å kunne samle inn erfaringer og best praksis.
Risiko – definisjon
• Risiko er potensiell skade som kan oppstå fra eller forårsakes av nåværende prosesser eller en fremtidig hendelse.
Definisjon vinklet mot testing av IT systemet:
• Risiko er en potensiell skade en feil i et IT-system i drift kan medføre omgivelsen. Risiko er produkt mellom sannsynlighet for at feil på et gitt systemområde kan oppstå og skadevirkningen feilen medfører.
Prinsipper for risikobasert testing
• Ikke alle tester har samme viktighet:• Noen tester reduserer risiko for feil i drift
• Enkelte tester øker ikke verdi og tiltro til systemet
• Tiltro til og kvaliteten på systemet øker ved å teste høyest prioriterte tester først – Det vil da gir mulighet for å kunne finne kritiske / alvorlige feil tidig.
• Vi kan sette systemet i drift tidlig dersom vi fokuserer på systemområder som er antatt å ha høy risiko i stedet for å sløse tid og ressurser på systemområder som har liten sannsynlighet for å feile eller konsekvens av feil er lav
Risikostyring – prosess
Identifisere
Analysere
PlanleggeGjennomføre & Rapportere
Korrigere
Identifisere
Mål:
• Målet med denne aktiviteten er å identifisere potensielle problemområder for et system. Problemområdet blir dernest brutt ned i moduler, komponenter eller funksjoner.
Best praksis:
• Idemyldring eller brain-storming sammen med eksperter fra både forretnings- og teknisk side.
• Bruk oversikt over komponenter / funksjoner eller oversikt over testcases.
• Intervjuer
• Benytte ”Produkt-risikoene” som blir identifisert i prosjektet
Analysere
Mål:
• Målet med denne aktiviteten er å vurdere og fastsette sannsynlighet og konsekvens knyttet til risikoområder.
Best praksis:
• Kvalitativ – normativ beskrivelse av menneskers opplevelse og erfaring
• Kvantitativ – menneskers opplevelse og erfaringer uttrykkes i målbare og distinkte verdier
• Kombinasjon av begge deler
Risikoanalyse
Middels Høy Høy
Lav Middels Høy
Lav Lav Middels
San
nsyn
lighe
t
Konsekvens
Lav
Middels
Middels
Høy
Høy
Lav
Kvalitativ analyse - sannsynlighet
Sannsynlighet
Kriterium
Lav Middels Høy
Endringsrate Uendret Endret Ny
Historisk feilrate Lav Middels Høy
Størrelse Liten Medium Stor
Kompleksitet Få grensesnitt / komponenter
Flere grensesnitt / komponenter
Mange grensesnitt / komponenter
Kvalitativ analyse - konsekvens
Konsekvens
Kriterium
Lav Medium Høy
Prosess/Funksjon Visning Endring av data Kalkulasjon / Validering
Konsekvens for forretning
Ikke merkbar Feil informasjon under prosessering
Juridisk / Økonomisk / Omdømme
Brukshyppighet Sjelden Ofte Veldig ofte
# berørte brukere Noen få Grupper Stort antall
Kvalitativ analyse – risiko
XX-3 XX-1XX-5 XX-12
XX-2 XX-4 XX-7XX-6
XX-9 XX10 XX-8San
nsyn
lighe
t
Konsekvens
Kvantitativ analyse – sannsynlighet
Indikator
Funksjon
Kompleksitet (vekt = 4)
Stabilitet(vekt = 3)
Størrelse(vekt = 1)
Veid gjennom-snitt
Sann-synlighet
XX-1 2 3 4 7 0,58
XX-2 1 3 4 5,7 0,48
XX-3 3 2 1 6,3 0,52
XX-4 5 5 1 12 1.0
Indikator = 1 (lav) … 5 (høy)
Kvantitativ analyse – konsekvens
Indikator
Funksjon
Kundens vurdering
Leverandør-vurdering
Gjennom-snitt
XX-1 1 3 2
XX-2 2 4 3
XX-3 2 3 2,5
XX-4 4 4 4
Indikator = 4 - Kritisk; 3 – Alvorlig; 2 – Normal, 1 - Kosmetisk
Kvantitativ analyse – risiko
Indikator
Funksjon
Sannsynlighet Konsekvens Risiko = S * K Rekkefølge for test
XX-1 0,58 2 1,16 4
XX-2 0,48 3 1,44 2
XX-3 0,52 2,5 1,25 3
XX-4 1 4 4 1
PlanleggeMål:
• Finne en passende strategi og identifisere tiltak for gjennomføring av test. Hensikten med tiltak er å redusere sannsynligheten eller skadeomfang.
Best praksis:
• Prioritering av tester (rekkefølge) basert på resultater fra risikoanalyse.
• Inspeksjoner hos leverandør på at det arbeidet som de skal gjøre blir gjort.
• Bistå leverandøren med testing av systemet på et tidligere tidspunkt.
• Sette de mest erfarne testerne på å designe og gjennomføre de høyt prioriterte testene.
• Leveranseplan av komponenter.
• Automatisere prioriterte tester for å øke effektivitet.
Gjennomføre og rapportere
Mål:
• Gjennomføre iht. testplan og fortløpende rapportere status basert på risikobildet.
Best praksis:
• Ulike teststrategier for ulike tester av ulike prioritet - viktige tester trenger mer tid og må testes nøye.
• Regelmessig vurdering sammen med Kunden for å avveie ”tidlig driftssetting” vs. ”100% fullført test”.
• Rapportere med henblikk på risiko• Status på testene (ok, ikke-ok, ikke-påbegynt, …) - se neste foil
• Antall feil av ulike kategorier/alvorlighetsgrader fordelt på risikonivåene
• Feilrettingsrate (forhold mellom #feil rettet og #feil funnet)
Gjennomføre og rapportere
0 12 2
21 4 5
1 0 0
Korrigere og lære
Mål:
• Måledata samles og analyseres for å både korrigere kursen (strategier og planer revurderes) og trekke lærdommer (identifikasjon/analyse av risiko, estimater under planlegging, osv.) til fremtidige prosjektet.
Best praksis:
• Dersom feilene som er avdekket stammer fra systemområder med lav risiko – Re-evaluere !!!
• Revurdering av risiko-trigger og gyldighet på forutsetninger
• Erfaringsdatabase
Videre arbeid
• Kontinuerlig berike metoden med flere velfungerende best praksis.
• Måle gevinsten ved risikobasert testing kontra tradisjonell testing.
• Bruke metoden i rådgivningsoppdrag til å hjelpe kunde med å implementere kostnadseffektiv testing.
• …