Embed Size (px)
Citation preview
Testiautomaation soveltuvuuden arviointiopas www.valagroup.fi
Sopisiko testiautomaatioyritykseesi juuri nyt?
Testauksen automatisointi ei sovellu kaikkiin tilantei-siin; se ei ole aina kustannustehokasta, eikä edes tar-peellista. Toisaalta automaation avulla voi saavuttaa huomattavia kustannussäästöjä. Tarkista alla olevien kysymysten sekä seuraavien sivujen kuvausten avulla sopisiko testiautomaatio yritykseesi juuri nyt.
Kuluuko testaamiseen jatkuvasti enemmän aikaa?
Onko näkyvissä testauksen määrän kasvavan tulevaisuudessa?
Laadunvarmistuksen kustannukset kasvavat?
Valmiuksia investoida?
Onko jotain jo automatisoitu?
Ovatko testitapaukset helposti toistettavissa?
Testaajien ja kehittäjien osaamisen täysi hyödyntäminen?
Onko uusi kehitysprojekti alkamassa?
Seuranta ja mitattavuus on haastavaa?
Onko kehitys pienimuotoista?
TESTITAUTOMAATIO SINUN YRITYKSEESI?
TESTAUKSEEN KÄYTETTÄVÄ AIKAManuaalitestaus on aikaa vievää ja työlästä, var-sinkin jos järjestelmät ovat isoja. Suoritettavien testi-tapausten määrän kasvaessa työmäärä lisääntyy, aikataulujen kuitenkaan joustamatta samassa suh-teessa. Valitettavan usein paine suorittaa laadun- varmistus lyhyemmässä kuin suunnitellussa ajas-sa on todellista, tuloksien perusteella kun tehdään päätöksiä jatkotoimista – voidaanko jatkaa kehitystä suunnitellusti tai julkaista tuote.
Testausautomaatio helpottaa painetta manuaaliselta puolelta, poistamatta kuitenkaan kokonaan tarvetta myös ihmisen suorittamalle testaukselle. Automaatio toimii testauksen selkärankana – ennakoitavana, hel-posti toistettavana ja luotettavana työjuhtana, joka vapauttaa manuaalitestauksen keskittymistä esimer-kiksi monimutkaisiin tapauksiin tai nopeampaan vir-heiden korjausten tarkistukseen. Nopeus testitulosten saamisessa ja korjausten varmistuksessa edistää aika-tauluissa pysymistä ja laadunvarmistusta.
TESTAUKSEN MÄÄRÄ KASVAA JATKUVASTILaadunvarmistuksen kulmakivenä pidetään jatku-vaa regressiotestausta, jolla huolehditaan että uudet implementoidut ominaisuudet, suoritetut korjaukset tai päivitykset eivät aiheuta ongelmia jo toimineissa ohjelmistojen osissa. Varsinkin manuaalinen regres-siotestaus vie enemmän ja enemmän aikaa ja resurs-seja testitapausten kumuloituessa kehityksen edetes-sä. Testausautomaatio voi lyhentää regressioajojen kestoa viikoista päiviin tai päivistä tunteihin.
Regressiontesting
LAADUN-VARMISTUKSEN KASVAVAT KUSTANNUKSETTestauksen lisääntyessä kasvavat myös kustannuk-set, joko lisääntyvän työmäärän takia tai lisäresurs-sien tarpeen takia. Testiautomaation käyttö ei niin-kään katso työaikoja, sen voi ilman lisäkustannuksia jättää yöksi tai päiviksi suorittamaan tapauksia. Sa-malla testaukseen käytettävä aika lyhenee huo-mattavasti, ja vapauttaa resursseja muuhun käyt-töön. Manuaalitestauksen tarvetta automaatio ei poista kokonaan, vaan antaa mahdollisuuden koh-distaa aktiviteetit suunnitellusti eri osa-alueille.
PITÄÄ OLLA VALMIS MYÖS INVESTOIMAANTestausautomaation käyttöönotto on aina investoin-ti. Sen alkukustannukset voivat vaikuttaa suuremmilta kuin saavutettava hyöty – työkalu itsessään voi mak-saa, sen saattaminen käyttökuntoon vie aikaa ja yllä- pitäjien sekä käyttäjien koulutus on usein tarpeen. Samoin jo olemassa olevien testitapausten automa-tisointi tai alusta asti suunnittelu ottaa oman aikansa.
Kolikon kääntöpuolella on kuitenkin säästetty aika. Mitä enemmän, useammin ja kattavammin testausta suoritetaan automaattisesti, sitä enemmän testaus-
aika lyhenee suhteessa manuaaliseen testaukseen. Säästetty aika on säästettyä rahaa, tai aikaa jonka voi kohdentaa muihin tehtäviin.
Testaus itsessään ei koskaan tuota voittoa, sen tuotto mitataan laadussa ja toimintavarmassa tuotteessa. Ohjelmiston virheet on aina helpompi ja edullisem-pi korjata, mitä aikaisemmassa kehitysvaiheessa ne löydetään. Testiautomaatio kasvattaa luottoa ohjel-miston laatuun.
OLEMASSAOLEVAN AUTOMAATION HYÖDYNTÄMINEN JA LAAJENNUSJos kehityksessä on jo käytössä osittain automaattisia ratkaisuja kuten CI tai CD, ketterät menetelmät (agile, DevOps), niihin kuuluu olennaisena osana myös testi- automaatio. Jo olemassa olevia automaatioratkaisuja on myös helppo laajentaa vastaamaan laadunvar-mistuksen tarpeita.
Esimerkiksi automaattinen julkaisujärjestelmä tarvit-see rinnalleen automaattiset integraatiotestit, jotta kehittäjät saavat välittömän palautteen laadusta. Samoin jo kirjoitetut yksikkötestit on syytä koota auto-maattipakettiin mukaan ja ajaa aina uutta julkaisua tehdessä.
TOISTETTAVAT TESTITAPAUKSETJos manuaaliset testitapaukset ovat helposti toistet-tavia, ja samoja asioita tehdään paljon ja usein, on syytä harkita testiautomaation käyttöönottoa. Kaikki ns. mekaaninen manuaalinen työ vie vain aikaa tes-tausasiantuntijoilta, sen voisi käyttää viisaamminkin.
Jos olemassaolevat testitapaukset ovat hyvin doku-mentoituja, on siirtymä automatisoitujen tapausten suunnitteluun useimmiten melko kivuton. Jos toisaal-ta tapaukset ovat hyvinkin korkealla tasolla ja luote-
taan testaajien ammattitaitoon ja vahvaan ohjelmis-ton ymmärtämiseen, inhimmillinen riski on olemassa joka testikierroksella – varsinkin jos henkilöt vaihtuvat kesken projektin. Silloin luotetaan liikaa sattumaan, että jokainen testaaja tekee asiat täsmälleen samal-la tavalla ja ajattelee lopputulosta samasta näkökul-masta. Asiantuntijoiden tietotaitoon nojaava testaus on tietyissä tapauksissa hyvinkin perusteltua ja suo-siteltavaa, mutta testauksen kantavana rakenteena sitä ei voi pitää mielekkäänä.
TESTAAJIEN JA KEHITTÄJIEN OSAAMISESTA ENEMMÄN IRTIOn mahdollista että jo käytössä olevista kehitys- ja testausresursseista löytyy halukkuutta ja osaamista testiautomaatioympäristön pystyttämiseen ja yllä-pitoon. Tämä kannattaa selvittää tarkasti harkitessa automaation käyttöönottoa, se helpottaa siirtymä- vaiheessa huomattavasti. Toisaalta, on olemassa työ- kaluja jotka eivät vaadi raskasta koulutusta tai opis-kelua, vaan niitä voidaan käyttää ilman ohjelmoin-titaitoakin. Nämä ovat ns. keyword-pohjaisia ympä-ristöjä ja niiden oppimiskäyrä on hyvin loiva.
UUDEN PROJEKTIN ALKAESSA AUTOMAATIO MUKAANUutta kehitysprojektia suunnitellessa on hyvä harkita testiautomaation käyttöönottoa heti alusta pitäen, vaikka se saattaa vaikuttaa hidastavalta tekijältä ensi metreillä. Käytön laajentuessa voitettu aika on arvokasta, ja helpottaa niin kehittäjien kuin testaaji-enkin työtä huomattavasti.
Ei ole mahdotonta ottaa automaatiota käyttöön pro- jektin jo edettyä, se vaatii huolellisen suunnittelun ja sitoutumista muutokseen kaikilta tiimin jäseniltä. Odotukset tulosten näkymisestä kannattaa pitää kuitenkin maltillisina, vasta joidenkin testisyklien jäl-keen voi todeta tehokkuuden parantuneen.
SEURANTA, MITATTAVUUS JA RAPORTOINTI HELPOMMAKSITestiautomaation selkeitä hyötyjä on ennakoitavuus, tiedetään tarkasti milloin testaus valmistuu. Tämä hel- pottaa esimerkiksi asiakkaan kanssa sovittavia rapor- tointikäytäntöjä, ja mahdollistaa kehitystiimien työs-kentelyn rytmittämisen toimivalla tavalla.
Jatkuva regressiotestaus antaa puolestaan selkeän näkemyksen ja tilannekuvan kehityksen suunnasta, ja luo edellytykset nopeallekin reagoinnille virhei-den ilmetessä. Testauksen kattavuuden mittaami-nen muuttuu selkeämmäksi, ja mahdolliset tarpeet testauksen painopisteiden muuttamiseksi havaitaan nopeammin.
PIENET PROJEKTITJos kehitys on hyvin pienimuotoista, tai toimintaympä-ristö voimakkaan dynaaminen, ei testausautomaa- tiota välttämättä tarvita. Muuttuva ja eläväinen ke-hitysympäristökin perustuu kuitenkin suunnitelmaan, ja siellä voi olla automatisoitavia osia, ei välttämättä kuitenkaan kaikkiin vaiheisiin.
Erottajankatu 11 B 9, 00130 Helsinki
+358 20 749 7600
valagroup.com
Haluatko tietää lisää testiautomaatiosta? Ole yhteydessä meihin.
Sami Tuomisaari
toimitusjohtajaliiketoimintajohtaja, ohjelmistokehitys
+358 40 590 5007
Teemu Pesonen
operatiivinen johtajaliiketoimintajohtaja, laadunvarmistus
+358 400 513 514
