Test av mobila applikationer

Test av mobila applikationer

David Nyman och Patrik Lindström

Varje år bjuder vi in våra kunder till tre inspirationsdagar där vi lyfter fram de mest intressanta IT-frågorna med fokus på strategi, teknik eller kommunikation. Dagarna inleds med en intressant och aktuell huvudföreläsare. Därefter bjuder vi på vår specialistkompetens i block med parallella seminarier som hör till dagens tema.

Om oss

David Nyman– [email protected]– Jobbar på Sigma i Göteborg.– Jobbat 5 år med test, kvalitet och krav i spelbranschen.

Patrik Lindström– [email protected]– Jobbar på Sigma i Göteborg.– Snart 7 år testerfarenhet från bl a TeliaSonera och Wireless Car.


Mobil testning vs desktop testning?

Ingenting!

Allting!

Vanliga problem

Tid.Testplan/Stratergi.Processer/arbetssätt/verktyg.Avsaknad av testautomatisering.Input data/verifiering.Avsaknad av fysiska devices.

Grundläggande vägval…

Web Native(Hybrid, Mix)

Web

Fördelar En “app” . En plattform. Uppdateringar.

Nackdelar Mindre kontroll över användarmiljön. Långsammare. Mängder med med webbläsare/avsaknad av standard. Ingen central uppdaterings/fördelningsmiljö.

Native

Fördelar Ökad funktionalitet och snabbhet. Större kontroll över användarbeteende. Central uppdaterings/fördelningsmiljö.

Nackdelar Olika plattformar. Flera appar.

Crossbrowser Testing


Valfrihetens två sidor


Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och programvara.


Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och programvara.Som konsument och användare är det oerhört positivt och ger möjlighet att personifiera sitt digitala användande.


Idag finns nästan oändliga kombinationer utav hårdvara, operativsystem och programvara.Som konsument och användare är det oerhört positivt och ger möjlighet att personifiera sitt digitala användande.Men för testare eller utvecklare kan valfriheten skapa stora utmaningar.

Hur ser det ut idag?


De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.


De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.


De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.Google Chrome, Opera och Safari glöms ofta bort.


De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.Google Chrome, Opera och Safari glöms ofta bort.De mobila browsrarna glöms oftast bort helt.


De flesta testar framförallt i Internet Explorer 7, 8 eller möjligtvis 9.Några är lite extra duktiga och testar även i Mozilla Firefox.Google Chrome, Opera och Safari glöms ofta bort.De mobila browsrarna glöms oftast bort helt.”Men vi har ju en app!”

Möjliga lösningar

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.Låta användaren vara testaren och buggrapportera vid behov.

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.Låta användaren vara testaren och buggrapportera vid behov.Stoppa huvudet i sanden.

Möjliga lösningar

Sätta upp en gigantisk maskinpark och anställa en hord av testare.Låta användaren vara testaren och buggrapportera vid behov.Stoppa huvudet i sanden.

Men det finns enklare och smidigare sätt…

Ett enkelt sätt att få bra täckning


Min uppfattning är att många av problemen är rent grafiska eller javascript, väldigt få är rena funktionsproblem.


Min uppfattning är att många av problemen är rent grafiska eller javascript, väldigt få är rena funktionsproblem.Kan vi täcka av bara de grafiska aspekterna och dessutom om vi kan täcka av de javascript-funtionella aspekterna har vi kommit en god bit.


Min uppfattning är att många av problemen är rent grafiska eller javascript, väldigt få är rena funktionsproblem.Kan vi täcka av bara de grafiska aspekterna och dessutom om vi kan täcka av de javascript-funtionella aspekterna har vi kommit en god bit.

CrossBrowserTesting.com är ett exempel som kan hjälpa dig med båda de delarna.

Ett exempel på ett fel 1 (2)Win 7 + Firefox 3.5

Ett exempel på ett fel 2 (2)Safari 4.0 + Iphone 4

Kort om CrossBrowserTesting.com


CrossBrowserTesting.com körs i din webbrowser


CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningar


CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleri


CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleriLåter dig använda köra via virtuell maskin enligt den specifikation du önskar


CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleriLåter dig använda köra via virtuell maskin enligt den specifikation du önskarGår även att testa lokala adresser (beta)


CrossBrowserTesting.com körs i din webbrowserLåter dig välja mellan ett stort antal browsers och uppsättningarTar printscreens på valfri URL med de olika uppsättningarna och visar de för dig i ett galleriLåter dig använda köra via virtuell maskin enligt den specifikation du önskarGår även att testa lokala adresser (beta)Kostar mellan 30-50$ per månad beroende på antalet användare

CBT – Automated Screenshots 1 (3)



CBT – Live Test 1 (4)




Input till test

Device?

Nätverk?

Länder?

Användare?

OS Prioritering OS1 OS2 OS3 OS4

Device

Prioritering 1 2 3 4

Device1 1 High Low Low Medium

Device2 2 Medium Medium High Low

Device3 3 Low High Medium High

Device4 4 Low Low Low Low

OS Prioritering Feature1 Feature2 Feature3 Feature4

Device

Prioritering 1 2 3 4

Decice1 1 X O X X

Device2 2 O O X O

Device3 3 X O X O

Device4 4 X O X X

Testning (tid/kostnad)

Category 1 Category 2 Category 3 Category 40

0.5

1

1.5

2

2.5

3

3.5Series 1

Antal Features

Antal Devices

Grundläggande testtyper

Usability test

Device test(Externa faktorer)

Prestandatester

Säkerhetstester

Funktionstester

Tips

Börja testningen så tidigt som möjligt.- Nedladdning, installation, avinstallation osv.- Grundläggande funktionalitet.

Fokusera på prioriterade devicer.- Grundläggande funktionalitet.

Extern testning.Beta.Crowed based testing.

Verktyg

Simulator/Emulator.

Remote device partner.- DeviceAnywhere.- Nokia RDA.

Riktig device.

Open source

Roboticum- Android

FoneMonkey- iOs

Automatiseringsverktyg med kostnad

EggPlant.- Android, iPhone, Blackberry, Windows mobile och Symbian.

SeeTest. - Android, iphone, Blackberry, Windows mobile och Symbian.

Automatiseringsverktyg utan kostnad(Open source)

Roboticum.- Android.

FoneMonkey.- iOS.

Sikuli.

Sammanfattningsvis…

Förstå och besluta om vad som är viktgast: - Olika OS. - Olika webbläsare. - Olika prestanda och upplösning. - Olika Operatörer och nätverk.Testa i okontrollerad verklig miljö.Hitta och använd lämpligt automatiseringsverktyg som passar din miljö och applikation/er.Utför så mycket som möjligt testningen på verkliga devices, även om simulering finns.Mät prestandan i riktigt nätverk och med användare, inte bara genom simuleringen.

Frågor?


Documents

Test av mobila applikationer