1

Checklista för outputgranskning

Martin Ribe och Jörgen Svensson

SCB, Sverige

Nordiska statistikermötet 2010

Tema 3 – Statistikproduktionen

2010-07-20

2

Checklista för outputgranskning:

Outputgranskningens roll 1

Upptäcka fel i värden genom mätfel

Upptäcka misstag, fel i processutförande

2010-07-20

32010-07-20

Checklista för outputgranskning:

Outputgranskningens roll 2

Ge underlag för:

Korrigering i aktuell produktionsomgång

Kommentarer i statistikredovisningen

Kvalitetsredovisning

Förbättring av processer, minska felrisker

20 3

44

Checklista för outputgranskning:

Outputgranskningens roll 3

Är granskning på makrodata – statistikresultat

På engelska: Output validation, Output editing

Kompletterar föregående mikrogranskning Obs: ”makrogranskning” kan betyda antingen outputgranskning eller selektiv mikrogranskning

Säkrar inför efterföljande leveranskontroll

Inte så mycket fokuserad i metodlitteratur Selektiv mikrogranskning finns mera skrivet om

Väsentlig för kvalitetssäkring av statistiken

42010-07-20

52010-07-20

Map customers1.2

DetermineInformation needs

1.4

Establishcustomer contact

1.3

Negotiate and contract

1.5

Preparedissemination

7.1

Compile end product

7.2

Disseminate product to customer

7.3

Classify and code microdata

5.1

Edit microdata

5.2

Impute for nonresponse

5.3

Complement microdata

5.4

Calculate weights

5.5

Conduct disclosure control

6.3

Generate frame andregister population

4.1

Set up data collection

4.3

Run data collection

4.4

Transfer and storage of

data electronically4.5

Design end product

2.1

Design data collection

2.3

Design processing2.4

Design analysis2.5

Design disseminationand communication

2.6

Design workflow 2.7

Build collection instrument

3.1

Build and adapttools3.2

Build workflow

3.3

Testcollection instrument

3.4

Test tools and workflow

3.5

Conductpilot study

3.6

Producestatistics

6.1

Editmacrodata

6.2

Finalise observation register

6.4

Interpret andexplain

6.5

Design frame, register population

and sample2.2

Map informationneeds and supply

1.1

Communicateproduct

7.4

Generate sample

4.2

Plan production cycle2.8

Initialiseworkflow

3.7

Finalise outputsfor dissemination

6.6

Determine needs

1

Design and

plan

2

Build and Test

3

Collect

4

Process

5

Analyse

6

Disseminate and

communicate 7

Dispose and archive

7.5

Checklista för outputgranskning:

Plats på processkartan (SCB:s )

62010-07-20

Checklista för outputgranskning:

Behov av kvalitetsåtgärder

Plan på certifiering av SCB enligt ISO 20252 Standard för marknads-, opinions- och

samhällsundersökningar

Inträffade fel genom misstag i publicerad statistik

72010-07-20

Checklista för outputgranskning:

Stärkta säkerhetsrutiner på SCB

på uppdrag av regeringen, efter KPI-fel:

Stärkta testrutiner

Loggning av systemändringar

Uppföljning av fel

Uppföljning av avvikande värden Berör outputgranskning

med mera

82010-07-20

Checklista för outputgranskning:

Checklistans idé

Ska säkra systematiken i outputgranskningen

Ska enl. GD-beslut tillämpas på alla statistikprodukter

Tillgänglig internt genom Verksamhetsstödet – intranätbaserat system för stöddokument

Anpassas för varje statistikprodukt

Fokus på att identifiera och följa upp misstänkt avvikande värden

Värden som så avviker från förväntat/normalt, att fel kan misstänkas i indata eller processut- förande

92010-07-20

Checklista för outputgranskning:

Checklistans struktur

1. Före produktion – Skapa stöd produktspecifikt

2. I produktion – Identifiera misstänkt avvikande värden

3. I produktion – Följ upp misstänkt avvikande värden

4. I produktion – Hantera slutsatser

102010-07-20

Checklista för outputgranskning:

Del 1 – Skapa stöd produktspecifikt

Specificera en checklista anpassad för produkten.

Exempel på punkter:

(1.2) Specificera saklogiska samband mellan värden, att kollas. – Exempel: summor som ska stämma.

(1.5) För rimlighetskontroll: Välj resultat från tidigare produktionsomgångar, att jämföra med.

(1.8) Om möjligt, formulera kriterier för misstänkt avvikande värden.

112010-07-20

Checklista för outputgranskning:

Del 2 – Identifiera misstänkt avvikande värden

Exempel på punkter:

(2.3) Genomför outputgranskningen med det produktspecifika stödet – identifiera eventuella misstänkt avvikande värden.

(2.4) Bedöm översiktligt resultaten utifrån ämnes-kännedom, allmän erfarenhet och sunt förnuft.

122010-07-20

Checklista för outputgranskning:

Del 3 – Följ upp misstänkt avvikande värden

Utred misstänkt avvikande värden, för endera slutsatsen:

− att processerna bedöms ha utförts korrekt− att fel eller misstag i processutförande har identifierats

Exempel på punkter:

(3.1) Om någon orsak är särskilt tänkbar, utred den.

(3.2) Ta reda på ev. driftstörning, kör om vid behov.

(3.8) Ta reda på ev. ändring i rutiner eller system – utred om den har utförts korrekt, anlita metod- och IT-kompetens vid behov.

132010-07-20

Checklista för outputgranskning:

Del 4 – Hantera slutsatser

Exempel på punkter:

(4.1) Vid fel eller misstag i processutförande: Utred felets orsak och hur det ska undvikas framöver.

(4.4) Bedöm om tillräcklig klarhet har uppnåtts om orsakerna till misstänkt avvikande värden. Är så inte fallet, dokumentera kommentarer om osäkerhet i statistiken genom detta.

142010-07-20

Checklista för outputgranskning:

Uppföljning, vidare utveckling

Ta vara på synpunkter från checklistans tillämpningpå statistikprodukter

Överväga ev. modifieringar i checklistan, för bästa tillämplighet