Valideringstjänst för Miljöövervakningsdata, Anders Foureaux, Naturvårdsverket

1 Naturvårdsverket | Swedish Environmental Protection Agency 1

Valideringstjänst för

Miljöövervakningsdata

GeoArena 2014 2014-10-14

Anders Foureaux

Processledare Dataflöden – Datavärdskap

Enheten för integrerad miljödataförsörjning

Naturvårdsverket

2 Naturvårdsverket | Swedish Environmental Protection Agency 2

Den svenska miljöövervakningen bygger i hög

grad på att data samlas in av väldigt många olika

utförare på nationell, regional och lokal nivå.

Varje utförare ska enligt kontrakt leverera data till

en Datavärd som har i uppgift att:

1. Leveranskontrollera data

2. Lagra data

3. Tillgängliggöra data

Det finns mellan 10 och 15 datavärdar

Bakgrund

3 Naturvårdsverket | Swedish Environmental Protection Agency 3

4 Naturvårdsverket | Swedish Environmental Protection Agency 4

Utförare

Konsulter

Beställare

Avtal

Datavärd

Dataleverans

Avtal

5 Naturvårdsverket | Swedish Environmental Protection Agency 5

Utförare

Konsulter Datavärd

Dataleverans

Beställare

Avtal Avtal

6 Naturvårdsverket | Swedish Environmental Protection Agency 6

Fråga: Svar:

När är en dataleverans till

datavärd godkänd?

Vem godkänner leveransen?

Med stöd av vad?

Manual?

Erfarenhet?

Magkänsla?

Vem bestämmer?

7 Naturvårdsverket | Swedish Environmental Protection Agency 7

• Det tar idag för lång tid mellan insamling av data innan en användare kan använda datat

• Kvalitetskontrollen tar för lång tid och är alltför personberoende

• Det är svårt för slutanvändaren att hitta relevant kvalitetsinformation i anslutning till datat.

Problem

8 Naturvårdsverket | Swedish Environmental Protection Agency 8

En valideringstjänst för miljödata

Utvecklad av Metria på uppdrag av

Naturvårdsverket

Arbetet är fortfarande under utveckling

HaV ansluter nu till utvecklingsarbetet

Lösning

9

1. -Korta tiden mellan datafångst och användning eller presentation av data

2. -Kontrollera kvaliten på data mot erkända standarder och kvalitetsmåttt

3. -Skapa metadata för kvalitetsbeskrinving "on-the fly" I samband med kvalitetskontrollen

4. -Samla alla kvalitetskrav i en Data Produkt Specifikation.

5. -Spara tid så att anlitade experter hos datavärden ges möjlighet till mer kvalificerade analyser istället för att rätta felaktiga datafiler

6. -Så långt möjligt, använda samma OGC- och ISO standarder för Miljödata som INSPIRE föreskriver för Geodata.

Mål

10 Naturvårdsverket | Swedish Environmental Protection Agency 10

En av >150 manualer

för insamling av data…

11 Naturvårdsverket | Swedish Environmental Protection Agency 11

?

?

?

?

?

?

Manualerna

behöver bli

mer precisa!

Data Produkt Specifikation

ISO 19 131

Vi har för våra miljödata (tabelldata) testat att använda en

rad ISO standarder för att beskriva de kvalitetskrav vi

sedan länge ställer på de data vi samlar in.

Vi utgår från samma standarder som används inom

INSPIRE, men refererar även till andra

Vi samlar allt i ett och samma dokument för respektive

datatyp/ manual. Metaller och miljögifter i sediment t ex.

Dokumentet heter Dataproduktspecifikation och följer

standarden ISO 19 131

Vi är inte riktigt klara…

13 Naturvårdsverket | Swedish Environmental Protection Agency 13

DPS för Metaller

och miljögifter i

sendiment

14 Naturvårdsverket | Swedish Environmental Protection Agency 14

DPS för Miljögifter

i biota

(fisk t ex)

15 Naturvårdsverket | Swedish Environmental Protection Agency 15

DPS för

Luftkvalitetsmätni

ngar i tätorter

16 Naturvårdsverket | Swedish Environmental Protection Agency 16

Handbok för DPS

finns att ladda ned

hos SIS

kostnadsfritt!

17 Naturvårdsverket | Swedish Environmental Protection Agency 17

Indatamall (xls) Metaller och miljögifter i

sediment

Ex ANALYSINSTRUMENT

Obligatorisk parameter

enligt DPS och kodlista

Ex SEDIMENT FÄRG

Valfri parameter

enligt DPS

Excel är inte slutmålet för inleverans av data…

18 Naturvårdsverket | Swedish Environmental Protection Agency 18

Indatamall (xls) Luftkvalitet

Excel är inte slutmålet för inleverans av data…

19 Naturvårdsverket | Swedish Environmental Protection Agency 19

Data-

specification Data-

model Codelists

Cloudbased

Validation Service

Data

Specificaton

compliance

Metadata

Translation Validation

Data

host

Datafile in xls is

transformed into O&M (xml)

20 Naturvårdsverket | Swedish Environmental Protection Agency 20

Data-

specification Data-

model Codelists

Cloudbased

Validation Service

Data

Specificaton

compliance

Metadata

Translation Validation

Data

host

Datafile in xls is

transformed into O&M (xml)

21 Naturvårdsverket | Swedish Environmental Protection Agency 21

Data-

specification Data-

model Codelists

Cloudbased

Validation Service

Data

Specificaton

compliance

Metadata

Translation Validation

Data

host

?

Datafile in xls is

transformed into O&M (xml)

StnReg WFS-T

22 Naturvårdsverket | Swedish Environmental Protection Agency 22

The validation

service need other

look-up services

for example

At JRC

23 Naturvårdsverket | Swedish Environmental Protection Agency 23

The validation

service need other

look-up services

for example

At JRC

At EEA

24 Naturvårdsverket | Swedish Environmental Protection Agency 24

The validation

service need other

look-up services

for example

At JRC

At EEA

Our

Station registry

WFS-T

25 Naturvårdsverket | Swedish Environmental Protection Agency 25

Validation Service (FME)

Registry of monitoring stations (WFS-T)

Two ongoing pilot project together with Metria and

Sweco (consultants) and the Data hosts and other

experts

Two pilots

26

2012-02-02 27

XLS (t ex)

28

Respons per mail till leverantören om det

gick bra. Datavärden får filen med data +

specifikationsuppfyllelse + kvalitetsrapport

Kvalitetsrapport

Orginalfil (xls)

Leveranskvitto

Omtransformerad

Enligt O&M (xml)

29

Respons per mail till leverantören om det

INTE gick bra. Datavärden får ingen

leverans.

30

Stationen saknas i

Stationsregistret

som just nu är en

pilot, utvecklad av

Sweco i form av en

WFS-tjänst som

svarar på anrop från

valideringstjänsten.

WFS = Web Feature

Service (OGC- och

ISO standard

Fel!

Respons per mail till leverantören i om det

INTE gick bra. Med förklaringar.

31

Kvalitetsrapporten i xml enligt ISO 19139

vilket är samma som ISO 19115, dvs

”Inspire-standard för metadata”

• För att på ett standardiserat och spårbart sätt kunna

beskriva mätdatas kvalitet.

• För att låta en maskin i steg ett automatiskt göra de

kontroller som idag görs av människor

(och som är en av de främsta orsakerna till att data

inte kommer ut på webben i den takt användarna

förväntar sig)

• För att att skapa en starkare koppling mellan

kvalitetskraven i manualerna och valideringen.

Varför en fristående valideringstjänst ?

• Ger Naturvårdsverket (eller annan beställare)

ett verktyg att underlätta och kvalitetssäkra

miljöövervakningens datainsamling.

• Att satsa på en fristående tjänst som kan

nyttjas av många måste rimligen bli billigare

än att varje datavärd bygger sin egen tjänst

• Att satsa på en gemensam tjänst kommer

främja samordningen kring termer, begrepp,

kodlistor

• Kan utökas till alla datatyper, format, för t ex

utsläpp

Fördelar ?

Tillämpade standarder

• Dataspecifikation ISO 19131 struktur enligt

INSPIRE (även kallad produktspecifikation)

• Datamodell baserad på ISO 19156 Observations

and measurements vilket gör datamodellerna

kompatibla med INSPIRE datatema EF,

stationsregistret och analysmetodregister

• Kvalitetskontroll i enlighet med ISO 19157

• Metadata, resultat från QC enligt ISO 19139

(Samma som ISO 19115 fast uttryckt i XML)

35 Naturvårdsverket | Swedish Environmental Protection Agency 35

36 Naturvårdsverket | Swedish Environmental Protection Agency 36

Fråga: Svar:

När är en dataleverans till

datavärd godkänd?

När den uppfyller kraven i

dataproduktspecifikationen

Vem godkänner leveransen? En maskin i steg ett

En människa i steg två

Med stöd av vad?

Dataproduktspecifikationen

+ Expertbedömning

(människan behövs )

Manual? Behöver kopplas till DPS!

Erfarenhet? Bra om det finns

Magkänsla? Bra om den finns

Vem bestämmer? Beställaren

37 Naturvårdsverket | Swedish Environmental Protection Agency 37

Frågor?