Ülevaade riigi andmehalduse tegevuskavast 2019-2021

Veiko Berendsen, andmehalduse ekspert

11.09.2019

Ettekanne mäluasutuste suveseminaril

Poliitilised sõnad seoses andmehaldusega

datafication | data ecosystem | data lake | Big Data / Smart Data

avaandmed > open data

once-only principlemaster data > põhiandmed

Kratt > artificial intelligence (AI)

TERE projekt -- tegevuspõhine riigieelarve

NullbürokraatiaAruandlus 3.0 -- XBRL ja ontoloogia

EuroopastInteroperability framework

õigus

RAAMISTIK

ANDMEHALDUS

andmehaldur

koordineerimine

elukäiguhaldus

(alus)standardid

andmekvaliteet

andmekirjeldus

IT võimete mudelipõhine arendus

andmearhitektuurIT VAADE

AN

DM

ED

analüüs / BI / AI

andmejagamisteenus

andmeturve

ülevaatlikkusleitavus

rakendused

andmeait / andmejärv

infrastruktuur

avaandmed

koostalitusvõime

Andmesoo kuivendamine

Ülevaade riigi andmehalduse tegevuskavast 2019-2021ANDMEHALDUSE TEGEVUSKAVA

1. Üleriigiline ülevaade andmestikest asutuste kaupa

2. Metaandmed / andmekirjeldus

3. Andmekvaliteet

4. Andmete elukäigu haldus

5. Andmete avaldamine / avalikustamine (MKM)

6. Andmehaldur (data steward)

STATISTIKAAMETI ARENGUKAVA Meede 3. Riigi andmehalduse juhtimine1. Luua andmehalduse juhtrühm ja edendada andmehalduse eest vastutust ja tegevusi asutustes.

2. Koordineerida riigi infosüsteemi andmekogude jt statistikas kasutatavate infosüsteemide andmekirjeldusi, edendada semantilist koostalitusvõimet ning juhtida klassifikaatorite süsteemi.

3. Arendada välja riiklik metainfosüsteem.

4. Luua riiklik andmete arhitektuurilise ülevaate keskkond.

5. Arendada välja andmekvaliteedi kindlaks tegemise ja parendamise raamistik.

6. Mõõta halduskoormust ja rakendada kooskõlastamise kaudu andmekogudes ühekordse põhiandmete kogumise põhimõte (once-only printsiip).

7. Luua valmisolek riikliku andmearhiivi loomiseks.

Data Governance Council Maturity Model

Outcomes – väljundidEnablers – võimaldajadCore Disciplines – põhivaldkonnadSupporting Discipl – tugivaldkonnad

Riikliku statistika seadus (RStS) I

§ 3 Andmed

Andmed käesoleva seaduse tähenduses on riikliku statistika tegija poolt talle seadusega antud ülesannete täitmiseks

andmeesitajatelt elektrooniliselt või paberil kogutud või töödeldud üksik- ja koondandmed, sealhulgas riigi ja teiste andmekogude,

riigi- ja kohaliku omavalitsuse asutuste ning juriidiliste isikute tegevuse käigus loodud või nende kogutud andmed, mida

kasutatakse riikliku statistika tegemisel.

Jäi ära „mida kasutatakse

riikliku statistika tegemisel“

Seega andmeid saab kasutada kõigi Statistikaameti avalikust huvist lähtuvate ülesannete

täitmisel

Riikliku statistika seadus (RStS) II

§ 3 Andmed

Täiendati lõikega 4 -andmestik

Andmestik käesoleva seaduse tähenduses on

identifitseeritav ja hallatav andmete kogum

Andmestiku mõistet kasutatakse nii

andmehalduses kui ka statistikas

Riikliku statistika seadus (RStS) III

§ 4. Riikliku statistika programm ja statistikatöö

(1) Riikliku statistika programm on igal aastal järgmiseks viieks aastaks koostatav

rahvastiku-, sotsiaal-, majandus- ja keskkonnaalaste statistikatööde loetelu,

mille koostamisel lähtutakse riigisisestest strateegilistest arengudokumentidest ja rahvusvahelisest statistikavajadusest.

§ 4 täiendati lõikega 2

Statistikatöö on andmete kogumine, töötlemine, säilitamine ja analüüs

statistika tegemise eesmärgil riikliku

statistika programmi raames või

programmiväliselt.

§ 4 täiendati lõikega 3

Programmiväline statistikatöö on füüsiliste ja juriidiliste isikute, riigi- ja kohaliku omavalitsuse asutuste ning rahvusvaheliste ja eksterritoriaalsete

organisatsioonide tellimisel ja rahastamisel väljaspool riikliku

statistika programmi tehtav statistikatöö.

PROGRAMMILINE STATISTIKATÖÖ

PROGRAMMIVÄLINE STATISTIKATÖÖ

Riikliku statistika seadus (RStS) IV

OLI

§ 9. Statistikaamet

(1) Statistikaamet on Rahandusministeeriumi valitsemisalas tegutsev

valitsusasutus, mis teeb riiklikku statistikat ning teostab riiklikku

järelevalvet käesolevas seaduses ettenähtud alustel ja ulatuses.

ON

§ 9. Statistikaamet

(1) Statistikaamet on Rahandusministeeriumi valitsemisalas tegutsev valitsusasutus, mis teeb

riiklikku statistikat, osutab andmejagamisteenustning teostab riiklikku ja haldusjärelevalvet

käesolevas seaduses ettenähtud alustel ja ulatuses.

4) koordineerida andmehaldus

Säte täienes andmejagamisteenuse osutamise, haldusjärelevalve ja

andmehalduse koordineerimisega.

RStS § 201 Andmejagamisteenus

(1) Andmejagamisteenus RStS tähenduses on andmete töötlemine teaduslikul või statistilisel eesmärgil,

mille käigus riigi- ja kohaliku omavalitsuse asutus või avalik-õiguslik juriidiline isik edastab tema valduses

olevad andmed Statistikaametile või Statistikaamet töötleb statistikatöö käigus saadud andmeid ning

edastab anonüümitud andmed riigi- või kohaliku omavalitsuse asutusele, avalik-õiguslikule juriidilisele

isikule või teadusasutusele või avaldab andmed kokkuvõtliku ja üldistatud teabena

(2) Andmejagamisteenuse osutamisel järgitakse isikuandmete kaitse ning äri-, maksu- ja pangasaladuse

kaitse reegleid ja põhimõtteid.

(3) Andmejagamisteenuse osutamisel võib edastada riigi julgeolekut ja riigikaitset puudutavat teavet üksnes

selle asutuse nõusolekul, keda teave puudutab, ning tingimusel, et see ei kahjusta riigi julgeolekut ega

riigikaitset. Riigi julgeolekut ja riigikaitset puudutava teabe edastamisest teavitatakse

julgeolekuasutust.

(4) Andmejagamisteenuse osutamisel levitatavaid andmeid ei ole lubatud kasutada muul kui statistilisel ja

teaduslikul eesmärgil.

Andmesoo ja andmejärv

Census & survey data Private sector data Administrative data Private sector data

Statistics production Research Access Operational uses

Statisticaldata lake

Operational datalake or virtualisation

Commonarchitecture & standards & content (metadata)

Scope of data governance?

Open Data

Rahvusvaheline statistikaasutuste juhtide vaade andmehalduse ulatusele

Siin ta on see Andmejärv!

Statistikaamet andmearhitektuur (üldmudel)

Juhtimislaudhttps://juhtimislauad.stat.ee/

Pearuga kahasse

KOOSTÖÖ

SA ettepanek keskne andmekataloog avaandmed

asutuseandmed

asutuseandmekataloog

Asutuse x-teeandmeteenused

riigiandmekataloog

META-

ANDMED

METAANDMED

ANDMEKIRJELDUS

klassifikaatoridandmekataloog

metaandmete süsteem

ASUTUS

STATISTIKAAMET

asutusemetaandmete süsteem

RIHA 8.0 funktsioonid• andmevahetus asutuse

metasüsteemiga• hierarhiline andmekataloog –

sirvitav• põhiandmete määratlemine• otsing andmekirjeldustest• otsing mõistete sõnastikud• (ametlike) klassifikaatorite kasutuse

tuvastamine ja liidestamine• IS sisese klassifikaatorite (loendite)

väärtuste tuvastamine• teavituste tellimine ja saatmine

• andmestruktuuride automaatne tuvastamine (RIHAKE)

X-tee iseteeninduskeskkond

RIA / RIHA 8.0

andme-kirjeldus

JUHENDID

kvaliteet, andmehaldus

API

Hierarhiline andmekataloog:1. andmekogu – andmetabel – andmeelement2. andmeobjekt <> kategooria <> tag <> mõiste

asutuseandmesõnastik

mõistedandmesõnastikud

muutusteautomaatnetuvastamine

Koostöö uue RIHA loomisel

• Ülevaatamisel riigi infosüsteemi arhitektuur laiemalt!

• RIHA selle osa (MKM lähtekoht)• 1. muuta kasutatavaks IS arendajale

• 2. tagada andmekirjelduste vastavus tegelikele andmemudelitele

• Statistikaameti ettepanek• Luua asutuste andmekataloogid

• RIA teeb• PoC – sept-nov

• SF taotlus 2020 arendusteks, hange 2020 algus

• Uue RIHA arendus ja juurutamine 2020 teine pool

andmehaldus ja andmeteadusandmekataloog ja andmekirjeldus

Andmekirjelduse standard

• Standardi töörühm ja kavand• Töörühma seisukoht – pigem juhend kui standard s.o selgitava teksti lisamine

• SISU• Andmeelemendi kirjeldus

• Klassifikaatori kirjeldus

• Tehnilised metaandmed – viide andmevälja kohale

• Andmestiku kirjeldus• Data Catalog Vocabulary (DCAT) - revised edition (W3C Working Draft 16 October 2018)

• Mõiste (concept) käsitlus• Kust ja kuidas mõisted ‘võtta’?

• Valdkondlike sõnastike vajadus

• Rahvusvaheline standard – SKOS (Simple Knowledge Organization System) ei ole tuntud; see on tehniline semantilise veebi lahendus

ANDME-ELEMENT

ANDME-KATALOOG

ANDMESTIK

MÕISTE

MÕISTE-SKEEM

KLASSIFIKAATORI ELEMENT

KLASSIFIKAATORTEHNILISED METAANDMED

ANDMEOBJEKT

* tabel* kirje (loogiliselt seotud elemendid)* mall (Raspel)* andmestruktuur

ANDMEKOGUM

üldkogum ehk populatsioon mille kohta andmed on

* skeem* andmekogu* andmestruktuur* fail (analüütikas)* muu andmevara

schema.tabel.element

sõnastik

termin | määratlus

FUNKTSIOON

DOMEEN* teenused

Andmekataloogi funktsionaalsus

• Gartner on andmekataloogi rakenduse funktsionaalsust kirjeldanud järgmiselt:

1. Infovarade inventuuri pidamine.2. Koostöö andmetest ülevaate omamiseks ja andmehalduse osas.3. Semantiliselt kirjeldatud andmete tähenduse jagamine.

(Infovara (information asset) ja andmevara (data asset) on sünonüümid)

Andmekataloog – kolm funktsionaalset ulatust

Inventory

Dictionary

Catalog

1. INVENTUUR – mis on, kus on

2. SÕNASTIK – lisaks veel kirjeldus: pealkiri, tüüp

3. KATALOOG – lisaks veel kuidas kasutada

(meie mõttes kasutuskontekst)

Esiteks kirjelda, teiseks agregeeri !!!

Mis on Ameerika Ühendriigid?

See ‘filosoofia’ on eriti oluline riigi andmepõhisel strateegilisel juhtimisel precriptive analysis(TERE projekt)

Enne kui otsustad, kirjelda!Enne kui sead mõõdiku, analüüsi!

Denodo - virtualiseerimisplatvorm

• Virtual DataPort• Erinevad andmeallikad

• data discovery v. data description

• Data Catalog• The Data Catalog is a solution that allows

business users to query, search and browse information and metainformation stored in a Virtual DataPort server. With this information, they can generate new knowledge and pave the way to take better decisions.

AndmehaldurVASTUTUS JA TÖÖ

Andmehaldus ja andmeteadus > CRISP-DM

• Andmeteaduse elutsükli ülevaade ja selle komponentide baaskursused vastavalt CRISP-DM klassifikatsioonile

• *ärivaldkonna vajaduste teadmine ja hindamine;

• *andmete ettevalmistus, puhastamine, andmelaod;

• *masinõpe ja hindamine, lahenduste juurutamine, visualiseerimine ja tõlgendamine; ning

• *privaatsususe ja legaalsed aspektid.CRISP-DM

CRISP - cross-industry standard process for data mining

Andmehalduse sisu ja ulatus

Andm

ehald

use

raam

istik

riigi IT jms

raamistikud

EIF – Euroopa

koostalitusvõime

raamistik

RIIK

koordinaatorid

ANDMEKIRJELDUS

ANDMEKVALITEET

ELUKÄIGUHALDUS

ANDMEKASUTUS

ANDMEHALDURANDMEHALDUSE ja ANDMEHALDURI

PÕHILISED TEGEVUSED

TEEB

KORRALDAB

JÄLGIB

KORRALDAB

KORRALDAB

JÄLGIB

TEEB

KORRALDAB

KORJA

KAITSE

KASVATA

JAGA

roll, teadmised, oskused

Oskused

Teadmised

ROLL

ASUTUSES

täiendkoolitus töötamine asutuses

• Juhtimistegevus ja koostöö

• Arendustegevused

• Rutiinsed tegevused

• töövahendid

• andmekataloog

• töö sisu

• kirjeldamine

• juurdepääsud

• elukäiguhaldus

• avaldamine

• kvaliteet