1

SURS: ZBIRANJE IN UREJANJE STATISTIČNIH PODATKOV

mag. Pavle Kozjek

Sektor za informacijsko tehnologijo in infrastrukturo

- Služba za razvoj aplikacij za zbiranje in urejanje podatkov

2

Zbiranje in urejanje statističnih podatkov: vhod v statistični proces

Informacijski sistem Statističnega urada RS: postopen prehod z okolja osrednjega računalnika na lokalno omrežje - priložnost za prenovo podsistema za zbiranje in urejanje podatkov

Cilj: integriran podsistem s standardiziranimi rešitvami Pomen fleksibilnosti:

- podpora obstoječim aplikacijam tudi v novem okolju - možnost nadaljnjega vključevanje novih metod in tehnik zbiranja in

urejanja podatkov

Uvod

3

V z o r e c

N a v o d i la

V p r a š a ln ik

Z b ir a n j e in r e g i s t r a c .

S u r o v i p o d a t k i

M e t a p o d a t k i

U r e j a n j e ( p r ip r a v a ) p o d . P o d a t k i vo b d e la v i ( 1 )

K o nč n i r e g i s t e ro p a z o v a n j

O c e n a in a n a l i z a P o d a t k i vo b d e la v i ( 2 )

P o d a t k i vo b d e la v i

K o nč n i r e z u l t a t i( s t a t i s t ik a )

P r e d s t a v i t e v in d i s e m in .

E le k t r o n s k id o k u m e n t i

T i s k a n id o k u m e n t i

C D in d i s k e t e

Shema 1: Tok podatkov in metapodatkov v procesu statističnega raziskovanja (Sundgren, 1999)

4

SEKUNDARNIVIRI

SURS

PRIMARNIVIRI

SAJPI

UPO

RA

BN

IKI

ME

TO

DO

LO

ŠK

EO

SNO

VETEHNOLOŠKE BAZE

PODATKOV IN ADRESARJI

NASLOVLJENOSTATISTIČNO

GRADIVO

OBJEKTNA SHEMA SURS

VHOD (INPUT) STATISTIKA(THROUGHPUT)

IZHOD (OUTPUT)

STATISTIČNIREGISTRI

VHODNE BAZEPODATKOV

ARHIV

STATISTIČNAPOROČILA

OPOMINI IN ADRESARJI ZA

OPOMINE

STATISTIČNOGRADIVO INADRESARJI

METODOLOŠKADOKUMENTACIJA

NAROČILO

POT

RE

BE

STATISTIČNE BAZEPODATKOV

PUBLIKACIJEWWW

DATOTEKE

METODOLOG

METODOLOŠKEOSNOVE(INDOK)

SAJPI STATISTIČNI REGISTRI

5

STATISTIČNA POROČILA(OBRAZCI)

STATISTIČNA POROČILA(CAPI)

STATISTIČNA POROČILA(CATI)

STATISTIČNA POROČILA(EDISENT)

STATISTIČNA POROČILASEKUNDARNIH VIROV

USKLAJEVANJEPODATKOV S

POROČEVALSKOENOTO

LOGIČNAKONTROLA

VNOS V VHODNE BAZE PODATKOV

VMESNIK

VMESNIK

VMESNIK

VMESNIK

SHRANJEVANJE

VMESNIK

VMESNIK

ZAJEM PODATKOV(BREZ LK)

CADI

SKENIRANJEOCR VMESNIK

ČIŠČENJE VHODNEBAZE PODATKOV

VH

OD

NI

ST

AT

IST

IČN

I P

OD

AT

KI

POLNENJE VHODNE BAZE PODATKOV

6

DW

SUROVI PODATKI ČISTI KONČNI PODATKIKONČNE

VEČDIMENZIONALNE STATISTIKE

KO

NČ

NI

UP

OR

AB

NIK

I

OLAP

Globalni metapodatki, vključno s klasifikacijami in šifranti

REGISTRI

On-line

kazala

Katalogi vsebine

CDCD

CD

El .dok.

Publ.tabele

Procesiranje podatkov na SURS in uporabljena orodja (zbiranje in

urejanje podatkov)

•Lokalno omrežje:

• Blaise,VB

• Edisent

• SAS

•Osrednji računalnik:

•VSAM datoteke, Cobol, PL-1

•DBMS Rapid,Godar

xls,tpl,txt datotekexls,tpl,txt

datoteke

7

Vhodni register

UREJANJE PODATKOV

ST

AT

IST

IČN

A K

ON

TR

OL

A,

AN

ALI

ZE

IMP

UT

AC

IJE

, P

RE

FO

RM

AC

IJE

AN

ALI

ZE

, AG

RE

GA

CIJ

E,

OC

EN

JEV

AN

JA

DIS

EM

INA

CIJ

A

EK

ST

RA

KC

IJA

, ZA

UP

NO

ST

KLASJE

Vhodnabaza

POROČANJESEKUNDA-

RNIH VIROV

POROČANJEPRIMARNIH

VIROV

PRIPRAVLJANJE: METODOLOGIJE, OKVIRJA, STAT. GRADIVA,VPRAŠALNIKA Z VPRAŠANJI, OBJEKTOV OPAZOVANJA, STAT. SPREMENLJIVK,

KLASIFIKACIJ, DOVOLJENIH VREDNOSTI, STAT. KARAKTERISTIK ...

UREJANJE METAPODATKOV

Vhodni registerVhodni register

Vhodni statističniregister

Katalogivsebine

Podatkovno skladišče

OLAP

Makro baza

Elektronsko izmenjevanje

podatkov

PR

IDO

BIV

AN

JE

PO

DA

TK

OV

EK

ST

RA

HIR

AN

JE P

OD

AT

KO

V

UPORABNIKI(SLOVENIJA,

EU ...)

PRIPRAVA PODATKOV STATISTIČNE OBDELAVE DISEMINACIJAVIRI

ZU

NA

NJI

UP

OR

AB

NIK

I

URADNI A R H I V

A R H I V podatkov in procesov

A R H I V podatkov in procesov

P

O

Ž

A

R

N

A

S

T

E

N

A

C I L J N A S H E M A G L A V N E G A T O K A P O D A T K O V N A S U R S

V okviru skupine P/STAT2000 osnovno shemo izdelala ga. Julija KUTIN

A R H I V podatkov in procesov

kazala

PREVZEMOD URADNIH

USANOVZGOLJ ZA OBJAVO Mikro

Podatki

Mikro baza

Podatki Iz

virov

UREJANJE DOKUMENTACIJE

Publikacije

Internet

Disemi-nacijskistrežnik

METISDokumentacija

v izdelanihšablonah

•RAZVIJALCI:

•DMBS Oracle, PL-SQL

•Designer,Developer,

• MS Access, MS SQL,IIS,Visual Int.

•RAZVIJALCI:

•RDBMS Oracle ,Pl-SQL

•Designer,Developer,

•SAS, MS Access,TPL, TPL

•MS SQL OLAP

•UPORABNIKI:

•Oracle Discoverer

• MS Access, Excel,Word

•SAS

•MS SQL OLAP

•GIS:

•Imagine (sat.)

•ArcInfo, MapInfo

•Idrisi

•RAZVIJALCI - HOST:

•Cobol,TPL, Rapid, BO

•DBMS Oracle, SQL

•RAZVIJALCI:

•MS SQL,IIS, Visual Interdev

•PC-Axis

•UPORABNIKI

•PC-Axis orodja

•Beta - host (interno)

•BSP -host

•TISKARNA:

•Corel Draw

•Photoshop (psp)

•Pagemaker,

•Framemaker

•Ventura

•MS Office

•….

•UPORABNIKI:

•Aplikaciji Klasje, Metis

• MS Excel,Word

STATISTIKI/

RAZVIJALCI

•SAS

8

Blaise + VB: Vnos z urejanjem podatkov: - s klasičnih obrazcev na papirju - anketiranje (kontakt z respondenton): CAPI, CATI

Hitri vnos podatkov (urejanje naknadno, paketno ali interaktivno) Urejanje podatkov

Edisent: elektronsko poročanje SAS: (v procesu zbiranja pod.) - priprava vzorcev

Godar, Cobol, PL-1: urejanje podatkov

Zbiranje in urejanje podatkov - uporabljena orodja:

9

GEntry (generator aplikacij za hitri zajem podatkov): ekran za specifikacijo podatkovnega modela

10

Primer ekrana za vnos podatkov za anketno raziskovanje (CAPI, CATI)

11

Primer uporabniškega vmesnika za anketno raziskovanje s kombiniranim zbiranjem podatkov

12

Primer ekrana za urejanje podatkov (raziskovanje IND-M)

13

Primer splošnega uporabniškega vmesnika (urejanje podatkov)

14

Enostavnost, robustnost in fleksibilnost arhitekture (Sundgren, 2000:

smernice za relacijo med statističnim IS in njegovimi elementi)

Prisotnost metapodatkov v celotnem procesu

Razvoj in vključevanje novih rešitev (kombinirano zbiranje pod.,

elektronsko poročanje, Internet itd). Cilj: izboljšati kvaliteto dela in

rezultatov

Upoštevanje in usklajevanje potreb vseh udeležencev v

statističnem procesu

Smernice: