1
SURS: ZBIRANJE IN UREJANJE STATISTIČNIH PODATKOV
mag. Pavle Kozjek
Sektor za informacijsko tehnologijo in infrastrukturo
- Služba za razvoj aplikacij za zbiranje in urejanje podatkov
2
Zbiranje in urejanje statističnih podatkov: vhod v statistični proces
Informacijski sistem Statističnega urada RS: postopen prehod z okolja osrednjega računalnika na lokalno omrežje - priložnost za prenovo podsistema za zbiranje in urejanje podatkov
Cilj: integriran podsistem s standardiziranimi rešitvami Pomen fleksibilnosti:
- podpora obstoječim aplikacijam tudi v novem okolju - možnost nadaljnjega vključevanje novih metod in tehnik zbiranja in
urejanja podatkov
Uvod
3
V z o r e c
N a v o d i la
V p r a š a ln ik
Z b ir a n j e in r e g i s t r a c .
S u r o v i p o d a t k i
M e t a p o d a t k i
U r e j a n j e ( p r ip r a v a ) p o d . P o d a t k i vo b d e la v i ( 1 )
K o nč n i r e g i s t e ro p a z o v a n j
O c e n a in a n a l i z a P o d a t k i vo b d e la v i ( 2 )
P o d a t k i vo b d e la v i
K o nč n i r e z u l t a t i( s t a t i s t ik a )
P r e d s t a v i t e v in d i s e m in .
E le k t r o n s k id o k u m e n t i
T i s k a n id o k u m e n t i
C D in d i s k e t e
Shema 1: Tok podatkov in metapodatkov v procesu statističnega raziskovanja (Sundgren, 1999)
4
SEKUNDARNIVIRI
SURS
PRIMARNIVIRI
SAJPI
UPO
RA
BN
IKI
ME
TO
DO
LO
ŠK
EO
SNO
VETEHNOLOŠKE BAZE
PODATKOV IN ADRESARJI
NASLOVLJENOSTATISTIČNO
GRADIVO
OBJEKTNA SHEMA SURS
VHOD (INPUT) STATISTIKA(THROUGHPUT)
IZHOD (OUTPUT)
STATISTIČNIREGISTRI
VHODNE BAZEPODATKOV
ARHIV
STATISTIČNAPOROČILA
OPOMINI IN ADRESARJI ZA
OPOMINE
STATISTIČNOGRADIVO INADRESARJI
METODOLOŠKADOKUMENTACIJA
NAROČILO
POT
RE
BE
STATISTIČNE BAZEPODATKOV
PUBLIKACIJEWWW
DATOTEKE
METODOLOG
METODOLOŠKEOSNOVE(INDOK)
SAJPI STATISTIČNI REGISTRI
5
STATISTIČNA POROČILA(OBRAZCI)
STATISTIČNA POROČILA(CAPI)
STATISTIČNA POROČILA(CATI)
STATISTIČNA POROČILA(EDISENT)
STATISTIČNA POROČILASEKUNDARNIH VIROV
USKLAJEVANJEPODATKOV S
POROČEVALSKOENOTO
LOGIČNAKONTROLA
VNOS V VHODNE BAZE PODATKOV
VMESNIK
VMESNIK
VMESNIK
VMESNIK
SHRANJEVANJE
VMESNIK
VMESNIK
ZAJEM PODATKOV(BREZ LK)
CADI
SKENIRANJEOCR VMESNIK
ČIŠČENJE VHODNEBAZE PODATKOV
VH
OD
NI
ST
AT
IST
IČN
I P
OD
AT
KI
POLNENJE VHODNE BAZE PODATKOV
6
DW
SUROVI PODATKI ČISTI KONČNI PODATKIKONČNE
VEČDIMENZIONALNE STATISTIKE
KO
NČ
NI
UP
OR
AB
NIK
I
OLAP
Globalni metapodatki, vključno s klasifikacijami in šifranti
REGISTRI
On-line
kazala
Katalogi vsebine
CDCD
CD
El .dok.
Publ.tabele
Procesiranje podatkov na SURS in uporabljena orodja (zbiranje in
urejanje podatkov)
•Lokalno omrežje:
• Blaise,VB
• Edisent
• SAS
•Osrednji računalnik:
•VSAM datoteke, Cobol, PL-1
•DBMS Rapid,Godar
xls,tpl,txt datotekexls,tpl,txt
datoteke
7
Vhodni register
UREJANJE PODATKOV
ST
AT
IST
IČN
A K
ON
TR
OL
A,
AN
ALI
ZE
IMP
UT
AC
IJE
, P
RE
FO
RM
AC
IJE
AN
ALI
ZE
, AG
RE
GA
CIJ
E,
OC
EN
JEV
AN
JA
DIS
EM
INA
CIJ
A
EK
ST
RA
KC
IJA
, ZA
UP
NO
ST
KLASJE
Vhodnabaza
POROČANJESEKUNDA-
RNIH VIROV
POROČANJEPRIMARNIH
VIROV
PRIPRAVLJANJE: METODOLOGIJE, OKVIRJA, STAT. GRADIVA,VPRAŠALNIKA Z VPRAŠANJI, OBJEKTOV OPAZOVANJA, STAT. SPREMENLJIVK,
KLASIFIKACIJ, DOVOLJENIH VREDNOSTI, STAT. KARAKTERISTIK ...
UREJANJE METAPODATKOV
Vhodni registerVhodni register
Vhodni statističniregister
Katalogivsebine
Podatkovno skladišče
OLAP
Makro baza
Elektronsko izmenjevanje
podatkov
PR
IDO
BIV
AN
JE
PO
DA
TK
OV
EK
ST
RA
HIR
AN
JE P
OD
AT
KO
V
UPORABNIKI(SLOVENIJA,
EU ...)
PRIPRAVA PODATKOV STATISTIČNE OBDELAVE DISEMINACIJAVIRI
ZU
NA
NJI
UP
OR
AB
NIK
I
URADNI A R H I V
A R H I V podatkov in procesov
A R H I V podatkov in procesov
P
O
Ž
A
R
N
A
S
T
E
N
A
C I L J N A S H E M A G L A V N E G A T O K A P O D A T K O V N A S U R S
V okviru skupine P/STAT2000 osnovno shemo izdelala ga. Julija KUTIN
A R H I V podatkov in procesov
kazala
PREVZEMOD URADNIH
USANOVZGOLJ ZA OBJAVO Mikro
Podatki
Mikro baza
Podatki Iz
virov
UREJANJE DOKUMENTACIJE
Publikacije
Internet
Disemi-nacijskistrežnik
METISDokumentacija
v izdelanihšablonah
•RAZVIJALCI:
•DMBS Oracle, PL-SQL
•Designer,Developer,
• MS Access, MS SQL,IIS,Visual Int.
•RAZVIJALCI:
•RDBMS Oracle ,Pl-SQL
•Designer,Developer,
•SAS, MS Access,TPL, TPL
•MS SQL OLAP
•UPORABNIKI:
•Oracle Discoverer
• MS Access, Excel,Word
•SAS
•MS SQL OLAP
•GIS:
•Imagine (sat.)
•ArcInfo, MapInfo
•Idrisi
•RAZVIJALCI - HOST:
•Cobol,TPL, Rapid, BO
•DBMS Oracle, SQL
•RAZVIJALCI:
•MS SQL,IIS, Visual Interdev
•PC-Axis
•UPORABNIKI
•PC-Axis orodja
•Beta - host (interno)
•BSP -host
•TISKARNA:
•Corel Draw
•Photoshop (psp)
•Pagemaker,
•Framemaker
•Ventura
•MS Office
•….
•UPORABNIKI:
•Aplikaciji Klasje, Metis
• MS Excel,Word
STATISTIKI/
RAZVIJALCI
•SAS
8
Blaise + VB: Vnos z urejanjem podatkov: - s klasičnih obrazcev na papirju - anketiranje (kontakt z respondenton): CAPI, CATI
Hitri vnos podatkov (urejanje naknadno, paketno ali interaktivno) Urejanje podatkov
Edisent: elektronsko poročanje SAS: (v procesu zbiranja pod.) - priprava vzorcev
Godar, Cobol, PL-1: urejanje podatkov
Zbiranje in urejanje podatkov - uporabljena orodja:
9
GEntry (generator aplikacij za hitri zajem podatkov): ekran za specifikacijo podatkovnega modela
10
Primer ekrana za vnos podatkov za anketno raziskovanje (CAPI, CATI)
11
Primer uporabniškega vmesnika za anketno raziskovanje s kombiniranim zbiranjem podatkov
12
Primer ekrana za urejanje podatkov (raziskovanje IND-M)
13
Primer splošnega uporabniškega vmesnika (urejanje podatkov)
14
Enostavnost, robustnost in fleksibilnost arhitekture (Sundgren, 2000:
smernice za relacijo med statističnim IS in njegovimi elementi)
Prisotnost metapodatkov v celotnem procesu
Razvoj in vključevanje novih rešitev (kombinirano zbiranje pod.,
elektronsko poročanje, Internet itd). Cilj: izboljšati kvaliteto dela in
rezultatov
Upoštevanje in usklajevanje potreb vseh udeležencev v
statističnem procesu
Smernice: