Upload
others
View
0
Download
0
Embed Size (px)
Citation preview
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
BLOK 2 – PRZYKŁADOWY SYSTEM
BADAŃ I DIAGNOZOWANIA
INSTYTUT ŁĄCZNOŚCI, WARSZAWA 2015-11-03
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
WPROWADZENIE DO PSBD
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
CZYM JEST PSBD?
Przykładowy System Badań i Diagnozowania
jest przykładem implementacji systemu przetwarzania danych i
raportowania.
Operuje na danych Instytutu Łączności w postaci plików
tekstowych i relacyjnej bazy danych.
Silnikiem przetwarzania danych jest SAS i język 4GL.
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
PODSTAWOWE KOMPONENTY PLATFORMY
• Warstwa danych
• Przygotowanie danych
• Analizy danych
• Wizualizacja danych
• Modelowanie danych
• Raportowanie
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
KOMPONENTY PSBD
W skład PSBD wchodzą:
1. Serwer obliczeniowy SAS.
a. Oprogramowanie SAS v9.4.
b. System Operacyjny: Red Hat Enterprise Linux v7.
2. Repozytorium Operacyjne.
a. Baza danych PostgreSQL v9.4.
b. System Operacyjny: Red Hat Enterprise Linux v7.
3. Dane źródłowe Instytutu Łączności.
a. Pliki tekstowe (ASC, KML) z danymi pomiarów MLB.
b. Baza danych MySQL z pomiarami.
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
PSBD W INFRASTRUKTURZE WIRTUALNEJ
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
PRZETWARZANIE DANYCH W PSBD
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
OD POMYSŁU DO REALIZAJCI
Koncepcja nowego projektu / badania
Wyniki
Składowanie wyników
Zamówienie systemu przetwarzającego dane
Analiza i obróbka danych
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
PRZEPŁYW DANYCH W PSBD
Badanie WynikiRepozytorium
Danych Źródłowych
PSBD (ETL)
Repozytorium
OperacyjneAnalizy Raporty
http://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://bsnyderblog.blogspot.com/2014/09/installing-postgresql-94-beta2-on-mac.htmlhttp://blogs.sas.com/content/sasdummy/2013/08/06/eg-versions-through-years/http://blogs.sas.com/content/sasdummy/2013/08/06/eg-versions-through-years/http://www.sas.com/en_us/industry/higher-education/on-demand-for-academics.htmlhttp://www.sas.com/en_us/industry/higher-education/on-demand-for-academics.htmlhttp://www.youtube.com/watch?v=OgVYheFSCJwhttp://www.youtube.com/watch?v=OgVYheFSCJw
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
DANE PRZETWARZANE W PSBD
1. Pliki tekstowe z pomiarów MLB (ASC, KML).
a. Przekazywane wsadowo do Repozytorium Danych
Źródłowych, pobierane są przez procesy ETL.
b. Mogą być w formie skompresowanej (Gzip).
2. Pomiary przepustowości zapisane w tabelach bazy
MySQL.
a. Pobierane cyklicznie ze źródłowej bazy danych przez
procesy ETL.
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
WYNIKI PRZETWARZANIA DANYCH
1. Repozytorium Danych Operacyjnych (DWH).
2. Agregaty na potrzeby raportowania.
3. Raporty na danych.
4. Wielowymiarowa kostka OLAP.
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
PRZEPŁYW DANYCH W PSBD
Raporty
Kostka OLAP
Agregaty
DIVA
OCM
DICM
EMCMProjekt A
Projekt B
PSBD
Repozytorium Danych
Źródłowych
ASC, KML
(SCP)
MySQL
(WS/HTTS/FTP/etc.)
inne systemy
(ACCESS to MySQL)
(NFS)
(NFS)
(NFS)
PostgreSQL
(ACCESS to PostgreSQL)
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .
LIVE DEMO
Badanie WynikiRepozytorium
Danych Źródłowych
PSBD (ETL)
Repozytorium
OperacyjneAnalizy Raporty
Copyr i g ht © 2015, SAS Ins t i tu t e Inc . A l l r ights reser ve d .