Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
Tietovarastoautomaatiokokemuksia & näkymiä
TDWI Finland 11.9.2015
Kari Karru
© Cerion Solutions Oy
Cerion lyhyesti
Cerion on tiedolla johtamisen ja toiminnan tehostamisen innovatiivinen palveluyritys.
Toimitamme IT-ratkaisuja ja palveluja, jotka antavat asiakkaalle tukea kokonaisvaltaiseen johtamiseen.
Palvelumme
• Tiedolla johtamisen palvelut
• Integraatio- ja sovelluskehityspalvelut
• Projektipalvelut muutoshankkeiden läpivientiin
Cerion numeroina• Perustettu 2004
• Liikevaihto 4,2M€
• Henkilökunnan omistama
• 40 osaajaa
• Toimipisteet Turussa ja Helsingissä
© Cerion Solutions Oy
Agenda
Tietovarastoautomaatio?
Cerionin ja Turun kaupungin yhteinen kasvupolku
WhereScape
Miten eteenpäin?
© Cerion Solutions Oy
Kaikki muuttuu, vai muuttuuko?
© Cerion Solutions Oy
Ei ainakaan helpommaksi
© Cerion Solutions Oy
Muutos ja epävarmuus
Gartner: ”… most project failures com from inability to render usefuldata in a flexible model”
”… ~70% of the requirements will change in the next 1st year” Gartnerinblogi, Bill Hostman
”… data usage is continuosly evolving… data platforms cannot be static” Ralph Kimball
© Cerion Solutions Oy
Tehokkuutta automaatiolla
Miten tämä liittyy tietovarastointiin?
https://youtu.be/-odJIRdvsXw
TDWI: Data warehouse automation
• "using technology to gain efficiencies and improve effectiveness in data warehousing processes. Data warehouse automation is much more than simply automating the development process. It encompasses all of the core processes of data warehousing including design, development, testing, deployment, operations, impact analysis, and change management."
© Cerion Solutions Oy
Enemmän vähemmällä
Automatisoitu tietovarastotyökalu
• Tietovaraston määrittely, toteutus ja operointi
• Automatisoidaan toistuvat rutiinit parhaiden käytäntöjen ja kehitysstandardien mukaisesti
• Sisäänrakennettu data governance
• Metadata ketterän kehityksen tueksi
• Laadukas ja kattava dokumentaatio
• Nopeasti tuloksia liiketoiminnalle ja IT:lle
• SÄÄSTÄÄ asiakkaan aikaa ja rahaa
© Cerion Solutions Oy
Kehityshankkeet
Sosiaali- ja Terveyshuollon yhdistyminen
• Tiedolla johtamisen edelläkävijä
IT-palvelujen ratkaisukonsepti
• Alusta, menetelmät
Konserniyhtiöiden raportointi
• Arkea Oy
Järjestelmäraportoinnin kehittäminen
• Palautepalvelu
Kuntatieto-ohjelman pilottiprojekti
• Sivistystoimi, tietopalvelumallit
Työterveyshuollon raportoinnin kehittäminen
Tiedolla johtamisen kehittämishanke
© Cerion Solutions Oy
Hyötyjä
Säästetty selvää rahaa
Ei ainoastaan tekninen ratkaisu
• syntynyt yhdenmukainen toimintamalli
Yhteinen kieli toiminnasta
• käsitemalli koko organisaation käyttöön
© Cerion Solutions Oy
Teknologiaa
Lähdejärjestelmiä:
• SAP, Personec, Effica, Pegasos, Primus, Wilma, Kurre, Hansa, Titania, jne.
Microsoft-teknologiat
• SQL Server, sharepoint, office,
Tietosuoja & oikeudet
• Käyttäjäkohtaiset sisällöt
Analysointi, ymmärrys ja
päätöksenteko
Toiminnan mallintaminen –
asiakas
ja konsultti yhdessä
Raportit, visualisointi,
analytiikka.
TietovarastoETL
Kehittämistapa
DW
Lähdejärjestelmät
Mäppäykset, ympäristö,
kehitystyö
© Cerion Solutions Oy
Analysointi, ymmärrys ja
päätöksenteko
Tarvelähtöinen tietotarpeiden
mallintaminen – asiakas
ja konsultti yhdessä
Valmentava ja
osallistava
konsultointi!
SmartEngine
Raportit, visualisointi,
analytiikka.
Joustava ja laajennettava
tietovarasto
DW ja ETL
generoidaan
Älykkäämmät
päätökset!
ETL
Cerion SmartDW kehittämismenetelmä
DW
Lähdejärjestelmät
SmartModeller
K#
Metadata
Asetukset
SmartDW
Loppukäyttäjien
työkalut. Julkaisu,
jakelu, itsepalvelu.
Deploy!
Heti käyttöön
© Cerion Solutions Oy
SmartStudio for agile SmartDW
SmartModellerVisual ParadigmSmartExtensionlaajennuksella
SmartEngineDW, ETL ja rajapintojen
generointi
K#Skriptikieli ja hyödylliset
kirjastot
MallinnustyökalutAgile SmartDW ja ETL konfigurointityökalut
Skriptaustyökalut
Script KSharp.SelectToConsole(String pServer,
String pSQL) {
Console.Clear();
Object aSrv=
DatabaseServer.Find(pServer);
Object aConn = aSrv.CreateConnection();
String aData =
aConn.GetData(pSQL, "; ");
Console.OutLF(aData);
}
SmartDW-arkkitehdin työkalut
DW
ETL
© Cerion Solutions Oy
Tiedonkeruu &
tietovarastointi
Ratkaisuarkkitehtuuri
Käyttäjien raportit ja työkalut
Raj
apin
ta Tieto-
varastoETL
Analyysi-
rakenteet
Raportti-
rakenteet
SQLSovellukset
Julkaisu & jakelu
Personointi
SmartDW
Tieto-
lähteet
Tiedon
käyttäjät
Raj
apin
ta
Tiedon esittäminen
Raportit
Visualisointi
Dash-
boardit
Analytiikka
SmartStudio:
SmartEngine
© Cerion Solutions Oy
SmartDW-työkalut
Miltä se näyttää?
© Cerion Solutions Oy
Miten eteenpäin?
Tuotebusiness?
Isommat kokonaisuudet?
Palvelun rakentaminen?
Kumppanin etsiminen?
© Cerion Solutions Oy
WhereScape – Company Background
Founded in 2000 in Auckland New Zealand by Data Warehouse experts
UK - European Head Office, US Global Head Office, Development in NZ
Privately held company $20m-$40m Turnover
Stellar 38% Growth in 2014/15
3000+ WhereScape RED/3D Developers (Europe, Asia Pac, US)
4500 downloads of WhereScape 3D
130 Staff – 80 Data Warehouse Consultants
14 years of Solid Growth World-wide
Information Management Top 40 Vendors to watch
Only Global recommended DW Automation Software for Teradata
© Cerion Solutions Oy
Wherescape
© Cerion Solutions Oy
Some of 700+ WhereScape customers
© Cerion Solutions Oy
Traditional approach to development
REQUIREMENTS
DW framework
Profile
Logical Model
Physical Model
DB Architecture
Storage Mgmt
Index Mgmt
OLAP Design
ETL Mapping
ETL Dev
Version Control
Workflow
Deployment
Maintenance
Word/Excel
Mainly in-house
solutions
Informatica
Microstrategy
IBM Clear Case
Trillium
AbInitio
DataStage
TOAD
PowerDesigner
Enterprise Architect
Cognos
JIRA
SSMS
SSIS
SSAS
SVN
IBM Clear Quest
Informatica
ErWIN
DB Management Tools
DataStage
Documentation
• Overcomplicated
• Too many tools
© Cerion Solutions Oy
Data Warehouse Development With WhereScape
DW Framework
Profile
Physical Model
DB Architecture
Storage Mgmt
Index Mgmt
OLAP Design
ETL Mapping
ETL Dev
Version Control
Workflow
Deployment
Maintenance
Logical Model
Documentation
REQUIREMENTS
WhereScape RED
WhereScape 3D
• Simplification
• Automation
© Cerion Solutions Oy
WhereScape -työkalut
Miltä se näyttää?
Hype & WhereScape
© Cerion Solutions Oy
WhereScape on Big Data
Customers:
• Big data collaborators (70%)
• Big data sceptics (30%)
• NOTE: not big data pure plays (0%)
Belief: Big data changes how our customers architect solutions. Yet the same time and cost problems that exist in enterprise data also exist in the big data world.
Aim: To serve the organizations that want to get the most out of their big data and enterprise data cost effectively
© Cerion Solutions Oy
More Big Data Research…
…clearly, no single technology can handle all big data needs... a mix of technologies is required, each of which has its own strengths ...
... the EDW is the most cited technology for deriving value from big
data ...
... the EDW now appearing at the centre of an ecosystem ...
technologies for deriving value from big data, 54% of the respondents
chose the EDW ...
... through 2017, 90% of information from big data analytic efforts will be siloed and un-leveragable across multiple business processes ...
... #1 hurdle remains determining the value (ROI) of big data (increased to 65%) ...
© Cerion Solutions Oy
SmartDW:n tulevaisuus
Itsepalvelutyökalu?
DW:n kehityspalvelu?
Open Source?
SmartModellerMallinnus
SmartEngineDW, ETL
ja algoritmit
K#Skriptikieli ja
kirjastot
Script
KSharp.SelectToConsole(String
pServer, String pSQL) {
Console.Clear();
Object aSrv=
DatabaseServer.Find(pServer);
Object aConn =
aSrv.CreateConnection();
© Cerion Solutions Oy
Eteenpäin WhereScapen kanssa
Lisenssimyynti
Konsultointi
Koulutus
Projektitoimitukset
Palvelumalli