Upload
simen-sommerfeldt
View
612
Download
5
Embed Size (px)
Citation preview
Hafslund AMS: Hvordan semantisk integrasjon redder
Norges største IOT-prosjekt
Jon Andreas Pretorius, Hafslund Nett Simen Sommerfeldt, Bouvet
til JavzZone 2015
s.2
Utfordringen;
s.3
Løp ut og kjøp 700.000 avanserte strømmålere
Bygg et sikkert radiokommunikasjons –nettverk som dekker (nesten) all bebyggelse i Oslo, Akershus og Østfold
Bytt ut alle 700.000 gamle strømmålere hjemme hos folk innen 1.januar 2019 (inne bak låst dør) ((tja, ca 1.200 per arbeidsdag))
Sørg for at all kunde- og anleggs -data er korrekt, konsoliderte og tilgjengeligjøres for utrullingsprosessen (fra et tradisjonelt norsk lappverk av
en semi-integrert applikasjonsportefølje)
Sørg for at all ny data, inkludert data fra de 700.000 målerne er tilgjengelige og konsolidert med eksisterende data, og at de kan benyttes av (ca her dupper de fleste i
salen av) kundene og internt for analyse som gir økt effektivisering av strømnettet (også her i den tradisjonelle norske applikasjonsporteføljen)
OK?
s.4
Hafslund s.5
Operasjonell struktur
6
Produksjon
Vannkraft-produksjon
Varme
Fjernvarme-produksjon
Fjernvarme-distribusjon
Bioenergi
Nett
Regionalnett
Distribusjons-nett
Driftssentral
Marked
Strøm
Kundesenter
Fakturaservice
Forretningsområde Nett
• Hafslund eier og drifter Norges største strømnett, og har lenge hatt en av landets laveste nettleier.
• Hafslund er regionalnettseier i Oslo, Akershus og Østfold.
• Hafslund eier distribusjonsnettet i Oslo og størstedelen av Akershus og Østfold.
• Antall nettkunder per 1.1.2015 er 683.000. • Nettet består av til sammen 38.434 km luftledninger
og jordkabler. • I regionalnettet er det 168 transformatorstasjoner. • I det høyspente fordelingsnettet er det 17.156
nettstasjoner med til sammen 19.322 transformatorer. • Hafslund har en av Europas mest avanserte
driftssentraler som styrer, overvåker og optimaliserer strømnettet til 1,5 millioner mennesker, fjernvarmeanleggene i Oslo-området og Hafslunds kraftverk i Glomma.
7
Hafslund har eksistert i over 100 år- siden 1898
s.8
Det vil være større endringer de neste fem årene enn det har vært de siste 100 årene
1899 1911 2011 2020
?"
Regulatoriske endringer vil øke kompleksiteten og kreve stor grad av automasjon
s.10
35 000 enkle fjernavleste målere
Årlig driftskost pr måler: ca 950
700 000 komplekse fjernavleste målere
Har i dag buffer for feilretting. Stort sett bare ifm måler-avlesning at programmet er tett
Årlig driftskost pr måler: 150
Alt online og ingen buffer eller servicevindu. Alt må alltid være tilgjengelig. Kan illustreres ved å tenke at det var måleravlesning hver dag hele døgnet
IT er i liten grad en trussel for omdømme
Hacking, virus mm vil utgjøre en mye større trussel generelt og målere vil kunne hackes
Kompleksitet høy, men vi reddes av rolige perioder
Kompleksitet vil være betydelig høyere og konstant
I dag 2020
AMS elHUB
Kundens forventning som i 1990 Hvordan vil kundens forventning endres?
AMS:
• De nye smarte målerne registrerer strømforbruket på timebasis og sender automatisk informasjon om forbruket til nettselskapet
• De nye smarte målerne registrere også data knyttet til spenningskvalitet, jordfeil etc
• De nye målerne har to-veis kommunikasjon mellom måler og nettselskap, og vil kunne gi kundene løpende informasjon om eget forbruk og øyeblikksprisene for kraft og nettleie.
• Nettselskapene er ansvarlige for installasjon og drift av AMS-systemet, men nettselskapene kan ikke nekte andre tjenesteleverandører å tilby kundene styrings- og informasjonstjenester.
Avanserte Måle- og Styringssystemer (AMS) innføres innen 01.01.2019
AMS – grunnmuren i fremtidens digitale strømnett
s.12
Elhub og leverandørsentrisk modell
ElHub
Statnett har fått i oppdrag av NVE å etablere Elhub.
Elhub skal samle inn alle måleverdiene for Norge og samtidig gjøre disse verdiene tilgjengelig for
kraftleverandører og deres sluttkunder. Videre skal Elhub understøtte prosesser for kunder som flytter eller bytter leverandør, samt sammenstille data for avregning
mellom aktørene i kraftmarkedet
For Hafslund Nett betyr dette at innsamlede og verifiserte timesverdier fra samtlige AMS strømmålere
skal overføres til ElHub en gang i døgnet
Når leverandørsentrisk modell etableres vil kundene kun forholde seg til strømselskapet (eksempel
tjenesteleverandører og infrastrukturleverandør mobiltelefoni)
Leverandørsentrisk modell skaper store endringer i forretningsprosesser og datautveksling i bransjen
Skisse hentet fra elhub.no
s.13
System D System …
System C System B System A
System N
Hafslund har utredet to alternative løsninger for integrasjonsarkitektur som vil støtte kravene til ny AMS løsning; - ServiceBus - DataNAV (Semantisk/RDF) Hafslund har erfaring med begge løsninger, men prosjektet anser en DataNAV-basert løsning som mest hensiktsmessig i denne sammenheng; - Økt stabilitet (asynkron
datautveksling) - Færre integrasjonspunkter - Tilsvarende arkitektur valgt
sentralt for El-Hub
DataNAV
Valg av integrasjonsløsning
s.14
IFS ERP
Lager & Logistikk Prosjektmodul AO-modul 360º
Schedulering
Nytt feltverktøy
Økonomi anleggsregister Dokumentasjon
HR/Ressurs
Utrulling AMS
Drift. AMS
Etappeplanlegging og oppfølging Tildel Start opp Utfør Rapporter Prosjekt, Drift, Vedl.
eksisterende Mottak – uttak varer
DataNav
GeoNIS #anlegg
Quant #AMS
Generis #gammel måler
CAB #kunde
Datavarehus /Arkiv
Konsolidert kunde- og anleggs-data fra DataNav
Datakilder for utrulling
Datamottakere i utrulling
Historisk data-arkiv og analyse
Integrasjonsmotor
All masterdata konsolideres i DataNAV DataNAV er eneste kilde for samtlige fagapplikasjoner Ved hjelp av den semantiske databasen «kobles» alle data DataNAV gir stort potensiale forvaltning av informasjonsmodell og analyse
Etablert applikasjon løsningsdesign
www.hafslund.no www.hafslund.no
Advisor and CTO, Bouvet Oslo Lær Kidsa Koding! Oslo IoT meetup
@sisomm
Master data: Elefanten i
rommet
System System
System
System
System
System
System
System System
System
System
Jeg har holdt mange foredrag og skrevet mange artikler om IOT
Hypotese: Internet of Things prosjekter vil alltid involvere
integrasjon
http://m.ash.to/cairo/images/pano/october-war-panorama-01.jpg
Store systemer vil egentlig ikke snakke med andre
Folk glemmer ting
Systemer er fulle av bugs
De som skal fikse er ikke tilgjengelige
Systemer oppgraderes plutselig
Systemer trenger ny info
Meldingstyper kan ikke endres
Noen vil ikke samarbeide
Lover og regler endres
Det er ikke produktet SESAM som er viktig men idéen om
DOA
Arkiv
HR
Turnus
Regnskap
Lønn
Klasssk ende-til-
ende integrasjon
Arkiv
HR
Turnus
Regnskap
Lønn
ESB ESB
Klassisk integrasjon
med ESB
s.32
Arkiv- domene
HR- domene
Turnus -domene
Regnskap- domene
Lønn -domene
msg msg msg
Micro- Services:
REST
Arkiv
HR
Turnus
Regnskap
Lønn
Felles datamodell?
Traditional SOA med kanonisk
datamodell HINDRER fleksibilitet
DOA – Data Oriented Architecture
37
Arkiv
HR
Turnus
Regnskap
Lønn
Behold datamodellene – kopier dataene
Vi kopierer hele domene- modellene fra
systemene
Konvertering av data- RDF ID Name Position Born E-mail Manager
101 Tim Berners-Lee
Programmer 08061955 [email protected] 958
958 Vint Cerf Inventor 23061940 [email protected] 999
765 Pål Spilling Professor 04111940 [email protected] 765
Subject Predicate Object
101
101
101
101
Type Person
Name
Position
Born
Manager 101
08061955 958 Programmer Tim Berners-Lee 101
Universelt unike identifikatorer
Subject Predicate Object
www.org.no/data/system/person/1 Type Person
www.org.no/data/system/person/1 Name Tim Berners-Lee
www.org.no/data/system/person/1 Position Programmer
www.org.no/data/system/person/1 Manager www.org.no/data/system/person/2
www.org.no/data/system/person/2 Name Vint Cerf
www.org.no = Unique organisation on the internet www.org.no/data/system/person/1 = unique id of the information element
Arkiv
HR
Turnus
Regnskap
Lønn
Koble data
Duplikater Kontakt=Kontakt
Location= Avdnr Empnr=ID1
Avdnr=Depnr
Med open-source verktøyet DUKE kan vi koble elementer uten felles identifikatorer – ved å benytte statistiske algoritmer og trening på datasett
Arkiv
HR
Turnus
Regnskap
Lønn
Arkivering med metadata fra flere kilder
Nav
Dok
Meta1 Meta2
Dok
HR Dest
Løse koblinger! SDShare
Source
HUB
• Hent data, ikke dytt! • Asynkront • Abonnenter får data som er endret siden sist • ...spør etter endringer eller hele datasettet • Informasjonen transformeres i fart
www.sdshare.org
Arkiv
HR
Turnus
Regnskap
Lønn
Integrasjon via nav med løse koblinger
Nav
Søk
Arkiv
HR
Turnus
Regnskap
Lønn
I valgtider: kommunesammenslåing?
Nav
Turnus
HR
Lønn
Arkiv Søk
s.49
Arkiv- domene
HR- domene
Turnus -domene
Regnskap- domene
Lønn -domene
Micro- Services: REST m/SESAM
modell&
modell& modell&
modell&
mod
ell&
Vi bruker en “Hashtracker” for å spore endringer, eller et “sist endret” felt
Lese med SQL/File Skrive med API
En “push receiver” er en http server som mottar RDF fragmenter. Den kaller på API hos målsystemet. Hvis det feiler, forsøker Sesam igjen
DOA
Database&
Content&Mngmt&
File&System&
Enterprise&Search&
Reporting&
Analytics&
Data&Hub&
System&X&
Public&Open&Data&
Content&Mngmt&
Enhance&and&
Connect&
COLLECT
CONNECT
SHARE
Tran
sform&
Data objects flow NOT messages
Kafka for ekstra trøkk
SDShare&Server&KaDa&
Provider&
RDF&Store&
KaDa&Queue&
Kafka kan hente og berike data i enden av køen
• SQL Databaser via jdbc • CSV filer • RDF triple stores • Sharepoint • Kafka • XML filer • LDAP kilder • Excel files • MS Exchange server (mail and calendar) • SDSHARE – anything! (MongoDB, etc)
Data kilder og mottakere
61
Data Analytics & Enhancement Existing Systems
Processes Search and Reporting
All Data Indexed
Contribute data
Drive process through state change
Models in data, Constraints in data
Act on all data Analytics results are
just more data
Complete views of all
systems and processes
Use Data
All people can ask all questions
Uniformly Structured data
from heterogeneous
sources
System Improved
Andre systemer kan fortsette å kjøre selv om ett er nede. Og du kan oppgradere et system eller installere et nytt med færre konsekvenser
Kunden får makt over informasjonsmodellen
og stiller sterkere overfor leverandører
Kunden kan lage prototyper og hurtig kombinere
informasjon til nye systemer
1. Du skal kun få fra data fra andre systemer gjennom SDSHARE
2. Prosesser drivs frem gjennom statusendringer i domenemodeller
3. Det vil aldri eksistere en felles datamodell i bedriften
4. Du skal aldri spørre navet direkte, men få data gjennom SDSHARE
5. Du skal være komfortabel med ”eventual consistency”
6. Du skal gi det samme svaret når du blir spurt om det samme
7. Verden er asynkron. Ikke prøv å påtving den noe annet
8. Du skal avfinne deg med at den samme informasjonen kan ha flere kilder og oppdateres flere steder
9. Systemene trenger ikke å kjenne til informasjonsnavet
10. Informasjonsnavet er ikke en backup
De ti bud for DOA
• Java-basert, Kjører i Docker • Bruker Github og Saltstack for å holde
installasjonene ajour • I kjernen: Virtuoso Triple Store • Har en “Data browser” • Bruker SOLR for å tilby universelt søk • All kommunikasjon skjer via SDSHARE • Konfigurasjon over koding
Sesam tech
Et paradigmeskift for kodere • Eventual consistency • Tafsing av data • RDF og SDShare • Sparql er ikke SQL • Idempotence: Sesam
kan sende duplikater • Ingen direkte kall eller
meldingshåndtering • Du trenger en
informasjonsarkitekt • IKKE bruk flere køer.
http://m.ash.to/cairo/images/pano/october-war-panorama-01.jpg
Tråkk til! Lag AMS med SESAM!
Oppsummering av krav
• Massive datamengder • Mange systemer som må koordineres • Mange implementasjons-steg, med skiftende
behov • og... Ikke unikt for Hafslund:
Komple)e"nå,d"og"historiske"anleggsdata,"kundedata,"arbeidsordre,"hendelser,"
«sensor»data,"feilrapporter"++"kny)et",l"anlegg,"kunde"og",d.""
IFS"
Quant"
GEONIS" CAB"
Arkiv"(Azure)"
MDM"
Felt" Samtlige"kjernedata"og"endringer"som"strømmer""gjennom"DataNAV"arkiveres"i"alle"versjoner"med",dspunkt."""Alle"data"i"DataNAV"er"koblet",l"anleggspunkt"og"eventuelt"kunde,"arbeidsordre"eller"feilrapport.""Det"totale"historiske"volumet"i"DataNAV"gir"et"komple)"databilde"i"Hafslund"Ne),"og"er"en"sentral"database"for"analyse"kny)et",l"driU,"predik,v"analyse,"investeringsbeslutninger"infrastruktur"og"preven,vt"versus"reak,vt"vedlikehold"++""«Sensordata»"fra"700.000"målere"og"ne)stasjonsovervåking"er"sentral"i"denne"dimensjonen."
Analyselag"
83
DataNAV;"All"data",lgjengelig"fra"en"kilde,"koblet",l"en"logisk"anleggsstruktur"
og",d,""gir"en"enorm",lgang",l"rapportering"og"analyse:"
"Y Arbeidsordre"med"komponentnivå"kny)et",l"spesifikke"
anleggsobjekter"gir"muligheter"for"å"analysere"leve,d"og"finne"faktorer"som"påvirker"leve,d"(se)"sammen"
med"sensordata"fra"strømmålere,"ne)stasjonsovervåking"og"eventuelle"eksterne"kilder"
som"værdata)"
Y Data"kny)et",l"spenningskvalitet,"jordfeil"og"last"kan"vurderes"per"målepunkt,"per"ne)stasjon"eller"definert"
geografisk"område."Eksempelvis"som"stø)e"ved"investeringsbeslutninger."
Y Det"finnes"ingen"begrensinger"for"bruken"av"data,"nøkkelen"er"at"samtlige"data"arkiveres"e*"sted"kny)et",l"et"spesifikt"anleggsobjekt."Det"logiske"strukturen"i"anleggsne)et"kny)er"data"sammen"(eksempel;"for"å"håndtere"en"situasjon"eller"endring"i"ne)et"må"man"oppre)e"en"arbeidsordre"i"IFS."IFS"tvinger"brukeren",l"å"kny)e"arbeidsordre",l"et"spesifikt"anleggspunkt"fra"
Geonis)"
Arbeidsordre"på"komponentnivå"
Data"fra"sensorer,"last,"spenning"++"
Hendelser"
84
Data+fra+DataNAV+kan+
enkelt+presenteres+i+kartverk+da"all"
data"er"strukturert"e)er"våre"
standarder"og"er"kny)et",l"definerte"
anleggskomponenter"–"
uavhengig"av"hvilke"
prosessautonome"systemer"de"oppstår"i."DataNAVet"ivaretar"knytning."
Eksempler"basert"på"enkeltkart"fra"Geodata"og"Powell"Geonis"som"er",lgjengelig"for"Hafslund"Ne)"
670.000 x 4 x 24 =
64.320.000 daglige målinger
YAY! Need for american-scale technology
Yay! Need for
AMERICAN scale
technology!
Den første utfordringen er å samkjøre informasjon mellom systemene før målingene kan starte
Lag SQL for import av data, inn i “navet”, skrive “push receivers” mot API’er for skriving til systemer
Alle pilene er ”feeds”
til/fra Sesam
Slide source: Ståle Heitmann, Computas
Når du bør vurdere semantisk integrasjon
• Brukes gjerne når alt annet er forsøkt • Mange domener og/eller kilder til samme
informasjon • Hvis integrasjonsarbeidet involverer mye
datakonvertering • Hvis integrasjonsprosjektet eser ut • Som innsamlingsledd for Big Data /
Analytics.
For mer info..
• send mail til [email protected] • www.sesam.no • www.sdshare.org
Spørsmål?
• Anders Volle • Ståle Heitmann • Steinar Rudsar • Axel Borge • Øystein Isaksen • Graham Moore • Lars Marius Garshol • Steinar Rune Eriksen
Takk til...