Informationsdag for markedsaktører

Informationsmøde DataHub december 2011Informationsmøde DataHub december 2011

Informationsdag for markedsaktører


Dagsorden

• 09.30 – 09.35: Velkomst og overordnet information om DataHub-projektet v/Morten Braae Nielsen

• 09.35 – 09.45: Resultater fra spørgeskemaundersøgelse v/Bjarne Østergaard Olsen

• 09.45 – 10.00: Forskrifter - Processen fra pseudo- til endelige forskrifter v/Louise Rønne Christensen

• 10.00 – 10.25: Webservices grænseflader og beskedformater v/Fedder Skovgaard

• 10.25 – 10.45: System- og aktørtest v/Jens Otto Sørensen

• 10.45 – 11.00: Pause

• 11.00 – 12.00: Datamigrering og kundeportal v/Jens Grundtvig

• 12.00 – 13.00: Frokost


DataHub-delprojektet

Aktørtestsystem-delprojektet

1. oktober 2012

1. december 2010

DesignDesign

1. marts2012

ImplementeringImplementering

ImplementeringImplementering

1. oktober2011

Aktørtest

Migrering Migr. appl. livePrøvemigr. Datakval.

Migrering

System / Aktør test

”End-to-End” Test”End-to-End” Test

1. juni2012

”End-to-End” Test”End-to-End” Test

Pilot

Migr.

1. september 2012

1. august2012

1. april2012

1. februar2012

Implementering /Forberedelser




2. Statusrapportering - Revideret tidsplan

DesignDesign


2. Statusrapportering - Risikoanalyse

5

Overskridelse af tidsplanen i

leverancen af DataHub'en og testsystemet

4Migrerings-processen

Tidsplan - at alle aktører bliver klar til

tiden

3

2

Godkendelses-procedurer hos myndighederne

(ENT)

1

1 2 3 4 5 6

Sandsynlighed

Konsekvens


Informationsdag for markedsaktørerResultater fra spørgeskemaundersøgelse

Bjarne Østergaard Olsen


Aktør status

• Etablering af DataHub Support

• Status for aktører

• Netvirksomheder

• Elleverandører


DataHub Support

Sisse Guldager Larsen

Susanne Gandø

Vi er ved at etablere os, men ring bare og spørg løs

Telefon: 7022 2810

E-mail: [email protected]

Input og forventninger til DataHub Support modtages meget gerne!

Vi opfordrer jer derfor til at besvare de uddelte postkort.

På forhånd tak.


DataHub – Måling af Aktørstatus

• Energinet.dk udsender hver måned et spørgeskema til samtlige aktører på elmarkedet.

• Netvirksomheder

• Elleverandører

• Hver måned har en række fokusområder, der hænger sammen med faserne i tidsplanen

• Hvert fokusområde afdækkes med et antal spørgsmål 2 - 5 stk. afhængig af i hvilken måned der måles


Fokusområder

Måned Fokusområde 1 Fokusområde 2 Fokusområde 3

Oktober - 2011 Projektstart Datavask Forretningsproccesser (IT-leverandør)

November - 2011 Datavask It-systemudvikling

December - 2011 It-systemudvikling Dataudtræk

Januar - 2012 Testmigrering It-systemudvikling

Februar - 2012 Testmigrering Systemtest

Marts - 2012 Testmigrering (milepæl) Systemtest

April - 2012 Systemtest Aktørtest

Maj - 2012 Datamigrering Plan for opstartsaktiviteterAktørtest

Juni - 2012 Datamigrering (milepæl) Aktørtest Datavalidering

Juli - 2012 Ferie

August - 2012 Datamigrering (milepæl) Aktørtest Datavalidering

September - 2012 Implementering kundeportal

Generalprøve Datavalidering


Statusmåling – samlet resultat vises på www.energinet.dk/datahub

• På projektets hjemmeside vises aktørernes samlede fremdrift vha. lagkagediagrammer

• Der vises for hver måned:

• et samlet resultat for aktørerne opdelt på netvirksomheder og elleverandører

• et samlet resultat for de aktuelle fokusområder pr. aktørtype

• Det samlede resultat og hver enkelt fokusområde indikeres med grøn, gul eller rød farve

• Tre tilsvarende statusmails sendes til aktørerne


Principper for farveindikering i oktober

Fokusområde Udvalgte spørgsmål Svar Farve fokusområde

Projektstart Har I etableret et projekt til håndtering af den fulde implementering af DataHub?

Nej til spørgsmålet

Hvis ja til spørgsmål 1 og mindst et af de to andre spørgsmål

Rød*

Grøn Har I afstemt den interne projektplan med jeres IT-leverandør (evt. i samarbejde med andre aktører)?Har I afsat interne ressourcer til jeres DataHub-projekt?

Forretningsprocesser - it

Har I gennemgået de nye/ændrede forretningsprocesser med jeres IT-leverandør(er)?

Nej Rød

Ja Grøn

Datavask Hvad er status for jeres datavask? Ikke påbegyndt Rød

Påbegyndt

Gennemført

Grøn


Principper for farveindikering i november

Fokusområde Udvalgte spørgsmål Svar Farve fokusområde

Projektstart Har I etableret et projekt til håndtering af den fulde implementering af DataHub?

Nej til et af spørgsmålene

Rød*

Har I afstemt den interne projektplan med jeres IT-leverandør (evt. i samarbejde med andre aktører)?

Har I afsat interne ressourcer til jeres DataHub-projekt?

Forretnings-processer - it

Har I gennemgået de nye/ændrede forretningsprocesser med jeres IT-leverandør(er)?

Nej Rød

Ja Grøn

Datavask Hvad er status for jeres datavask? Ikke påbegyndt Rød

Påbegyndt GulGennemført Grøn

IT-system-udvikling

Har I indgået skriftlig aftale med IT-leverandør(er) om it-system(er), der kommer til at opfylde de nye markedskrav?

En gennemsnitsbetragtning. Hvis der svares nej til to af spørgsmålene: Rød

Hvis der svares ja til to af spørgsmålene: GrønHar I gennemgået/afklaret kravspecifikationen for den

kommende it-løsning med jeres IT-leverandør?Har jeres IT-leverandør identificeret de fremtidige meddelelser (RSM'erne)?


November status


November status, Netvirksomheder


November status, Elleverandører



Forskrifter - Processen fra pseudo- til endelige forskrifter

Louise Rønne Christensen


Høringsprocessen

• De opdaterede markedsforskrifter sendt i høring d. 27. oktober

• Forskrift C1

• Forskrift D1

• Forskrift F1

• Forskrift H1

• Forskrift H2

• Forskrift I

• Frist for høringssvar d. 7. december

• Resulterer i høringsnotat med høringssvar og begrundelser fra Energinet.dk


Metodegodkendelse

• Hvad er en metode?

• Proces for metodegodkendelse

Metodenota

t

Gennemgang a

f

Energiti

lsynets

sekr

etaria

t

Godkendelse

af

Tilsyn

et

Endelige forskrifter


Metodegodkendelsesnotat

Indhold:

• Metodevalg

• Kommentarer ifm. høring

• Baggrund for metodevalg




Webservices grænseflader og beskedformater

Fedder Skovgaard

Informationsmøde DataHub december 2011 22

Introduktion

• Designfilosofi

• Webservice - API

• Gennemgang eksempel på forretningsdokument


Designfilosofi


Webservice API – Message loop

• MessageID SendMessage(XMLDocument)

• XMLDocument PeekMessage()

• void DequeueMessage(MessageID)

DataHub

Intern Processering

5:Aflevering til Kø

2: Aflevering til Kø

6: PeekMessage / DequeueMessage

3: PeekMessage / DequeueMessage

4: SendMessage

Aktør 1

Aktør 2

1: SendMessage


SendMessage parametre


PeekMessage parametre


DequeueMessage parametre

Informationsmøde DataHub december 2011

SendMessage – XML Payload

<?xml version="1.0" encoding="utf-8"?><soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/"> <soapenv:Header/> <soapenv:Body> <urn:SendMessageRequest xmlns:urn="urn:www:datahub:dk:b2b:v01"> <urn:MessageContainer> <urn:MessageReference>MsgRef001</urn:MessageReference> <urn:DocumentType>RequestChangeOfSupplier</urn:DocumentType> <urn:MessageType>XML</urn:MessageType> <urn:Payload> <DK_RequestChangeOfSupplier xmlns= "un:unece:260:data:EEM-DK_RequestChangeOfSupplier"> <snip/> </DK_RequestChangeOfSupplier> </urn:Payload> </urn:MessageContainer> </urn:SendMessageRequest> </soapenv:Body></soapenv:Envelope>

28


SendMessage – EDIFACT Payload

<?xml version="1.0" encoding="utf-8"?><soapenv:Envelope xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/"> <soapenv:Header/> <soapenv:Body> <urn:SendMessageRequest xmlns:urn="urn:www:datahub:dk:b2b:v01"> <urn:MessageContainer> <urn:MessageReference>MsgRef001</urn:MessageReference> <urn:DocumentType>RequestChangeOfSupplier</urn:DocumentType> <urn:MessageType>EDIFACT</urn:MessageType> <urn:Payload> <urn:CData><![CDATA[UNA:+.?'UNB+<UNOW:3+>57…+1+UNIKT032']]> </urn:CData> </urn:Payload> </urn:MessageContainer> </urn:SendMessageRequest> </soapenv:Body></soapenv:Envelope>

29


<DK_RequestChangeOfSupplier xmlns="un:unece:260:data:EEM-DK_RequestChangeOfSupplier" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="un:unece:260:data:EEM-DK_RequestChangeOfSupplier ..\Schemas\document\DK_RequestChangeOfSupplier\ebIX_DK_RequestChangeOfSupplier_0p9p3.xsd"> <HeaderEnergyDocument> <Identification>MES001</Identification>  <DocumentType>392</DocumentType>  <Creation>2011-10-01T12:00:00Z</Creation>  <SenderEnergyParty> <Identification schemeAgencyIdentifier="9">5799999933318</Identification>  <Role>DDQ</Role>  </SenderEnergyParty> <RecipientEnergyParty> <Identification schemeAgencyIdentifier="9">5799999911118</Identification>  <Role>DDZ</Role>  </RecipientEnergyParty> </HeaderEnergyDocument> <ProcessEnergyContext> <EnergyBusinessProcess listAgencyIdentifier="260">E03</EnergyBusinessProcess>  <EnergyIndustryClassification>23</EnergyIndustryClassification>  </ProcessEnergyContext> <PayloadMPEvent> <Identification>TrID01</Identification>  <StartOfOccurrence>2011-11-30T23:00:00Z</StartOfOccurrence>  <MeteringPointDomainLocation> <Identification schemeAgencyIdentifier="9">57131319998888819</Identification>  </MeteringPointDomainLocation> <BalanceSupplierEnergyParty> <Identification schemeAgencyIdentifier="9">5799999933318</Identification>  </BalanceSupplierEnergyParty> <BalanceResponsiblePartyEnergyParty> <Identification schemeAgencyIdentifier="9">5799999922213</Identification>  </BalanceResponsiblePartyEnergyParty> </PayloadMPEvent></DK_RequestChangeOfSupplier>

SendMessage – XML Payload

30


<urn:CData><![CDATA[UNA:+.? 'UNB+UNOW:3+5799999933318:14+5799999911118:14+111001:1400+UNIKT001'UNH+1+UTILMD:D:09B:UN:E5DK03'BGM+392+MES001'DTM+137:201110011200:203'DTM+735:?+0000:406'MKS+23+E01::260'NAD+MS+5799999933318::9'ATT+25+DDQ’NAD+MR+5799999911118::9'ATT+25+DDZ’IDE+24+TrID01'DTM+92:201111302300:203'STS+7++E03::260'LOC+172+571313199988888819::9'NAD+DDQ+5799999933318::9'NAD+DDK+5799999922213::9'UNT+16+1'UNZ+1+UNIKT001‘]]></urn:CData>

SendMessage – EDIFACT Payload

31

<DK_RequestChangeOfSupplier xmlns="un:unece:260:data:EEM-DK_RequestChangeOfSupplier" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="un:unece:260:data:EEM-DK_RequestChangeOfSupplier> <HeaderEnergyDocument> <Identification>MES001</Identification> <DocumentType>392</DocumentType> <Creation>2011-10-01T12:00:00Z</Creation> <SenderEnergyParty> <Identification schemeAgencyIdentifier="9">5799999933318</Identification> <Role>DDQ</Role> </SenderEnergyParty> <RecipientEnergyParty> <Identification schemeAgencyIdentifier="9">5799999911118</Identification> <Role>DDZ</Role> </RecipientEnergyParty> </HeaderEnergyDocument> <ProcessEnergyContext> <EnergyBusinessProcess listAgencyIdentifier="260">E03</EnergyBusinessProcess> <EnergyIndustryClassification>23</EnergyIndustryClassification> </ProcessEnergyContext> <PayloadMPEvent> <Identification>TrID01</Identification> <StartOfOccurrence>2011-11-30T23:00:00Z</StartOfOccurrence> <MeteringPointDomainLocation> <Identification schemeAgencyIdentifier="9">57131319998888819</Identification> </MeteringPointDomainLocation> <BalanceSupplierEnergyParty> <Identification schemeAgencyIdentifier="9">5799999933318</Identification> </BalanceSupplierEnergyParty> <BalanceResponsiblePartyEnergyParty> <Identification schemeAgencyIdentifier="9">5799999922213</Identification> </BalanceResponsiblePartyEnergyParty> </PayloadMPEvent></DK_RequestChangeOfSupplier>


Logisk klassediagram fra EDI guidenHeader

+MessageIdentification:Identifier+DocumentType:DocumentNameCode +Creation:DateTime+EnergyBusinessProcess:BusinessReasonCode+EnergyIndustryClassification:SectorAreaIdentificationCode+SenderIdentification+SenderRole:BusinessRoleCode=DDQ+RecipientIdentification+RecipientRole:BusinessRoleCode=DDZ

DocumentNameCode <<Enumeration>>

392=Request change of supplier

SectorAreaIdentificationCode<<Enumeration>>

23=Electricity supply industry

BusinessReasonCode<<Enumeration>>

D07=Rollback Change-of-supplierE03=Change of balance supplierE65=Customer move-in

BusinessRoleCode<<Enumeration>>

DDQ=Balance power supplierDDZ=Metering Point Administrator

Metering Point+TransactionIdentification:Identifier+StartOfOccurrence:DateTime+MeteringPointIdentification+BalanceSupplier+BalanceResponsiblePartyIdentification+FirstConsumerPartyName[0..1]

Address+StreetName:SimpleTextType+StreetCode:SimpleTextType+BuildingNumber:SimpleTextType+FloorIdentification:SimpleTextType+RoomIdentification:SimpleTextType+PostOfficeBox:SimpleTextType+CitySubDivisionName:SimpleTextType+Postcode:SimpleTextType+CityName:SimpleTextType+MunicipalityCode:SimpleTextType+CountryName:SimpleTextType

1..*

0..1ConsumerParty

}{ BusinessRoleCode must be DDQ with a 392 DocumentNameCode

}{ Address only used for Business Process E65, customer move-in

}{ FirstConsumerPartyName only used for Business Process E65, customer move-in


Schema – Header/EnergyDocument

33


Schema – Process/EnergyContext

34


Schema – Payload/*

35


Schema – Payload/ConsumerParty

36


Yderligere oplysninger

37


Nu er det tid til…

38



System- og aktørtest

Jens Otto Sørensen


• System- og Aktørtestsystemet (eller blot Aktørtestsystemet) er et it-system, der kan teste de EDI-meddelelser, der skal sendes til DataHub (XML eller EDIFACT)

• Systemet udvikles af Logica og Energinet.dk som en del af DataHub projektet

• Formålet er at sikre, at

– Markedet korrekt kan sende beskeder (EDI) til DataHub

– Aktørerne korrekt kan modtage beskeder afsendt fra DataHub

Formål med System- og Aktørtestsystemet

Hvad er System- og Aktørtestsystemet?


Testomfang

• It-leverandørerne skal testes grundigt i alle roller

o NV

Evt. MDO

o BA

o Elleverandør

• Der er 132 testcases alt i alt til systemtesten

• Aktørerne skal benytte et godkendt system og skal derfor kun ”konfigurations-testes”


Generelt om Aktørtestsystemet

• Aktørtestsystemet bliver en del af af DataHub

o Man slår op på samme URL

o Man logger ind via samme skærmbillede

o Man bliver oprettet som organisation samme sted

o Aktørtestsystemet er et valg i en menuDataHub

MarketPortal

STS

System Monitoring

CCR IS-Change Data Migration


Eksempel på skærmbillede (meget tidlig udviklingsversion)

• SectorTestSystem er det engelske navn for Aktørtestsystemet

43


Status per december 2011

• Funktionelle designdokumenter er udarbejdet og godkendto Herunder skitser til skærmbilleder

• Logica udvikler applikationen i tre inkrementer og det skærmbillede der blev vist tidligere er fra inkrement 1.

• Inkrement 2 er færdigt, men ikke leveret ud fra udviklingsmiljøet.

• Inkrement 3 følger lige efter. De udvikles parallelt.

• ENDK arbejder med detaljerede beskriver af testcaseso Herunder valideringer

• Logica har vist ”Walking Skeleton” af applikationen


Kommende aktiviteter

• Udvikling fortsætter hos Logica

• Delsystem afleveres til ENDK til konfigurering af testcases medio december

• Brugervejledning til it-leverandører og aktørerneo Sigter på januar 2012

• It-leverandørne vil blive tilbudt et kursus i brugen af Aktørtestsystemeto Forventer ikke at aktørerne har samme behov. Forventer de kan

klare sig med brugervejledningeno Sigter på februar



Datamigrering og kundeportal

Jens Grundtvig


Datamigrering og Kundeportal

1. Migrering – hvad er det nu det er?

2. Tidsplan for Migreringsopgave

3. Migreringsproces

4. Demonstration af Migreringssystem

5. Hvad sker der nu?

6. Status for Kundeportal


Hvad skal migreres?

• Stamdata for alle målepunkter fra 2011-10-01

• aktuel disponent

• leverandørskifte og flytning

• Måledata fra 2011-10-01

• timemålinger - a.h.t. forespørgsel ved tilbudsgivning

• skabelonafregnede målepunkter – a.h.t. saldoafregningen

• timemålinger fra skabelonafregnede målepunkter migreres ikke

2011Jan Feb Mar Apr Maj Jun Jul Aug Sep Okt Nov Dec

Måledata fra 2011-10-01

Månedsaflæst:

Kvartalsaflæst:

Årsaflæst Apr:

Årsaflæst Dec:

Årsaflæst Sep:

2010Jul Aug Sep Okt Nov Dec

2012Jan Feb Mar Apr Maj Jun Jul Aug Sep Okt Nov Dec

Data migreres ikke

Data skal migreres


DataMigrering

• Netvirksomheder

• Migrerer stamdata for alle forbrugs- og udvekslingsmålepunkter

• Migrerer målinger for alle målepunkter - fra 2011-10-01

• Energinet.dk

• Migrerer stamdata for alle produktionsmålepunkter

• Migrerer målinger for alle målepunkter - fra 2011-10-01

• Elleverandører

• Kontrollerer leverandørforhold på migrerede målepunkter

• Afklarer evt. uoverensstemmelser med netvirksomheder

Migreringssystem

Net

ENDK

Elleverandør


Migreringssystem

• Selvstændigt system

• Adgang med almindelig internetbrowser

• Simpel brugerinterface – få, simple funktioner

• ”Selvbetjeningssystem”

• Data indlæses i læsbare filer (stamdata, måledata)

• Fokus på funktionalitet - frem for performance og brugervenlighed

• Specifikke brugernavne til migreringssystemet


2012Jan Feb Mar Apr Maj Jun Jul Aug Sep Okt

2011Okt Nov Dec

Testmigrering Driftsmigrering Flyt

Migrerings-system

Net

KonfigureringBrugeroprettels

e

Migreringssystemnulstilles

Migrerings-system

Net

Migrerings-system

DataHubsystem

1.april 2012 1.-7. juni 2012

15.-30. sept 2012

1.-14. sept 2012DataHub nulstilles

DataHubsystem

Migrerings-system

Net

2011-11-15ENDK:

Konfig. ok

2012-02-15Net:

Indlæst filer med succes

2012-03-15Net:

40% stamdata25% måledata

Ellev.: dannet rapport

til kontrol

2012-06-01Net:


2012-07-01Ellev.:

kontrolleretegne MP

2012-08-01Net:


15. nov. 2011

DataHub End-to-End

2012-10-01Go-Live

DataHub Drift

Tidsplan for migrering – 2011-11-15

2012-01-01It-lev: Test ok

It-lev. Konf

Ellev.

Ellev.

21.novIt-leverandørertester

1.jan 2012Start testmigrering

2012-04-01 2012-05-01

Net: 80% stamdata50% måledata


Migreringsproces

Udtræk 3 filer

ftpftp server

Failures_File_Import_00001_052.csv(DM-1xx fejl)

Import- filformat- feltformater- tvungne felter- checksum

Validate- tilladte værdier- sammenhænge

Failures_Validation_Stage_00001_052.csv(DM-2xx og VAL-xxx fejl)

Detail_Run_00001_052.pdf

Reporting

Net

Database

Ok?

Data ok?

Nej

Nej

Ja

Ja

1

2

3


Migreringsværktøjer

FTP – f.eks. FileZilla

Migreringssystem (browser)

Rapporteringssystem (browser)


UTF-8 tegnsæt

• Erfaring: Vær opmærksom på UTF-8!

• Det er det ”indlæsende” program der skal konvertere…


Demonstration

• Indlæs 3x1 korrekte filer (ALL, MASTER, METER) – se rapportering

• Indlæs DELETE-fil

• Indlæs filer med fejl – se rapportering

• Slet alt

• Indlæs 1x3 filer korrekte filer (ALL, MASTER, METER)


Performancemålinger

Antal linjer TidALL_CONNECTION 1.120 01:40

MASTERDATA 1.120 02:10

METERDATA 458.000 08:04

METERDATA 458.000 12:12METERDATA 458.000 11:45


Rapporter

• Kørselsstatus – dannes efter hver kørsel:

• ”Details migration run report”

• overblik over antal ok/fejl (pdf)

• ”Failures detail report file import”

• csv-fil, én linje pr. fejl – checksum, krævede felter (DM-1xx)

• ”Failures detail report validation stage”

• csv-fil, én linje pr. fejl – afhængige felter (DM-2xx)

• ”Master data report” – stamdatafil

• ”Report on missing meter data” –”huller” i kvarters- og timemålinger


Rapporter der kommer

• ”Report on missing meter data for contract changes”

• manglende aflæsninger for skabelonafregnede målepunkter

• ”Investigation MeteringPoint”

• oversigtsliste over målepunkter med migreringsoplysninger (hvem, hvornår)

• ”Investigation MasterData”

• alle detaljer for målepunkt inklusiv migreringsoplysninger

• ”Investigation MeterData”

• csv rapport med måledata for max. 5 målepunkter


Hvad sker der nu?

• Primo januar 2012 udsendes:

• Brugervejledning

• Brugernavn – pr. mail

• Password – pr. brevpost


Lorem ipsum dolor sit amet, consectetuer adipiscing elit, sed diam nonummy nibh euismod tincidunt ut laoreetdolore magna aliquam erat volutpat. Ut wisi enim ad minim veniam

Nyheder

Service og drift

Engrosmarked

Detailmarked

Driften af elsystemet

Systemydelser for el

Værker

Vindmøller

Mikro VE

Forskrifter

Se eget forbrug

Udvikling af elsystemet

Hvis strømmen svigter

DataHub

Selvbetjening

Bliv kunde Energi Distribution Installationer Nyheder Om Mit Elselskab Kundeservice

Login

Hjælp

Søg

Mit Mit NetselskabNetselskab

Se eget forbrug

Forside MålerdataMit overblik

Målere

Adresse Aftagenummer Netvirksomhed Elleverandør

Jægergårdsgade 122… Nordjysk8000 Aarhus C 57071500000008866 EnergiMidt Elhandel

Logget ind som Jens HansenForside > Mit overblik

Søg måler Søg

Tonne Kjærsvej 65B…7000 Fredericia 12156784541564664 DONG DONG

?? ? ?


Spørgsmål ??

Documents

Informationsdag for markedsaktører