Brug af Big Data

i Den Digitale Energisektor

Professor Torben Bach Pedersen

Center for Data-intensive Systemer (Daisy)

Institut for Datalogi. Aalborg Universitet

tbp@cs.aau.dk

”arbejder med data”

Big Energy Data – hvorfor ?

• Samfundsudfordringer og løsninger

Global opvarmning og CO2 reduktioner

Energi forsyningssikkerhed – reducer energiindkøb udefra

Atomkraft risici og udfasning

• Løsning: mere energi fra vedvarende energi kilder (RES)

EU 20-20-20 mål,…

DK: 2020: 50% el fra RES, 2035: 100% el og varme fra RES,

2050: 100% RES i alle sektorer

• Effekt: fra fossil til electrisk energi

Elbiler og varmepumper: bruger hver årligt som en husstand

Det danske elforbrug (ikke energi) forventes tredoblet i 2050

Den Digitale Energisektor

Hvad er Big Energy Data?

• Volumen: masser af det, ”store” data

EU forbrug pr prosumer pr sec: 20+ billioner værdier/dag

Og gå så til kontakter/apparater og tilføj andre typer af data

• Velocitet: ”hurtige” data

Realtids læsninger fra smarte målere, sensorer,…

Så hurtigt det ikke er sket endnu: alt bliver (gen)forudsagt

• Varietet: komplekse data af forskellige typer

Forbrugsdata fra smarte målere, kontakter og apparater

Produktionsdata fra vind, sol, …

Fleksibilitetsdata – hvilket forbrug/produktion er (hvor) fleksibelt?

Priser, vejr, …

Den Digitale Energisektor

Digital Energisystem: Vision

• Hvad nu hvis?

Vi kender alt data om processer/sensorer i systemet (alt er IoT)

Vi kender alle apparater der bruger/producerer/lagrer energi

Vi kender apparaternes opførsel og den sammenhæng de bruges i

Vi kan forudsige hvordan alle (proces)tilstande udvikler sig

Vi kan forudsige apparaternes brug/produktion/lagring af energi

Vi kan forudsige energiforbrug og priser overalt i systemet

• Så kan vi optimere rigtig meget:

Automatisk styring af alle apparater …

Optimalt tidspunkt og mængde for brug af energi

Optimal omkostning for energi (ikke kun mængde)

Optimal konvertering af energi (el til/fra varme…)

Optimal lagring af energi (kun når nødvendigt)

Optimal handel med fleksibilitet (ikke kun energi)

Den Digitale Energisektor

Velocity+Volume: Fast (Energy) Data

• Sensor time series (smart meters, wind

turbines, …)

• Data often start in the future…

Long/medium/short term forecasts,

more accurate

• …make it to the present…

Actual sensor values

• …and into the past

Historical analysis/re-forecasting

Only difference btw. forecasted

and ”real” data is accuracy

• Idea

Use (better and better) models to

represent all data: historical+future

User-configurable error

Model adaption instead of loading

Wind turbine data: 5-100 times

smallerDen Digitale Energisektor

0

5

10

15

20

25

30

0 5 10 15 20

actual values

model

• Query past and future seamlessly with SQL

• Exact and approximate queries

Consumption for today and tomorrow with up to 5% error

• Hierarchical model index: Progressively lower error

• Seasonal, Trend, Error components, hints

• TimeTravel: PostgreSQL based prototype

• Up to 100 times smaller/faster

• ModelarDB: Big Data + streaming based on Spark SQL

• Open source based

TimeTravel and ModelarDB

Den Digitale Energisektor

Energi ”som vinden blæser”

• Svingende RES energi

Vind

Sol

Bølger/tidevand

• Vejrforhold m.m. afgør

energiproduktion

Den Digitale Energisektor

CRES

22

kWp

(Greece

)

Windpark

2410 kWp

(Greece)

For lidt eller for meget energi

Den Digitale Energisektor

2008 DK Vest tal

Nye DK for el fra vind, % of total

• 2015: 42%

• December 2014: 57,4%

• Stiger til 60% i 2025

• Fremtiden er her i dag !

Fleksibelt forbrug kan hjælpe

Den Digitale Energisektor

• (Op)vaskemaskiner,.. kan køre fleksibelt

• Elbiler kan blive (af-) ladet fleksibelt underparkering

• Varmepumperfleksible indenfortemperatur interval

• +industri,erhverv,..

• Op mod 80-85% af det fremtidige (tre-doblede) forbrug er fleksibelt!

Fleksibilitet i forbrug specificeres, med eksplicit fleksibilitet I

tid, volumen, pris

1. Jeg kommer hjem kl 22 og vil have min elbil ladet op billigst muligt inden kl 6.

2. Min intelligente energistyring laver et flex-offer (FO)

3. Baseret på forudsigelser af vejr og elpriser bestemmer min elhandler at Foet

skal starte kl. 3

4. Kl. 3 går elbilen i gang med at oplade – hvis den ikke har fået ny besked inden

kW

t

Flexibility interval

10pm

earliest starting time6 am

latest starting time

8 am

2h

Profile

Energi-fleksibilitet: Flex-Offers

Den Digitale Energisektor

Use Cases

• Balancering/peak reduction

• Mere grøn energi

Den Digitale Energisektor

Flex-offer Cycle

Demand Prediction

Flexibility

Modelling

Predictive

Analytics

(machine

learning)

Aggregation

Scheduling/

Balancing Disaggregation

Prescriptive

Analytics

(machine

learning

+optimization)

Execute

Den Digitale Energisektor

Device-level

Consumption

Supply

Energy Market (TSO, BRP, Aggregator)

Prosumer

Mod et ”bottom up” energisystem

• Energi vil blive

produceret ”fra

neden”

Micro-grids

Energifællesskaber

• Skal styres ”fra

neden” (flex-offers)

Den Digitale Energisektor

GOFLEX

• Mod 100% RES i distributionsnettet

• Bottom-up, lokalt energisystem

• Baseret på Flex-offers

• Horizon 2020

Budget 66 mio.

Rangeret no. 1

12 partnere

IBM Research

DSO Tyskland

DSO Schweiz

DSO Cypern

…

Den Digitale Energisektor

GOFLEX video

• http://goflex-

community.eu/PlayVideo.asp?Video=1505_BAUM_GOFL

EX_Final.mp4

Den Digitale Energisektor

What is Prescriptive Analytics?

Den Digitale Energisektor

Value/Intelligence

Difficulty

Descriptive Analytics

Predictive Analytics

Prescriptive Analytics

What happened?

What will happen?

How can we make it happen?

Foresight

Hindsight

Insight

Figure 1: Three stages of business analytics ("Gartner Inc.”, reproduced)

• Balancing demand and supply

An Example from Smart Energy

Den Digitale Energisektor

Step 1: Forecast RES

production

Step 2: Generate demand

Flex-Offers

Step 3: Optimize schedules

Simplified problem, the real

problem also involves time

flexibility

Traditional Solution

• Implementation based on RDBMS + R + Java solver

Den Digitale Energisektor

• Problems

Non-integrated specialized glued together in ad-hoc fashion

Labor-intensive, error-prone, inefficient

#!/bin/bash

export mirabelDbUrl="jdbc:postgresql://localhost/postgres";

export mirabelDbUsername="postgres";

export mirabelDbPassword="";

export mirabelRoot="`pwd`";

export CLASSPATH="$CLASSPATH:.:../FlexOffers/Implementation/SDB-

scheduling-experiments/target/sdb-scheduling-experiments-0.9.9-

SNAPSHOT.jar:../FlexOffers/Implementation/SDB-scheduling-

experiments/target/dependency/*“

# Run forecasting

(time Rscript ergv_forecast.R) &> output_fc_r.txt

# Check for the forecasting error

fcerror=`psql -d postgres -c "SELECT * FROM forecast_error"

-Ptuples_only`

echo "Forecasting error (MAPE): " $fcerror

# Run scheduling

(time java -Xmx1000m -Xss10m

org.mirabel.aggregation.experiments.AggSchExperiment) &>

output_sch_c.txt

# Check for imbalance

schImb=`psql -d postgres -c "SELECT * FROM scheduling_imbalances;"

-Ptuples_only`

echo "Scheduling remaining imbalance (kWh): " $schImb

Bash script (12 lines)

Postgre- SQL

Forecasting program in R

(53 lines)

Scheduling programin Java

(116 lines)

R (lm) Java solver (3394 lines)

1

4 3/5/7/9 8

2 6

SolveDB Solution

• SolveDB (PostgreSQL + solvers)

Integrates RDBMS and LP/MIP, BB, and specialized solvers

Uses SQL extension for problems

Lines of code: 3571 versus 237

10-100 times less code for most cases

I/O time: 7.3 versus 0.8 secs

up to 100 times faster I/O for other cases

Ongoing: Big Data based on Spark SQL, integrate prediction

Den Digitale Energisektor

Solve query (8 lines)

Forecasting composite solver FO

(113 lines)

Scheduling composite solver FS

(118 lines)

LP atomic solver (LP/MIP)

BB atomic solver (black-box)

SolveDB

1

23

4/6 5

SOLVESELECT sch IN (SELECT fo, NULL::schedule AS sch

FROM flexobject) AS t

SUBJECTTO (SELECT is_instanceof(sch, fo) FROM t),

(SOLVESELECT load IN (SELECT time, load

FROM hist_load) AS s

SUBJECTTO (SELECT time, temp

FROM temp_data)

WITH solverFO)

WITH solverFS(rndseed:=12345, sn:=3176)

Specifies

forecastingSpecifies

scheduling

Big Data i Digitalt Energisystem

• Volumen+Velocitet

Gemme og spørge på ”store” og ”hurtige” energi data

Både fortid, nutid, og fremtid

TimeTravel og ModelarDB: 10-100 gange mindre og hurtigere

• Varietet

Nyt energisystem ”født nedefra”

Vi skal kunne forudsige og optimere på data

Predictive og prescriptive analytics (bruger machine learning/AI)

SolveDB: integrer database, forudsigelse og optimering

10-100 gange hurtigere og mindre kode

Håndter specielle energidata som fleksibilitet

Flex-offers: fleksibelt forbrug

Big Data teknologi til smart energi, mere kraftfuld og effektiv

Mere grøn energi, besparelser i penge og CO2

Den Digitale Energisektor

Referencer

• http://people.cs.aau.dk/~tbp

• http://www.totalflex.dk

• http://www.arrowhead.eu

• http://www.dicyps.dk

• http://goflex-project.eu

• http://www.flexshape.dk

Den Digitale Energisektor