Verifikacija rezultata ALADIN modela · “Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014. Verifikacija rezultata ALADIN modela Iris Odak Plenković,

“Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014.

Verifikacija rezultata ALADIN modela

Iris Odak Plenković, Mario Hrastinski, Kristian Horvath, Martina Tudor, Stjepan Ivatek-Šahdan, Antonio Stanešić, Alica Bajić, Tomislav Kovačić

Državni hidrometeorološki zavodSlužba za meteorološka istraživanja i razvoj operativnih prognostičkih modela


SADRŽAJ

1. Uvod

2. Operativna verifikacija

3. Razvojna verifikacija

a. Kontinuiranog prediktanda

b. Kategoričkog prediktanda

c. Probabilističkog prediktanda

4. Zaključak


UVOD

VERIFIKACIJA • Operativna – prati rad numeričkog modela ALADIN• Razvojna – analiza i poboljšanje rada ALADIN-a

MOTIVACIJA – Praćenje, analiza i razvoj numeričkog modela ALADIN

PODACI• ALADIN 8 km: 37 nivoa; 240 x 216 točaka mreže; 72-satna

prognoza, 3-satni izlaz; hidrostatski

• ALADIN 2 km: 37 nivoa; 450 x 450 točaka mreže; 24-satna prognoza; 1-satni izlaz; nehidrostatski

• DADA 2 km: 15 levels; 450 x 450 grid points; 72-satna prognoza; 3-satni izlaz; hidrostatski

CILJ – pokazati na primjerima postupak verifikacije kakav se koristi na DHMZ-u


OPERATIVNA VERIFIKACIJA- Prati rad numeričkog modela ALADIN



RMSEBIASSTD

mjerenja HARMONIE ver. pack.

VERAL ver. pack.



A8 - bias

A8 - std


Kvalitativno:• Dijagram raspršenja, vremenski niz, razdiobe• Razdiobe mjerene i modelirane brzine vjetra

0 2 4 6 8 10 12 14 16 18 200

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.50.5

wind speed (m/s)

PDF

Most Krk

wbl-measmeasAL8DA2AL2

0 2 4 6 8 10 12 140

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0.5

wind speed (m/s)

Slavonski Brod

RAZVOJNA VERIFIKACIJAVERIFIKACIJA KONTINUIRANOG PREDIKTANDA


-4-20246

RM

SE c

omp.

ALADIN 8 km forecast - 2010-2012.

-4-20246

RM

SE c

omp.

DADA 2 km forecast - 2010-2012.

-4-20246

RM

SE c

omp.


RAZVOJNA VERIFIKACIJA

• Kvantativno

RMSE: Generalna ocjena uspješnosti prognoze

Usporedba rezultata prognoze brzine vjetra:3 verzije modela za 16 različitih stanica usrednjeno za sva nastupna vremena

Dekompozicija:

BStd

PHE

BM

RMSE

BM2

BStd2

PHE2RMSE2

m/s

m/s

m/s

Bil

Gos

Gra

Jas

Kni

MK

rkM

Pag

Mak

Nov

Ogu

Osi

Š

ib Slb

Spl Var

Zag

postaje

VERIFIKACIJA KONTINUIRANOG PREDIKTANDA


Dekompozicija:

Poboljšanje rezultata u obalnom području

1. Prostorne sistematske pogreške se značajno smanjuju s 8 km (A8) na 2 km rezoluciji (D2, A2)

2. Fazna pogreška je dominantni izvor RMSE-ana 2 km

BStd

RMSE

m/s

m/s

m/s

Bil

Gos

Gra

Jas

Kni

MK

rkM

Pag

Mak

Nov

Ogu

Osi

Š

ib Slb

Spl Var

Zag

postaje

-4-20246

RM

SE c

omp.


-4-20246

RM

SE c

omp.

DADA 2 km forecast - 2010-2012.

-4-20246

RM

SE c

omp.


BStd

PHE

BM

RMSE

m/s

m/s

m/s



-6-4-20246

RM

SE c

omp.

ALADIN 8 km forecast - Most Krk

-6-4-20246

RM

SE c

omp.

DADA 2 km forecast - Most Krk

J F M A M J J A S O N D-6-4-20246

RM

SE c

omp.

ALADIN 2 km forecast - Most Krk

Dekompozicija za postaju u obalnom području po mjesecima:

Poboljšanje rezultata u zimskom razdoblju

BStd

PHE

BM

RMSE m/s

m/s

m/s



5 10 15 20 25-1

-0.5

0

0.5

1Bias

Nb. of AE members

5 10 15 20 251.4

1.5

1.6

1.7

1.8

RMSE

Nb. of AE members5 10 15 20 25

0.5

0.55

0.6

0.65

0.7

0.75RCC

Nb. of AE members

• upotreba u razvoju AE post-processing statističke metode za prognozu brzine vjetra (14 postaja, sva nastupna vremena):određivanje optimalnih parametara

A8

KF

AE2AE1



Spektralna analiza – kvalitativno:Usporedba po dijelovima spektra na raznim skalama

7 5 2 1 0.5 0.25 10

3

104

105

106

107

Period (days)

PSD

(Ws-1

)

Wind speed (Jasenice)

Missing data: 2.2 %

measAL8DA2AL2

7 5 2 1 0.5 0.25 10

3

104

105

106

107

Period (days)

Wind speed (Slavonski Brod)

Missing data: 2.5 %

measAL8DA2AL2


22-26h 22-26h

Diurnalnacirkulacija


Spektralna analiza: Kvantifikacija spektralne verifikacije (Jasenice)

PLTD/PTOT PDIU/PTOT PSUB/PTOT PTOT/PTOT(mj)

Mjerenja 0.778 0.045 0.177 1.000ALADIN 8 km 0.709 0.098 0.193 0.158DADA 2 km 0.847 0.036 0.117 0.654

ALADIN 2 km 0.815 0.039 0.146 1.105



1-SEEPS • Mjeri pogrešku prognoze (idealno 1)• Od modela najuspješniji A2 model

A8 A2 DA A8 A2 DA A8 A2 DA 0

0.1

0.2

0.3

0.4

0.5

Group 1

1-SE

EPS

0 A8 A2 DA A8 A2 DA A8 A2 DA 0

0.1

0.2

0.3

0.4

0.5

Group 2


0.1

0.2

0.3

0.4

0.5

Group 3

Brzina vjetra podijeljena je u 3 kategorije koje su određene 50. i 90. percentilom

AE1KFmodelAE1KFmodel AE1KFmodel

RAZVOJNA VERIFIKACIJAVERIFIKACIJA KATEGORIČKOG PREDIKTANDA

Razmatraju se 3 grupe postaja: obalne, na većoj nadmorskoj visini i kontinentalne


Indeks uspješnosti

(CSI; eng. Critical Success Index)

• mjera relativne točnosti

za svaku kategoriju

• Idealno 1

Obalne postaje:

• Velike brzine vjetra – najteže

za prognozirati

• Najbolji ukupni rezultat za A2

• Poboljšanje statističkim

prognoziranjem

0

0.2

0.4

0.6

0.8

1Category 1

CSI

0

0.2

0.4

0.6

0.8

1Category 2

A8 A2 DA A8 A2 DA A8 A2 DA0

0.2

0.4

0.6

0.8

1Category 3

CSI

AE1KFmodel

AE1KFmodelAE1KFmodel



Polihorički koeficijent korelacije (PCC)

• Mjeri asocijaciju u tablici kontingencije (idealno 1)

• AE1 statističko prognoziranje – poboljšava rezultat u sve tri grupe postaja

0 A8 A2 DA A8 A2 DA A8 A2 DA 0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Group 1

PCC


0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Group 2

A8 A2 DA A8 A2 DA A8 A2 DA A80

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Group 3

AE1KFmodelAE1KFmodel

AE1KFmodel



Učestalost pristranosti po kategorijama (Fbias; eng. Frequency Bias)

• idealno 1 – najbliži A2 model u sve 3 kategorije

0

0.5

1

1.5

Category 1

FBia

s

0

0.5

1

1.5

Category 2

A8 A2 DA A8 A2 DA A8 A2 DA0

0.5

1

1.5Category 3

FBia

s

AE1KFmodel

AE1KFmodel AE1KFmodel



Dijagram atributa:

• Kvalitativna

mjera

pouzdanosti

(idealno na

dijagonali)

• LR i AE1 su

pouzdane

probabilističke

prognoze

za sve 3

grupe postaja

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

Forecast probability

Forecast probability

AE1

LR

RAZVOJNA VERIFIKACIJAVERIFIKACIJA PROBABILISTIČKOG PREDIKTANDA


0 +12 +27 +42 +57 +720

0.02

0.04

0.06

0.08

0.1

UTC forecast time [h]

Gro

up1

Wind speed >5 m/s; 1.1.2012.-31.12.2012.

0 +12 +27 +42 +57 +720

0.1

0.2

0.3

0.4

0.5


Kvantitativna ocjena: Brierova mjera uspješnosti (BSS)

• Dekompozicija na više aspekata:

pouzdanost (rel), rezoluciju (res) i neizvjesnost (unc)

LR res

AE res

LR rel AE rel

AE BSS

LR BSS

unc



ROCSS

Mjera uspješnosti

temeljena na

osjetljivosti

0 +12 +27 +42 +57 +720.35

0.4

0.45

0.5

0.55

0.6

0.65

0.7

0.75

0.8

2012 (366 days verification period)


Gro

up 1

0 +12 +27 +42 +57 +72

0.4

0.5

0.6

0.7

0.8


Gro

up 2

0 +12 +27 +42 +57 +72

0.4

0.5

0.6

0.7

0.8

UTC forecast time [h]G

roup

3

LR

AE



Mjere disperzije ansambla:

• Dijagram disperzije

• Dijagram ranga


0 5 10 15 20 250.8

1

1.2

1.4

1.6

1.8

2

2.2

Lead time [h]G

roup

1

AE mean RMSESPRD

0 5 10 150

0.05

0.1

0.15

0.2

0.25

Ogulin - MRE=14.4475

Bin number

Rel

ativ

e fr

eque

ncy


ZAKLJUČAK

• Verifikacija je složen i sveobuhvatan postupak

• Nužno je provoditi rutinski, ali i u razvojne svrhe

• Na mnogo različitih načina govori nam o

numeričkom modelu koji se razmatra, pružajući

korisne informacije kako razvojnom timu, tako i

korisnicima

• Istaknute su prednosti ALADIN modela 2 km

horizontalne rezolucije, te statističkog prognoziranje


HVALA NA PAŽNJI!

p (o1)=0.297 p (o2)=0.703fi p (fi | o1) p (fi | o2)

0.0 0.152 0.3630.1 0.108 0.1820.2 0.084 0.107… … …1.0 0.044 0.010

DISKRIMINACIJSKI DIJAGRAM & ROC krivulja

H F0.8480.741

…0.044

0.6370.455

…0.010

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

False alarm rate

Hit

rate

ROC krivulja

Documents

Verifikacija rezultata ALADIN modela · “Primjena atmosferskih modela u zaštiti ljudi i okoliša”, Zagreb, 27. 11. 2014. Verifikacija rezultata ALADIN modela Iris Odak Plenković,