AZ ELŐREJELZÉSEK BEVÁLÁSA, AZ ELŐREJELZÉSEK BEVÁLÁSA, SZINOPTIKUSSZINOPTIKUS--KLIMATOLÓGIAI KLIMATOLÓGIAI

VIZSGÁLATOKVIZSGÁLATOK

Hirsch Tamás

Előrejelzési és Éghajlati Főosztály, Időjárás Előrejelző Osztály

Országos Meteorológiai Szolgálat

34. Meteorológiai Tudományos Napok 2008. november 20-21.

� Előrejelzések beválása – Szinoptikus-klimatológia

� Verifikáció haszna, jelentősége

� Verifikáció fajtái, eszközei

� IEO operatív verifikációs rendszere

� Egyéb verifikációs tevékenység az OMSZ-ban

� Szinoptikus-klimatológia: múlt és jelen

� Összefoglalás

Az előadás vázlata

Előrejelzések beválásának meghatározása

� Időjárás előrejelzés (nyers numerikus modell output, utófeldolgozott modell

output ill. szinoptikus előrejelzése) minőségének ellenőrzése ⇒⇒⇒⇒ verifikáció

� Verifikáció: Előrejelzett ⇔⇔⇔⇔ Tényleges (???) megfigyelések, mérések

pontossága, reprezentativitás…

Előrejelzések beválása – Szinoptikus klimatológia

Szinoptikus-klimatológia

� Szinoptikus skálájú folyamatok hosszabb időszakra vonatkozó, jelentős számú esetet feldolgozó elemzése

� A szerzett ismereteket a közvetlen modell outputokkal kombinálvajelentős mértékben javítható a modellek által nehezebben prognosztizált időjárási helyzetek előrejelzése (extrém helyzetek, parametrizációs hibák, stb.)

Rövid és középtávú időjárás előrejelzések beválásának növelése

� Előrejelzések gyakorlati felhasználhatóságának meghatározása

átlagos beválás mértéke, jó-rossz beválások gyakorisága, előrejelezhetőségjelenlegi határai, stb.

⇒ Milyen célra milyen előrejelzések készíthetők különböző időtávokra ?

Verifikáció haszna, jelentősége

� Előrejelzési módszerek fejlesztési irányának kijelölése

alacsony beválású időjárási helyzetek, problémás meteorológiai folyamatok felderítésével

analízishoriz. & vertik. felbontás fizikai parametrizációk

Numerikus modellek

Kalman-filterMOSPerfekt Prog.

Utófeldolgozás

Numer. előrej. interpretációjaÚj előrejelzési produktumokSzinop-klimat vizsgálatok

Szinoptikus módszerek

FEJLESZTÉS

Verifikáció haszna, jelentősége

� A verifikációs eredmények rendszeres, azonnali felhasználása

⇒ Azonnali visszacsatolás az operatív előrejelzők számára

⇒ Aktuális teljesítmény és esetleges modell problémák (elmúlt napokra jellemző)

⇒ Hozzájárul az operatív előrejelzői munka állandó javításához

� Korábbi fejlesztések hatásának kimutatása

⇒ alacsony beválású helyzetek előrejelzése javult-e

⇒ trendek meghatározása és követése

⇒ esetleges újabb problémák felderítése

Verifikáció fajtái, módszerei

� Előrejelzés típusa

közvetlen/utófeldolgozott numerikus modell output ⇔⇔⇔⇔ szinoptikus előrejelzése

magaslégköri mezők (pl. AT500, T500)⇔⇔⇔⇔ felszíni paraméterek (pl. T2m, szél10m)

� Tényleges érték („a légkör valósnak tekintett állapota”)

synop mérések, megfigyelések, sűrű állomáshálózat (pl. csapadékmérő)

radar- és műholdas mérések, modell analízis

� Előrejelzési időtáv

ultrarövidtáv, rövidtáv, középtáv, havi és szezonális előrejelzések

� Térskála

pontbeli ⇔⇔⇔⇔ területi (rácsdoboz, országrész, vízgyűjtő stb.)

modellek: mérések felskálázása rácsdoboz szintre ⇒⇒⇒⇒ reprezentativitás

� Objektív ⇔⇔⇔⇔ Szubjektív verifikációObjektív: pontos matematikai módszerekkel meghatározott mérőszámok

Szubjektív: „szemmel” történik, jelentősen pontatlanabb, de:

sokkal összetettebb lehet (több szempont együttes figyelembe vételével)

bizonyos esetekben kiszűrheti az objektív verifikáció hibáit is!

Verifikáció fajtái, módszerei

� Verifikálandó adatbázis felbontása (jellegzetes eltérések felderítésére)

Időben: évek, évszakok, hónapok, hetek, stb.

Térben: területek, országrészek, vízgyűjtők

Időlépcső szerinti felbontás

� Referenciához hasonlítás (előrejelzés mennyivel jobb ennél)

klíma (modell klíma), perzisztencia (előző időszak), véletlen előrejelzés

gazdasági haszon meghatározása

Objektív verifikáció

� Folytonos változók (pl. T, szélsebesség, csap.összeg)

ME – átlagos hiba SSME

MAE – átlagos abszolút hiba SSMEA

MSE – átlagos négyzetes hiba SSMSE

RMSE – átlagos négyzetes hiba négyzetgyöke SSRMSE

+ referencia = skill score

� Kategórikus események(pl. fagy / köd / viharos szél lesz ⇔⇔⇔⇔ nem lesz, csapadékkategóriák, stb.)

2 kategória: 2 x 2-es kontingencia táblázat előrejelzett – megfigyelt pároktöbb kategória: n x n-es kontingencia táblázat kategóriánként (II,IN,NI,NN)

FBI – Frequency Bias Index TS – Threat Score

PC – Proportion correct ETS – Equitable Threat Score

POD – Prob. of Detection TSS – True Skill Statistics

FAR – False Alarm Ratio ORSS – Odds Ratio Skill Score

+ …

Objektív verifikáció

FONTOS!!!

Az egyes verifikációs mérőszámok az előrejelzés beválását csak egy adott szemszögből jellemzik, így önmagában egyik sem elegendő.

Pontos következtetések levonásához minél több objektív mutató kiszámítására és együttes kiértékelésére van szükség.

� Valószínűségi előrejelzések(szubjektív vagy statisztikai utófeldolgozáson alapuló vagy dinamikus (EPS) )

Reliability diagram megfigyelt relatív gyakoriság(megbízhatósági diagram) ⇔⇔⇔⇔ előrejelzett valószínűség

BS – Brier Score (~MSE) ROC – Relative Operating Characterics

BSS – Brier Skill Score ROCA – ROC görbe alatti területi

RPS – Ranked Prob. Score ROC_SS – ROC skill score

Objektív ⇔⇔⇔⇔ Szubjektív verifikáció

Tényleges

Előrejelzés I Előrejelzés II

Hiba I Hiba II

––+

MAE

3,5 mm > 2,1 mm

RMSE

7,2 mm > 5,2 mm

„Dupla büntetés”

Jobb előrejelzés

IEO operatív verifikációs rendszere

TTAASSZZÁÁRR SSZZEEGGEEDD

DDEEBBRREECCEENN BBUUDDAAPPEESSTT

PPÁÁPPAA

MMIISSKKOOLLCC

11

22 33

44 55

66

NNAAGGYYKKAANNIIZZSSAA PPAAKKSS

KKEECCSSKKEEMMÉÉTT

BBÉÉKKÉÉSSCCSSAABBAA

BBAAJJAA

PPÉÉCCSS

ZZ..EEGGEERRSSZZEEGG

MMMMÓÓVVÁÁRR

GGYYŐŐRR

ZZÁÁHHOONNYY

NNYYIIRREEGGYYHHÁÁZZAA

SSZZOOLLNNOOKK

PPOORROOSSZZLLÓÓ

AAGGÁÁRRDD

JJÓÓSSVVAAFFŐŐ

SSZZÉÉCCSSÉÉNNYY

EEGGEERR

SSZZEENNTTGGOOTTTTHHÁÁRRDD

SSOOPPRROONN

SSZZOOMMBBAATTHHEELLYY VVEESSZZPPRRÉÉMM

TTAATTAA

SSÁÁRRMMEELLLLÉÉKK

SSIIÓÓFFOOKK

KKÉÉKKEESSTTEETTŐŐ

•Kódszerű előrejelzések 6 körzetre

• 8 időszakra:

1.éjszaka, 1.nappal, 2 – 7. nap

• 3 forrásból:

Szinoptikus (manuális)

ALADIN (automatikus)

ECMWF (automatikus)

Objektív verifikációs rendszerÖsszehasonlítható

prognózisok

IEO operatív verifikációs rendszere

Példa kódolt előrejelzésre (2005.02.07.)

OOKI HHNN BBJJ CCVW SSSS AALL YYXX

1210 0207 0/// //// 09// 0206 62//

1220 0207 0//1 //// 05// 0207 65//

1230 0207 0//3 //// 09// 0208 67//

1240 0207 03/3 //// 09// 0207 65//

1250 0207 3//3 3/1/ 09// 0206 63//

1260 0207 3//1 //// 14// 0208 62//

1211 0207 0//1 //// 09// 0206 //00

1221 0207 3/11 //// 99// 0105 //51

1231 0207 3/32 //// 99// 0105 //53

1241 0207 3/32 3/1/ 09// 0206 //55

1251 0207 3/32 //// 14// 0308 //53

1261 0207 0//1 //// 14// 0409 //51

1212 0207 2//3 //// 99// 0106 6151

1222 0207 2//3 //// 99// 0106 6351

1232 0207 3/13 //// 99// 0106 6654

1242 0207 3/13 //// 99// 0106 6554

1252 0207 3/13 //// 99// 0106 6453

1262 0207 2//3 //// 99// 0106 6352

1.éjszaka

2.nap

1.nappal

Előrejelzett elemek

� Borultság (kategóriák)

� Jelenidő (csapadékon kívüli időkép)

� Csapadékfajta

� Csapadékmennyiség (kategóriák)

� Csapadékvalószínűség (5/20 mm)

� Szélirány

� Átlagszél

� Széllökés

� Minimum hőmérséklet

� Maximum hőmérséklet

IEO operatív verifikációs rendszere

Objektív verifikáció

• Tényleges adatok előállítása 6 körzetre (körzetátlagok a verifikált időszakokra)

• Szinop állomások

• Előrejelzett – mért/megfigyelt értékpárokösszehasonlítása, statisztikai mérőszámok

TTAASSZZÁÁRR SSZZEEGGEEDD

DDEEBBRREECCEENN BBUUDDAAPPEESSTT

PPÁÁPPAA

MMIISSKKOOLLCC

11

22 33

44 55

66

NNAAGGYYKKAANNIIZZSSAA PPAAKKSS

KKEECCSSKKEEMMÉÉTT

BBÉÉKKÉÉSSCCSSAABBAA

BBAAJJAA

PPÉÉCCSS

ZZ..EEGGEERRSSZZEEGG

MMMMÓÓVVÁÁRR

GGYYŐŐRR

ZZÁÁHHOONNYY

NNYYIIRREEGGYYHHÁÁZZAA

SSZZOOLLNNOOKK

PPOORROOSSZZLLÓÓ

AAGGÁÁRRDD

JJÓÓSSVVAAFFŐŐ

SSZZÉÉCCSSÉÉNNYY

EEGGEERR

SSZZEENNTTGGOOTTTTHHÁÁRRDD

SSOOPPRROONN

SSZZOOMMBBAATTHHEELLYY VVEESSZZPPRRÉÉMM

TTAATTAA

SSÁÁRRMMEELLLLÉÉKK

SSIIÓÓFFOOKK

KKÉÉKKEESSTTEETTŐŐ

Verifikált elemek

Minimum / maximum hőmérséklet

Csapadékmennyiség / egzisztencia / valószínűség

Felhőzetmennyiség

Átlagszél / széllökés

Statisztikai mérőszámok

ME – átlagos hiba

MAE – átlagos abszolút hiba

RMSE – átlagos négyzetes hiba négyzetgyöke

PC – pontos előrejelzések aránya

BIAS, POD, FAR, TS, BS, BSS, hibaeloszlások, …

IEO operatív verifikációs rendszere

Komplex mérőszám – prognózisok összteljesítménye

0 %100 %-Komplex mérőszám

6 okta0 oktaRMSEFelhőzet

10 m/s0 m/sRMSESzéllökés

6 m/s0 m/sRMSEÁtlagszél

1.6 kateg.0 kateg.MAECsapadék mennyiség

0%100%PCCsapadék egzisztencia

8 °C0 °CRMSEMin/Max hőmérséklet

0%100%Mérőszám

Súlyozás

Hőmérséklet 25+25%

Csapadék 22,5%

Szél 10%

Felhőzet 17,5%

10

46

17,5

12,5

2525

0

5

10

15

20

25

Tmin Tmax CsapEgz CsapMenny Átlagszél Széllökés Felhőzet

%

IEO operatív verifikációs rendszere - eredmények

Komplex mérőszám 2008. 01.01 - 10.31.

60

65

70

75

80

85

1.éjszaka 1.nap 2.nap 3.nap 4.nap 5.nap 6.nap

%

Szinoptikus ECMWF ALADIN

Szinoptikus javított minden időlépcsőben

(egyéb modellek, ECMWF ensemble és szinoptikus-klimatológiai ismeretek)

Felhőzet (MAE) - 2008

0,0

0,2

0,4

0,6

0,8

1,0

1,2

1,4

1,6

1.éj 1.nap 2.nap 3.nap 4.nap 5.nap 6.nap

okta

Sz EC AL

Maximum hőmérséklet (MAE) - 2008

0,0

0,5

1,0

1,5

2,0

2,5

1.nap 2.nap 3.nap 4.nap 5.nap 6.nap

°C

Sz EC AL

Minimum hőmérséklet (MAE) - 2008

0,0

0,5

1,0

1,5

2,0

2,5

1.nap 2.nap 3.nap 4.nap 5.nap 6.nap

°C

Sz EC AL

Maximális széllökés (MAE) - 2008

0,0

0,5

1,0

1,5

2,0

2,5

3,0

1.éj 1.nap 2.nap 3.nap 4.nap 5.nap 6.nap

m/s

Sz EC AL

IEO operatív verifikációs rendszere - eredmények

Csapadék egzisztencia (PC) - 2008

0,0

20,0

40,0

60,0

80,0

100,0

1.éj 1.nap 2.nap 3.nap 4.nap 5.nap 6.nap

%

Sz EC AL

Szinoptikus:

Tmin, Tmax, összfelhőzet, maximális széllökés

Átlagos szélsebesség (MAE) - 2008

0,0

0,2

0,4

0,6

0,8

1,0

1,2

1,4

1.éj 1.nap 2.nap 3.nap 4.nap 5.nap 6.nap

m/s

Sz EC AL

ALADIN: átlagos szélsebesség

IEO operatív verifikációs rendszere - trendek

62,50

65,00

67,50

70,00

72,50

75,00

77,50

80,00

82,50

85,00

2001 2002 2003 2004 2005 2006 2007 2008

%

Szinoptikus ECMWF ALADIN

6 havi mozgó átlag (Sz) 6 havi mozgó átlag (EC) 6 havi mozgó átlag (AL)

Komplex scorehavi értékek 1.nap

Tartós hófelszín Hidegpárna

IEO operatív verifikációs rendszere – szisztematikus hiba

Az 1.napra szóló minimum hőmérséklet előrejelzések átlagos hibája körzetenként az ALADIN, ECMWF és a Szinoptikus esetén (havi átlagok)

-4

-3

-2

-1

0

1

2

3

4

Hőmérsékleti h

iba (°C)

Tmin Tmin TminTmin

Tmax Tmax Tmax Tmax

Május JúliusJúnius Augusztus

2003

-3

-2,5

-2

-1,5

-1

-0,5

0

0,5

1

1,5

2

2,5

3

3,5

Hőmérsékleti hiba (°C)

Június Július Augusztus

Tmax

Tmin

TmaxTmax

TminTmin

2004

Napi hőingásalábecslése

IEO operatív verifikációs rendszere - eredmények

Különbség a szinoptikus és a modellek között az 1. napra vonatkozó komplex mutató értékében 2007-ben

-20

-15

-10

-5

0

5

10

15

20

25

30

35

40

jan. febr. márc. ápr. máj. jún. júl. aug. szept. okt. nov. dec.

%

Szinoptikus - ECMWF

Szinoptikus - ALADIN

14 napos mozgó átlag (SZ - AL)14 napos mozgó átlag (SZ - EC)

Hidegpárna

nagy hasonlóság a 2004 decemberihez

(modell parametr. jelentős javítása ellenére)

ALADIN: szignifikánsan jobban teljesített az ECMWF-nél!!!

2008/2009 ?

Egyéb verifikációs tevékenység az OMSZ-ban

TAF táviratok összesített, illetve elemenkénti beválása - 2007

8485

8786

75 75

81

74

85

89

8183

82

87 87

8482

83

79

84

79

9291

85

91

85

90

96

9391

76

73

86

80

94

97

94

99

89

8079

7877

7473

78

71

8385

80

88

79

82

79

92

98

90

87

94

8789

85

77

58

85

50

55

60

65

70

75

80

85

90

95

100

január

febru

ár

március

április

május

június

július

augu

sztus

szep

tember

október

nov

ember

decem

ber

éves átlag

%

TAF beválás Irány Lökés Sebesség Látás

Repülésmeteorológia

A kiadott elsőfokú viharjelzések hibáinak értékelése 2007

0

1

2

3

4

5

6

7

8

9

10

túlbiztositott óvatos elhamarkodott elkésett elmulasztott

esetszám db.

nyugati m.

keleti m.

Velencei-tó

A kiadott másodfokú viharjelzések hibáinak értékelése 2007

0

5

10

15

20

25

túlbiztositott óvatos elhamarkodott elkésett elmulasztott

esetszám db.

nyugati m.

keleti m.

Velencei-tó

Balatoni viharjelzés

Egyéb verifikációs tevékenység az OMSZ-ban

Évszakos előrejelzések

Egyéb verifikációs tevékenység az OMSZ-ban

OVISYS

Numerikus Modellező és Éghajlat-dinamikai

osztály

Szinoptikus-klimatológia: múlt és jelen

� Kárpát-medence („hegyekkel körülzárt” terület)

Kiemelkedő jelentőségű a szinoptikus-klimatológiai vizsgálatok szerepe

Péczeli GyörgyA Kárpát-medencére vonatkozó makroszinoptikus helyzetek

Bodolainé Jakus EmmaA Duna és a Tisza vízgyűjtő területén árhullámot okozó időjárási helyzetek

Számos vizsgálat kiinduló pontját jelentik

� Jelen

Több rendelkezésre álló adat (hosszabb idősorok, reanalízis mezők)

Jobb technikai feltételek (könnyebb adatfeldolgozás)

Numerikus előrejelző modellek szinoptikus skálán igen jó beválást mutatnak

Lehetőség újabb, részletesebb vizsgálatokra, melyek eredményeinek felhasználásával jelentősen növelhető az előrejelzések beválása

Szinoptikus-klimatológia: múlt és jelen

Felszíni szélirány hidegpárnás esetekben

0.0

10.0

20.0

30.00

45

90

135

180

225

270

315

Lokális hőmérsékleti advekció feloszláskor

0.0

20.0

40.0

60.0

80.0

925 hPa 900 hPa 850 hPa 700 hPa 500 hPa

relatív gyakoriság (%)

-8.0 - -4.0 -4.0 - 0.0 > 0.0

Hidegpárnás helyzetek (Polgár Attila, 2003)

Budapesti nagy havazások (Babolcsai György, 2004)

0

5

10

15

20

25

30

35

40

-25 -20 -15 -10 -5 0

Minimum-hőmérséklet (°C)

Hóvastag

ság (cm

)

,

Extrém hideg helyzetetek és a hótakaró (Reisz András, 2005)

Ónos esős helyzetek (Gaál Áron, 2005)

400

800

1200

1600

2000

[0,1; 1] [1,1; 2] [2,1; 3] [3,1; 4] [4,1; 5]

Hőmérsékleti kategóriák [oC]

Mag

asság [m]

Téli, nagy csapadékos helyzetek (Hirsch Tamás, 2006)

Összefoglalás

� A verifikáció nélkülözhetetlen az előrejelzések fejlesztése szempontjából

� Minél több verifikációs mérőszám együttes kiértékelése szükséges

� Objektív verifikáció mellett szükség van szubjektív verifikációra is

� OMSZ Időjárás Előrejelzési Osztály operatív verifikációs rendszerének bemutatása és bepillantás az OMSZ egyéb verifikálási tevékenységébe

� Szinoptikus-klimatológiai vizsgálatok nem csak a múlt, hanem a jelen és a jövő eszköze is (eredmények beépítése az operatív előrejelzői munkába)

Köszönöm a figyelmet!