19
Zeldzame en extreme gebeurtenissen Ruud H. Koning 19 March 2009 Outline 1 Extreme gebeurtenissen 2 Limietstellingen 3 Staarten 4 Het maximum 5 Kwantielen Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 2 / 37

Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Embed Size (px)

Citation preview

Page 1: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Zeldzame en extreme gebeurtenissen

Ruud H. Koning

19 March 2009

Outline

1 Extreme gebeurtenissen

2 Limietstellingen

3 Staarten

4 Het maximum

5 Kwantielen

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 2 / 37

Page 2: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Extreme gebeurtenissen

Vijf grootste rampen (verzekerd kapitaal)

1 Orkaan Katrina (2005).2 Orkaan Andrew (1992)3 11 sep 2001 (WTC).4 Northridge aardbeving (1994).5 Orkaan Ike (2008).

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 3 / 37

Extreme gebeurtenissen

Vijf grootste rampen (verzekerd kapitaal)

datum

verli

es (U

$ 10

e6)

0

20000

40000

60000

1980 1985 1990 1995 2000 2005 2010

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 4 / 37

Page 3: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Extreme gebeurtenissen

Vijf grootste rampen (verzekerd kapitaal)

verlies (U$ 10e6)

slach

toffe

rs

0

2000

4000

6000

0 20000 40000 60000

●●●●●●●●●●●●●●●

●●●●●●

●●●●●●●●●●

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 5 / 37

Extreme gebeurtenissen

Vijf grootste rampen (mensenlevens)

1 Overstromingen Bangladesh (1970) (300000).2 Aardbeving China (1976) (255000).3 Tsunami Indonesia, Thailand (2004) (220000).4 Cycloon Nargis Myanmar (2008) (138000).5 Cycloon Gorky Bangladesh (1991) (138000).

(Gegevens uit Sigma (2009-2), Swiss Re)

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 6 / 37

Page 4: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Extreme gebeurtenissen

Aandelen: S&P500

datum

SP500

0

500

1000

1500

1950 1960 1970 1980 1990 2000 2010

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 7 / 37

Extreme gebeurtenissen

Aandelen: S&P500

datum

dag

retu

rn S

P500

−0.2

−0.1

0.0

0.1

1950 1960 1970 1980 1990 2000 2010

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 8 / 37

Page 5: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Extreme gebeurtenissen

Aandelen: S&P500

datum

dag

retu

rn S

P500

−0.2

−0.1

0.0

0.1

1980 1985 1990 1995 2000 2005 2010

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 9 / 37

Extreme gebeurtenissen

Wiskunde, statistiek en extremen

Waarnemingen zijn uitkomsten van een (vaak impliciet)kansexperiment.

Weinig empirische informatie (gelukkig maar!).

Extrapoleer vanuit waarnemingen, gebaseerd op theorie.

Vandaag: maximum en hoog kwantiel.

Opzet: waarnemingen X1, . . . ,Xn

zijn waarnemingen met een bepaaldekansverdeling F (x). We willen graag uitspraken doen overM

n

= max(X1, . . . ,Xn

) (denk aan dijkhoogte). Ook willen we graag ietskunnen zeggen over q

p

in Pr(X q

p

) = F (qp

) = 1� p met p dicht bij 0.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 10 / 37

Page 6: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Limietstellingen

Limietstellingen

Beschouw het volgende kansexperiment: gooi n keer met een dobbelsteenen noteer het gemiddeld aantal ogen.

X

n

=1

n

XX

i

,

ook X

n

is een toevalsvariabele, met een kansverdeling. X

i

is uniformverdeeld op 1, . . . , 6.n = 1

x 1 2 3 4 5 6Pr(X1 = x) 1/6 1/6 1/6 1/6 1/6 1/6

n = 2x 1 1.5 2 2.5 3 3.5

Pr(X2 = x) 1/36 2/36 3/36 4/36 5/36 6/36x 4 4.5 53 5.5 6

Pr(X2 = x) 5/36 4/36 3/36 2/36 1/36

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 11 / 37

Limietstellingen

Limietstellingen

n=1

gemiddelde

kans

0.05

0.10

0.15

0.20

0.25

1 2 3 4 5 6

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 12 / 37

Page 7: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Limietstellingen

Limietstellingen

n=2

gemiddelde

kans

0.05

0.10

0.15

2 4 6 8 10 12

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 13 / 37

Limietstellingen

Limietstellingen

n=5

gemiddelde

kans

0.00

0.02

0.04

0.06

0.08

0.10

1 2 3 4 5 6

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 14 / 37

Page 8: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Limietstellingen

Limietstellingen

n=10

gemiddelde

kans

0.00

0.02

0.04

0.06

2 3 4 5

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 15 / 37

Limietstellingen

Limietstellingen

Als n toeneemt, convergeert verdeling van X

n

naar een normale verdeling.Is dit toeval? Volgende experiment: exponentiele verdeling.

Pr(X x) = 1� exp(�x).

(parameter � = 1). Wachttijden.

X

n

=1

n

XX

i

,

maar nu is X continu, dus histogram in plaats van discrete kansverdeling.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 16 / 37

Page 9: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Limietstellingen

Limietstellingen

exponentiele verdeling, n=1

gemiddelde

kans

0

10

20

30

40

0 5 10

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 17 / 37

Limietstellingen

Limietstellingen

exponentiele verdeling, n=5

gemiddelde

kans

0

5

10

15

20

0 1 2 3 4

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 18 / 37

Page 10: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Limietstellingen

Limietstellingen

exponentiele verdeling, n=10

gemiddelde

kans

0

5

10

15

20

0 1 2 3

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 19 / 37

Limietstellingen

Limietstellingen

exponentiele verdeling, n=50

gemiddelde

kans

0

5

10

15

20

0.5 1.0 1.5

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 20 / 37

Page 11: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Limietstellingen

Limietstellingen

exponentiele verdeling

gemiddelde

kans

020406080

0 5 10

n=1 n=5

n=10

0 5 10

020406080

n=50

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 21 / 37

Limietstellingen

Centrale limietstelling

Als X1, . . . ,Xn

onderling onafhankelijk zijn, met eindige verwachting µ eneindige variantie �2, dan

X

n

� µ

�/p

n

✓=

X

n

� a

n

b

n

◆asy⇠ N (0, 1).

Met andere woorden: we hoeven niet zo veel te weten over de verdelingvan X om toch iets te kunnen zeggen over de verdeling van X

n

. Let op:de centrering µ hangt niet van n af, de schaling �/

pn wel.

Kunnen we iets vergelijkbaars afleiden voor de verdeling van hetmaximum M

n

= max(X1, . . . ,Xn

)?

Wat is het maximum in het dobbelsteenvoorbeeld?

Wat is het maximum in het wachttijdenvoorbeeld?

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 22 / 37

Page 12: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Staarten

Gemiddelde?

Verrassing en grote impact.

Extrapolatie normale verdelingfout, dikke staarten.

Onbekende onbekenden.

Maak systemen robuust tegenonverwachte, negatievegebeurtenissen.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 23 / 37

Staarten

Dunne staarten en dikke staarten

Verliesmodel:S(t) = X1 + . . . + X

N(t).

Start met kapitaal u en vraag premie c , dan is kapitaal op tijdstip t

U(t) = u + ct � S(t).

Als nuEe

hX <1, 0 < h < h

danPr(U(t) < 0) e

�ku.

(k > 0). Kapitaal is een erg machtig middel om ruıne kans te beperken:verdubbel kapitaal, kwadrateer kans op ruıne.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 24 / 37

Page 13: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Staarten

Dunne staarten en dikke staarten

Praktijk:Ee

hX <1, 0 < h < h

geldt vaak niet! Gaat de staart van de kansverdeling exponentieel naar 0of niet? Dikstaartige verdelingen (Pareto):

Pr(X > x + y |X > x)! 1, x !1.

(wet van behoud van ellende).

Pr(Sn

� x) ⇠ Pr(Mn

� x), x !1.

(rampen bepalen totaalresultaat).

Pr(U(t) < 0) ⇠ ⇢

(1 + u)�↵+1.

Kwalitatief verschil: kans op ruıne gaat polynomiaal naar 0.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 25 / 37

Het maximum

Kansverdeling maximum

Algemeen raamwerk: X1, . . . ,Xn

onderling onafhankelijk en identiekverdeeld.

Pr(Mn

x) = Pr(X1 x , . . . ,Xn

x)

= Pr(X1 x) · · ·Pr(Xn

x) = F

n(x).

Dus:

limn!1

Pr(Mn

x)=

(0 F (x) < 1

1 F (x) = 1.

Dit werkt niet, maar de verdeling van X

n

is ook niet goed bepaald als desteekproef onbeperkt toeneemt. Laten we kijken naar

Pr

✓M

n

� c

n

d

n

x

dus we centreren en schalen.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 26 / 37

Page 14: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Het maximum

Kansverdeling maximum

Voorbeeld: X1, . . . ,Xn

⇠ Exp(1):

Pr(X x) = 1� exp(�x).

Kies c

n

= log n en d

n

= 1 (voorkennis). Dan:

Pr(Mn

� log n x) = Pr(Mn

x + log n) = F

n(x + log n)

=�1� e

�x�log n

�n

=

✓1� e

�x

n

◆n

Dus

limn!1

Pr(Mn

� log n x) = limn!1

✓1� e

�x

n

◆n

= e

�e

�x

,

want

limn!1

⇣1� t

n

⌘n

= e

�t .

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 27 / 37

Het maximum

Kansverdeling maximum

Voorbeeld: X1, . . . ,Xn

Pareto verdeeld, X � 1:

Pr(X x) = 1� x

�↵.

(↵ > 0). Polynomiale staart, geen exponentiele staart.Kies c

n

= n

1/↵ en d

n

= 0. Dan:

Pr(n�1/↵M

n

x) = Pr(Mn

n

1/↵x) = F

n(n1/↵x)

=

✓1�

✓1

n

1/↵x

◆↵◆n

=

✓1� x

�↵

n

◆n

! e

�x

�↵

.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 28 / 37

Page 15: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Het maximum

Kansverdeling maximum

Als er reeksen c

n

en d

n

bestaan zodat

limn!1

Pr(Mn

� c

n

)/d

n

x) = G (x),

met G een ‘nette’ verdeling, dan is G van de vorm

G (x) = exp

(�

1 + ⇠

✓x � µ

◆��1/⇠)

.

Gegeneraliseerde extreme waarde verdeling. Vergelijkbare rol als normaleverdeling voor gemiddelde. Dus we kunnen iets zeggen over extremen ineen steekproef.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 29 / 37

Het maximum

Laurens de Haan

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 30 / 37

Page 16: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Kwantielen

Kwantielen: hoe erg kan het worden

Vaak willen we dingen weten als:

Welk verlies wordt met kans 1% overschreden?

Hoe hoog moeten de dijken zijn zodat ze eens in de 10000 jarenworden overspoeld?

Hoeveel verlies kunnen we verwachten als een hoog verlies wordtoverschreden?

Allemaal vragen die te maken hebben met de staart van de kansverdeling,met kwantielen:

Pr(X q

p

) = F (qp

) = 1� p,

met p dicht bij 0.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 31 / 37

Kwantielen

Kwantielen: eenvoudige aanpak

We gaan q

p

schatten.

Verzamel gegevens X1, . . . ,Xn

.

Orden gegevens en zoek juiste kwantiel zodat1n

Pi

I(�1,qp

](Xi

) = 1� p.

Probleem: n = 100 en 1� p = 0.999.

Schat parameters van de kansverdeling, ✓.

q

p

= F

�1(1� p; ✓).

Probleem: hoe goed wordt de staart gemodelleerd?

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 32 / 37

Page 17: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Kwantielen

Kwantielen: moeilijke aanpak

Theorie: we kijken naar Pr(X > x + u|X > u), dus ‘exceedances over ahigh level’, ook wel ‘POT’.

datum

verli

es (U

$ 10

e6)

0

20000

40000

60000

1980 1985 1990 1995 2000 2005 2010

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 33 / 37

Kwantielen

Kwantielen: moeilijke aanpak

Als er een ‘nette’ verdeling voor de overschrijdingen bestaat, geldt

Pr(X u + x |X > u) ⇡ 1�✓

1 +⇠(x + u)

�(u)

◆�1/⇠

.

(u hoog genoeg). Gegeneraliseerde Pareto verdeling.grootheid verdelingX

n

normale verdelingM

n

gegeneraliseerde extreme waarde verdelingX � u|X > u gegeneraliseerde Pareto verdeling

Gebruik dit theoretische model om een hoog kwantiel te schatten:

q

p

= u+�

"✓Pr(X > u)

p

◆⇠

� 1

#.

(hoge) afkapgrens plus extrapolatie van staart.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 34 / 37

Page 18: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Kwantielen

Kwantielen: voorbeeld I

Bekende eigenschap van de exponentiele verdeling: geen geheugen.Inderdaad:

Pr(X > x + u|X > u) =Pr(X > x + u,X > u)

Pr(X > u)

=Pr(X > x + u)

Pr(X > u)=

e

��(x+u)

e

��(u)

= e

��x = Pr(X > x).

De verdeling van X gegeven X > u is dezelfde als de verdeling van X

zelf. Deze verdeling is inderdaad limietgeval van GPD, met ⇠ ! 0. Hoogkwantiel:

q

p

= u + � logPr(X > u)

p

.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 35 / 37

Kwantielen

Kwantielen: toepassing

S& P rendementen vanaf 1980. Gebruik alleen 2000 om schatting temaken van kwantiel. p = 0.001, dus we willen het 99.9e percentiel weten.252 waarnemingen. Verliezen, dus negatieve rendementen.

datum

dag

retu

rn S

P500

−0.2

−0.1

0.0

0.1

1980 1985 1990 1995 2000 2005 2010Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 36 / 37

Page 19: Zeldzame en extreme gebeurtenissen - math.rug.nlbroer/pdf/koning.pdf · Centrale limietstelling Als X 1,...,Xn onderling onafhankelijk zijn, met eindige verwachting µ en eindige

Kwantielen

Kwantielen: toepassing

Empirische 99e percentiel: 0.0308.

Normale benadering:µ + ��1(0.999)⇥ � = 0.000326 + 3.09⇥ 0.0139 ⇡ 0.0436.

GPD, u = q0.90 dus Pr(X > u) = 0.10, ⇠ = 0.34, � = 0.00415. Dan

q

p

= u +�

"✓Pr(X > u)

p

◆⇠

� 1

#⇡ 0.0653.

1950 tot en met 9 april 2009: 14912 handelsdagen. Empirisch 99.9epercentiel: 0.0585.

Ruud H. Koning Zeldzame en extreme gebeurtenissen 19 March 2009 37 / 37