Universität StuttgartInstitut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie Copulas...

Preview:

Citation preview

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Copulas (2)

András Bárdossy

IWS

Universität Stuttgart

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Spatial problems

• Sampling only at a number of locations• What is between ?

– Estimate– Quality of estimation– Simulate realizations

• Geostatistics (Krige, Matheron)– Mining applications– Hydro and Environmental sciences

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Geostatistics

• Z(x) Random function – Realisation z(xi)• Assumption – „uniform continuity“• No differences are known a-priori

• Independent of the location – depends only on h • (Semi)Variogramm Covariance function

2

1

2

1

2uZhuZEuZhuZVarh

muZE

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Experimental Variogramm EC

0

50

100

150

200

250

300

350

400

0 500 1000 1500 2000 2500 3000

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Point kriging

in

iii uZuZ

*

DuallformuZE

muZEuZE i

n

iii

*

1

n

iii

Unbiasedness

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Estimation variance using the variogram

uuuu

uZuZVaru

i

n

ii

n

jjij

n

ii

11 1

*2

2

)()()(

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Kriging equations using variogram

uuuu i

n

jjij

1

i=1,…,n

n

jjijK uuu

1

2 )(

11

n

jj

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Problems

• Estimation variance is an index of spatial configuration– Does not depend on the local values– “Best” for Gaussian distribution– Symmetrical (high and low values not distinguished)

• Variogram estimation difficult– Squared differences – skewed distribution– Dominated by high values– Independence of the pairs not fulfilled

Strongly influenced by the marginal distribution

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Symmetry

• Digital elevation models – water dominated regions– Maxima and minima

• Contaminations– Source vs Background concentrations

Known but unquantified deterministic processes lead to asymmetry and non-Gaussian dependence

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Indicator Variables

Indicator variables

else 0

if1)(

CuuIC

)( if0

)( if1)(

uZ

uZuI

Indicator variogram

huu

ji

ji

uIuIhN

h 2* ))()(()(2

1)(

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Indicator variables

• Interpretation as probability• Interpolation of the indicators• Result pdf for each location • Simulation restricted to the observed range

Can copulas be used to overcome some of these problems?

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Spatial copulas

• Assumption:– Multivariate copula exists for any number of points– The bi-variate marginal copulas corresponding to pairs

separated by a vector h are translation invariant

• How to find such copulas ?

vZFuZFPvu zz ))((,))((),,( xhxhCS

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Empirical copulas

• Set of pdf pairs corresponding to points separated by the vector h

• Generalization of the variogram• Empirical density using kernel smoothing

hxxxxh iijnin ZFZFS |))(()),(()(

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Empirical copula density chloride h=5000m

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Empirical copula density chloride h=30000m

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Empirical copula density nitrate h=5000m

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Empirical copula density pH h=5000m

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Cl Variogramm

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150

Chloride concentration (mg/l)

0

200

400

600

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

pH Variogramm

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

5.2 5.6 6 6.4 6.8 7.2 7.6 8 8.4 8.8 9.2 9.6

0

400

800

1200

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Conditional Entropy: Nitrate 3000 m and 30000m

0 5 10 15 20 25

0.22

0.23

0.24

0.25

0.26

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Copulas and natural processes

• Natural processes influence high and low values differently– Erosion at high elevations– Pollution is spreading not the background– Weather relates the high discharges

• Copulas of digital elevation models:– Spain – eroded old landscape– Ecuador – younger but erroded– Mars – eroded and meteorites

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Copula density of the pair C8 and C9

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

00.81.62.43.244.85.66.47.288.89.610.411.21212.813.614.415.21616.817.618.419.220

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Copulas of daily rainfall

• 601 rainfall stations in the Rhein catchment Germany• Size = 100.000 km2• Days with important events with good spatial coverage

were selected (400 days of the period 1958-2003)• Spatial copulas (densities) for different distances were

calculated

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Spatial dependence – 5 kmEvent 70

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Precip ita tion am ount location A

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Pre

cip

itatio

n a

mo

unt l

oca

tion

B

00.20.40.60.811.21.41.61.822.22.42.62.833.23.43.63.844.24.44.64.85

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Spatial dependence – 5 kmEvent 347

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Precip ita tion am ount location A

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Pre

cipi

tatio

n am

ount

loca

tion

B

00.20.40.60.811.21.41.61.822.22.42.62.833.23.43.63.844.24.44.64.85

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Spatial dependence – 5 kmEvent 159

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1

Precip ita tion am ount location A

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Pre

cip

itatio

n a

mo

unt l

oca

tion

B

00.20.40.60.811.21.41.61.822.22.42.62.833.23.43.63.844.24.44.64.85

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Radarniederschlag29. Dezember 2001 11:20-13:20

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

05101520253035404550556065707580859095100105110115120

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Copula Radarniederschlag29. Dezember 2001 11:20-13:20

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

00.81.62.43.244.85.66.47.288.89.610.411.21212.813.614.415.21616.817.618.419.220

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Requirements for a spatial copula

1. Stability of the multivariate marginals: which means that any multivariate marginal copula corresponding to a selected set of points should not depend on the set of other selected points used to define the multivariate copula.

2. Wide range of dependence: a geographically close set of points should have an arbitrarily strong dependence structure, while distant points should be independent.

3. Flexible parametrization: the multivariate copula should have a parametrization such that the dependence structure reflects the geometric position of the corresponding set of points.

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

• Definition of a copula from a multivariate distribution:

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Possibilities

• Multivariate normal copula– Simple but symmetrical

• Derived multivariate copulas

• If g monotonic – no change of the copula• If g non monotonic one can get interesting copulas

)( ii YgX

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Normal copula

• Correlation = 0.85

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Chi square

• Non central chi-square distribution

t

mtmttg

mtmt

tYtPtYPtG

2

)()()(

)()(

)()()(

1

21

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Chi square

• Multivariate case

1,0 2

)1(,...,)1(

)()1(

,...,),...,(

1

1

1

12

0

1111

1

k

n

k

kk

nii

in

i

nnnnn

iii

tt

tYttYtPttG

n

n

i

i

ε

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

n-dimensional Chi-square copula

• Density

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Chi-Square Copulas

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Gauss – Chi-square

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

-4.5-4.1-3.7-3.3-2.9-2.5-2.1-1.7-1.3-0.9-0.5-0.10.30.71.11.51.92.32.73.13.53.94.3

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

-4.5-4.1-3.7-3.3-2.9-2.5-2.1-1.7-1.3-0.9-0.5-0.10.30.71.11.51.92.32.73.13.53.94.3

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

V-transformed copula

• Transformation function:

• Strong dependence of the extremes if shifted to one side and partly to the middle

• If k=1 then it is the chi square copula

else )(

if )()(

mx

mxxmkxg

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

K=2, m=1

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Empirical copula density chloride h=5000m

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Parameter estimation

• Non independent pairs – ML• Fit the rank correlation function and the asymmetry • Parametric form of the covariance of the original normal

• Further work needed

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Interpolation

• For n+1 points the joint distribution is known– Calculate the conditional for the unobserved point

Full conditional distribution known – thus confidence intervals can be calculated

• Example:

4 points – corner of a unit square

A: two of them with F(x)=1 two with F(x)=0

B: all with F(x)=0.5

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Example interpolation – conditional densities m=0, k=1

0 0.2 0.4 0.6 0.8 1

0

0.005

0.01

0.015

0.02

0.025

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Example interpolation – conditional densities m=1, k=3

0 0.2 0.4 0.6 0.8 1

0

0.005

0.01

0.015

0.02

0.025

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Example interpolation – conditional densities normal copula

0 0.2 0.4 0.6 0.8 1

0

0.005

0.01

0.015

0.02

0.025

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Validation of the conditional densities

• Are the conditional densities OK ?• Cross validation

– Calculation of the frequencies of non exceedence for the observed values

– Comparison with the uniform

• V is much better then normal or Kriging

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Thank you !

bardossy@iws.uni-stuttgart.de

Universität Stuttgart Institut für Wasserbau, Lehrstuhl für Hydrologie und Geohydrologie

Nitrat und Phosphat

Recommended