YFO0010 Sissejuhatus okeanograafiasse ja limnoloogiasse

5. Andmete töötlemise ja esitamise meetodid

Mõõtmistulemuste kui juhuslike arvude töötlemine metroloogia ja statistika põhikursused

Käsitleme:

• Juhuslik protsess, tema omadused ja karakteristikud• Diskretiseerimine• Filtreerimine• Juhuslike väljade interpoleerimine• Andmete assimileerimine

Trendid

Kui trendi pole silmaga näha, on matemaatiline määramine (vähimruutude meetodil) riskantne ettevõtmine

HELCOM Assessment

Toitainete trendide hindamine on olulise tähtsusega: kuidas reostuskoormuse muutus, eriti selle piiramine avaldub mere seisundis?

Hindamine pole sageli üheselt võimalik

Okeanograafiliste andmete iseloom

üldjuhul juhuslikud väljad ψ(x,y,z,t)

erijuhud:

1D aegrida ψ(x0 ,y0 ,z0 ,t)1D sügavusprofiil ψ(x0 ,y0 ,z,t0 )1D horisontaalprofiil ψ(x,y0 ,z0 ,t0 )

ψ(x0 ,y,z0 ,t0 )

2D horisontaalne kaart ψ(x,y,z0 ,t0 )2D aeg-sügavuslõige ψ(x0 ,y0 ,z,t)2D ruumiline lõige ψ(x,y0 ,z,t0 )

ψ(x0 ,y,z,t0 )

Esitus: funktsiooni

graafik

Esitus: kaart

Juhuslik protsess, tema omadused ja karakteristikud

• realisatsioon ja ansambel• tõenäosuse jaotusfunktsioon ja tõenäosustihedus,

keskväärtus ja dispersioon• statsionaarne, homogeenne ja ergoodiline protsess• korrelatsioonifunktsioon ja müra• spekter

Juhuslik protsess

funktsioon mittejuhuslikest aja- ja ruumikoordinaatidest

tzyx ,,, ,

mis argumentide igal väärtusel osutub juhuslikuks suuruseks

ühe mõõtmise käigus saame juhusliku protsessi konkreetse

realisatsiooni tn , kus Nn 1 on realisatsiooni (katse)number

realisatsioonide koguhulka nimetatakse ansambliks

tõenäosuse jaotusfunktsioon

ttF P,

jaotuse tihedusfunktsioon ehk tõenäosustihedus

d

dttf

P, ehk

tFtf

,,

Jaotusfunktsiooni ja tihedusfunktsiooni omadused

1),(0 tF 0, tF 1, tF

1, dtf

dtftF ,,

-1

0

1

2

Statsionaarne juhuslik protsess: ei sõltu ajast

FtF , ftf ,

Homogeenne juhuslik protsess: ei sõltu ruumikoordinaatidest

Juhuslik protsess on e rgoodiline , kui üle ansambli keskmistamise kaudusaadud statistilised karakteristikud (keskmine, dispersioon, korrelatsioon etc)on võrdsed ajalise (ruumilise) keskmistamisega ühe realisatsiooni põhjal.Ergoodilisus saab kehtida ainult statsionaarsete protsesside korral.

T

Tdtt

Tt

0

1limM

K o r r e la ts io o n ifu n k ts io o n

21221121 M, tttmttmtttR

s ü m m e e tr i l in e k o o rd in a a tid e s u h te s 1221 ,, ttRttR

m a k s im u m n u ll is e a ja n ih k e k o rra l tDttR ,

Statsionaarse protsessi korral sõltub ainult ajanihkest 12 tt

RRttR 21 , 20 R 0lim

R

Normeeritud korrelatsioonifunktsioon

2 R

K 11 K

s i g n a a l i l e t l i i t u b m i t t e k o r r e l e e r u v m ü r a t : ttt

m ü r a k o r r e l a t s i o o n 2 ttR

m ü r a e i k o r r e l e e r u s i g n a a l i g a 0 ttR

m ü r a s i s a l d a v a p r o t s e s s i k o r r e l a t s i o o n 2 RR

n o r m e e r i t u d k o r r e l a t s i o o n

2

2

2

22

2

K

RK

müra/signaali suhe 2

22~

222

K

1

korrelatsiooniraadius

Spekter (spektraaltihedus) määratakse korrelatsioonifunktsiooni Fourier’teisendusega

deRS i

2

1

Spekter ja korrelatsioonifunktsioon on vastastikku pööratavad

deSR i

S p e k t r i o m a d u s i :

1 . S p e k t e r o n p o s i t i i v n e 0S , k u n a s p e k t e r n ä i t a bs a g e d u s v a h e m i k u s o l e v a t e n e r g i a t j a s e e o n p o s i t i i v n e s u u r u s .K u i e k s p e r i m e n t a a l s e l t l e i t u d k o r r e l a t s i o o n i f u n k t s i o o n i s t l e i t u ds p e k t e r o s u t u b n e g a t i i v s e k s , o n k o r r e l a t s i o o n v i g a s e l t h i n n a t u d .

2 . S p e k t e r o n n u l l s a g e d u s e s u h t e s s ü m m e e t r i l i n e SS .3 . S p e k t e r p e a b s a g e d u s e a b s o l u u t v ä ä r t u s e k a s v a d e s k a h a n e m a

k i i r e s t i . D i s p e r s i o o n a v a l d u b s p e k t r i k a u d u

dSR 02 Korrelatsioonifunktsioon ja spekter ei ole juhuslikud funktsioonid. Praktilisel määramisel lõpliku hulga andmete põhjal tekivad juhuslikud vead nagu keskmise ja dispersiooni korral

K Saperiood ilinep ro tsess

e 22

juhusliku lp ro tsessildom ineeribvõnkum inesagedusega

cose 22222

222

4

Tüüpilised korrelatsioonifunktsiooni analüütilise lähenduse kujud ja neile vastavad spektrid

Pinnalainete kiirus- ja rõhuvälja spektrid erinevate mõõteseadmetega

Hoovuste 25-tunni libisevad keskmised ja spektrid Vaikse ookeani ekvaatoril Näited spektrite kasutamisest

Diskretiseerimine

• Nyquisti sagedus• vale esituse viga (aliasing error)

D e te r m in e e r i t u d p id e v a p r o t s e s s i d i s k r e t i s e e r im in e

m it te j u h u s l ik t u n d m a t u p r o ts e s s ts m õ õ d e ta k s e in te r v a ll ig a

tktsts k k u s

n

nttk

( 0 ; 0a k u i 0a ;

1dtt )

F o u r ie r ’ te is e n d u s a v a ld u b te g u r it e F o u r ie r ’ te is e n d u s te k o n v o lu ts io o n in a

dggKgfSfS k k u s

n

nffK 1

diskretiseeritud protsessi spekter

nnk

nfSdg

nggfSfS

11on pideva protsessi Fourier’ teisenduste lõpmatu summa,

kusjuures liidetavad on nihutatud sageduse n võrra

S (f)

f f

S (f)k

1

c) d)

1

1

Pideva protsessi spektrid (a, c) ja sammuga diskretiseeritud protsessi spektrid (b, d). Kui pideva protsessi spekter kahaneb nulli Nyquisti sagedusest kõrgematel sagedustel (a), ei ole diskretiseeritud protsessi nihutatud spektrid (b) ülekattuvad ning protsessi saab diskreetsete mõõtmiste põhjal rekonstrueerida. Kui Nyquisti sagedusel spekter ei kahane nulliks (c), tekib diskretiseeritud

spektrite ülekattumine (d) ning pideva protsessi rekonstrueerimine diskreetsete mõõtmiste põhjal pole võimalik.

S (f)

f f

S (f)k

1

a) b)

1

1

2

1NfNyquisti sagedus

spektrid on diskreetse “mõõtmise” tõttu nihkes

Juhusliku protsessi diskretiseerimine

olgu sta tsionaarne juhuslik protsess t mõõdetud a jasammuga

nn

Korrelatsioonifunktsioon lRlnnlnnlR MM

on mittejuhuslik, mida saab rekonstrueerida kui suurte sageduste Wf korra l on

spekter ehk korrelatsiooni Fourier’ te isendus null 0fS

Suurim mõõteintervall W2

1 Nyquisti sagedus Wf N

Hoovuse lääne-ida suunalise komponendi mõõtmise tulemused Irbe väinas ajasammuga 10 min (peenike joon). Ajatelje ühikud on antud tundides. Kui mõõta hoovuse komponenti 24 tunnise intervalliga, saame punase joonega esitatud graafiku, mis on vale esituse vea (aliasing error) tõttu moonutatud.

-25

-20

-15

-10

-5

0

5

10

15

20

0 24 48 72 96 120 144 168 192 216 240

Vale esituse viga (aliasing error): näide

Filtreerimine

• ideaalsed filtrid• libisev keskmine (running/moving average)• digitaalsed filtrid

Ideaalsed filtrid

Mõõdetud algsignaalisagedusomadused ei vasta sagelimeie ootustele

1) madalpääsufilter2) kõrgpääsufilter3) ribafilter

cf lõikesagedus

(cut-off frequency)

Nf Nyquisti sagedus

L i b i s e v a d f i l t r i d

L i b i s e v k e s k m i n e : k õ i k f i l t r i v ä ä r t u s e d ( k e s k m i s t a m i s e k a a l u d ) kh o n f i l t r i a k n a s MkM v õ r d s e d

12

1

Mkh

F i l t e r

M

Mk

knxM

ny12

1

Libisev keskmine on võrreldes ideaalse madalpääsufiltriga üsna halb (kõrgemate sageduste mõju jääb alles), kuid teda kasutatakse laialdaselt

D i g i t a a l s e d f i l t r i dm õ õ d e t u d d i s k r e e t s e d a n d m e d nx , 10 Nn i n t e r v a l l i g a D i g i t a a l n e m i t t e r e k u r s i i v n e f i l t e r : nx m u u d e t a k s e v ä l j u n d i k s ny

M

Mk

knxkhny

v ä l j u n d i F o u r i e r ' t e i s e n d u s v õ r d u b s i s e n d i j a f i l t r i F o u r i e r ' t e i s e n d u s t e k o r r u t i s e g a

XH

iknxikh

inyY

M

Mk

M

Mnknk

M

Mnn

expexp

exp

F i l t r i k u j u t i s s a g e d u s r u u m i s

M

MkkikhH exp ,

N

kk

2

o n f i l t r i s a g e d u s v a s t u s ( f r e q u e n c y r e s p o n s e ) e h k ü l e k a n d e f u n k t s i o o n ( a d m i t t a n c ef u n c t i o n )

Otsitakse kordajad h[k] nii, et filtri sagedusvastus (aken) oleks sobiva kujuga

Näide veetaseme aegrea filtreerimisest

Juhuslike väljade interpoleerimine

• optimaalinterpolatsioon ( = Kriging)

Annab väljundiks ka statistilise interpolatsioonivea jaotuse, mis võimaldab ühtlasi:• mõõtepunktide optimaalne paigutus• andmete kvaliteedi kontroll

Kui andmed on “head” ja neid on palju, annavad kõik interpolatsioonimeetodid sarnased tulemused.

Optimaalinterpolatsioon

Otsime mõõtmata punktis väärtust ümbruses mõõdetud punktide väärtuste lineaarkombinatsioonina

kusjuures kaalude summa

Kaalud leitakse tingimusest, et interpolatsiooniviga

oleks ruutkeskmiselt (üle ansambli) minimaalne

Kaalud sõltuvad korrelatsioonifunktsioonistning müra/signaal suhtest

Kui need on “täpselt” määratud, siis ontegemist parima (optimaalse) interpolatsiooniga

Korrelatsiooniraadiusesse peab jäämapiisav arv (>5) punkte, muidu viga lähebsuureks

Optimaalinterpolatsioon geoloogias = Kriging

k~

i

n

iiik w

1

~ 11

n

iiw

iw kkkd ~ˆ

min2 kd

k~

23.4 23.5 23.6 23.7 23.8 23.959.5

59.55

59.6

59.65

59.7

59.75

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

23.4 23.5 23.6 23.7 23.8 23.959.5

59.55

59.6

59.65

59.7

59.75

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

23.4 23.5 23.6 23.7 23.8 23.959.5

59.55

59.6

59.65

59.7

59.75

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

Lineaarne triangulatsioon

Kriging suvaliste parameetritegaKriging optimaalsete parameetritega

Näide: temperatuuri jaotus Soome lahe suudmes mõõdetuna liikuvalt laevalt

Näide: aeg-sügavus andmete Näide: aeg-sügavus andmete interpoleerimineinterpoleerimine

• 2D aeg-sügavus optimaalinterpolatsioon• Gaussi korrelatsioonifunktsioonid aja ja

sügavuse järgi• Korrelatsioonimastaabid:

» sügavus 30 m

» aeg 6 kuud

• Müra-signaali suhe (dispersioonid)» 0.35

Soolsuse ja hapniku kihistuse muutused

1979-1999

Elken, J., Matthäus, W., Krzyminski, W., Dubra, J.Baltic Proper: Meteorological, hydrological andhydrographic forcing. Fourth Periodic Assessment ofthe State of the Marine Environment of the BalticSea, 1994-1998, Background Document. Baltic SeaEnvironment Proceedings, 82B, 2002, 43-46.

Soolsuse ja hapniku kihistuse muutused1979-1999

Läänemere lõunaosas

Elken, J., Matthäus, W., Krzyminski, W., Dubra, J.Baltic Proper: Meteorological, hydrological andhydrographic forcing. Fourth Periodic Assessment ofthe State of the Marine Environment of the BalticSea, 1994-1998, Background Document. Baltic SeaEnvironment Proceedings, 82B, 2002, 43-46.

Andmete assimileerimine

numbrilised mudelid ei ole täpsed (“triivivad” ära)vaatlusandmed sisaldavad vigu ja juhuslikku müra

Kuidas teha parimaid prognoose?

andmete assimileerimine = andmete filtreerimine ja mudelite “järeleaitamine”

Numbriline mudelDAS

Andmete assimileerimise süsteem (DAS)

O

Andme-ladu

A

A

B

F

mudel

vaatlused

Vigade statistika

X

t

vaatlused

mudeli trajektoor

Järjestikune katkev assimileerimine

analüüs analüüsanalüüsmudel mudel

obsobsobsobsobs obs

Järjestikune pidev assimileerimine

obs obs obs obs obs

Edasi-tagasi katkev assimileerimine

analüüs + mudel analüüs + mudel analüüs + mudel

obs obs obs obs obs obs

Edasi-tagasi pidev assimileerimine

analüüs + mudel

obsobs

obsobsobs

obs