Profesor Milan Merkle [email protected] milanmerkle.etf.rs …milanmerkle.etf.rs/wp-content/uploads/2019/11/6-Granicne... · 2019. 11. 10. · njihovih vrednosti ili u smislu bliskosti

6. Granične teoreme i njihove primene

Profesor Milan [email protected] milanmerkle.etf.rs

Verovatnoća i Statistika-proleće 2019

Milan Merkle Granične teoreme ETF Beograd 1 / 23

Konvergencija slučajnih promenljivih

U primenama matematike konvergencija se koristi za aproksimaciju. Naprimer, iz

limn→+∞

(1 +

x

n

)n= ex

sledi da je

(1 + 3/100)100 ≈ e3 ili e3 ≈ (1 + 3/100)100

Kod slučajnih promenljivih imamo komplikovaniju situaciju zbog toga štobliskost slučajnih promenljivih može da se posmatra u smislu bliskostinjihovih vrednosti ili u smislu bliskosti njihovih raspodela.

Konvergencija slučajnih promenljivih

U primenama matematike konvergencija se koristi za aproksimaciju. Naprimer, iz

limn→+∞

(1 +

x

n

)n= ex

sledi da je

(1 + 3/100)100 ≈ e3 ili e3 ≈ (1 + 3/100)100

Kod slučajnih promenljivih imamo komplikovaniju situaciju zbog toga štobliskost slučajnih promenljivih može da se posmatra u smislu bliskostinjihovih vrednosti ili u smislu bliskosti njihovih raspodela.

Konvergencija u strogom smislu

Konvergencija skoro svuda:

P( limn→+∞

Xn = X ) = 1,

gde je limes definisan kao u matematici.

U primenama se češće koriste alternativni koncepti bliskosti slučajnihpromenljivih.

Konvergencija u strogom smislu

Konvergencija skoro svuda:

P( limn→+∞

Xn = X ) = 1,

gde je limes definisan kao u matematici.

U primenama se češće koriste alternativni koncepti bliskosti slučajnihpromenljivih.

Konvergencija u raspodeli

Xn ∼ Fn, n = 1, 2, . . .; X ∼ F .Definicija 6.1. Kažemo da niz slučajnih promenljivih Xn konvergira uraspodeli ka X ako važi:

limn→+∞

Fn(x) = F (x)(Fn = P(Xn ≤ x),F (x) = P(X ≤ x)

)u svakoj tački x ∈ R u kojoj je funkcija F neprekidna.

Teorema 6.2 (teorema o neprekidnosti, Lévy continuity theorem). Nizslučajnih promenljivih Xn konvergira u raspodeli ka X ako i samo ako je

limn→+∞

ϕn(t) = ϕ(t) za svako t ∈ R.√

Konvergencija u raspodeli

Xn ∼ Fn, n = 1, 2, . . .; X ∼ F .Definicija 6.1. Kažemo da niz slučajnih promenljivih Xn konvergira uraspodeli ka X ako važi:

limn→+∞

Fn(x) = F (x)(Fn = P(Xn ≤ x),F (x) = P(X ≤ x)

)u svakoj tački x ∈ R u kojoj je funkcija F neprekidna.

Teorema 6.2 (teorema o neprekidnosti, Lévy continuity theorem). Nizslučajnih promenljivih Xn konvergira u raspodeli ka X ako i samo ako je

limn→+∞

ϕn(t) = ϕ(t) za svako t ∈ R.√

Aproksimacija binomne raspodele Puasonovom√

Primer 121. Za Xn ∼ Bin (n, pn),

ϕn(t) =n∑

k=0

(n

k

)e itkpkn (1− pn)n−k =

(1 + pn

(e it − 1

))nAko n→∞ i npn → λ > 0:

limn→+∞

ϕn(t) = exp(λ(e it − 1

))= ϕX , X ∼ Poiss (λ)

Teorema o neprekidnosti: limn→+∞

P(Xn = k) = e−λλ

k

k!

Empirijsko pravilo: Za veliko n i np ≤ 5, X ∼ Bin (n, p):

P(X = k) ≈ e−np (np)k

k!

√

Aproksimacija binomne raspodele Puasonovom√

Primer 121. Za Xn ∼ Bin (n, pn),

ϕn(t) =n∑

k=0

(n

k

)e itkpkn (1− pn)n−k =

(1 + pn

(e it − 1

))nAko n→∞ i npn → λ > 0:

limn→+∞

ϕn(t) = exp(λ(e it − 1

))= ϕX , X ∼ Poiss (λ)

Teorema o neprekidnosti: limn→+∞

P(Xn = k) = e−λλ

k

k!

Empirijsko pravilo: Za veliko n i np ≤ 5, X ∼ Bin (n, p):

P(X = k) ≈ e−np (np)k

k!

√

Primer

0.4

0.3

0.2

0.1

o l 2 3

Slika 28. Binomna raspodela (n = 5, p = 3/5) i njena Poissonovaaproksimacija (osenčeno).

Primer

Slika 117. Histogrami binomne raspodele (plavo) i Puasonoveaproksimacije za n = 100 i np = 2

Limes u verovatnoći i u srednjem kvadratnom smisluNiz slučajnih promenljivih Xn

Konvergencija u verovatnoći:-bliskost vrednosti Xn i X za veliko n.

limn→+∞

P(|Xn − X | ≥ ε) = 0 za svako ε > 0.

Srednja kvadratna konvergencija:-bliskost vrednosti Xn i X za veliko n.

limn→+∞

E (Xn − X )2 = 0

Primer: E (µ̂n − µ)2 = Var (µ̂n)→ 0 (model merenja).

Srednja kvadratna =⇒ u verovatnoći =⇒ u raspodeli

Konvergencija se koristi za aproksimacije raspodela i njihovih momenata.Teoreme koje se odnose na konvergenciju (granične teoreme)utvrd̄ujuuslove pod kojima se aproksimacija može primeniti.

limn→+∞

P(|Xn − X | ≥ ε) = 0 za svako ε > 0.

limn→+∞

E (Xn − X )2 = 0

limn→+∞

P(|Xn − X | ≥ ε) = 0 za svako ε > 0.

limn→+∞

E (Xn − X )2 = 0

limn→+∞

P(|Xn − X | ≥ ε) = 0 za svako ε > 0.

limn→+∞

E (Xn − X )2 = 0

Nejednakosti Markova i Čebǐseva

Teorema 6.3 (Markov) Ako je X ≥ 0 i postoji EX :

P(X ≥ ε) ≤ E (X )ε

za svako ε > 0.

Teorema 6.4 (Čebǐsev) Za svaku slučajnu promenljivu X koja imavarijansu,

P(|X − EX | ≥ ε) ≤ VarXε2

za svako ε > 0.

Univerzalno pravilo tri sigme

Za ε = 3√VarX = 3σ:

P(|X − EX | ≤ 3σ) ≥ 89

= 0.89

Važi za svaku raspodelu koja ima varijansu.Milan Merkle Granične teoreme ETF Beograd 9 / 23

P(X ≥ ε) ≤ E (X )ε

za svako ε > 0.

P(|X − EX | ≤ 3σ) ≥ 89

= 0.89

P(X ≥ ε) ≤ E (X )ε

za svako ε > 0.

P(|X − EX | ≤ 3σ) ≥ 89

= 0.89

Zakon velikih brojeva

Teorema 6.5 (Slabi zakon velikih brojeva) Neka su X1,X2, . . .nezavisne slučajne promenljive sa EXk = µ i neka postoji konstanta Vtakva da je VarXk ≤ V za svako k . Tada niz aritmetičkih sredinaµ̂n = (X1 + · · ·+ Xn)/n konvergira u verovatnoći ka µ, tj.

limn→+∞

P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√

Dokaz preko nejednakosti Čebǐseva.

µ̂n je ocena matematičkog očekivanja µ

Obratite pažnju da Xi mogu imati različite raspodele.

limn→+∞

P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√

limn→+∞

P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√

limn→+∞

P(| µ̂n − µ| ≥ ε) = 0 za svako ε > 0.√

Konvergencija skoro svuda?

Teorema 6.8-Strogi zakon velikih brojeva Kolmogorova.

Neka je X1,X2, . . .Xn nezavisni uzorak iz raspodele slučajne promenljive Xi µ̂n = (X1 + · · ·+ Xn)/n, n = 1, 2, . . . .

1 a) EX = µ ako i samo ako

limn→+∞

µ̂n = µ skoro svuda.

2 b) EX ne postoji ako i samo ako µ̂n divergira skoro svuda.

U primenama:

1 Posmatramo niz µ̂n za rastuće vrednosti n

2 Ako iz niza µ̂n može zaključiti da postoji lim µ̂n, onda µ ≈ µ̂n zadovoljno veliko n

3 Ako postoje indikacije da niz ne konvergira, onda zaključujemo daraspodela nema matematičko očekivanje.

limn→+∞

U primenama:

limn→+∞

U primenama:

limn→+∞

U primenama:

limn→+∞

U primenama:

limn→+∞

U primenama:

limn→+∞

U primenama:

1.25

1.00

0.75

0.50

0.25

~ n ® 100

Sll

,.,.,...".. ...,.,.....~ . ~ " ..:

' ~

80

60

40

20

O 20 40 60 80 100 n O 20 40 60 80 100 n

Slika 29. Ponašanje µ̂n i Sn za eksponencijalnu raspodelu sa parametrom 1(računarska simulacija).

5000

•••• I ...... ...... ........ ........ ......~----...................... --""---.. --

3000

1000 -,-,~--

._1/

o 5000 10000

Slika 30. Ponašanje ocene drugog momenta Cauchyjeve raspodele(računarska simulacija).

Statistička definicija verovatnoće preko ZVB

Radi ocene verovatnoće dogad̄aja A sa nepoznatom verovatnoćomp = P(A), eksperiment se ponavlja n puta.

Neka je Xi = IA indikator dogad̄aja A u i-tom ponavljanju.

Definǐsemo mn = X1 + · · ·+ Xn (broj realizacija dogad̄aja A u nponavljanja.

p̂n =mnn

=X1 + ·+ Xn

nje ocena nepoznate verovatnoće p

ZVB =⇒ p̂n → p u verovatnoći

p̂n =mnn

=X1 + ·+ Xn

p̂n =mnn

=X1 + ·+ Xn

p̂n =mnn

=X1 + ·+ Xn

p̂n =mnn

=X1 + ·+ Xn

p̂n =mnn

=X1 + ·+ Xn

Koliko veliko n treba da bude?

Iz ZVB sledi da je, za dato ε > 0 i za svako α ∈ (0, 1) postoji n takvo daje P(|µ̂n − µ| ≥ ε) ≤ α.

Čebǐsev: P(|µ̂n − µ| ≥ ε) ≤V

nε2

n ≥ Vε2·α

U slučaju ocene verovatnoće, V = p(1− p) zavisi od p. Tadauzimamo najveću vrednost V = 1/4, ili aproksimaciju V ≈ p̂n(1− p̂n.Slično se postupa i kod ocene očekivanja ako varijansa zavisi od µ.

nε2

n ≥ Vε2·α

nε2

n ≥ Vε2·α

nε2

n ≥ Vε2·α

nε2

n ≥ Vε2·α

nε2

n ≥ Vε2·α

nε2

n ≥ Vε2·α

Centralna granična teorema

Neka je Xi , i = 1, 2, . . . niz nezavisnih slučajnih promenljivih sa istomraspodelom, EX = µ, VarX = σ2. Normirani zbir

Zn =X1 + · · ·+ Xn − nµ

σ√n

ima EZn = 0, VarZn=1.

Teorema 6.9 Niz Zn konvergira u raspodeli ka Z ∼ N (0, 1), tj.

limn→+∞

P(Zn ≤ x) =1√2π

∫ x−∞

e−t2/2 dt

za svako x ∈ R.

Centralna granična teorema

Neka je Xi , i = 1, 2, . . . niz nezavisnih slučajnih promenljivih sa istomraspodelom, EX = µ, VarX = σ2. Normirani zbir

Zn =X1 + · · ·+ Xn − nµ

σ√n

ima EZn = 0, VarZn=1.

Teorema 6.9 Niz Zn konvergira u raspodeli ka Z ∼ N (0, 1), tj.

limn→+∞

P(Zn ≤ x) =1√2π

∫ x−∞

e−t2/2 dt

za svako x ∈ R.

CGT - dokaz

Zn =X1 + · · ·+ Xn − nµ

σ√n

=(X1 − µ) + · · ·+ (Xn −mu)

σ√n

• Možemo pretpostaviti da je µ = 0. Karakteristična funkcija za Zn jeϕn(t) =

(ϕ(

tσ√n

))n.

• Treba dokazati da je limn→+∞

ϕn(t) = e−t2/2, za svako t ∈ R.

• Smena: τ = tσ√n

; Ψ(τ) = log(ϕn(t))

• limn→+∞

ϕn(t) = e−t2/2 ⇐⇒ lim

τ→0Ψ(τ) = −t2/2

• Ψ(τ) = Ψ(0) + Ψ′(0)τ + Ψ′′(0) τ22 + o(τ2) (τ → 0)

• Ψ(0) = 0, Ψ′(0) = 0, Ψ′′(0) = −nσ2.• Ψ(τ) = −nσ2 · τ2 + o(τ2) = − t22 + o(t

2/σ2n) (n→ +∞)• Dokazano!

Procena greške

Za fiksno n, neka su X1, . . . ,Xn nezavisne slučajne promenljive sa istomraspodelom, i neka je Fn funkcija raspodele slučajne promenljive Zn(normiranog zbira). CGT tvrdi da Fn(t)→ Φ(t) za svako t. To znači daza veliko n možemo da kažemo da je Fn(t) ≈ Phi(t). Koliko n treba dabude da bi se greška aproksimacija bila ispod zadatog nivoa?

Teorema 6.12 (Berry-Eseén) Neka je m3 = E |X1 − µ|3. Tada je

supx∈R|Fn(x)− Φ(x)| ≤ C ·

m3σ3√n,

gde je C < 12 konstanta koja ne zavisi od raspodele za Xk .

Procena greške

Za fiksno n, neka su X1, . . . ,Xn nezavisne slučajne promenljive sa istomraspodelom, i neka je Fn funkcija raspodele slučajne promenljive Zn(normiranog zbira). CGT tvrdi da Fn(t)→ Φ(t) za svako t. To znači daza veliko n možemo da kažemo da je Fn(t) ≈ Phi(t). Koliko n treba dabude da bi se greška aproksimacija bila ispod zadatog nivoa?

Teorema 6.12 (Berry-Eseén) Neka je m3 = E |X1 − µ|3. Tada je

supx∈R|Fn(x)− Φ(x)| ≤ C ·

m3σ3√n,

gde je C < 12 konstanta koja ne zavisi od raspodele za Xk .

Aproksimacije preko CGT

Za bilo koju početnu raspodelu i za n ≥ 20 (empirijsko pravilo):

Normirani zbir Zn

Zn =X1 + · · ·+ Xn − nµ

σ√n

∼ N (0, 1)

Zbir

X1 + · · ·+ Xn ∼ N (nµ, nσ2).

Aritmetička sredina

µ̂n =X1 + · · ·+ Xn

n∼ N

(µ,σ2

n

),

µ̂n − µσ

√n ∼ N (0, 1)

Normirani zbir Zn

Zn =X1 + · · ·+ Xn − nµ

σ√n

∼ N (0, 1)

Zbir

X1 + · · ·+ Xn ∼ N (nµ, nσ2).

µ̂n =X1 + · · ·+ Xn

n∼ N

(µ,σ2

n

),

µ̂n − µσ

√n ∼ N (0, 1)

Normirani zbir Zn

Zn =X1 + · · ·+ Xn − nµ

σ√n

∼ N (0, 1)

Zbir

X1 + · · ·+ Xn ∼ N (nµ, nσ2).

µ̂n =X1 + · · ·+ Xn

n∼ N

(µ,σ2

n

),

µ̂n − µσ

√n ∼ N (0, 1)

Koliko n treba da bude?

Primer 126. Uzimamo uzorak X1, . . . ,Xn iz raspodele sa (nepoznatim)matematičkim očekivanjem µ i (poznatom) varijansom σ2 i računamoocenu µ̂. Koliko n treba da bude da bi bio zadovoljen uslov

P(|µ̂n − µ| ≥ ε) ≤ α

za date parametre ε > 0 i α ∈ [0, 1]? Naći brojnu vrednost za n sa σ2 = 4,ε = 0.1 i α = 0.1

R: Preko CGT: n ≥σ2K 21−α/2

ε2= 1100 Preko Čebǐseva: n ≥ σ

2

αε2= 4000

Aproksimacije raspodela preko CGT

Binomna raspodelaAko je početna raspodela Bernulijeva sa verovatnoćom uspeha p, onda jeraspodela zbira Bin (n, p).

Bin (n, p) ∼ N (np, np(1− p))

za n ≥ 20. Ova aproksimacija primenjuje se za np > 5 (za np < 5 -Puasonova aproksimacija).

Primer 128 Ako je X ∼ Bin (100, 1/2), naći približnu vrednostverovatnoća: a) P(X > 60), b) P(40 < X < 60), c) P(X = 50).

Aproksimacije raspodela preko CGT

Binomna raspodelaAko je početna raspodela Bernulijeva sa verovatnoćom uspeha p, onda jeraspodela zbira Bin (n, p).

Bin (n, p) ∼ N (np, np(1− p))

za n ≥ 20. Ova aproksimacija primenjuje se za np > 5 (za np < 5 -Puasonova aproksimacija).

Primer 128 Ako je X ∼ Bin (100, 1/2), naći približnu vrednostverovatnoća: a) P(X > 60), b) P(40 < X < 60), c) P(X = 50).

Aproksimacije raspodela preko CGT-nastavak

Puasonova raspodelaAko je početna raspodela Poiss (λn ), onda je raspodela zbira Poiss (λ).

Poiss (λ) ∼ N (λ, λ)

Ova aproksimacija koristi se za λ ≥ 10 (za male vrednosti λ nema nipotrebe za aproksimacijom).

Za vežbu: Primeri 126,128,129. Zadaci: 125-139, 307-311.

Documents

Profesor Milan Merkle [email protected] milanmerkle.etf.rs …milanmerkle.etf.rs/wp-content/uploads/2019/11/6-Granicne... · 2019. 11. 10. · njihovih vrednosti ili u smislu bliskosti