206
1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

Embed Size (px)

Citation preview

Page 1: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

1Metodi Probailistici, Statistici e Processi Stocastici

Metodi Probabilistici, Statistici e Processi Stocastici

Università Carlo Cattaneo

Emanuele Borgonovo

Page 2: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

2Metodi Probailistici, Statistici e Processi Stocastici

Capitolo I

Page 3: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

3Metodi Probailistici, Statistici e Processi Stocastici

Introduzione

• Processo Stocastico: un processo stocastico è un processo che è costituito da eventi la cui realizzazione non è deterministica, ma caratterizzata da incertezza

• Esempio: i tempi di arrivo dei clienti in un grande centro commerciale o il numero di clienti che arriva al centro commerciale nell’intervallo dt attorno al tempo t.

Page 4: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

4Metodi Probailistici, Statistici e Processi Stocastici

Elementi introduttivi di Teoria della Probabilità

Page 5: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

5Metodi Probailistici, Statistici e Processi Stocastici

Probabilità

• E’ possibile definire la Probabilità?• Sì, ma ci sono due scuole

• La prima dice che la probabiltà è una porprietà oggettiva degli eventi (Scuola Frequentista)

• La seconda dice che la Probabilità è una misura “soggettiva”della verosimiglianza degli eventi (De Finetti)

Page 6: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

6Metodi Probailistici, Statistici e Processi Stocastici

Gli Assiomi di Kolmogorov

)B(P)A(P)BA(P

,esclusivimutuamenteBeASe

0)A(P

1)U(P

U BA

Page 7: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

7Metodi Probailistici, Statistici e Processi Stocastici

• Supponete di saltare dentro U a caso. Chiamate P(A) la probabilità di saltare in A. Quanto vale?

• Sarà l’area di A diviso l’area di U: P(A)=A/U• In questo caso P(U)=P(A)+ P(B)+ P(C)+ P(D)+ P(E)

Aree e rettangoli?

U

EDCBAU CA B D E

Page 8: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

8Metodi Probailistici, Statistici e Processi Stocastici

Legge della somma delle probabilità

• Dati n eventi non mutuamente esclusivi, in generale la probabilità dell’unione di detti n eventi sarà la somma delle probabilità degli eventi singoli, cui si sottrarrà la somma delle probabilità delle doppie intersezioni, si sommeranno le probabilità delle triple intersezioni e così via.

• In termini di aree

Page 9: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

9Metodi Probailistici, Statistici e Processi Stocastici

Legge della somma delle probbilità in termini di aree

• 2 eventi

• 3 eventi

UB

AAB

UB

AAB

C

Page 10: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

10Metodi Probailistici, Statistici e Processi Stocastici

In formule

• Dimostrazione. Introduciamo un insieme di n eventi, A1, A2,…, An e consideriamo un esperimento casuale su di essi. Indichiamo con Ii la variabile indicatrice dell’evento Ai. La definiamo come segue:

• Sia N il numero di eventi che si verificano. Varrà:

contrariocasoin0

accadutoèAse1I ii

kji

n211n

kjiji

ji

n

1i

n

1iii )A...AA(P)1(...)AAA(P)AA(P)A(P)A(P

N

1niIN

Page 11: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

11Metodi Probailistici, Statistici e Processi Stocastici

Probabiltà Unione: prova (2)

• N è una variabile casuale. Ci chiediamo: qual è il valore atteso di N, E[N]?

• Prima di rispondere, vediamo un “trucco” di calcolo combinatorio che ci tornerà utile:

• Ora, notiamo che

• Quindi, se introduciamo la variabile indicatrice di N così definita:

• Otteniamo:

n

0k

kN

0k

kkNn

0k

kN )1)(k

N()1)(

k

N()1()1)(

k

N()11(

0Nse0

0Nse1)11( N

0Nse0

0Nse1IN

Page 12: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

12Metodi Probailistici, Statistici e Processi Stocastici

Probabiltà Unione: prova (3)

• Quindi vale per IN il seguente sviluppo in termini di binomio di Newton:

• …Il k+1 deriva dal fatto che davanti alla somma c’è un segno -…

• Ora, calcoliamo il valore atteso di IN

• Il passaggio all’interno della somma deriva dal fatto che il valore atteso è un operatore Lineare

• Esplicitiamo i termini:

n

1k

1kn

0k

kNN )1)(

k

N()1)(

k

N(1)11(1I

n

1k

1kn

1k

1kN )1)(

k

N(E)1)(

k

N(EIE

...)3

N(E)

2

N(E)

1

N(EIE N

Page 13: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

13Metodi Probailistici, Statistici e Processi Stocastici

Probabiltà Unione: prova (4)

• Calcoliamo i termini:

• E così via. • Ora notiamo che:• Quindi:

• q.e.d.

N

1iii

N

1i

N

1ii

N

1ii )A(P)A(P10)Ai(P1]I[EIENE)

1

N(E

N

jijiji

N

1iji

N

1iji

N

jiji )AA(P)AA(P10)AA(P1]II[EIIE)

2

N(E

)AP(0)AP(11)AP(]E[In

1ii

n

1ii

n

1iiN

n

1i

N

jijii

n

1ii ...)AA(P)A(P)AP(

Page 14: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

14Metodi Probailistici, Statistici e Processi Stocastici

Probabilità Condizionale

• Supponete ora che B è avvenuto. Quindi siete saltati dentro l’area B.

B

AAB

•Ora non protrete che concordare che:• P(A|B)=P(AB)/P(B)•Quindi: P(AB)=P(A|B) *P(B)

Page 15: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

15Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Nel gioco del lotto, si vince con il 6. Qual è la probabilità, in sei estrazioni senza rimpiazzo, su 90 numeri di ottenere 6?

• Giochiamo 1 colonna e calcoliamo la probabilità di vincere. La probabilità è che la prima cifra estratta sia una delle nostre 6, la seconda sia una delle rimanenti 5 e così via. Indichiamo con I l’evento “la prima cifra estratta è una di quelle giocate da noi,” con II l’evento “la seconda cifra è esatta dato che la prima è una delle nostre 6,”, con III l’evento ““la terza cifra è una delle rimanenti 4, dato che le prime due sono delle nostre 6,” etc.

• Dobbiamo calcolare: P(I,II,III,IV,IV,VI). Utilizziamo la probabilità condizionale:• P(I,II,III,IV,V,VI)= P(VI | I,II,III,IV,IV)*P(V,IV,III,II,I)= P(VI | I,II,III,IV,IV)*P(V |

IV,III,II,I)* P(IV,III,II,I)= …=P(VI | I,II,III,IV,IV)*P(V | IV,III,II,I)* …*P(II |I)*P(I)• La probailità che la prima sia una delle nostre è data da 6/90. La probabilità che

la seconda sia una delle cifre giocate dato che la prima è una delle 6 è 5/89. Così via per le altre. Dunque:

610622

1

6

901

85

1

86

2

87

3

88

4

89

5

90

6)VI,V,IV,III,II,I(P

Page 16: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

16Metodi Probailistici, Statistici e Processi Stocastici

U

IL teorema della probabilità Totale

• Teorema probabilità totale: dati N eventi mutuamente esclusivi (A1, A2,…,AN) e esaustivi, la probabilità di un altro evento E in U è data da:

)A(P

)A(P)A(P)A(P1

4

321

A1 A2A3

A4

E

)A(P)AE(P...)A(P)AE(P)A(P)AE(P)E(P NN2211

Page 17: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

17Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Ad una lotteria, si gioca con una scatola che contiene cappelli eleganti e sportivi in egual proporzione. Il gioco è il seguente. Si estrae un cappello. Se è elegante si ha diritto a tirare una moneta. Se esce testa, si estrae un altro cappello. Non si ha diritto ad altre estrazioni. Qual è la probabilità di vincere due cappelli eleganti?

• Soluzione: Applichiamo il teorema della probabilità totale a P(2 cappelli eleganti):• P(2 cappelli eleganti)=P(II cap. el.|1 estrazione)*P(1estrazione)+P(II cap. el.|II

estrazione)*P(II estrazioni). • Chiaramente P(2 cappelli|1 estrazione)=0, quindi:• P(II cappelli elegante)=P(II cap. el.|II estrazione)*P(IIestrazione).• P(II estrazione)= P(II estrazioni|I sprt)*P(I sprt)+P(II estrazione|I eleg)*P(I eleg)• Ora: se il primo è sportivo non si ha diritto a seconda estrazione. • Osserviamo poi che: P(II estrazione| I eleg)= P(testa) =1/2• Quindi: P(II estrazione)=1/2·1/2=0.25• Inoltre: P(II cap. el .)=P(II cap. el.|II estrazione)*P(II estrazione)=1/2*0.25=0.125• Per esercizio calcolare:

– La probabiltà di uscire con un cappello– La probabilità di uscire con un cappello elegante e con uno sportivo

• Ripetere gli stessi calcoli se I cappelli sono in proporzione 2/3 sportivi/eleganti

Page 18: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

18Metodi Probailistici, Statistici e Processi Stocastici

Variabile Casuale

• Sia S lo spazio degli stati. Per stato si può intendere il risultato di un esperimento statistico, ovvero un evento casuale.

• Scriviamo: sS per denotare che l’esito s appartiene ad S. Ora, s è un evento casuale.

• Introduciamo una funzione matematica che lega il risultato dell’esperimento, s, ad un numero reale, x.

• Scriviamo: X: S

Page 19: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

19Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Teniamo in considerazione gli arrivi di clienti al vostro negozio. Siete soggetti ad un mercato perfettamente concorrenziale, per cui il numero di clienti che arriva nel tempo dt non è deterministico ma casuale.

• Supponiamo che il break-even del vostro negozio sia 50 clienti al giorno. Quindi la giornata è in profitto se il numero di clienti (s) è >50, in perdita se s<50.

• Introduciamo x=1 se la giornata è in profitto, x=0 se la giornata è in perdita. X: S(0,1), è una variabile casuale nel senso definito prima

Page 20: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

20Metodi Probailistici, Statistici e Processi Stocastici

Probabilità di una variabile casuale

• Riprendendo il nostro esempio, la probabilità che X sia pari ad 1 è la probabilità che s abbia più di 50 clienti, ovvero P(X=1)=P(S>50).

• Detto s1 l’insieme di tutti gli eventi per cui è X=1, s1 è la contro-immagine di 1, ovvero: X-1(1)=s1.

• Più in generale:

P(XA)=P[s X-1(A)]• cioè la probabilità che il valore della variabile casuale

X sia nell’intervallo A è pari alla probabilità che gli eventi casuali s cadano nella controimmagine di A

Page 21: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

21Metodi Probailistici, Statistici e Processi Stocastici

Funzione di Partizione

• La funzione di partizione (cumulative distribution) di una variabile casuale risponde alla definizione di essere la probabilità che il valore della variabile casuale sia inferiore ad un valore di riefrimento.

• Scriviamo: FX(x)=P(X<=x)

• Per una variabile discreta:

• Per una variabile continua deve esistere una funzione f(u) tale che:

• La funzione f(u) è detta densità di probabilità di X

xy

X )yX(P)x(F

x

X duufxF )()(

Page 22: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

22Metodi Probailistici, Statistici e Processi Stocastici

Relazione tra F(x) ed f(x)

• Se f(x) è continua, allora vale:

• Esempio. Sia 0<T< una variabile casuale caratterizzata da una distribuzione esponenziale, ovvero f(t) dt=e- tdt è la probabilità che T abbia un valore compreso tra t e dt.

• Qual è la probabilità che T<t?

Soluzione• P(T<t)=F(t)=

)x(f)x('F

tλt

0

uλ e1dueλ

Page 23: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

23Metodi Probailistici, Statistici e Processi Stocastici

Valore atteso

• Il valore atteso di una variabile aleatoria continua è definito da:

• Esempio:

• Per una variabile discreta:

• Esempio: calcolare il valore atteso della variabile aleatoria in Tabella a fianco

dx)x(xf]X[E

i

ii )xX(Px]X[E

λ

1dteλt]T[E

0

i 1 2 3 4 5 6 7Xi 0.1 0.2 0.1 0.15 0.12 0.05 0.28

pi 3 4 22 46 77 89 100Xipi 0.3 0.8 2.2 6.9 9.24 4.45 28

E[X] 51.89

Page 24: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

24Metodi Probailistici, Statistici e Processi Stocastici

Varianza

• La varianza esprime lo scostamento quadratico medio dal valor medio. E’ definita da:

• Notiamo la relazione tra V[X] e E[X2]. Si ha:

• E[X2] è detto momento di ordine 2 o secondo momento della distribuzione f(x).

dx)x(f)xEx()xEx(EXVX

22

22

X

22

X

22

XE]X[E

XEdx)x(xfXE2]X[Edx)x(f)XEXxE2x(XV

Page 25: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

25Metodi Probailistici, Statistici e Processi Stocastici

Skewness

• E’ il parametro che misura il grado di asimmetria di una distribuzione. • La definiamo come momento centrale del III ordine:

• Se la distribuzione è simmetrica la skewness è nulIa. • Di sotto la skewness delle distribuzioni più comuni

dx)x(fμxsk 3

Distribuzione Skewness Binomiale

)p1(np

p21

Beta

ab

ba1

)ba2(

)ab(2

Esponenziale 2 Gamma

γ

2

Normale 0 Poisson

2

1

λ

Uniforme 0

Page 26: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

26Metodi Probailistici, Statistici e Processi Stocastici

Funzione generatrice dei momenti

• Abbiamo definito i momenti di X come E[X], E[X2], E[X3],…, E[Xn].

• La funzione generatrice dei momenti è una funzione definita come segue:

• I momenti di X possono essere ottenuti per differenziazione della funzione generatrice, valutando la derivata n-esima in t=0.

]e[E)t(Ψ tXX

)0(Ψ]X[E ii

Page 27: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

27Metodi Probailistici, Statistici e Processi Stocastici

Capitolo II: Distribuzioni Notevoli

Page 28: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

28Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione binomiale

• Consideriamo un fenomeno casuale caratterizzato da due soli possibili esiti (+/-; testa/croce). Consideriamo ora una serie di N eventi in cui l’esito di ogni esperimento è indipendente dall’esito dell’esprimento precedente.

• Una possibile realizzazione dell’esperimento è la seguente: +,+,+,-,-,+,-,+,-,-.

• Abbiamo ottenuto 5+ e 5-. Se indichiamo con p e q le probabilità di + e – rispettivamente, e consideriamo l’ipotesi di indipendenza, la probabilità di questa serie è: p5*q5.

• La seguente serie avrebbe potuto realizzarsi: -,-,-,+,+,-,+,-,+,+.• Anche la probabilità di questa realizzazione è: p5*q5.

• Ora, supponiamo di essere interessati solo al numero di eventi, ovvero per noi sono di successo tutte le possibili serie in cui compaiono 5 testa e 5 croce.

• La probabilità di successo per serie di 10 lanci è data dalla probabilità di tutte le possibili permutazioni di 5 elementi su 10. Quante sono?

• Sono• Dove è il buon vecchio coefficiente binomiale. Quindi la probabilità

di una sere 5/5 è:

5

10

55qp5

10)q,p;10,5(P

Page 29: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

29Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione binomiale (2)

• In generale, la probabilità di k eventi su n tentativi in cui ad ogni tentativo solo 2 sono i possibili esiti è data da:

• Notiamo che q=1-p.• La precendente ditribuzione è detta binomiale o di

Bernoulli.

knk )p1(pk

n)p;k,n(P

Page 30: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

30Metodi Probailistici, Statistici e Processi Stocastici

Momenti della distribuzione binomiale

• La funzione caratteristica della distribuzione binomiale è:

• Ne segue:

• Quindi: V[X]=E[K2]-E[K] 2=np(1-p)

ntn

0k

knkkt )pep1()p1(pk

ne)t(Ψ

nppne)pep1()pep1(dt

d)0('ΨKE 0t

t1nt0t

nt

2220t

t1nt2 np-np+pnpne)pep1(dt

d)0(''ΨKE

Page 31: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

31Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione ipergeometrica

• Consideriamo il seguente problema. Dovete testare una serie di prodotti. Avete a disposizione un lotto di N prodotti, dei quali M sono difettosi. Prendiamo un campione di n oggetti tra questi. Qual è la probabilità che x degli n oggetti siano difettosi?

• Innanzitutto consideriamo che su N oggetti, vi sono modi di selezionare n oggetti. Quindi il nostro “spazio” delle probabilità diventa fatto da elementi.

• Adesso chiediamoci: abbiamo a disposizione N oggetti, dobbiamo scelglierne x difettosi tra M e n-x non difettosi tra N-M. In quanti modi si può fare? Supponiamo che gli oggetti siano “X” (difettoso) e “-” non difettoso. Si potrebbero disporre su una linea come:

• X - - X X - - - X X - X – X ………..X.• Potremmo anche ordinarli e non cambierebbe nulla:• X X X X X X X ………..X - - - - - -… -.• Ora dobbiamo formare un gruppo di n in cui x siano difettosi. Possiamo

scegliere x difettosi su M. In quanti modi?

)n

N(

)n

N(

)x

M(

Page 32: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

32Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione ipergeometrica (2)

• Analogamente dobbiamo scegliere gli n-x oggetti non difettosi tra gli N-M oggetti non difettosi. Come nel caso precedente, se gli oggetti sono indistinguibili a priori, abbiamo modi possibili.

• Possiamo quindi combinare gli con gli nello scegliere gli oggetti. Quindi i modi possibili di creare serie di n oggetti di cui x sono difettosi su un lotto di N è:

• Dunque, se è il numero totale di casi possibili, la probabilità di creare n-tuple con x elementi difettosi dato un lotto di N elementi è:

• Che prende il nome di distribuzione ipergeometrica

)xn

MN(

)x

m(

)xn

MN(

)xn

MN(

)x

m(

)n

N(

n

N

xn

MN

x

M

)xX(P

Page 33: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

33Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Supponiamo di avere a che fare con un’urna che contiene 100 schede elettorali. Si scontrano due candidati al ballottaggio. A fine voto si saprà che il candidato A avrà 55 voti e il candidato B 45. Qual è la probabilità che, estraendo 10 schede, 6 siano di A e 4 siano di B?

• Soluzione: N=500; M=55; n=10; x=6.

%25

10

100

610

55100

6

55

)6X(P

P(X=x;n=10;N=100;M=55)

0

0.05

0.1

0.15

0.2

0.25

0.3

9 8 7 6 5 4 3 2

x

Hyp

erg

eom

etri

c D

istr

ibu

tio

n

Page 34: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

34Metodi Probailistici, Statistici e Processi Stocastici

Esempio (2)

• Chiediamoci ora, qual è la probabilità che su 20 schede le schede di A e B estratte mantengano la stessa proporzione(12 a 8)?

%18

20

100

1220

55100

12

55

)12X(P

P(X=x;n=20;N=100;M=55)

0

0.05

0.1

0.15

0.2

0.25

17 16 15 14 13 12 11 10 9 8 7 6 5 4 3 2

x

Hyp

erg

eom

etri

c D

istr

ibu

tio

n

Page 35: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

35Metodi Probailistici, Statistici e Processi Stocastici

Dalla distribuzione binomiale…

• Consideriamo la distribuzione di una variabile random che segua una distribuzione binomiale con np= lasciamo tendere n ad infinito e p che tende a 0, con è costante.

• Osserviamo cosa succede alla distribuzione binomiale:

1)1

(...

...)

1(

)!(

!

1)1(

)1(

)1()1

()!(

!lim

!)1()(

)!(

!

!

1lim);,(lim

11

11

kkn

knkn

nn

nk

k

n

knk

n

kknk

nn

nnnbn

nnan

nkn

n

n

en

nnkn

n

knnkn

n

kpknP

Page 36: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

36Metodi Probailistici, Statistici e Processi Stocastici

..alla distribuzione di Poisson

• P è detta distribuzione di Poisson prende il nome di rateo o tasso della

distribuzione• Significato: probabilità di avere k eventi, dato il

tasso .

)λ;k(Pe!k

λ)p;k,n(Plim λ

k

n

Page 37: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

37Metodi Probailistici, Statistici e Processi Stocastici

Momenti della distribuzione di Poisson

• Quindi:

)λ1(λeλedt

dkE

λeλeedt

dkE

e!k

)λe(ee

!k

λe)t(Ψ

0tt)1e(λ2

0tt)1e(λ

0t)1e(λ

)1e(λ

0k

ktλλ

k

0k

tkPoisson

t

tt

t

λλλλ]k[V 22

Page 38: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

38Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione di Gauss

• Una variabile X (-, +) segue la distribuzione di Gauss N(,) se la sua densità di probabilità è data da:

• La corrispondente distribuzione cumulativa è:

2)σ

μx(

2

1

eπ2σ

1)x(f

x x

X exF2)(

2

1

2

1)(

Page 39: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

39Metodi Probailistici, Statistici e Processi Stocastici

Grafici

-4 -3 -2 -1 0 1 2 3 40

500

1000

1500

2000

2500

3000Distribuzione Normale Standard

x

f(x)

-5 -4 -3 -2 -1 0 1 2 3 40

1000

2000

3000

4000

5000

6000

7000

8000

9000

10000Cumulative Gaussian Distribution

x

)x(fG

)Xx(PG

Page 40: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

40Metodi Probailistici, Statistici e Processi Stocastici

Funzioni di Variabile Casuale

• Regola per funzioni di variabili casuali• Sia X una variabile casuale e y=g(x) funzione di X. A sua volta Y

è una variabile aleatoria. Qual è la probabilità che il valore di Y sia intorno ad y?

• Per semplicità consideriamo g(x) monotona crescente o decrescente. f(x) è una corrispondenza biunivoca, quindi la probabilità che Y sia in dy attorno a y è la stessa che X sia in dx attorno x. Quindi: fY(y)dy=fX(x)dx. Ne segue:

• Se f(x) non è monotona crescente, allora vi saranno più punti in cui è x=f-1(y). La precedente formula si generalizza in:

)y(gx)y(gx 11

dxdy1

)x(f)y(f

i)y(gxi 1

i

dxdy1

)x(f)y(f

Page 41: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

41Metodi Probailistici, Statistici e Processi Stocastici

Dalla distribuzione normale…

• Sia Y tale che lnY=X e X~N(, ). Qual è la distribuzione di Y?

• Si applica la precedente regola in quanto ex è una funzione monotona crescente. Calcoliamo:

2

1

2

1

2

1

))ln(

(2

1

)(

))ln(

(2

1

)(

)(2

1

)(

2

11)()(

2

1)(;

2

1)(

,

y

ygxXY

y

ygxX

x

X

ygx

x

ey

dxdy

xfyf

exfexf

ydx

dye

dx

dy

Page 42: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

42Metodi Probailistici, Statistici e Processi Stocastici

…alla distribuzione Log-normale…

•La distribuzione:

prende il nome di distribuzione lognormale e rappresenta la distribuzione di una variable il cui logaritmo segue una distribuzione gaussiana.•Notate che X=ln(Y) è ~N( ,2 ), mentre Y ~LN( , 2) e , non sono il valor medio e la deviazione standard di Y.•Valgono le seguenti relazioni trai parametri ed della distribuzione lognormale e il valor medio () e la varianza (2) di Y:

2)ξ

η)yln((

2

1

Y eπ2yξ

1)y(f

122

2

)2(2

)2

1(

ee

eMediana

e

Y

Y

Page 43: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

43Metodi Probailistici, Statistici e Processi Stocastici

Grafici della distribuzione lognormale

0 20 400

0.1

.20

0

f x( )

500.07 x

0 20 400

0.5

11

0

f2 x( )

500.07 x

)x(fL

)Xx(PL

Page 44: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

44Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione Beta

• La distribuzione beta della variabile X, con ax b è definita come segue:

(q,r) è detta funzione beta.

• Momenti della distribuzione:

∫1

0

1-1-

1-

1-1-

)-1()(),(

0

≤≤)-(

)-()-(

),(

1),;(

dxxxrq

con

altrimenti

bxaab

xbax

rqrqx

qr

rq

qr

X

[ ]( )

[ ]( )

+++=

++

=

)1qr()qr(

a-brqxV

arq

a-brxE

2

2

Page 45: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

45Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione Beta (2)

• Grafico per a=-10, b=10, q=2,r=3

• q=4,r=3

• Grafico per a=-10, b=10, q=3,r=3 (simmetrico)b(x;2,3)

0

0.002

0.004

0.006

0.008

0.01

0.012

0.014

-10

-8.8

-7.7

-6.5

-5.4

-4.2 -3

-1.9

-0.7

0.43

1.59

2.75

3.91

5.07

6.23

7.39

8.55

9.71

x

b(x;3,3)

0

0.002

0.004

0.006

0.008

0.01

0.012

0.014

0.016

-10

-8.8

-7.7

-6.5

-5.4

-4.2 -3

-1.9

-0.7

0.43

1.59

2.75

3.91

5.07

6.23

7.39

8.55

9.71

x

b(x;3,3)

0

0.002

0.004

0.006

0.008

0.01

0.012

0.014

0.016-1

0

-8.8

-7.7

-6.5

-5.4

-4.2 -3

-1.9

-0.7

0.43

1.59

2.75

3.91

5.07

6.23

7.39

8.55

9.71

x

Page 46: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

46Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione

• Una variabile continua () segue una distribuzione se la sua densità di probabilità è data da:

• Dove: (parametro di forma), (parametro di scala)>0 e () è la funzione , una funzione notevole, che generalizza il concetto di

fattoriale ai numeri non interi. () è definita come segue:

• I parametri (parametro di locazione) e sono legati al valore medio ed alla varianza di dalle seguenti relazioni:

)μλ(β1αα

e)α(Γ

)μλ(β)μ,β,α;λ(γ

αμλV

β

αμλE

0

x1α dxexαΓ

Page 47: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

47Metodi Probailistici, Statistici e Processi Stocastici

Grafici della distribuzione

f(,2,3,2)

0

0.2

0.4

0.6

0.8

1

1.2

0

0.8

1.6

2.4

3.2 4

4.8

5.6

6.4

7.2 8

8.8

9.6

10.4

11.2 12

12.8

13.6

14.4

f(,2,1,3)

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0

0.9

1.8

2.7

3.6

4.5

5.4

6.3

7.2

8.1 9

9.9

10.8

11.7

12.6

13.5

14.4

f(,2,1,3)

0

0.2

0.4

0.6

0.8

1

1.2

0

0.8

1.6

2.4

3.2 4

4.8

5.6

6.4

7.2 8

8.8

9.6

10.4

11.2 12

12.8

13.6

14.4

Page 48: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

48Metodi Probailistici, Statistici e Processi Stocastici

Problemi

• Utilizzando la regola del cambio di variabile, dato X~N(0,1), trovare la distribuzione di X2. Notate che è una distribuzione 2.

• Per ciascuna delle distribuzioni presentate, eccetto la beta, trovare, :– La funzione generatrice dei momenti– I primi tre momenti: E[X], E[X2], E[X3]– La varianza

• Per la distribuzione beta, trovare: il modo, la mediana,la media e la varianza.

Page 49: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

49Metodi Probailistici, Statistici e Processi Stocastici

Problemi

• Considerate la funzione () .– Dimostrate che vale la seguente relazione:

()= (-1 )(-1).– Deducetene che, se è intero, si riduce alla

formula del fattoriale.

Page 50: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

50Metodi Probailistici, Statistici e Processi Stocastici

Capitolo III:Propagazione dell’Incertezza

Page 51: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

51Metodi Probailistici, Statistici e Processi Stocastici

L’approssimazione del valore atteso

• Sia Y=g(x) una funzione di variabile casuale X.

• Utilizziamo l’espansione di Taylor per g(x) in X.

• Passiamo al valore atteso di ambo i membri

• Quindi otteniamo:

...)μx(E2

)μ(''g)μx(E)μ('g)μ(g

...2

)μ(''g)μx(E)μx)(μ('gE)μ(gE)x(gE

2X

XXX

X2XXXX

...2

)μ(''g)μx()μx)(μ('g)μ(g)x(g X2

XXXX

...xV2

)μ(''g)μ(g)x(gE X

X

Page 52: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

52Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Sia y=+v0t la legge oraria di un grave. Sia v incerta, con una distribuzione normale, (v=10,2

v=5) (unità standard). Quanto tempo impega il grave a percorrere y=100m?

• Soluzione: t=g(v)=100/v.

• f(v)=100/10=10

• f’’(v)=(200/v3)| v =0.2

• E[t]=100/10+0.1*5=10.5

Page 53: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

53Metodi Probailistici, Statistici e Processi Stocastici

Approssimazione della Varianza

• Se V[X] è “il valore dell’incertezza” in in X, quanto è il valore dell’incertezza in f(x)?

• La varianza si calcola sempre tramite l’approssimazione di Taylor su g(x) e introducendola nell’equazione:

• Per esempio, fermiamo l’approssimazione di Taylor al primo ordine:

dx)x(f)x(gE)x(g)x(gV 2

]x[V)μ('gdx)x(f)μ(g)μx)(μ('g)μ(g)x(gV 2X

2XXXX

Page 54: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

54Metodi Probailistici, Statistici e Processi Stocastici

Approssimazione al II ordine della Varianza

• Si considerino l’approssimazione al secondo ordine del valore atteso e della funzione g(x).

• Sostituendo in V[g(x)] otteniamo:2

)μ(''g)μx()μx)(μ('g)μ(g)x(g 2

4

)μ(''g])μx[(E

2

)μ(''g)μ('g])μx[(E

4

)μ(''gxV)μ('g]x[V

dx)x(f

4

)μ(''gxV)μx(2xV)μx(

2

)μ(''g)μ('g2

2

)μ(''g)μx)(μ('g2

xV4

)μ(''g

4

)μ(''g)μx()μx)(μ('g

dx)x(fxV2

)μ(''g

2

)μ(''g)μx()μx)(μ('g

243

222

223

222

422

22

xV2

)μ(''g)μ(g)x(gE

dx)x(fxV

2

)μ(''g)μ(g

2

)μ(''g)μx()μx)(μ('g)μ(g)x(gV

22

Page 55: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

55Metodi Probailistici, Statistici e Processi Stocastici

Il Teorema di Inversione

• Innazitutto dimostriamo che y=FX(x) è caratterizzata da una distribuzione uniforme.

• Per farlo, notiamo che F(x) è una funzione monotona crescente. Quidi, per la formula del cambio di variabile si ha:

• Quindi la distribuzione di y=F(x) è una distribuzione uniforme.

A questo punto, risolvendo la relazione in funzione di X, otteniamo: x=F-1(y)

1)x(f

1)x(f

dxdF1

)x(f

dxdy1

)x(f)y(f)y(gx 1

Page 56: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

56Metodi Probailistici, Statistici e Processi Stocastici

Il Teorema di Inversione 2

• Il teorema di inversione ci dice che, se y è distribuita secondo una uniforme, x=F-1(y) è distribuita secondo F(x) o, se si vuole, f(x).

Page 57: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

57Metodi Probailistici, Statistici e Processi Stocastici

Metodo Monte Carlo

• Campionamento di un valore di P.up

• Per ogni valore di P.up si valuta il modello.

• 2 informazioni:– Frequenza della decisione migliore– Distribuzione di ciascuna delle alternative

Page 58: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

58Metodi Probailistici, Statistici e Processi Stocastici

Campionamento: il cuore del Monte Carlo

• 1) Generatore di numeri casuali “u” tra 0 e 1

• (I numeri sono generati con distribuzione uniforme)• 3) Supponiamo che il parametro incerto sia

caratterizzato dalla distribuzione cumulativa in figura:

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

x

Distribuzione cumulativa esponenziale

0 1u

Page 59: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

59Metodi Probailistici, Statistici e Processi Stocastici

Campionamento

• Inversione:

• I valori di così ottenuti seguono la densità/cumulativa da cui abbiamo invertito

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

x

Distribuzione cumulativa esponenziale1

0

)(1 uFx

Page 60: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

60Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Valutare il volume del solido mediante metodo Monte Carlo.

0in

nV

N

nlimV

VV0

Page 61: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

61Metodi Probailistici, Statistici e Processi Stocastici

Problemi

1• Campionare 100 numeri casuali da una distribuzione esponenziale di tasso =1.• Disegnare l’istogramma della frequenza e il cumulativo• Stimare valor medio e varianza• Ripetere l’esercizio con 1000 dati.

2Sia Y=X1/2 con X>=0 distribuito secondo la distribuzione (1,1,0). Disegnare la distribuzione di X. Mediante

la formula del cambio di variabile calcolare la distribuzione di Y.Disegnare la distribuzione di Y.Calcolare il valore atteso e la varianza di Y.Calcolare il valore atteso e la varianza di Y con lo sviluppo di Taylor al I ordine. Che errore commettete?

Utilizzate lo sviluppo in serie del II ordine. Che errore commettete?

3Siano X e Y due variabili casuali, con Y=arcsin(x), -1<x<1. X è distribuito mediante una distribuzione esponenziale: f(x)=e-x/K.

Utilizzate l'approssimazione di Taylor al I ordine per calcolare la varianza di Y e il suo valore atteso

Ottenere l'espressione analitica esatta della varianza. Confrontate il risultato con il risultato precedente. Ripetete ora con l'approssimazione del II ordine.Mediante il metodo Monte Carlo disegnate il grafico della densità e della distribuzione cumulativa di Y, con

1000 campionamenti (In questo caso, campionate dalla gaussiana 1000 valori di x e sostituite in Y). Confrontatelo con il grafico analitico.

Sul campione Monte Carlo ottenuto, calcolate il valore atteso e la varianza. Che errore commette rispetto al valore ottenuto analiticamente?

Page 62: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

62Metodi Probailistici, Statistici e Processi Stocastici

Capitolo IV:Analisi Dei Dati

Page 63: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

63Metodi Probailistici, Statistici e Processi Stocastici

Introduzione

• Inferenza statistica: a volte si parte da un insieme di dati, che rappresentano gli esiti di un fenomeno casuale. Per esempio I dati di concentrazione di una sostanza tossica in un determinato terreno possono variare in maniera casuale nelle varie zone: 50ppm,25ppm,17ppm,22ppm. Oppure gli arrivi degli ordinativi in vari giorni o periodi dell’anno sono 10, 20, 15,7,9,30. Se da un punto di vista di consuntivo tali dati sono importanti, possono e devono risultare utili anche in vista di una stima del comportamento futuro dei due sistemi (l’inquinamento del terreno e l’azienda).

Page 64: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

64Metodi Probailistici, Statistici e Processi Stocastici

Stima dei Parametri

• Da un punto di vista statistico, si dice che l’analista ha a disposizione un campione X1,X2,…XN che proviene da una popolazione che è:– con distribuzione non specificata– con distribuzione di forma nota, ma con valore dei

parametri della distribuzione non noti

• Nel primo caso si parla di:– Inferenza statistica non parametrica

• Nel secondo caso si parla di:– Inferenza statistica parametrica

Page 65: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

65Metodi Probailistici, Statistici e Processi Stocastici

Statistica

• Trattiamo la stima parametrica • Definizione: Statistica. Si dice una statistica qualunque

funzione T(X1,X2,…,XN) – o anche T(·) - tale che:– è funzione degli elementi del campione– non contiene parametri incogniti

• Per esempio, nel caso degli arrivi di ordinativi all’azienda la media del campione

• è una statistica della distribuzione del campione• Notiamo che in qualche modo la statistica sintetizza o

manipola l’informazione originaria del campione

17.156

6

1ii^

Page 66: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

66Metodi Probailistici, Statistici e Processi Stocastici

Statistiche Sufficienti e Teorema di Fisher-Neyman

• Definizione: Se X1,X2,…,XN costiuiscono un campione casuale semplice e Bernoulliano, con corrispondente variabile casuale X, con funzione di probabilità f(x;)(*), allora T(·) è sufficiente per f(x;) se e solo se la distribuzione del campione condizionata al valore t assunto da T è la stessa per qualunque valore di .

• Dal punto di vista pratico non è facile utilizzare la definizione precedente per stabilire se una statistica è sufficiente. Si ricorre allora al seguente criterio di Fisher-Neyman:

• T(·) è sufficiente per f(x;) se e solo se vale:

• Con h e g funzioni non negative. Notiamo che g dipende dagli x i solo tramite T.

• (*) è il vettore dei parametri della distribuzione di X. Per esempio in una distribuzione è =(,,).

n21n21

n

1iiin21 x,...,x,xhθ);x,...,x,x(Tg)θ;x(f)θ;x,...,x,x(f

Page 67: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

67Metodi Probailistici, Statistici e Processi Stocastici

Stimatori

• In vista dell’utilizzo predittivo dei dati, si può cercare di creare una statistica T che ci permetta di stimare . Per esempio, in una distribuzione esponenziale, ci potrebbe interessare trovare il valore del parametro .

• Chiaramente uno stimatore sarà tanto migliore quanto meglio saprà utilizzare l’informazione contenuta nel campione per stimare . In più, all’aumentare del numero di variabili nel campione, vorremmo che ^=T(·) tenda al vero .

• Un esempio: sia X1,X2,…,XN un campione da una distribuzione esponenziale che vogliamo utilizzare per stimare . Vale: =1/E, con E valor medio della distribuzione esponenziale.

• Quindi potremmo dapprima calcolare

• e poi utilizzare la relazione

• Definizione. Sia X~f(x;) e X1,X2,…,XN un campione casuale semplice di X. Si dice stimatore di qualsiasi statistica T che venga utilizzata per stimare .

N

xN

ii

E

1

^

E

^

^

μ

Page 68: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

68Metodi Probailistici, Statistici e Processi Stocastici

Proprietà degli Stimatori

• Stimatore sufficiente: è uno stimatore che deriva da una statistica sufficiente.– Uno stimatore sufficiente utilizza tutta l’informazione nel

campione

• Efficienza:– Erorre semplice medio:

– Errore quadratico medio:

• L’efficienza degli stimatori è, nella pratica, da intendersi in modo relativo. Infatti non sempre è assicurata l’esistenza di uno stimatore efficiente in senso assoluto, cioè che minimizza uno dei due errori

θθEθ*θE____

2__2__

* EE

Page 69: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

69Metodi Probailistici, Statistici e Processi Stocastici

Proprietà degli stimatori: distorsione (bias)

• Uno stimatore di dice corretto o non distorto se:

• Dimostriamo che se uno stimatore è corretto, allora l’errore quadratico medio e la varianza dello stimatore coincidono.

• Se è uno stimatore non distorto, allora d=0 e la varianza di coincide con l’errore quadratico medio.

^

E

edistorsiontoEdcon

dVEVEEEEEEEMQ

det

)()()()(

__

2__

2____

2______

2________

Page 70: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

70Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione della media di un campione gaussiano

• Valore atteso:

• Varianza del valore atteso:

• Distribuzione: Gaussiana. – Segue dal fatto che la somma di varibili normali

indipendenti è ancora una variabile normale

XX

N

1ii

μN

μN

N

]X[E]X[E

N

σ

N

σN]

N

X[V])μX([E]X[Vσ

2X

2

2X

N

1ii

2X

2X

Page 71: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

71Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione della media di campione non gaussiano

• Il teorema del limite centrale assicura che la somma di n varibili casuali indipendenti e identicamente distribuite tende ad una distribuzione gaussiana al tendere di n all’infinito.

• In virtù del teorema del limite centrale, la distribuzione del campione è, per N sufficientemente grande:

N(X, )

• Ovvero, il valor medio del campione è distribuito

secondo una normale anche se la distribuzione di

X non lo è…!

N

σX

Page 72: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

72Metodi Probailistici, Statistici e Processi Stocastici

Stima della varianza della distribuzione

• Definiamo varianza campionaria la quantità:

• Si può verificare che la varianza campionaria ha valore atteso pari a X

2, la varianza della distribuzione della popolazione.• In termini di stimatori, S2 è uno stimatore corretto della

varianza della popolazione.• Notiamo che se per X

2 viene utilizzato lo stimatore:

• Si ottiene una stima della varianza della popolazione distorta. Infatti, vale:

1N

)XX(S

N

1i

2i

2

N

)XX(^σ

N

1i

2i

2

Page 73: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

73Metodi Probailistici, Statistici e Processi Stocastici

La varianza campionaria

• Quindi la varianza del campione è uno stimatore distorto della varianza della popolazione

2

222

1

2

22

1

2

1

2

1

2

1

22

1

2

1

2

1

2

1

/]

)()([

])()(2)(

[])()()(2)(

[

])())((2)(

[])()(

[

])()(

[])(

[][:.

X

XX

N

ii

N

ii

N

ii

N

ii

N

iii

N

ii

N

ii

N

ii

N

NN

NNN

N

XNXE

N

XNXNXE

N

XNXXXE

N

XXXXE

N

XXE

N

XXE

N

XXEXVEDim

X

N

ii

N

N

N

XXE21

2

1])([

Page 74: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

74Metodi Probailistici, Statistici e Processi Stocastici

Proprietà degli stimatori: consistenza

• Consistenza in senso debole:

– Ovvero al tendere del numero di elementi nel campione, con probabilità 1 l’errore semplice medio tende a 0

• Consistenza in senso forte:

• Al tendere di N all’infinito, l’errore quadratico medio tende a 0.• La consistenza in senso forte implica la consistenza in senso

debole.

1εθθPlim NN

0EQMlim NN

Page 75: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

75Metodi Probailistici, Statistici e Processi Stocastici

La funzione di verosimiglianza

• Sia X~f(x;) una variabile aleatoria e X={x1,…,xn} un corrispondente campione.

• Si consideri un campione bernoulliano. Si dice funzione di verosimiglianza del campione la seguente densità:

• Interpretazione: la funzione di verosimiglianza è legata alla probabilità del campione come segue:

)θ;x(f)θ;X(LN

1ii

NN2211 dx)θ;x(f...dx)θ;x(fdx)θ;x(f)θ;X(P

Page 76: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

76Metodi Probailistici, Statistici e Processi Stocastici

Un esempio classico

• Sia X~N(;2X), ed X un campione da N(;2

X). Costruiamo la funzione di verosimiglianza:

• Quali sono le due statistiche che massimizzano la verosimiglianza per la stima di e X?

• Il membro di sinistra della prima equazione risulta:

N

1i

2

X

Xi2

X

Xi )σ

μx(

2

1N

X

N

1i

μx(

2

1

X

eπ2σ

1e

π2σ

1)θ;X(L

0)θ;X(Lσ

0)θ;X(Lμ

X

X

N

1i

2

X

Xi )σ

μx(

2

1

X

N

1iiX

N

XX

)xμN(

π2σ

1)θ;X(L

μ

Page 77: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

77Metodi Probailistici, Statistici e Processi Stocastici

Un esempio classico (cont.)

• Che implica:

• Dunque la media del campione è una stima del parametro della distribuzione.

• Passando alla seconda equazione, si ottiene:

N

xμ0)xN(

N

1ii

MLEX

N

1ii

N

1i

2Xi

2X

)2

2N(2

X

N

σ2

)μx(

22X

N

1i

2Xi2/N2

X

)12

N(2

Xσ2

)μx(N

μx(

2

1

2X

2/N2X

)12

N(2

X

N

μx(

2

12/N2

XX

N)σ

μx(

2

12/N2

X

N

X2

X

)μx()2

N(σσ

π2

1e

)σ(

)μx(σ

2

1σ)

2

N(e

π2

1

σσ)2

N(

π2

1

eσσπ2

1eσ

π2

1

σ)θ;X(L

σ

2X

N

1i

2Xi

2X

N

1i

2Xi

N

1i

2

X

Xi

N

1i

2

X

XiN

1i

2

X

Xi

Page 78: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

78Metodi Probailistici, Statistici e Processi Stocastici

Un esempio classico (cont.)

• Che implica:

• A questo punto dobbiamo notare che X non è noto. E quindi dobbiamo sostituite la sua stima, tramite X, ovvero:

• Dunque lo stimatore di massima verosimiglianza della varianza della distribuzione normale è dato dall’espressione di cui sopra.

• A questo punto ci domandiamo: sono stimatori distorti?• Per saperlo occorre calcolare il termine d2 introdotto in precedenza, e quindi E[^]. • Cominciamo con lo stimatore di massima verosimiglianza di . Abbiamo:

• Ne segue: E[XMLE]= e d2=0. Quindi lo stimatore X

MLE è corretto.• Consideriamo lo stimatore della varianza e ripetiamo lo stesso ragionamento.

N

)μx(σ

N

1i

2XiMLE2

X

μ]N

X[E]μ[E

N

1ii

MLEX

N

)XX(σ

N

1i

2iMLE2

X

Page 79: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

79Metodi Probailistici, Statistici e Processi Stocastici

Un esempio classico (Cont.)

• Abbiamo:

• Che dimostra che la varianza stimata con il metodo della massima verosimiglianza è uno stimatore distorto della varianza della popolazione

]N

)XX([E]σ[E

N

1i

2iMLE2

XX

Page 80: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

80Metodi Probailistici, Statistici e Processi Stocastici

Capitolo VL’approccio Bayesiano

Page 81: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

81Metodi Probailistici, Statistici e Processi Stocastici

Probabilità e Informazione

• Problema: vi è data una scatola contenente due gioielli. La scatola è costruita in modo tale che con la stessa probabilità (1/2) i due gioielli sono tutti e due d’oro (evento A) o uno è d’oro e uno d’argento (evento B). Per sapere il contenuto della scatola vi è permesso di estrarre uno dei due gioielli dalla scatola. Supponete che sia d’oro. – Secondo voi avete guadagnato informazioni

dall’estrazione?– La probabilità che l’altro sia d’oro è ancora del 50%?– Sareste disposti a pagare per estrarre?

Page 82: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

82Metodi Probailistici, Statistici e Processi Stocastici

Se assumiamo che:La probabilità di un evento è

soggettivaLa probabilità è il nostro grado di

confidenza nel realizzarsi di un evento

P(E) cambia con l’informazione…

Page 83: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

83Metodi Probailistici, Statistici e Processi Stocastici

Il Teorema di Bayes

• Ipotesi: A e B sono due eventi. L’evento A è accaduto.

• Tesi: la probabilità di B dato che A è avvenuto cambia come segue:

)A(P

)BA(P)B(P)AB(P

P(B) prima che A avvenisse

Prob. di B ora che A è avvenuto Prob. che A avvenisse

Probabilità di A dato B

Page 84: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

84Metodi Probailistici, Statistici e Processi Stocastici

Applichiamolo al problema

• Eventi:• A: tutti e due i gioielli sono d’oro• o: l’anello estratto è d’oro

• Il teorema dice:

• P(A)=probabilità che tutti e due siano d’oro prima dell’estrazione=1/2

• P(o)=probabilità che un anello sia d’oro=3/4• P(o|A)=probabilità che l’anello sia d’oro dato A=1 (tutti e due gli

anelli sono d’oro)

• Quindi:

)o(P

)Ao(P)A(P)oA(P

3/24/3

12/1)oA(P

Page 85: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

85Metodi Probailistici, Statistici e Processi Stocastici

Dimostrazione del Teorema

)B(P

)A(P)AB(P)BA(P

)A(P)AB(P)B(P)BA(P

)AB(P)AB(P

Punto di Partenza

Formula della probabilità condizionale

Tesi

Page 86: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

86Metodi Probailistici, Statistici e Processi Stocastici

Teorema di Bayes nel continuo

• Incertezza epistemica e teorema di Bayes sono collegati in quanto sappiamo che possiamo usare l’evidenza per aggiornare le probabilità.

• Ad esempio, supponete di avere una moneta e di voler sapere se la probabilità che esca testa o croce sia del 50%.

• Come fate?• Tirate la moneta….

Page 87: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

87Metodi Probailistici, Statistici e Processi Stocastici

Formula

• La densità di probabilità di un parametro, dopo aver raccolto l’evidenza (E) cambia come segue:

• L(E)=MOW likelihood o verosimiglianza 0() è la densità di probabilità di prima dell’evidenza

detta distribuzione a priori () è la densità di probabilità di dopo l’evidenza detta

distribuzione a posteriori

d)()E(L

)()E(L)(

0

0

Page 88: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

88Metodi Probailistici, Statistici e Processi Stocastici

Deriviamolo• Prendiamo la formula del teorema di Bayes nel discreto:

• Passiamo al continuo: in questo caso vogliamo sapere la probabilità che un parametro nella distribuzione assuma un determinato valore dato che un certo evento si è verificato

• Quindi l’evento Aj è: assume il valore *

• Da cui: P(Aj)0()d 0()=densità a priori

• Quindi: P(EAj) ha il significato di probabilità che l’evidenza E si realizzi dato che sia pari a * . Si scrive L(E, ) ed è chiamata funzione verosimiglianza: ma è anche il MOW!!!

n

1iii

jj

j

)A(P)AE(P

)A(P)AE(P)EA(P

Page 89: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

89Metodi Probailistici, Statistici e Processi Stocastici

Deriviamolo

• Il denominatore esprime la somma delle probabilità dell’evidenza dati tutti i possibili eventi. Nel caso dell’ncertezza epistemica i possibili eventi sono i valori del parametro . Quindi:

• Sostituendo i vari termini si trova la formula del teorema di Bayes per stribuzioni continue che abbiamo mostrato prima

d)()E(L)A(P)AE(P 0

n

1iii

Page 90: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

90Metodi Probailistici, Statistici e Processi Stocastici

E’ una moneta onesta?• Quale è il modello aleatorio?

• E’ una binomiale:

• 2) Quale è il valore di p?• Supponiamo di non sapere nulla su p e allora scegliamo una

distribuzione a priori non informativa: la uniforme

• Raccogliamo l’evidenza. • Al primo lancio esce testa• Al secondo croce • Al terzo testa

knk )p1(pk

n)kn,k(P

.altr0,1p01)p(0

Page 91: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

91Metodi Probailistici, Statistici e Processi Stocastici

Ristulato• Primo lancio

– Evidenza t.– MOW: L(tp)=p

– Priori: 0

• Secondo lancio: – Evidenza è c– MOW: L(cp)=(1-p)

– Priori: 1

• Terzo lancio:– Evidenza t– MOW: L(tp)=p

– Priori: 2

• Equivalentemente:– Evidenza: t,c,t– L(tctp)=p2(1-p)– Priori: 0

p2

pdp

1p

dp)p()pE(L

)p()pt(L)p(

1

0

0

01

)pp(6

dp)pp(

)p1(p

dp)p()ptc(L

)p()ptc(L)p(

2

1

0

21

12

)pp(12

dp)p1(p

)p1(p

dp)p()ptc(L

)p()ptc(L)p(

32

1

0

2

2

2

23

)pp(12

dp1)p1(p

1)p1(p

dp)p()ptc(L

)p()ptct(L)p(

32

1

0

2

2

2

03

Page 92: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

92Metodi Probailistici, Statistici e Processi Stocastici

Grafico

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2

0

1

2

3

Page 93: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

93Metodi Probailistici, Statistici e Processi Stocastici

Distribuzioni Coniugate

• Likelihood– Poisson

• Distr. a Posteriori

• Distr. A Priori– Gamma

• dove:

!n

)t(e)t,n(P

nt

e)(

),,(1

λ'β1'α

e)'α(Γ

λ'β)'β,'α,λ(π =

tβ'β

rα'α

Page 94: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

94Metodi Probailistici, Statistici e Processi Stocastici

Distribuzioni Coniugate

• Likelihood– Normale

• Distr. a Posteriori: Normale

• Distr. A Priori di :– Normale

• dove:

2

x

x )σ

μx(

2

1

x

X eπ2σ

1)x(f

2

μ

x )σ

μm(

2

1

μ0 e

π2σ

1)m(π

20μ

2x

20μ

2xX'

)σ(n)σ(

)σ(xn)σ(μμ

2

'x

'μx(

2

1

xG e

π2'σ

1)x(f

n/)σ()σ(

)σ()n/σ(σ

2x

2x'

x

Page 95: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

95Metodi Probailistici, Statistici e Processi Stocastici

Distribuzioni Coniugate

• Likelihood– Binomiale

• Distr. a Posteriori:

Beta

• Distr. A Priori di :– Beta

• dove:

knk )p1(pk

n

kr'r

knqq -'

1q)1r(0 )p1(p)p(π

1'r)1'q(1 )p1(p)p(π

Page 96: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

96Metodi Probailistici, Statistici e Processi Stocastici

Riassunto delle Distribuzioni Coniugate

Modello Aleatorio Distribuzione a Priori

Distribuzione a Posteriori

Binomiale Beta Beta

Poisson Gamma Gamma

Normale Normale Normale

Normale Gamma Gamma

Negative binominal Beta Beta

Page 97: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

97Metodi Probailistici, Statistici e Processi Stocastici

Stima Bayesiana dei Parametri

• Supponiamo di avere un campione t=(t1, t2,…, tN) da una distribuzione esponenziale, con parametro non noto.

• Se la distribuzione di partenza è una distribuzione (,,0), qual è la distribuzione di una volta raccolta l’evidenza?

• La funzione di verosimiglianza del campione è:

• Da cui la disribuzione a posteriori risulta:

N

1iii tλN

N

1i

tλeλeλ)β,α;t(L

λdλe

λe

λdλeeλ

λeeλ

λd)α(Γβλe

)α(Γβλe

eλ)λ(π

1αN)tβ(λ

1αN)tβ(λ

1αβλtλN

1αβλtλN

α1αβλtλN

α1αβλtλN

1 N

1ii

N

1ii

N

1ii

N

1ii

N

1ii

N

1ii

Page 98: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

98Metodi Probailistici, Statistici e Processi Stocastici

Stima Bayesiana

• Supponiamo di avere a disposizione i seguenti dati:

• t=(1,19,42,15,61,70,93), =2, =2.• Disegnamo I grafici delle due distribuzioni

0

10

20

30

40

0.2 0.4 0.6 0.8 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.2 0.4 0.6 0.8 1

0 1

Page 99: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

99Metodi Probailistici, Statistici e Processi Stocastici

Stima Bayesiana

• Come stimatore Bayesiano di utilizziamo:

• E[] minimizza l’errore quadratico dello stimatore:

• Per il nostro esempio numerico: E[]=0.0297029703• Notiamo che l’approccio bayesiano ci consente anche di identificare un intervallo

di confidenza per . Per esempio l’intervallo di confidenza 10% simmetrico [5%, 95%] è ottenuto risolvendo le due equazioni:

• Per il nostro esempio: 5%=0.0155 e 95%=0.0477

λdλe

λdλeλ

λEλ1αN)tβ(λ

0

0

1αN)tβ(λ

Λ N

1ii

N

1ii

95λ

0

1 95.0λd)λ(π 05λ

0

1 05.0λd)λ(π

]λ[Eλ0λλE2

λ

λλEλλEmin

2

2

λ

Page 100: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

100Metodi Probailistici, Statistici e Processi Stocastici

Problemi

• 4) Dimostrare che è equivalente ad una (+N-1,+T)

• 5) Per l’esempio, trovate il valore dello stimatore di massima verosimiglianza e confrontatelo con lo stimatore Bayesiano E[]. (Sol.: 0.0232 vs. 0.0297).

• 6) X~N(8,9). e sono caratterizzati da una distribuzione di incertezza a priori N(10,4). E’ dato il campione (18.6,13.1, 6.9, 12.6, 6.9, 9.0, 6.4, 13.4, 12.4, 6.8). Trovate:– Gli stimatore di massima verosimiglianza del valor medio e della varianza

• Sol.: 10.6– Gli stimatori Bayesiani

• Sol.:

– L’intervallo di confidenza simmetrico del 10%.• Sol.:

λdλe

λe)λ(π

1αN)tβ(λ

1αN)tβ(λ

1 N

1ii

N

1ii

5.10)σ(n)σ(

)σ(xn)σ(μμ

20μ

2x

20μ

2x'

27.0n/)σ()σ(

)σ()n/σ(σ

2x

2x'

x

Page 101: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

101Metodi Probailistici, Statistici e Processi Stocastici

Capitolo VI:Statistica Multivariata

Page 102: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

102Metodi Probailistici, Statistici e Processi Stocastici

Distribuzioni multivariate

• Consideriamo un fenomeno casuale in cui si combinino due variabili. Ad esempio, I ricavi di un supermercato derivano dai clienti che entrano nel supermercato e dal tipo di acquisti che i clienti effettuano. Modellizziamo il problema chiamando X la variabile aleatoria relativa al numero di clienti che entrano nel supermercato e Y quella relativa al valore dell’acquisto. Chiaramente quanto si venderà è funzione di X e Y.

• F(x,y) sarà la probabilità che arrivino X<=x clienti e che acquistino per un valore pari ad Y<=y. Se a questa funzione cumulativa corrisponde una funzione densità di probabilità, scriveremo: f(x,y)dxdy la probabilità che arrivino x clienti e comperino per un valore y.

• Qual è la probabilità che i clienti comperino X<=x indipendentemente da y?

• Analogo ragionamento si applica alla determinazione della distribuzione marginale FY(y).

x

X )'y,'x(f'dy'dx)x(F

Page 103: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

103Metodi Probailistici, Statistici e Processi Stocastici

Funzione Partizione

)AB(P)y,x(F

yYB

xXA

)yYxX(P:)y,x(F

inaliargM

)yY(P:)y(F

)xX(P:)x(F

Y

X

Page 104: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

104Metodi Probailistici, Statistici e Processi Stocastici

Distribuzioni Multivariate

• Più formalmente, se xy è il nostro spazio degli eventi, dove un evento è una combinazione dei valori di xy FXY(x,y) rappresenta la probabilità che X sia minore di x e, allo stesso tempo, Y sia minore di y:

• FXY(x,y)=P(Xx,Y y).

• Per soddisfare gli assiomi della probabilità deve essere: • F(, )=1

• F(, y)=FY(y), F(x, )=FX(x)

• F(-, -)=0,• F(-, y)=0, F(x, -)=0

• F(, y)=FY(y)

Page 105: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

105Metodi Probailistici, Statistici e Processi Stocastici

Distribuzioni multivariate

• Ora, logicamente ci si aspetta che Y dipenda in qualche modo da X. Infatti, più clenti arrivano più sarà facile raggiungere valori alti di Y. Ma, se per caso, in un mondo poco reale, si verificasse che Y non dipende da X, ci troveremmo di fronte al fatto che P(X<=x) è indipendente dal valore di Y. Dunque:

• P(X,Y)=P(X<=x) P(Y<=y)

• Quindi: F(X,Y)=FX(x) FY(y)

• od anche: f(x,y)dxdy=f(x)dx f(y)dy• Diremo che X e Y sono indipendenti se:

fX|Y(x|y)=fX(x)

Page 106: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

106Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Considerate due variabilie X e Y caratterizzate dalla seguente possibile densità:

• Trovate c• Sol:• X e Y sono indipendenti?

• Sono indipendenti se possiamo scrivere: fX|Y(x|y) = fX(x).

• Ovvero: Nel nostro caso è facile verificare che questa condizione non può essere verificata e quindi le due variabili non sono indipendenti. La ragione è legata alla presenza del termine di interazione y/x

c

e)y,x(f

)x

yx(

1c1dxdyec1)y,x(f)

x

yx(

(x).f(y)f

y)(x,f y)|(xf X

Y

XYYX|

Page 107: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

107Metodi Probailistici, Statistici e Processi Stocastici

Valore atteso condizionale

• Si può dimostrare che:

• Nel caso X e Y siano indipendenti

dx)yx(xfdy)y(fXE Y

dx)yx(xfyYXE

XEdx)x(xfdx)x(xfdy)y(fYXE Y

Page 108: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

108Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Dati X e Y e la loro distribuzione:

• Trovare il valore atteso condizionale di X, quello di Y e I corrispondenti valori attesi non condizionali

Page 109: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

109Metodi Probailistici, Statistici e Processi Stocastici

Covarianza e Coefficiente di Correlazione

• Siano X ed Y due variabili casuali. Si definisce Covarianza di X con Y il seguente:

• Si definisce coefficiente di correlazione il seguente rapporto:

• Vale:• Dimostrazione:

dxdy)y,x(f)μY)(μX()μY)(μX(E]XY[Cov XYYXYX

YXσσ

]XY[Covρ

1ρ1

.ostrdimlachiudesiρinoSostituend

.σσ]XY[Covσσcuida,σσ]XY[Cov:Quindi

σ])μx[(Edxdy)y,x(f)μX(

eσ])μx[(Edxdy)y,x(f)μX(:ma

dxdy)y,x(f)μY(dxdy)y,x(f)μX(dxdy)y,x(f)μY)(μX(

:Schwarzdi.disegDalla

XYXY2

X2

Y2

2Y

2YYXY

2X

2X

2XXXY

2X

XY2

YXY2

X

2

XYYX

Page 110: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

110Metodi Probailistici, Statistici e Processi Stocastici

Un esempio

• Dopo attenta riflessione stabilite che le vendite della vostra azienda (y) dipendono, da:

– X1: Condizioni generali dell’economia (che sintetizzate nell’indice della fiducia dei consumatori)

– X2: Qualità della produzione, che stimate in base al numero di elementi difettosi scartati durante l’anno.

• Nei dieci mesi passati raccogliete i seguenti dati:Fiducia Consumatori (scala 1-10 per semplicità)

Numero Prodotti difettosi

5 506 367 346 315 444 606 553 404 33

4.5 35

Page 111: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

111Metodi Probailistici, Statistici e Processi Stocastici

Covarianza e Coefficiente di Correlazione per l’esempio

• Decidete di analizzare un poco i dati:

• Vi sembrano ragionevoli?

Scatter plot

0

10

20

30

40

50

60

70

0 1 2 3 4 5 6 7 8

Fiducia consumatori

Num

ero

prod

otti

dife

ttosi

14.2]XX[Cov 21

19.0ρ

Page 112: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

112Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Date due variabili X e Y con la seguente distribuzione: trovare la loro covarianza.

• Dobbiamo trovare i valori medi.

)yx(e)y,x(f

Page 113: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

113Metodi Probailistici, Statistici e Processi Stocastici

Distr. della somma di variabili casuali

• Siano X1~d1(X1), e X2, d2(X2), dove d sta per una distribuzione generica, e siano X1 e X2 indipendenti.

• Qual è la distribuzione di Y=X1+X2?• Scriviamo la funzione caratteristica della variabile Y=

X1+X2. Si ha:

Posto che X1(t) e X2(t) siano definite.• Dalla precedente relazione è possibile ricavare tutti i

momenti di Y.• Generalizzare le precedente formula al caso di n

variabili indipendenti

)t(Ψ)t(Ψ]e[E]e[E

.indipend]e[E]e[E)t(Ψ

21

21

21

XXtxtx

)xx(ttYY

Page 114: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

114Metodi Probailistici, Statistici e Processi Stocastici

Distr. della somma di variabili Gaussiane

• Siano X1, X1~N(1,12), e X2, X2~N(2,2

2), due variabili casuali, indipendenti con distribuzione gaussiana.

• Qual è la distribuzione di Y=X1+X2?• Dalla pagina precendete si ha:

• Quindi Y~N(1+ 2,12+2

2)• Generalizzate il precedente risultato alla somma di N

variabili gaussiane indipendenti

2

tσσt)μμ(

2

tσtμ

2

tσtμ

txtx)xx(ttYY

222

2121

222

2

221

1

2121

eee

]e[E]e[E]e[E]e[E)t(Ψ

Page 115: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

115Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione della combinazione lineare di Varibili Gaussiane

• Siano X1, X1~N(1,12), e X2, X2~N(2,2

2), due variabili casuali, indipendenti con distribuzione gaussiana.

• Qual è la distribuzione di Y=a1X1+a2X2?

• Ne segue: Y~N(a11+a2 2, a12 1

2+a222

2)

• Si generalizza (dimostrare per esercizio) come segue. Dato

• con Xi tutti gaussiani e indipendenti, Xi~N(i, i2) , Y ha distribuzione gaussiana

• con valor medio e varianza

2

tσaσat)μaμa(

2

tσatμ

2

tσatμa

xtaxta)xaxa(ttYY

222

22

21

212211

2222

22

2212

111

22112211

eee

]e[E]e[E]e[E]e[E)t(Ψ

Page 116: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

116Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione bivariata di Gauss

• Consideriamo X1 e X2 distribuiti secondo la distribuzione congiunta:

1

112 σ

μx(

)ρ1(2

1

221

21 eρ1σπσ2

1)x,x(f

Page 117: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

117Metodi Probailistici, Statistici e Processi Stocastici

Capitolo VII:Regressione Lineare

Page 118: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

118Metodi Probailistici, Statistici e Processi Stocastici

Regressione Lineare Multivariata

• Supponiamo di avere a disposizione un modello che può essere matematicamente descritto dalla relazione:

• con x=x1,x2,…xn vettore di variabili casuali. • Se f(x) fosse nota, ricadremmo nel caso di funzione di variabili casuali.• Tuttavia, nella maggioranza dei casi f(x) non è nota. L’informazione che

si ha a disposizione, invece, è una serie di valori Yi =f(xi), (i=1…m), in corrispondenza della serie di campioni xi. Lo scopo è quello, quindi di cercare di spegare Y in termine delle variabili x1,x2,…xm.

• La domanda che ci poniamo è: riusciamo ad avere informazioni sulla f(x) dalla serie di generazioni xi?

• Risposta sì. Anzi, quanto più siamo disposti a spendere in termini di informazioni e tempo di calcolo, tanto più riusciremo a ricevere in termini di dettagli sulla forma funzionale della f(x).

• Il modo più semplice di procedere dal punto numerico è quello di approssimare la f(x) con una forma funzionale lineare e additiva del tipo:

)x(fY

Page 119: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

119Metodi Probailistici, Statistici e Processi Stocastici

Regressione Lineare Multipla

• Dove I sono i coefficienti della regressione lineare e è un termine che contiene tutte le dipendenze di ordine superiore di Y da X.

• IL modello di cui sopra è detto di regressione lineare multipla• Il termine I xi è detto componente sistematica, il termine è la componente

accidentale• Per semplicità supponiamo f: XR2R. La regressione lineare su f risulta:

• Supponiamo ora di avere i seguenti due campioni di X in Tabella

• In corrispondenza otteniamo i valori di Y in tabella.• Inserendo nel modello otteniamo il sistema lineare:

)X(εXβ...XβXββY nn2211

)X,X(εXβXββY 212211

i X1 X2 Yi

1 1.5 1.3 4.2

2 3.2 2.4 7.1

1.7ε4.2β2.3β

2.4ε3.1β5.1β2

21

121

Page 120: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

120Metodi Probailistici, Statistici e Processi Stocastici

Regressione Lineare multipla• che può essere risolto per determinare i I, supponendo nulla la

componente accidentale. Il problema non può tuttativa essere risolto con esattezza. Infatti, notiamo che se solo se avessimo tre campioni, il sistema potrebbe presenterebbe un’unica soluzione. Soluzione che non esiste in generale quando i campioni fossero 4.

Page 121: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

121Metodi Probailistici, Statistici e Processi Stocastici

Notazione

• Generalizziamo la notazione della tabella precedente.

• In notazione vettoriale e matriciale

i X1 X2 Xm Yi

1 x11 x11 x1m Y1

2 x21 x22 X2m Y2

n Xn1 xn2 xnm Yn

n

2

1

y

...

y

y

y

nm1n

m111

xx

xx

X

Page 122: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

122Metodi Probailistici, Statistici e Processi Stocastici

Un esempio

• Dopo attenta riflessione stabilite che le vendite della vostra azienda (y) dipendono, da:

– X1: Condizioni generali dell’economia (che sintetizzate nell’indice della fiducia dei consumatori)

– X2: Qualità della produzione, che stimate in base al numero di elementi difettosi scartati durante l’anno.

• Nei dieci mesi passati raccogliete i seguenti dati:

Scatter plot

0

10

20

30

40

50

60

70

0 1 2 3 4 5 6 7 8

Fiducia consumatori

Nu

mer

o p

rod

ott

i d

ifet

tosi

Vendite Fiducia Consumatori (scala 1-10 per semplicità)

Numero Prodotti difettosi

10 5 5015 6 3623 7 3412 6 3111 5 447 4 609 6 558 3 40

11 4 3313 4.5 35

Page 123: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

123Metodi Probailistici, Statistici e Processi Stocastici

Un esempio

• Utilizzando la notazione precedente abbiamo:

• Notiamo che: YX1=0.71 e YX2=-0.58

13

11

8

9

7

11

12

23

15

10

y

X

5 506 367 346 315 444 606 553 404 33

4.5 35

Page 124: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

124Metodi Probailistici, Statistici e Processi Stocastici

Le Ipotesi della regressione lineare semplice

1. Linearità:Notiamo che l’errore ha valore atteso nullo

2. Omoschedasticità:La varianza delle yi è costante al variare delle osservazioni.

3. Incorrelazione subordinata:

4. Rango pieno: rango(X)=mLe righe o colonne di X sono linearmente indipendenti

n

1sisj0i xββXyE

.tcosσXyV 2i

kik,i0]Xy,y[Cov ki

Page 125: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

125Metodi Probailistici, Statistici e Processi Stocastici

Proprietà degli errori i

• Per ogni i, I hanno le medie condizionale e marginale nulle:

• Varianza marginale e condizionale sono pari a 2

• Sono tra loro incorrelati

0εEe0XεE ii

2i

2i σεVeσXεV

Page 126: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

126Metodi Probailistici, Statistici e Processi Stocastici

Stima dei

• Finora abbiamo visto il modello ed abbiamo visto le proprietà del modello di regressione lineare semplice in termini degli errori. Ma come stimiamo i coefficienti ?

• Li stimiamo con il metodo dei minimi quadrati come segue. Supponiamo per il momento m=2. Le n osservazioi yi sono n punti in R3 .

• L’approssimazione lineare, fissata la matrice delle osservazioni X, disegna un insieme di piani che variano al variare di 1 e 2 . Quale errore quadratico commettiamo utilizzando il generico piano?

• Il piano che utilizzeremo per la regressione lineare sarà quello che minimizza l’errore quadratico della regressione.

• Da un punto di vista geometrico è il piano che ha distanza minima dalle osservazioni

22i21i1

n

1ii21 )xβxββy()β,β,β(R

Page 127: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

127Metodi Probailistici, Statistici e Processi Stocastici

u x y, z,( ),x y, z,( )

Interpretazione Geometrica

Page 128: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

128Metodi Probailistici, Statistici e Processi Stocastici

Espressione dei e teorema di Gauss Markov

• Si può dimostrare che l’espressione dei è data da:

• Dove X*T è la trasposta della matrice X* e X*

-1 la sua inversa.

• In questo caso abbiamo incluso nella matrice X la prima colonna pari a tutti 1 per formare la matrice X*.

• Teorema di Gauss-Markov: lo stimatore dei minimi quadrati è lineare, corretto ed è lo stimatore di varianza minima

yX)XX(β T*

1*

T*

Page 129: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

129Metodi Probailistici, Statistici e Processi Stocastici

Errore e Coefficiente di Determinazione

• Lo stimatore corretto della varianza degli errori (ricordiamo che il valor medio è nullo!) è:

• L’errore standard della regressione è invece definito da:

• Il coefficiente di determinazione del modello è definito da:

• R dà una misura della bontà del modello e tanto più si avvicina ad uno tanto meglio il modello di regressione spiega Y in termini degli X.

mn

βxy

mn

ε

mn

SQR

n

1i

2i

Ti

n

1i

2i

mn

εSEE

n

1i

2i

n

1i

2

i

n

1i

2

i

n

1i

2

i

n

1i

2

i2

yy

ε1

yy

yyR

Page 130: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

130Metodi Probailistici, Statistici e Processi Stocastici

Risultato della regressione

• La regressione lineare produce il piano di regressione con I seguenti coefficienti:

8.92.3-0.2

12

8.92.3-0.2

12

u x y, z,( ),

Page 131: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

131Metodi Probailistici, Statistici e Processi Stocastici

Risultato della regressione (cont.)

y^Ortogonalità .y

10.1

15.4

18.1

16.4

11.3

5.6

11.3

7.5

11.3

12.0

Errore nella regressione lineare (vettore dei residui)1 -0.12 -0.43 4.94 -4.45 -0.36 1.47 -2.38 0.59 -0.310 1.0

Somma degli erorri 0.0

72.0

yy

ε1

yy

yyR

n

1i

2

i

n

1i

2

i

n

1i

2

i

n

1i

2

i2

Page 132: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

132Metodi Probailistici, Statistici e Processi Stocastici

Un esempio analitico

• La produttività della vostra azienda è legata, pensate, al tasso di rinnovo dei macchinari (X1) e alle motivazioni del personale (X2).

• Avete a disposizione I seguenti dati:

• Si determini:1. L’espressione in forma sintetica del modello di regressione2. I coefficienti di regressione3. I residui4. Mostrate che la somma dei residui è pari a 0 e che il

vettore dei residui è ortogonale al vettore delle stime5. Calcolate il coefficiente di determinazione del modello

Y X1 X2

2 1 0.4

4 2 0.7

6 3 0.9

Page 133: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

133Metodi Probailistici, Statistici e Processi Stocastici

Esempio analitico

1.

2.

3. Errori dell’ordine di 10-14

9.031

7.021

4.011

X

6

4

2

y

2103

2102

2101

β9.0β3βy

β7.0β2βy

β4.0ββy

46.15.42

5.4146

263

XXT

600150100

1503824

1002419

)XX( 1T

9.031

7.021

4.011

X

9.07.04.0

321

111

X

102010

352

133

X)XX( T1T

0

2

0

yX)XX( T1T

Page 134: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

134Metodi Probailistici, Statistici e Processi Stocastici

Limiti della regressione lineare

0

0.2

0.4

0.6

0.8

1

1.2

0 1 2 3 4

y=sin(x)

yregress

Linear (yregress)

Scatter Plot

Page 135: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

135Metodi Probailistici, Statistici e Processi Stocastici

Parte II:Processi stocastici

Page 136: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

136Metodi Probailistici, Statistici e Processi Stocastici

Somma di un Numero Casuale di Variabili casuali

• Siete i gestori di un supermercato. Ogni cliente spende Xi, dove I è il numero che indica l’i-esimo cliente. In media I clienti spendono 75EUR a testa. Il numero medio di clienti giornaliero è una variabile casuale N con valor medio 300. Quanto vi aspettate di incassare al giorno?

• Soluzione. L’incasso giornaliero è dato da:

• Dobbiamo quindi calcolare il valore atteso di I:

• Per farlo, condizioniamo sul valore che assumerà N. Abbiamo:

• Quindi ci attentiamo un incasso di 75*300=22500EUR/Giorno

N

1iiXI

N

1iiXEIE

NXNXXNN

X

K

1ii

K

1ii

N

μμ]N[Eμ]μN[EKNIEE

μK]X[EXEKNIE

KNIEE]I[E

Page 137: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

137Metodi Probailistici, Statistici e Processi Stocastici

Capitolo VIII:Processi di Poisson

Page 138: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

138Metodi Probailistici, Statistici e Processi Stocastici

Processi di Conteggio

• Consideriamo un processo stocastico, in cui siamo interessati a contare arrivi e tempi di arrivo. Per esempio gli arrivi di clienti al supermercato, di telefonate ad un centralino etc.

• Denotiamo con N(t) il numero di eventi che si verificano nel tempo t, cioè nell’intervallo di tempo 0-t.

N(t)=numero di eventi tra 0 e t.• Non è difficile intuire che:

1. N(t) è un numero intero non negativo, t2. N(s)<=N(t) se s<t3. N(t)-N(s) è il numero di eventi che si sono verificati nel

tempo t-s. Si chiamerà incremento dei conteggi tra t e s.• Notazione: indicheremo con tk il tempo del k-esimo arrivo.

Page 139: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

139Metodi Probailistici, Statistici e Processi Stocastici

Processi di Conteggio (2)

• Il tempo Xk=Tk-Tk-1 è il tempo di attesa tra il k-esimo e il k-1-esimo evento

• Es. Supponete che il supermercato apra alle 9. Il primo cliente arriva alle 9.01 e il secondo alle 9.05. Abbiamo T1=1min, T2=5min, X2=4min

• Vale che: Tn=X1+X2+…Xn

• Due proprietà sono di interesse: indipendenza e stazionarietà degli incrementi

1. Incrementi Indipendenti: Un processo viene detto ad incrementi indipendenti, se i numeri di eventi che si verificano in intervalli di tempo disgiunti sono indipendenti tra loro: P[N(t+s)-N(t)=k|N(t’+s)-N(t’)]= P[N(t+s)-N(t)=k]

2. Incrementi Stazionari: Un processo viene detto ad incrementi stazionari se il numero di eventi che si verifica in un intervallo dipende solo dalla lunghezza dell’intervallo. Sia s la lunghezza dell’intervallo. In termini di probabilità si scrive: P[N(t+s)-N(t)=k]=P[N(t’+s)-N(t’)=k]

Page 140: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

140Metodi Probailistici, Statistici e Processi Stocastici

Processi di Poisson

• Un processo di conteggio è detto processo di Poisson se verifica le seguenti proprietà:

1. N(0)=0

2. Il processo è a incrementi indipendenti

3. Il processo è a incrementi stazionari e la probabilità di k eventi nel tempo t è data da:

è detto intensità o tasso del processo

sk

ek

sktNtsNP

!)()(

Page 141: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

141Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione dei tempi di arrivo

• Quanto dobbiamo attendere per il primo arrivo?

• In termini di probabilità, scriviamo la domanda come: qual è la probabilità che X1 sia maggiore di t): P(X1>t).

• La risposta è la distribuzione cumulativa di X1: P(X1>t)=P[N(t)=0]=P(; k=0)=e-t

• Qual è la distribuzione di X2?

• P(X2>t|X1=s)=P[N(t-s)=0|X1=s]= grazie a proprietà di intervalli indipendenti = P[N(t-s)=0]= P(;k=0)=e-(t-s)

• Ne segue:

• I tempi di arrivo X1,X2,...,Xn di un processo di Poisson sono variabili aleatorie indipendenti con legge esponenziale di tasso

Page 142: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

142Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione di Tn

• La distribuzione del tempo di attesa Tn risponde alla domanda: come è distribuita la somma degli Xi? Infatti: Tn=X1+X2+…Xn

• Dunque:P[Tn>t]=P[X1+X2+…Xn >t]

• Si dimostra che Tn~(,n)

• Ricordiamo che I tempi di arrivo sono iid esponenziali. Utilizziamo la funzione generatrice dei momenti:

N

NsXsXsXsX

sXsXsX)X...XX(sXs

sT

λeE.identiceE...eEeE.indip

e...eeEeEeEeE

1N21

N21N21

N

1ii

n

Page 143: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

143Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Gli arrivi orari ad un supermercato sono distribuiti secondo una Poisson di media 100[1/ore].

• Qual è il tempo di attesa perchè arrivino 500 clenti?• Risposta: 5 ore

Page 144: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

144Metodi Probailistici, Statistici e Processi Stocastici

Processi di Poisson con selezione

• Consideriamo un processo di Poisson con arrivi di tasso .

• Ad ogni arrivo associamo un tasso di successo p. Per esempio successo è se un cliente compera più di tre tipi di prodotto diverso.

• Indichiamo con M(t) il numero di successi ottenuti fino al tempo t.

• M(t) viene detto processo di Poisson con selezione.• Si dimostra che: • M(t) e un processo di Poisson di intensità p.

Page 145: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

145Metodi Probailistici, Statistici e Processi Stocastici

Applicazione

• Supponiamo che se un cliente compera più di tre prodotti il guadagno sia G. Se compera meno di tre prodotti si ha una perdita L. Quali sono i valori del tasso di arrivo dei clienti e della probabilità p per avere il break-even, se gli arrivi orari seguono un processo di poisson di tasso e la probabilità che comperino più di tre prodotti è p?

• Sol. Poissimo dividere il processo in due sottoprocessi di tassi p e (1-p) rispettivamente. Il valore atteso degli acquisti in un’ora è dato rispettivamente da: p e (1-p). Affinchè vi sia break even occorre che

pG= (1-p)L p/(1-p)=L/G

Page 146: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

146Metodi Probailistici, Statistici e Processi Stocastici

Processi di Poisson composti

• Consideriamo un processo in cui gli eventi costituiscono un processo di poisson di tasso . Ogni volta che un evento si realizza, si ha una conseguenza Xi . Per esempio I clienti giungono al supermercato nei tempi ti ed ognuno spende un ammontare Xi. Quanto spendono in totale i clienti, e , dunque, quanto incassa il supermercato?

• Il processo X(t) è detto processo di Poisson composto. In generale lo caratterizzeranno due distribuzioni, quella di Poisson e quella degli X i. La distribuzione degli Xi potrà essere continua o discreta.

)t(N

1iiX)t(X

)X(F

λCompostoPoissonocessoPr

Page 147: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

147Metodi Probailistici, Statistici e Processi Stocastici

Valori Attesi

• I processi che coinvolgono la somma di variabili casuali sono più facilmente trattabili in termini della funzione generatrice dei momenti. Nel nostro caso dobbiamo calcolare:

)1)s(Ψ(tλ

0n

tλnX

0n

tλnn

X

)t(NX)t(N

)t(NsXX)t(N

sXX

sXX

sXX)t(N

sXsXsXX)t(N

)X...XX(sX)t(N

Xs

)t(N

Xs

)t(N

Xs)t(sX

X

i

N21

N21N21

)t(N

1ii

)t(N

1ii

)t(N

1ii

e!n

e)tλ)s(Ψ(

!n

e)tλ()s(Ψ

)s(ΨEeEE

eE...eEeEE

e...eeEE)t(NeEE

eEE)t(NeEEeEeE))t(X(Ψ

Page 148: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

148Metodi Probailistici, Statistici e Processi Stocastici

Valori Attesi (cont.)

• Da cui, derivando la funzione generatrice dei momenti, è facile verificare che:

]X[tEλ)]t(X[V

]X[tEλ)]t(X[E2

Page 149: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

149Metodi Probailistici, Statistici e Processi Stocastici

Applicazione

• I clienti che arrivano al supermercato spendono secondo la seguente tabella:

• Arrivano in media 100 clienti all’ora. Nell’arco di una giornata (8 ore), quanto incassa il supermercato?

• Risposta: 100*8*E[euro spesi]=100*8*91.6=73280 EUR• Incertezza (vedi esempio Excel)

EUR pi EUR pi

25 2% 95 5%30 3% 100 5%35 3% 105 4%40 3% 110 4%45 3% 115 4%50 4% 120 4%55 4% 125 4%60 4% 130 3%65 4% 135 3%70 4% 140 3%75 5% 145 3%80 5% 150 3%85 3% 155 3%90 3% 160 2%

Microsoft Excel Worksheet

Page 150: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

150Metodi Probailistici, Statistici e Processi Stocastici

La rovina dell’assicuratore

The compound Poisson process is very important in insurance, as a model for the arrival of claims at an insurance office. The standard model assumes that premiums arrive at a constant rate c and looks to find the probability that the surplus

S(t) = S(0) + ct - X(t)

ever hits 0 (ruin occurs).

Page 151: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

151Metodi Probailistici, Statistici e Processi Stocastici

Capitolo IX:Processi di Markov Discreti e Omogenei

Page 152: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

152Metodi Probailistici, Statistici e Processi Stocastici

Gestione di Magazzino

• Siete i gestori di un concessionario di automobili di lusso. Avete posto per 7 auto. Il tempo di consegna delle automobili è di due giorni, per cui se ordinate l’auto al Venerdì, per il Lunedì mattina sono in vetrina. Se al Venerdì della n-esima settimana avete 2 auto o meno di 2 in vetrina, ne ordinate altre in modo da riportavi a 7. Le vendite arrivano secondo una distribuzione di Poisson con media 4 e sono pronta consegna.

• Chiamiamo Xn il “numero di auto in vetrina all’inizio della n-esima settimana.” Xn è una variabile aleatoria. Infatti, dipendendo dal numero di vendite, potremmo avere 7,6,5,4,3 auto in vetrina ogni Lunedì mattina. Analizziamo come si piò descrivere il comportamento di X

• Per il nostro problema, notiamo che se mettiamo sull’asse orizzontale il numero della settimana e su quello verticale le auto vendute, abbiamo un risultato del tipo:

Page 153: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

153Metodi Probailistici, Statistici e Processi Stocastici

Evoluzione temporale: Processi Discreti

• Notiamo che il sistema procede “ a scatti nel tempo”, ovvero ogni settimana il sistema si evolve.

• Tale tipo di processo è detto discreto (ovviamente dal punto di vista temporale)

X

7

6

5

4

3

2

1

0 1 2 3 ... ... n-1 n n+1 ... t

Xn

.....

Page 154: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

154Metodi Probailistici, Statistici e Processi Stocastici

Stati del sistema ed Evoluzione temporale

• Chiamiamo stati del sistema (S) i valori che la variabile aleatoria X può assumere.

• Nella figura della pagina precedente, si tratta dell’asse verticale.

• Nel nostro caso sono 3,4,5,6,7. Abbiamo quindi 5 stati possibili.

• In generale useremo la notazione S={1,2,…,N} per indicare gli stati del sistema

• Dato il sistema in un determinato stato alla n-esima settimana, alla n+1-esima il sistema può rimanere ancora nello stesso stato o passare ad un altro stato la settimana successiva

• Per esempio, se abbiamo 4 auto in vetrina alla 30-esima settimana (X30), e se non si presentano clienti, avremo ancora 4 auto il lunedì della n+1-esima settimana. Se vendiamo 2 auto, X31=7.

Page 155: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

155Metodi Probailistici, Statistici e Processi Stocastici

Diagramma degli stati

• E’ una rappresentazione grafica degli stati del sistema e delle transizioni che il sistema può compiere

11 2 3

p12 p23

p33

p31

p22

Page 156: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

156Metodi Probailistici, Statistici e Processi Stocastici

Probabilità di transizione e Processi di Markov

• Il sistema si muove da uno stato all’altro con della probabilità, che vengono dette probabilità di transizione.

• Le probabilità di transizione rispondono alla domanda: qual è la probabilità che il sistema si muova nello stato j ad n+1 dato che al tempo n era nello stato i e nei tempi precedenti in Xn-1,…X0?

• In notazione probablistica, la probabilità cercata è:

• Ora, un processo viene detto Markoviano se la probabilità che il sistema passi allo stato j al tempo n+1, dato che è nello stato i al tempo n, dipende solo dal fatto che il sistema è nello stato I al tempo n e non dipende dagli stati nei quali il sistema si trovava prima di i. Ovvero, è indipendente dal modo in cui il sistema è arrivato in i.

• In formule:

)X,...,X,iXjX(P 01nn1n

)iXjX(P)X,...,X,iXjX(P)n(p n1n01nn1nij

Page 157: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

157Metodi Probailistici, Statistici e Processi Stocastici

La matrice di Markov

• Si definisce matrice di Markov una matrice:

• i cui elementi sono le probabilità di transizione di un sistema markoviano. La i-esima riga descrive lo stato di partenza, la j-esima colonna lo stato di arrivo.

• Si dimostra che gli elementi della matrice soddisfano le seguenti proprietà:

• La seconda proprità dice che, se il sistema è in i al tempo n, allora con probabilità 1 al tempo n+1 sarà in uno degli stati del sistema

)(...)()(

............

)(...)()(

)(...)()(

)(

21

22221

11211

kpkpkp

kpkpkp

kpkpkp

kP

nnnn

n

n

ikp

jikpN

jij

ij

1)()2

,0)()1

1

Page 158: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

158Metodi Probailistici, Statistici e Processi Stocastici

E’ un magazzino Markoviano?• Studiamo se il processo che abbiamo a disposizione nella nostra gesione di

magazzino è un processo di Markov.• Innazitutto scriviamo Xn+1 in forma matematica:

• Dove Vn rappresenta le vendite della n-esima settimana. Ricaviamo poi la probabilità di Xn.

• P(Vn)=s dipende solo da vendite in settimana n-esima e non dalle vedntie delle settimane precedenti. Quindi possiamo scrivere:

• Si tratta quindi di un processo di Markov.• In più notiamo che la probabilità non dipende dal fatto di essere nella

settimana n-esima. Si tratta quindi di un processo di Markov omogeneo.

2VXseX

2VXse7X

nnn

nn1n

)X,...,X,iXjiV(P)X,...,X,iXjVi(P

)X,...,X,iXjVX(P)X,...,X,iXjX(P

01nnn01nnn

01nnnn01nn1n

)iXjX(P)n(p n1nij

Page 159: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

159Metodi Probailistici, Statistici e Processi Stocastici

Definizione di Processo di Markov Omogeneo

• Un processo stocastico sullo spazio degli stati S, si dice di Markov discreto se n:

• E’ omogeneo se verifica

• ovvero la matrice di Markov non dipende dal tempo n.

)iXjX(P)X,...,X,iXjX(P)n(p n1n01nn1nij

)iXjX(Pp n1nij

Page 160: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

160Metodi Probailistici, Statistici e Processi Stocastici

La matrice di Markov nel nostro esempio

• La matrice sarà della forma:

• dove abbiamo catalogato gli stati come X1=3,X2=4,…,X5=7

• Si ha:

555251

n22221

151211

p...pp

............

p...pp

p...pp

)n(P

)0V(P)2iV(P)7X7X(P

6,...,3i;7j)2iV(P)iX2VX(P)iX7X(P

7,...,1ji;6,..,3j)jiV(P

p

nnn1n

nnnnn1n

n

ij

Page 161: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

161Metodi Probailistici, Statistici e Processi Stocastici

Matrice di Markov dell’esempio

• L’ultimo passo prima di riempire la matrice è quello di calcolare le pij mediante la distribuzione di Poisson.

• Infine:

21487.0073.01465.0195.0156.0

566.0018.0073.01465.0195.0

762.00018.0073.01465.0

909.000018.0073.0

981.000018.0

)n(P

k 0 1 2 3 4 5 6

=4 0.018 0.073 0.146 0.195 0.195 0.156 0.104

λk

e!k

λ)λ;kV(P 018.0)4λ;0V(Pp11

Page 162: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

162Metodi Probailistici, Statistici e Processi Stocastici

Evoluzione temporale della matrice di transizione

• Indichiamo con ai le probabilità iniziali del sistema: ai=P(X0=i) (non è condizionale!!!)

• Qual è la probabilità che al tempo k, Xk=j dato X0=i?

• Definiamo la matrice delle probabilità di transizione a k-passi come:

• Dove

• Indichiamo la probabilità incondizionale di Xk=j con a(k)

• Che differenza c’è tra a(k) e P(k)?

nn)k(

2n)k(

1n)k(

n2)k(

22)k(

21)k(

n1)k(

12)k(

11)k(

)k(

p...pp

............

p...pp

p...pp

P

)iXjX(Pp 0k)k(

ij

Page 163: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

163Metodi Probailistici, Statistici e Processi Stocastici

Evoluzione temporale della matrice di transizione

• Calcoliamo P(0) e P(1).

• Per P(0) notiamo che pij=P(X0=j|X0=i)=1 se i=j, altrimenti=0.

• Per P(1), notiamo che: pij(1)=P(X1=j|X0=i)=pij. Quindi P(1)=P

1...00

............

0...10

0...01

p...pp

............

p...pp

p...pp

P

nn)0(

2n)0(

1n)0(

n2)0(

22)0(

21)0(

n1)0(

12)0(

11)0(

)0(

Page 164: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

164Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione non condizionale

• Definiamo:

• a(k) è la distribuzione (discreta) della probabilità che il sistema si trovi in un determinato stato per t=k.

• Infatti, per definizione a(k) è un vettore il cui elemento s-esimo è dato da:

)k()k( Paa

)sX(p)lXsX(p)lX(ppaa k

n

1l0k0

n

1l

)k(lsl

)k(s

Page 165: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

165Metodi Probailistici, Statistici e Processi Stocastici

Teorema: relazione tra P(k) e P

• Per un processo markoviano discreto e omogeneo vale:

che in forma matriciale equivale a scrivere:Quindi per k=2, si vede che ; per k=3,Per k=s vale:

k)k( PP

N

1ssj

)1k(is

N

1s1kk

)1k(is

N

1s01k01kk0k

)k(ij

pp)sXjX(Pp

)iXsX(P)iX,sXjX(P)iXjX(Pp

:.Dim

2)2( PPPP 32)2()3( PPPPPP

PPP )1k()k(

s)2s()1s()s( P...PPPPPP

Page 166: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

166Metodi Probailistici, Statistici e Processi Stocastici

Un esempio

• Consideriamo il seguente gioco. Una pallina può trovarsi sulla metà superiore o inferiore del flipper, rimbalzare da una metà all’altra ed uscire. Rappresentiamo il problema con i seguenti stati:– j=1: la pallina è sulla metà superire– j=2:la pallina è sulla metà inferiore– j=3: la pallina è uscita

• Determiniamo gli stati del sistema:

• Lo stato 3 è detto assorbente, perchè il sistema può solo entrare in 3 e non uscire

11 2 3

p12 p23

100

2.03.05.0

02.08.0

P 11 2 3

0.2 0.2

0.8

0.50.3

Page 167: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

167Metodi Probailistici, Statistici e Processi Stocastici

Equazione di Chapman-Kolmogorv

• Il teorema di C-K stabilisce che le probabilità di transizione a n passi soddisfano la seguente equazione:

E quindi, in forma matriciale:

N

1k

lkj

sik

)ls(ij ppp

ls)ls( PPP

Page 168: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

168Metodi Probailistici, Statistici e Processi Stocastici

Evoluzione Temporale per l’esempio

0

0.2

0.4

0.6

0.8

1

X40

1 1.5 2 2.5 3j

kk

20

30

40

40

30

20

Page 169: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

169Metodi Probailistici, Statistici e Processi Stocastici

Esiste una distribuzione di probabilità limite?

• Dettagliamo la domanda nel titolo in tre punti:– Per n che tende l’infinito, la distribuzione di Xn tende ad

una distribuzione limite?– Se esiste tale distribuzione limite, è unica?– Se esiste ed è unica, come si calcola?

• Notazione: indichiamo con

• Se il limite esiste, è detta distribuzione limite del processo

N...1j),jX(Plimπ

ovveroalimπ

kk

j

)k(

k

Page 170: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

170Metodi Probailistici, Statistici e Processi Stocastici

Calcolo della distribuzione limite

• Teorema 1: se esiste una distribuzione limite, allora soddisfa le seguenti proprietà:

• Dimostriamo la prima.

• In forma matriciale:

1π)2

pππ)1

N

1jj

N

1iijij

.d.e.qπp)iX(Plimp)iX(Pplim)iX(Pplim

)iX(P)iXjX(Plim)jX(Plimπ)1

N

1iiij

N

1i1k

kij

N

1i1kij

k

N

1i1kij

k

N

1i1k1kk

kk

kj

P

Page 171: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

171Metodi Probailistici, Statistici e Processi Stocastici

Esistenza della distribuzione limite

• Notiamo che dal punto di vista dell’algebra lineare la distribuzione limite deve soddisfare il sistema lineare:

• Ricordiamo che la condizione necessaria affinchè il sistema non possegga la sola soluzione nulla è:

• Quindi non è garantita l’esistenza della distribuzione limite

0)( TPI

0)IPdet( T

Page 172: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

172Metodi Probailistici, Statistici e Processi Stocastici

Unicità della distribuzione limite

• Anche l’unicità della distribuzione limite non è in genere garantita. Per un esempio vedi Kulkarni, p.129.

Page 173: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

173Metodi Probailistici, Statistici e Processi Stocastici

Periodicità, Irriducibilità e Esistenza

• Un processo di Markov discreto e omogeneo è detto periodico di periodo d se >1 d è l’intero più grande per cui vale:

• Con n multiplo di d. Se d=1 il processo è detto aperiodico.

• In pratica il concetto di periodicità risponde alla domanda: è possibile tornare ad i dopo essere partiti da i? Se il processo è periodico di periodo d allora è possibile tornare ad I solo ai tempi d,2d,…kd. Non è possibile in tempi intermedi.

• Il periodo può essere calcolato per via grafica dai diagrammi di transizione. Si deve definire un ciclo diretto nel diagramma come il ciclo da un nodo a se stesso. Se tutti I cicli diretti nel diagramma sono multipli di d allora il periodo è d.

0)iXiX(P 0n

Page 174: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

174Metodi Probailistici, Statistici e Processi Stocastici

Periodicità, Irriducibilità e Esistenza

• Un processo di Markov discreto e omogeneo è detto irriducibile se, i,j esiste k>0 tale che

• La precedente proprietà dice che è possibile muoversi dallo stato i allo stato j in uno o più passi per tutti gli stati i e j.

• Condizione sufficiente di esistenza e unicità:

un processo di Markov irriducibile e aperiodico ammette un’unica distribuzione limite.

0)( 0 iXjXP k

Page 175: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

175Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione Stazionaria

• Una distribuzione * è detta stazionaria se:

• per tutti gli stati (i) e per tutti i tempi n≥0.• Anche la distribuzione stazionaria, se esiste

soddisferà:

• Ne segue che se esiste una distribuzione limite essa è anche una distribuzione stazionaria

1*π)2

p*π*π)1

N

1jj

N

1iijij

*π)iX(P

*π)iX(P

in

i0

Page 176: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

176Metodi Probailistici, Statistici e Processi Stocastici

Costi o ricavi associati agli stati• Spesso il fatto che il sistema sia in un determinato stato comporta

all’azienda un costo/ricavo gestionale (es. costo di magazzino delle parti di ricambio o ricavo da vendite)

• Per sapere quanto è il costo totale atteso, occorre sapere quanto tempo il sistema sta in un determinato stato. Ora notiamo che per modelli markoviani discreti il sistema scatta da uno stato all’altro ogni n. Quindi il tempo totale che il sistema trascorre in uno stato non è altro che la somma del numero di volte che, passa dallo stato di interesse. Denotiamo con j lo stato di interesse e con Xk=j l’evento: il sistema è nello stato j al tempo k. Leghiamo ad Xk la variabile Zj(k) definita come segue:

• Il numero di volte in cui il sistema passa per lo stato j è proprio la somma delle variabili Zj(k). Quindi:

• Saremo interessati al valore atteso di Nj(k)

altrimenti0

jXse1)k(Z k

j

k

0rjjjjj )r(Z)k(Z...)2(Z)1(Z)k(N

k

0rjjjjj )r(ZE)k(Z...)2(Z)1(ZE)k(NE

Page 177: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

177Metodi Probailistici, Statistici e Processi Stocastici

1 0 0 1

K=0

altrimenti0

jXse1)k(Z k

j

Page 178: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

178Metodi Probailistici, Statistici e Processi Stocastici

Tempi di occupazione

• Il sistema patirà dallo stato X0=i. Definiamo con mij(k) il numero di volte in cui il sistema passa per lo stato j partendo dallo stato i al tempo 0.

• In forma matriciale:

• Si dimostra che:

• In forma matriciale:

iX)k(NE)k(m 0jij

N...1:j,i)k(m)k(M ij

k

0r

rP)k(M

k

0r

)r(ij

k

0r00

k

0r0

k

0r0j

k

0r0j0jij

piXj)r(XP)iXj)r(XP1(0iXj)r(XP1

iX)r(ZEiX)r(ZEiX)k(NE)k(m

k

0r

rk

0r

)r(k

0r

)r(ijij PP)k(Mp)k(m

)( 0)( iXjXPp k

kij

Page 179: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

179Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Esempio. Se k=10, scrivere la matrice di occupazione dell’esempio “Pallina da flipper”.

• Utilizziamo la formula precedente

• Notiamo il risultato. Se partiamo da 3, stiamo in 3 per 11 volte…sempre!

100

2.03.05.0

02.08.0

P

1100

7.36.27.4

8.19.13.7

100

2.03.05.0

02.08.0

...

100

2.03.05.0

02.08.0

100

2.03.05.0

02.08.0

100

010

001

P...PPPP)k(M

102

10210k

0r

r

Page 180: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

180Metodi Probailistici, Statistici e Processi Stocastici

Costi condizionali

• Costi da associare agli stati: C(Xj) è il costo associato al fatto che il sistema è nello stato j.

• Il costo totale generato nel periodo 0..k, è:

• Il valore atteso è:

• Vettore dei costi condizionale allo stato del sistema a k=0:

• Possiamo quindi ricavare il valore atteso del costo come:• Forma matriciale

• Forma vettoriale

n

0rr )X(C

n

0rr )X(CE

N...1i,iX)X(CE)k(g)k(gn

0r0ri

)N(C...)2(C)1(Cc

N,...,1i,)s(c)K(m)k(g

c)k(M)X(CE)k(g

N

1sisi

n

0rr

Page 181: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

181Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Nell’esempio del gioco, ogni volta che la pallina finisce nello stato 3 si perdono 2EUR, ogni volta che siete nello stato 1 o 2 vincete 1 EUR. In 10 partite, quanti soldi si perdono se si parte dallo stato 1? E dallo stato 2? E da 3? E se aveste a=[0.5 0.5 0], vi convene giocare?

22

1.0

6.5

g 75.2

22

1.0

6.5

05.05.0gaE

Page 182: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

182Metodi Probailistici, Statistici e Processi Stocastici

La distribuzione dell’occupazione

• Sia Nj(k) il numero di volte in cui il sistema visita lo stato j nel tempo 0…k.

• L’occupazione dello stato j viene definita da:

• Interpretazione: è la frazione di tempo che il sistema spende nello stato j.

• La distribuzione di occupazione (^), se esiste, soddisfa le seguenti equazioni:

• Un processo markoviano irriducibile ammette un’unica distribuzione di occupazione che è uguale alla distribuzione stazionaria.

1k

)k(NElimπ j

kj

1π)2

pππ)1

N

1jj

N

1iijij

Page 183: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

183Metodi Probailistici, Statistici e Processi Stocastici

Costo per unità di tempo

• Il costo per unità di tempo è definito come:

• Dove i denota lo stato di partenza.• Si dimostra che soddisfa la seguente eguaglianza

per un processo di Markov irriducibile ed è indipendente da i:

1n

)k(glimg i

ki

N

1ssscπg

Page 184: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

184Metodi Probailistici, Statistici e Processi Stocastici

Esempio 1

• Consideriamo un processo di Markov S={1,2,3,4}, discreto e irriducibile che sia caratterizzato dalla seguente distribuzione di occupazione degli stati: ^=[0.27 0.45 0.2 0.08] e costi per stato: c=[400 500 600 700]. Il sistema si muove su base settimanale.

• Quanto vi costa, nel lungo periodo, il sistema alla settimana?

• Sol.: 509EUR per settimana

Page 185: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

185Metodi Probailistici, Statistici e Processi Stocastici

Problemi

• Consideriamo un gioco in cui il sistema ha tre stati e può passare da uno stato all’altro con le seguenti probabilità, k=0,1,…:

• E’ un processo irriducibile?• Se lo stato 1 dà un profitto di +10, lo stato 2 una

vincita di +15 e lo stato 3 una perdita di -20, vi conviene giocare fino a k=10 se le probabilità di partenza sono [0.3 0.3 0.4]? (Ans. 1.15, sì)

• E all’infinito? (0.1667)

3.04.03.0

4.035.025.0

5.03.02.0

Page 186: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

186Metodi Probailistici, Statistici e Processi Stocastici

Capitolo X:Processi di Markov Continui nel Tempo

Page 187: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

187Metodi Probailistici, Statistici e Processi Stocastici

Introduzione

• Nel caso dei processi di Markov discreti, si individuavano una serie di istanti k=0,1,…,n n cui lo stato del sistema veniva osservato. Supponiamo ora che il sistema sia osservato con continuità.

• Un esempio può essere quello di un satellite che gira nello spazio e può essere in 2 stati, funzionante o rotto. Ci chiediamo se al tempo T il satellite sia funzionante o rotto.

Page 188: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

188Metodi Probailistici, Statistici e Processi Stocastici

Definizione: Markov continuo

• Processo di Markov continuo nel tempo:• Un processo stocastico è detto di Markov, continuo del tempo se vale:

• dove X(s+t) indica lo stato del sistema al tempo t+s. Notiamo che s+t sostituisce k al pedice nella noazione precedente.

• Interpr.: la probabilità che il sistema passi dallo stato I che occupava in s allo stato j dopo un tempo t dipende solo dallo stato in cui il sistema si trovava in s e da s.

• Matrice delle probabilità di transizione

)i)s(Xj)ts(X(P

)su0con)u(X,i)s(Xj)ts(X(P

N...1j.i)t,s(p)ts(P ij

Page 189: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

189Metodi Probailistici, Statistici e Processi Stocastici

Definizione: Markov continuo omogeneo

• Processo di Markov continuo nel tempo è omogeneo se vale:

• Interpr.: la probabilità che il sistema passi dallo stato i che occupava in s allo stato j dopo un tempo t dipende solo di due stati e non dal tempo s.

• Matrice delle probabilità di transizione:

)i)0(Xj)t(X(P)i)s(Xj)ts(X(P

N...1j.i)t(p)ts(P ij

Page 190: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

190Metodi Probailistici, Statistici e Processi Stocastici

Proprietà della matrice prob. transizione

• La matrice delle probailità di transizione soddisfa le seguenti proprietà:

• Dimostriamo la 3

)s(P)t(P)t(P)s(P)ts(P:matricialeforma3

)t(p)s(p)st(p3:KolmogorovChapman

1)t(p)2

j,i,t0)t(p)1

N

1rrjirij

jij

ij

N

1rrjir

N

1r

N

1r

N

1r

N

1rij

)t(P)s(Pmatricialeformain)t(p)s(p)i)0(Xr)s(X(P)r)0(Xj)t(X(P

)i)0(Xr)s(X(P)r)0(Xj)t(X(P)i)0(Xr)s(X(P)r)s(Xj)ts(X(P

)i)0(Xr)s(X(P)i)0(X,r)s(Xj)ts(X(P)i)0(Xj)ts(X(P)st(p

Page 191: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

191Metodi Probailistici, Statistici e Processi Stocastici

Equazioni di Chapman Kolmogorov

• Valgono i due seguenti lemma:

I=tasso istantaneo di uscita dallo stato i, qij tasso di transizione dallo stato i allo stato j. Sono le probabilità condizionale che il sistema compia la transizione dallo stato I allo stato j nell’intervallo di tempo dt, dato che è nello stato i a t.

• Si dimostra che le probabilità di transizione soddisfano le seguenti equazioni:

• se si condiziona su h.

• Se si condiziona su t.

ijij

0t

iii

0t

qt

)t(plim

νt

)t(p1lim

)t(pν)t(pq)t(pdt

d:Backward iiikj

N

1k,ikikij

)t(pν)t(pq)t(pdt

d:Forward ijijk

N

1k,ikkjij

Page 192: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

192Metodi Probailistici, Statistici e Processi Stocastici

Equazioni di C-K (2)

• Poniamo:

ij è detto rateo di transizione ed è la probabilità che nel tempo dt il sistema passi allo stato j dato che è nello stato i.

• Le equazioni di C-K si possono quindi riscrivere come:

jiseq

jiseνα

ij

iij

)t(pα)t(pdt

d:Backward kj

N

1kikij

)t(pα)t(pdt

d:Forward jk

N

1k,ikkjij

Page 193: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

193Metodi Probailistici, Statistici e Processi Stocastici

Equazioni di C-K (3)

• Dove A e’ la matrice dei ratei di transizione del sistema, P e’ il vettore delle probabilita’ degli stati del sistema.

ΑPPΑPdt

d

Page 194: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

194Metodi Probailistici, Statistici e Processi Stocastici

Costruzione della matrice di transizione

• Esempio: componente soggetto a rottura e riparazione. 2 stati: in funzione o in riparazione, con tassi di guasto e riparazione .

• Chi sono P12 e P21? Sono le probabilita’ di transizione in dt. Quindi:

P12= e P21= • La matrice di transizione e’ costruita con le seguenti regole:• (+) se il salto e’ in entrata allo stato, (-) se il salto e’ in uscita• Prendiamo lo stato 1: si entra in 1 da due con tasso (+), si esce con

tasso (-). • Quindi:

1 2P21

P12

1 2

Page 195: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

195Metodi Probailistici, Statistici e Processi Stocastici

La matrice di transizione

• La matrice di transizione e’:

μμ

λλA

μμ2

λλ1

21

Page 196: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

196Metodi Probailistici, Statistici e Processi Stocastici

Equazione delle Pi(t)

• Definiamo le probabilità incondizionali che il sistema si trovi nello stato i al tempo t come:

• Si dimostra (vedi seguito) che le equazioni soddisfatte dalle probabilità incondizionali sono:

ΑPPdt

d

)t(P)t(P)t(P)t(P Ni21

Page 197: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

197Metodi Probailistici, Statistici e Processi Stocastici

Differenza

• Che differenza c’è tra:

• e

APPdt

d

ΑPPdt

d

Page 198: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

198Metodi Probailistici, Statistici e Processi Stocastici

Soluzione delle equazioni

• E’ la probabilita’ che a t il componente sia nello stato 1. Occorre risolvere il sistema di equazioni differenziali lineari precedente. Modo piu’ usato in affidabilita’ e’ mediante trasformata di Laplace.

• Con trasf. Laplace, le equazioni da differenziali diventano algebriche. Dopo aver lavorato con equazioni algebriche, occorre poi antitrasformare.

• Si ottiene dunque la disponibilita’ come funzione del tempo. Il risultato per un componente singolo soggetto a riparazioni e rotture e’ il seguente:

Page 199: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

199Metodi Probailistici, Statistici e Processi Stocastici

Risultato

• Probabilità che il sistema sia nello stato 1=Disponibilita’ istantanea:

• Disponibilita’ asintotica:

• Interpretazione: tempo che occorre in media alla riparazione diviso il tempo totale

t)(1 e)t(P

λμ

μ)t(Plim 1

t

Page 200: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

200Metodi Probailistici, Statistici e Processi Stocastici

Probabilità limite

• Per t che tende ad infinito, se il processo Markoviano è irriducibile, le probabilità limite esistono e soddisfano le seguenti equazioni:

• ovvero, j:

• Tale relazione esprime il bilancio tra le entrate e le uscite dallo stato

1)t(π

0ΑπN

1jj

1)t(Pe,PqPνN

1jj

N

js,1ssijjj

Page 201: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

201Metodi Probailistici, Statistici e Processi Stocastici

Esempio

• Si consideri un sistema con due componenti, con la possibilità di riparare un solo componente alla volta, nel caso si rompa. I due componenti sono identici e si rompono con tasso costante . Il tasso di riparazione è . Rappresentare il sistema come processo di Markov, scrivere le equazioni di C-K per il processo e trovare le probabilità limite.

1 2 32

2

0μ20

λ0μ

0λ20

R

μ2μ20

μμλμ

0λ2λ2

A

Page 202: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

202Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione stazionaria

• Per un processo di Markov continuo,irriducibile, la distribuzione limite è anche la distribuzione stazionaria.

Page 203: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

203Metodi Probailistici, Statistici e Processi Stocastici

Distribuzione di occupazione

• Sia T un tempo su cui osserviamo il sistema.• Sia mij(T) il tempo speso dal sistema nello stato j dato

che è partito da I al tempo 0.• Se il processo è irriducible, vale allora che:

– la frazione di tempo che il sistema passa nello stato j al tendere di t all’infinito non dipende da i

– La frazione di tempo spesa da sistema nello stato j è:

– Quindi le probabilità limite si possono interpretare come frazione del tempo che il sistema spende in un determonato stato

jij

T

)T(mlim

Page 204: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

204Metodi Probailistici, Statistici e Processi Stocastici

Modellazione dei Costi/Ricavo

• Il modello dei costi è il seguente.• Sia c(X(t)) dt il costo istantaneo (tasso di costo)

associato al fatto che il sistema è nello stato j al tempo t.

• Il costo/ricavo totale che il sistema sosterrà/produrrà nel tempo 0-T sarà:

T

0

dt))t(X(c)T(C

Page 205: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

205Metodi Probailistici, Statistici e Processi Stocastici

Tasso di costo istantaneo limite

• Per un processo continuo, Markoviano, irriducibile vale:

• Esempio: supponiamo che se la macchina produce incassiamo 1000. Se si rompe spendiamo costa -5000. Calcoliamo se, a regime, conviene investire nella macchina quando =10-4 e =10-2.

• clim=+940, quindi conviene.

cπclim

01.

μλ

λ99.0

μλ

μπ 50001000c

Page 206: 1 Metodi Probailistici, Statistici e Processi Stocastici Metodi Probabilistici, Statistici e Processi Stocastici Università Carlo Cattaneo Emanuele Borgonovo

206Metodi Probailistici, Statistici e Processi Stocastici

Capitolo IX:Problemi, dimostrazioni etc.