26
Antonio Manno, [email protected] , www.statistica.too.it 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza di descrivere un fenomeno aleatorio in evoluzione nel tempo. Si definisce processo stocastico una famiglia di variabili casuali indicizzate da un parametro T t e lo si denota con { } T t x t ; . Se T coincide con l’insieme dei numeri naturali, allora si ha il caso di una successione di variabili casuali. Il processo stocastico è detto a parametro discreto se T è discreto, mentre è detto a parametro continuo qualora T sia continuo. Poiché la singola variabile casuale t x del processo è funzione dello spazio degli eventi , per mettere in risalto questo aspetto spesso si è soliti indicare un processo stocastico con la notazione { } T t x t : ) ( ϖ . Fissato T t , ) ( ϖ t x è una variabile casuale, mentre fissato un evento ϖ , allora ) ( ϖ t x è una funzione reale della variabile t e viene chiamata traiettoria o realizzazione del processo stocastico. Ogni variabile casuale assume valori in un insieme E detto spazio degli stati. Un processo è detto discreto o continuo a seconda che i valori assunti dalle variabili casuali ) ( ϖ t x siano discreti o continui. Un processo si dice che è noto se si conoscono tutte le distribuzioni congiunte di quante e quali si vogliono variabili della famiglia. Seguendo l’impostazione assiomatica di Kolmogorov, un processo { } T t x t ; è noto se

TEORIA DEI PROCESSI STOCASTICI Manno, [email protected], 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

  • Upload
    leduong

  • View
    220

  • Download
    0

Embed Size (px)

Citation preview

Page 1: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

1

TEORIA DEI PROCESSI STOCASTICI

1. Generali tà dei processi stocastici

L’utili zzo dei processi stocastici deriva dall ’esigenza di descrivere un

fenomeno aleatorio in evoluzione nel tempo.

Si definisce processo stocastico una famiglia di variabili casuali i ndicizzate

da un parametro Tt ∈ e lo si denota con Ttxt ∈; .

Se T coincide con l’ insieme dei numeri naturali , allora si ha il caso di una

successione di variabili casuali .

Il processo stocastico è detto a parametro discreto se T è discreto, mentre è

detto a parametro continuo qualora T sia continuo.

Poiché la singola variabile casuale tx del processo è funzione dello spazio

degli eventi Ω , per mettere in risalto questo aspetto spesso si è soliti

indicare un processo stocastico con la notazione Ttxt ∈:)(ω .

Fissato Tt ∈ , )(ωtx è una variabile casuale, mentre fissato un evento Ω∈ω ,

allora )(ωtx è una funzione reale della variabile t e viene chiamata

traiettoria o realizzazione del processo stocastico.

Ogni variabile casuale assume valori in un insieme E detto spazio degli

stati. Un processo è detto discreto o continuo a seconda che i valori assunti

dalle variabili casuali )(ωtx siano discreti o continui.

Un processo si dice che è noto se si conoscono tutte le distribuzioni

congiunte di quante e quali si vogliono variabili della famiglia. Seguendo

l’ impostazione assiomatica di Kolmogorov, un processo Ttxt ∈; è noto se

Page 2: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

2

si conosce Ttttn n ∈∀ℵ∈∀ ,,,; 21

( ) ntttnttt xXxXxXxxxFnn

≤≤≤= ,,,Pr,,, 2121,,, 2121

.

La famiglia di funzioni ( )nttt xxxFn

,,, 21,,, 21

è chiamata legge temporale del

processo.

Le funzioni appartenenti a tale famiglia devono soddisfare le seguenti

proprietà:

devono essere funzioni simmetriche delle variabili ( )ii xt , ;

Ttttn n ∈∀ℵ∈∀ ,,,; 21 e ( ) 1

121 ,,, −− ℜ∈∀ n

nxxx deve verificarsi che

( ) ( )121,,,21,,, ,,,,,,12121lim −

+∞→−

= nttttttx

xxxFxxxFnn

.

Si dice distribuzione o funzione di ripartizione del primo ordine del

processo stocastico tX , la funzione di ripartizione della singola variabile

casuale tX , per t fissato, ossia:

xXtxF t ≤= Pr),( .

Dati due istanti temporali 1t e 2t e le variabili casuali 21

, tt XX , la loro

distribuzione congiunta si dice distribuzione del secondo ordine del

processo e si indica:

212121 21,Pr),,,( xXxXttxxF tt ≤≤= .

La funzione di densità, se esiste, sarà:

21

21212

2121

),,,(),,,(

xx

ttxxFttxxf

∂∂∂

= .

La funzione caratteristica associata al processo tX sarà:

( ) ( )[ ]ntnt

ntt

xuxui

nxx eEuu++=

11

1,,1,,ϕ .

Si definisce momento se esiste, la funzione:

( ) n

nn

rt

rt

rtnrr XXXEttm

2

2

1

11,,1,, = .

Page 3: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

3

Quindi, la funzione valor medio, indicata con m(t), è definita da

[ ]tXEtm =)( ; mentre la funzione ( )21, ttK è la funzione di autocovarianza del

processo stocastico e precisamente:

( ) ( )21

,cov, 21 tt XXttK = .

Un processo stocastico si definisce ad incrementi non correlati se ii tt XX −

+1,

per ogni i, è una successione di variabili non correlate; si dice ad

incrementi ortogonali se ii tt XX −

+1 è una successione di variabili aleatorie

ortogonali , cioè per cui [ ] 01

=⋅+ ii tt XXE , mentre è denominato ad incrementi

indipendenti se tale successione è una successione di variabili casuali

indipendenti.

Particolare attenzione meritano i processi gaussiani, ossia processi in cui le

distribuzioni congiunte sono di tipo normale, per cui Tttn n ∈∀≥∀ ,,;1 1 , si

ha:

( ) ( ) ( )( ) ( )( )

−−Γ−⋅⋅Γ= ∑∑−

p qqqpppq

n

ntt tmxtmxxxfn 2

1exp2,, 22

1

1,,1π

.

Un processo stocastico è detto stazionario in senso stretto se la funzione di

distribuzione ( )nttt xxxFn

,,, 21,,, 21

è invariante rispetto ad uno spostamento

sull ’asse del tempo T, ovvero:

nttntt xXxXxXxXnn

≤≤=≤≤ ++ ττ ,,Pr,,Pr 11 11 .

Un processo stocastico è stazionario in senso debole se i primi due

momenti della distribuzione non dipendono dagli i ndici temporali; ovvero

la media [ ]tXE e la varianza [ ]tXVar sono costanti al variare di Tt ∈ e se

( )21 tt XXE ⋅ è funzione della differenza di indici in valore assoluto e non dei

singoli i ndici Ttt ∈21, .

Page 4: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

4

Un processo stocastico tX è ad incrementi stazionari se il processo

thtt XXY −= + è stazionario per ogni h. Si dice che è asintoticamente

stazionario se ∃ ( )hthtxxF nnh

++∞→

,;,, 11lim ed è indipendente da h.

Un processo stocastico tX , con m(t)=0 e var(t)= 2σ uguale per ogni t e con

[ ] 0,cov =+ktt XX 0≠∀k , ossia una successione di variabili casuali

indipendenti e identicamente distribuite (i.i.d.) è chiamato processo white

noise e si indica ( )2,0~ σWNX t .

Dato un processo a parametro discreto, considerando la successione delle

medie temporali ∑=

=T

ttT X

TM

1

1 , si dice ergodica se la sua varianza tende a

zero al divergere della dimensione tempo. In un processo ergodico la

successione delle medie temporali approssima bene il suo valore atteso

( )TME .

Il seguente teorema fornisce una condizione necessaria e suff iciente

aff inché le medie temporali di un processo stocastico siano ergodiche.

Teorema: Sia nX un processo per il quale ),(),cov( stKXX st = sia limitata,

cioè esiste una costante 0K tale che K(t,t) 0K≤ , per t=1,2,…; sia

∑=

==t

stt tsK

tMXtC

1

),(1

),cov()( ; affinché valga che 0)(lim =∞→ T

TMVar è

necessario e sufficiente che 0)(lim =∞→

tCt

.

Ossia TM sono ergodiche se e solo se, quando la grandezza campionaria t

cresce, vi è man mano minore covarianza fra la media del campione tM e

l’ultima osservazione tX , in modo che l’ informazione “campionaria”

contenuta in tX non sia troppo connessa a quella di tM e quindi sia

ridondante.

Page 5: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

5

Il teorema ergodico di Slutsky dimostra che le medie temporali di un

processo stazionario in senso debole sono ergodiche se e solo se la

funzione R(v), pari a ( )vtt XXE + , converge a zero nel senso di Cesàro per

∞→v , ossia 0)(1

lim1

0

=∑−

=∞→

t

vt

vRt

Considerando un processo a parametro continuo TtX t ≤≤0; , si definisce

valor medio ∫=T

tT dtxM0

.

L’ergodicità del valor medio è la “versione nel tempo” della legge dei

grandi numeri.

In generale, considerando il processo stocastico tX e una funzione

momento ( )( )tXE ν , allora si dice che il processo è ergodico rispetto tale

parametro se lo stimatore temporale ( )tn Xν converge in media quadratica a

( )( )tXE ν .

2. Processi stocastici più comuni

Se tW è un processo white noise a media nulla e varianza 2σ , ossia

( )2,0~ σWNWt ed il processo tX è definito come ∑∞

=−=

0jjtjt WX α , con 10 =α

e ∞<∑∞

=0

2

jjα , allora il processo tX è detto lineare. Se un processo è lineare,

allora è stazionario in senso debole. Nell ’ambito dei processi stocastici

lineari rientrano i processi ARMA, molto utili zzati per l’analisi delle serie

storiche di tipo lineare.

Un processo ARMA di ordine (p,q) è il processo nX soluzione

dell ’equazione:

Page 6: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

6

∑∑=

−=

− =+q

jjnj

p

iinin ZaXX

01

λ

dove il processo ℵ∈nZ n ; è un processo white noise.

Casi particolari di un processo ARMA(p,q) sono i processi a medie mobili

di ordine q, indicati con MA(q), in cui:

∑=

−=q

jjnjn ZaX

0

e i processi autoregressivi di ordine p, indicati con AR(p), ossia:

n

p

jjnjn ZXaX += ∑

=−

1

.

Definendo un modello ARMA(p,q) sulle differenze d-esime del processo

nX si ottiene un processo ARIMA di ordine p,d,q, indicato con

ARIMA(p,d,q), dove p indica le componenti autoregressive, d l’ordine di

differenziazione e q l’ordine delle componenti di tipo MA.

Un processo stocastico è indipendente se la distribuzione congiunta è

uguale al prodotto delle distribuzioni marginali , ossia:

∏=

≤=≤≤n

iitntt xXxXxX

in

11 Pr,,Pr

1 .

Un processo a tempo discreto è detto di rinnovamento se le variabili casuali

,, 21 XX sono indipendenti, identicamente distribuite e a valori non

negativi. In altre parole, un processo stocastico di rinnovamento si ripete

probabili sticamente, ovvero è possibile identificare una sequenza di punti

detti di rigenerazione, a partire dai quali il processo si comporta, in termini

probabili stici, sempre nello stesso modo. Il tempo fra due punti di

rigenerazione è detto ciclo di rigenerazione.

Un processo stocastico a tempo discreto ℵ∈nX n ; è detto di Markov se la

probabilit à di stato al tempo n+1 dipende soltanto dallo stato al tempo

attuale, n, e non dalla storia precedente, ovvero se si ha:

Page 7: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

7

nnnnnon iXjXiXiXiXjX ======= ++ |Pr,,,|Pr 11101 .

Un processo a tempo continuo Ttxt ∈; è detto di Markov se per ogni

sequenza di valori tttt n ≤≤≤≤

10 si ha:

nttnttt iXjXiXiXjXnn

====== |Pr,,|Pr 00 .

Dal vincolo sulle distribuzioni che definisce i processi markoviani, si

deduce che per un processo markoviano a tempo discreto il tempo di

permanenza in uno stato segue una distribuzione geometrica, mentre un

processo markoviano a tempo continuo è una variabile casuale con

distribuzione esponenziale negativa. Ciò si verifica poiché un processo

markoviano è un processo “privo di memoria” e le uniche distribuzioni che

godono di tale proprietà sono appunto le distribuzioni geometrica ed

esponenziale.

Un processo molto interessante è quello chiamato “ random walk” ossia

passeggiata aleatoria, che rappresenta il movimento di una particella nello

spazio, identificandone la sua posizione al tempo n. Tale posizione dipende

dalla posizione precedente e da una variabile casuale indipendente;

formalmente è definito come somma di una sequenza di variabili

iY indipendenti e identicamente distribuite, per cui ∑=

=n

iin YX

1

. Il processo

nX è discreto o continuo a seconda che siano discrete o continue le

variabili iY .

Dall ’analisi di una passeggiata aleatoria in 2 dimensioni scaturisce il noto

processo di Wiener W(t), caratterizzato dal fatto di avere una distribuzione

marginale di tipo gaussiano con media nulla e varianza t⋅α .

Considerando due istanti temporali si ha ),min(),( 2121 ttttR ⋅= α . Il processo

di Wiener, detto anche moto Browniano, è un particolare processo

Markoviano continuo, la cui densità soddisfa “l’equazione del calore”. In

Page 8: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

8

generale un moto Browniano è un processo 0);( ≥ttW , avente le seguenti

caratteristiche:

- W(0)=0;

- ha incrementi indipendenti e stazionari;

- per ogni t>0, ),0(~)( tNtW ⋅α ;

Nel caso 1=α si parla di Moto Browniano Standard.

Un processo stocastico molto noto in letteratura è quello “di conteggio” Si

definisce processo di conteggio una famiglia di variabili casuali 0);( ≥ttN

a valori interi non negativi, ognuno dei quali conta il numero di “successi”

o “arrivi” nell ’ intervallo temporale (0,t]. Per cui N(t) è un processo che

gode delle seguenti proprietà:

- 0)( ≥tN ;

- N(t) è a valori interi;

- se s<t allora )()( tNsN ≤ ;

- per s<t, N(t)-N(s) è uguale al numero di eventi verificatisi

nell ’ intervallo (s,t).

Un processo stocastico di conteggio possiede incrementi indipendenti, se il

numero di eventi che si verificano in intervalli di tempo disgiunti sono

indipendenti; mentre possiede incrementi stazionari se la distribuzione del

numero di eventi che si verificano in un intervallo di tempo dipende

soltanto dalla lunghezza dell ’ intervallo, per cui il numero di eventi

nell ’ intervallo ( )stst ++ 21 , , cioè ( ) ( )[ ]stNstN +−+ 12 , ha la stessa

distribuzione del numero di eventi in ( )21, tt , cioè ( ) ( )[ ]12 tNtN − .

Al processo di conteggio N(t) si può associare una successione di variabili

casuali positi ve a valori reali ℵ∈nTn ; che sia strettamente crescente, ossia

<<<<< nTTT 210 , che indica il tempo di attesa per l’n-esimo arrivo.

Page 9: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

9

Precisamente se N(t)=n, ossia nell ’ intervallo (0,t) si sono verificati n arrivi,

allora 1+≤≤ nn TtT , cioè il tempo di attesa per l’ennesimo arrivo è minore o

uguale a t, mentre il tempo di attesa per l’(n+1)-esimo arrivo è maggiore o

uguale a t.

La successione ℵ∈nTn ; è detta processo di punto su +ℜ e nT è l’n-esimo

punto aleatorio del processo di punto. Il principale processo di punto è il

processo di Poisson; il processo ℵ∈nTn ; si dice processo di Poisson

omogeneo di intensità 0>λ se e solo se il processo di conteggio associato

0);( ≥ttN verifica le seguenti condizioni:

- 0, ≥∀ ts , [ ])()( tNstN −+ è una variabile casuale di Poisson di media

( )sλ , cioè ( )!

)()(Prk

sektNstN

ks λλ ⋅==−+ − ;

- N(t) ha incrementi indipendenti;

- N(0)=0.

Dalle precedenti condizioni si nota che un processo di Poisson ha

incrementi stazionari e che ( ) [ ] ttNVartNE λ== )()( .

Se N(t) è un processo di Poisson di intensità λ , la distribuzione di nT si

ottiene osservando che ntNtTn ≥⇔≤ )( e si ricava quindi la distribuzione

Erlangiana: ( ) ( )( )!1

1

−=

−−

n

tetf

nt

Tn

λλ λ .

Per n=1 si ha la distribuzione esponenziale negativa.

Il processo di Poisson non omogeneo, invece, è un processo stocastico nel

quale λ è una funzione non negativa definita su +ℜ tale che ( ) ∞<∫t

odssλ ,

per 0≥t ; ed N(t) è tale che:

- 21 tt ≤∀ )()( 12 tNtN − è una variabile casuale di tipo Poisson con valor

medio ∫2

1

)(t

tdssλ ;

Page 10: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

10

- N(t) è un processo ad incrementi indipendenti.

Tale processo è di intensità )(tλ , per cui si ha:

==−∫ t

dss

kt

ek

dssktN 0

)(0

!

)()(Pr

λλ

.

Si parla, invece, di processo di punto generale se dalle condizioni

precedenti si toglie il vincolo degli i ncrementi indipendenti.

Una generalizzazione consiste nel supporre che la probabilit à che un evento

si verifichi ad un dato istante di tempo dipenda dal numero di eventi che si

sono già verificati, come nel caso delle “nascite” in una popolazione,

poiché si pensa che dipendano dal numero di genitori.

Assumendo N(0)=N, e che la popolazione iniziale sia soggetta a soli

“arrivi” , il sistema delle equazioni che definisce il processo è:

+−=−=

−− )()()('

)()('

11 tptptp

tptp

jjjjj

NNN

λλλ

per j=N+1,N+2,… con le condizioni iniziali 1)0( =Np e 0)0( =jp se j>N.

Un processo che soddisfa tali equazioni è detto di pura nascita. Se λλ NN =

il processo si dice di Yule-Furry e vale:

( ) NjttNj ee

Nj

jtp

−−− −⋅⋅

−−

= λλ 11

)( .

Condizione necessaria e suff iciente aff inché l’unica soluzione del sistema

di equazioni di un processo di pura nascita sia una distribuzione di

probabilit à propria, ossia che 1)( =∑j

j tp , è che la serie ∑j jλ

1 diverga. Se

tale serie converge allora risulta 1)( <∑j

j tp , per cui con probabilit à

− ∑

jj tp )(1 la popolazione può superare in un intervallo finito di tempo

Page 11: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

11

qualunque li vello finito, ossia il processo diverge e si registra il fenomeno

“dell ’esplosione”.

Se invece si assume che nella popolazione si verifichino sia “partenze” che

“arrivi” , cioè ingressi e uscite (nascite e morti) il sistema che definisce tale

processo, detto di nascite e morti, si ottiene considerando anche

un’ intensità di uscite o morti, per cui:

+++−=+−=

++−− )()()()()('

)()()('

1111

11000

tptptptp

tptptp

jjjjjjjj µλµλµλ

con 1)0( =Np e 0)0( =jp se Nj ≠ .

3. I processi di Markov

Nell ’ambito dei processi stocastici particolare attenzione meritano una

classe di processi che prende il nome di processi markoviani.

Considerando il caso di processi stocastici a parametro discreto, con T

coincidente con l’ insieme dei numeri naturali , per cui facendo esplicito

riferimento ad una successione di variabili casuali ℵ∈nX n ; indicizzate dal

parametro n, un processo di Markov finito è caratterizzato da una

particolare relazione di dipendenza: precisamente, qualunque sia l’ intero n,

qualunque siano i valori 11

,,,,−niiij xxxx nell ’ insieme delle loro possibili

determinazioni Nxxx ,,, 21 , la distribuzione di 1+nX condizionatamente

alla sua “storia” precedente, ossia all ’ insieme ( )nXXX ,,, 21 è uguale alla

probabilit à di 1+nX condizionatamente alla singola variabile nX , ossia vale

la seguente relazione:

injniininjn xXxXxXxXxXxXn

======= +−+ − 1111 Pr,,,Pr11

.

Page 12: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

12

La distribuzione di X al tempo 1 è detta distribuzione iniziale del processo;

indicando con ( ) ixXia == 11 Pr , con i=1,2,…,N, la distribuzione iniziale

sarà indicata con il vettore 1a , che è composto da:

( ) ( ) ( )( )Naaaa 1111 ,,2,1 =

Le varie probabilit à condizionate injn xXxX ==+1Pr , ossia la generica

probabilit à che ha il sistema di passare dallo stato i al tempo n allo stato j al

tempo (n+1), sono dette probabilit à di transizione del sistema ed in

generale dipendono dagli i ndici (i,j,n); se tale probabilit à non dipende dal

tempo n allora il processo è detto omogeneo, inteso come omogeneo nel

tempo e si parla di catene markoviane omogenee. In questo caso si indicano

tali probabilit à con il parametro ijp , dove precisamente vale:

injnij xXxXp === +1Pr .

Poiché si stanno considerando processi finiti , con N stati, allora le

probabilit à ijp vengono raccolte in una matrice quadrata P di dimensioni

( )NN × , detta matrice stocastica di transizione:

=

NNNN

N

N

ppp

ppp

ppp

P

21

22221

11211

I parametri ijp , essendo delle probabilit à, devono soddisfare i seguenti

vincoli:

- 0≥ijp per ogni coppia (i,j);

- 11

=∑=

N

jijp per ogni i.

In virtù della relazione che definisce un processo di Markov, si deduce che

basta conoscere la distribuzione iniziale del sistema e la matrice stocastica

di transizione, per conoscere la distribuzione dell ’ intero processo

Page 13: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

13

stocastico. Vediamo, quindi, come ricavare da queste informazioni le varie

distribuzioni del processo.

Posto ( ) kxXka == 22 Pr , con k=1,2,…,N, tali probabilit à sono ricavabili

dalla relazione:

( ) ( ) ( ) ( ) Nkkk pNapapaka 121112 21 +++=

in base al teorema di disintegrazione della probabilit à di un evento, per cui

considerando 2a il vettore delle probabilit à di 2X , ossia ( ) ( )( )Naaa 222 ,...,1= ,

esso può essere espresso nella seguente notazione matriciale:

Paa ⋅= 12

analogamente si può determinare la distribuzione di probabilit à della

variabile X al tempo 3 3a :

Paa ⋅= 23

in cui i singoli termine del vettore sono determinati da: ( ) ( )∑=

=N

iikpiaka

123 .

Allo stesso modo si possono determinare le altre distribuzioni di probabilit à

di X ai vari istanti temporali . È però interessante studiare il comportamento

delle probabilit à di transizione in vari passi. Precisamente, se si indica con )2(

ijp la probabilit à di transizione “in due colpi” ossia

injnij xXxXp === +2)2( Pr , si può verificare che tale valore è dato:

∑=

=N

kkjikij ppp

1

)2( .

Successivamente è possibile calcolare la probabilit à di transizione in “ tre

colpi” ossia:

∑∑==

==N

kkjik

N

kkjikij ppppp

1

)2(

1

)2()3(

e indicando con ν un numero intero inferiore ad n, la probabilit à di

transizione di ordine n:

Page 14: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

14

( ) ( )∑=

−=N

k

nkjik

nij ppp

1

)( νν .

Queste equazioni sono dette relazioni di Chapman - Kolmogoroff .

Se si raccolgono le probabilit à di transizione del generico ordine n in una

matrice, indicata con )(nP , le relazioni precedenti possono essere scritte

nella seguente forma matriciale:

( )

......................

.......................)1(

1

)2(1123

12

−⋅=

⋅=⋅⋅=⋅=⋅=

nn Paa

PaPPaPaa

Paa

Le distribuzioni congiunte a coppie, ossia jkih xXxX == ,Pr , per ogni

coppia k>h, sono ricavabili i n virtù di semplici leggi di calcolo delle

probabilit à, per cui vale:

( ) )(,Pr hkijhjkih piaxXxX −=== .

Le distribuzioni congiunte di tre o più variabili sono ricavabili

considerando, iterativamente, la legge delle probabilit à composte per eventi

qualsiasi e non indipendenti, nella quale si fa un forte uso delle probabilit à

condizionate.

3.1 Classificazione e ordinamento degli stati

Nella sezione precedente si è notato come lo studio di catena markoviana

sia ricondotto allo studio della matrice di transizione P ed alle sue potenze,

che esprimono le probabilit à di transizione di ordine n.

Se l’ insieme degli N stati possibili è indicato con S, considerando due

generici stati i e j, si dice che lo stato i comunica con lo stato j se esiste un

Page 15: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

15

intero n tale che 0)( >nijp , ossia se è possibile che il sistema passi dallo stato

i allo stato j, in un numero qualsiasi di “colpi” . Se i comunica con j si

scriverà jiΓ , dove il simbolo Γ indica la relazione di comunicatività. Per

convenzione si pone 1)0( =iip , in modo che ogni stato i comunichi con se

stesso, per cui vale iiΓ .

L’evento certo può essere partizionato in quattro eventi:

- ( ) ( ) ijji ΓΓ

- ( ) ( ) ijji ΓΓ

- ( ) ( ) ijji ΓΓ

- ( ) ( ) ijji ΓΓ .

Dove l’evento ( )A rappresenta la negazione dell ’evento (A). Considerando

il primo evento, in base al quale i comunica con j e j comunica con i, si

definisce con T tale relazione di “bi-comunicatività” fra i due stati, ossia:

( ) ( ) ijjiiTj ΓΓ= .

Godendo delle proprietà riflessiva, simmetrica e transiti va, la relazione T è

una relazione di equivalenza, per cui è possibile classificare i vari stati del

sistema in classi di equivalenza; tutti gli stati equivalenti allo stato i

apparterranno alla stessa classe di equivalenza, che denotiamo con [i].

In generale l’ insieme degli stati S sarà decomposto in varie classi

[ ] [ ] [ ]kiii ,...,, 21 ; considerando due diversi classi di equivalenza [ ]ai e [ ]bi , può

accadere che uno stato della prima classe possa comunicare con uno stato

della seconda classe, in tal caso tutti gli stati della prima classe

comunicheranno con gli elementi della seconda classe, ma ovviamente non

è possibile il viceversa, perché altrimenti gli stati delle due classi

apparterrebbero ad un' unica classe di equivalenza. Se si verifica una tale

situazione, allora si dirà che [ ]bi è una classe inferiore alla [ ]ai , in tal modo,

Page 16: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

16

pertanto, si stabili sce un ordinamento parziale tra le classi di equivalenza;

una classe è detta massima se non è inferiore a nessun altra, mentre è detta

minima se nessuna classe è inferiore a questa.

Quanto scritto sopra, corrisponde ad affermare che una classe di

equivalenza è massima se nessuno dei suoi stati può essere raggiunto da

stati di altre classi, mentre è minima se nessuno dei suoi stati può

raggiungere stati di altre classi.

Considerando catene finite, ossia con un numero di stati N finito, queste

avranno sempre una classe minima ed una massima; le classi minime

vengono dette ergodiche, se tale classe si riduce ad un solo stato allora

questo è detto stato assorbente. Le classi non ergodiche sono dette di

passaggio e lo stesso nome viene attribuito agli stati che le compongono.

Individuate le classi di equivalenza è conveniente riordinare gli stati, in

modo che stati appartenenti a classi di ordine inferiore vengano posizionati

prima rispetto a stati delle altre classi; in questa maniera si ottiene una

forma particolare della matrice stocastica di transizione, detta canonica. La

forma canonica della matrice stocastica di transizione è del tipo:

=

55555

4444

333

22

1

0

0

00

000

PRRRR

PRRR

PRR

PR

P

P

Gli elementi appartenenti al triangolo superiore della matrice sono tutti

nulli e indicano stati non comunicanti. Le sub-matrici quadrate indicate con

il simbolo iP sono le matrici di transizione corrispondenti alle classi di

equivalenza [i], le sub-matrici iR possono avere valori tutti nulli , se la

classe [i] è ergodica, oppure no. Se la matrice iR è una matrice con tutti

valori nulli , allora anche la matrice 1−iR ha tutti valori nulli .

Page 17: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

17

Le potenze n-esime della matrice P espressa in forma canonica, sono

matrici aventi la stessa struttura.

3.2 Problemi di assorbimento

Lo studio del comportamento della matrice )(nP al variare di n, consente di

capire il comportamento asintotico del processo. Da un punto di vista

intuiti vo, si capisce che in un sistema finito si finirà ad un certo punto in

una classe ergodica, per cui da quel momento in poi il sistema “salterà” da

uno stato all ’altro di tale classe, senza più giungere in uno stato di altre

classi, si dice in tal caso che il sistema viene assorbito, e risulta interessante

studiare la probabilit à ed i tempi medi di attesa del sistema in classi

ergodiche.

In ogni catena finita, quindi, la probabilit à che il sistema raggiunga in un

numero finito di colpi una classe ergodica è pari ad 1, ossia è certo.

Indicando con [ ]jkg la probabilit à che il sistema sia assorbito prima o poi

nella classe [j] a partire da un qualsiasi stato di passaggio k e con [ ])(njkg la

probabilit à che l’assorbimento avvenga esattamente all ’n-esimo colpo, si ha

che:

[ ] [ ] 11

)( ≤=∑∞

=jk

n

njk gg

dove l’uguaglianza si ha qualora esista una sola classe ergodica e questa sia

proprio [j]; indicando con τ l’ insieme degli stati di passaggio, valgono

inoltre le seguenti uguaglianze:

[ ][ ]

[ ] [ ]∑

+

=

=

τi

njiki

njk

jlkljk

gpg

pg

)()1(

)1(

Page 18: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

18

Combinando le due precedenti equazioni, in maniera iterativa, si perviene

ad un sistema di equazioni li neari, la cui soluzione fornisce le probabilit à di

assorbimento nella classe [j], precisamente, considerando un qualsiasi stato

di passaggio k:

[ ] [ ][ ]

∑∑∈∈

+=jl

kli

jikijk pgpgτ

.

Trovata la probabilit à di assorbimento nella classe [j]del sistema, partendo

da un generico stato di passaggio k, è interessante calcolare il tempo medio

di attesa aff inché tale fenomeno si verifichi. A tal fine, si indichi con kT la

variabile casuale che esprime il tempo di attesa per l’assorbimento del

sistema in una classe ergodica a partire dallo stato di passaggio k;

considerando una coppia generica (i,k) di stati di passaggio, si ha che il

numero medio delle volte in cui il sistema, uscendo da k, passa allo stato i ,

in un qualsiasi numero di passi, indicato con il simbolo kim è:

∞<= ∑∞

=0

)(

n

nkiki pm

generalizzando tale numero medio all ’ insieme degli stati di passaggio τ , si

trova che, uscendo da k, il tempo medio di permanenza nell ’ insieme τ ,

ossia ( )kTE , è pari a ∑∈τi

kim .

3.3 Catene ergodiche

Nella sezione precedente si è osservato che, non appena il sistema giunge

in una classe ergodica, vi rimarrà definiti vamente, per cui non potrà più

pervenire in stati appartenenti ad altre classi di equivalenza. Considerando

una classe ergodica, la sub-matrice di transizione relativa a tale classe,

Page 19: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

19

indicata per convenzione con P, è di tipo stocastico, per cui lo studio di una

classe ergodica di stati, corrisponde allo studio di una catena ergodica.

Una catena ergodica è detta regolare se esiste un numero intero 0n tale che

per valori di n maggiori di esso, ossia per 0nn ≥ , tutti gli elementi )(nijp

relativi alla potenza n-esima della sua matrice di transizione P risultino

positi vi, ossia se si verifica che ogni stato della classe è raggiungibile a

partire da tutti gli altri stati, in un numero finito di colpi e, a partire da un

valore abbastanza grande 0n , ciò si verifichi in ogni istante in cui si

considera il sistema. Se si considera una catena regolare, un risultato molto

importante è fornito dal teorema di Markov, secondo il quale la potenza n-

esima della matrice di transizione, ossia )(nP , converge, per n che diverge,

ad una matrice stocastica U che ha tutti gli elementi strettamente positi vi e

le righe tutte uguali; in termini formali , vale:

0lim )( >=∞→ j

nij

nup .,...,2,1 Nj =∀

La probabilit à asintotica di appartenenza al generico strato j è espressa dal

valore ju e ciò evidenzia come il sistema ammetta una distribuzione

asintotica u indipendente dalla distribuzione iniziale, con ( )Nuuuu ,...,, 21=

che soddisfa l’equazione:

Puu ⋅= .

La determinazione numerica del vettore u delle probabilit à di appartenenza

asintotiche è ottenuta risolvendo il sistema di equazioni seguente:

=

==

=

=

1

,...,2,1

1

1N

ii

N

iijij

u

Njpuu

Un’ importante proprietà di cui gode la distribuzione limite u è che essa è

stazionaria ed è l’unica distribuzione stazionaria del processo. In relazione

Page 20: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

20

ad una catena markoviana, si dice che una distribuzione di probabili tà v è

stazionaria, se soddisfa la relazione: )(nPvv ⋅= .

Una catena regolare, inoltre, è un processo stocastico stazionario in senso

forte, poiché la distribuzione congiunta di qualsiasi numero di variabili del

processo non varia effettuando una traslazione rispetto al tempo, cioè

qualunque sia l’ intero h e la traslazione temporale t, la distribuzione

congiunta di ( )hnnn XXX ,...,,

21 e quella di ( )tntntn h

XXX +++ ,...,,21

è la medesima.

Le probabilit à asintotiche u hanno un’ulteriore proprietà; infatti il valore

ju

1 rappresenta il tempo medio di ritorno nello stato j.

Considerando il processo ( )

n

jSn che indica il numero relativo di volte in

cui il processo nX si trova nello stato j, considerandolo in funzione di n,

qualunque sia la distribuzione iniziale 1a tale processo converge in

probabilit à verso ju , in altri termini il valor medio della percentuale di

tempo in cui il sistema si trova nello stato j è asintoticamente uguale a ju :

tale risultato è noto in letteratura come teorema ergodico. Inoltre, se

( )[ ]j

n

nc

n

jS=

∞→

varlim , con jc costante reale diversa da zero, qualunque sia la

distribuzione iniziale del processo, la successione ( )

j

jn

nc

nujS converge in

distribuzione ad una normale standardizzata: tale proprietà è denominata

teorema centrale del li mite per le catene markoviane regolari.

3.4 Catene ergodiche cicliche

Page 21: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

21

Considerando una catena markoviana, la probabilit à )(niip esprime la

probabilit à che il sistema uscente dallo stato i vi ritorni esattamente dopo n

colpi. Si ipotizzi che tale probabilit à sia positi va soltanto per valori n

multipli di un certo intero id' , ossia:

0)( =niip se n non è multiplo di id' ,

0)( ≥niip se n è multiplo di id' .

Ciò si verifica ovviamente per 1' =id ; se ciò si dovesse verificare solo per

tale valore di id' , allora lo stato i è detto aperiodico, viceversa se esistono

altri valori di id' per cui tale proprietà è soddisfatta allora lo stato i è detto

periodico ed il numero intero massimo fra quelli che soddisfano la

precedente proprietà, indicato con id è detto periodo dello stato i.

In una classe di equivalenza è stato dimostrato che tutti gli stati hanno lo

stesso periodo oppure sono tutti aperiodici, per cui in una classe di

equivalenza che contiene gli stati i e j, si avrà che ddd ji == e si dirà che d

è il periodo della classe e che la classe è cicli ca di periodo d. Se tutti gli

stati della classe sono aperiodici, ossia d=1, allora la classe è detta

aperiodica.

Prendendo in considerazione classi ergodiche cicli che di periodo d, è stato

dimostrato che la classe può essere decomposta in d sottoclassi distinte,

indicate con dCCC ,...,, 21 , che godono della seguente proprietà:

- se il sistema è in uno stato di hC , con h=1,2,…,d, allora passerà in un

solo colpo in uno stato di 1+hC ;

- se il sistema si trova nella sottoclasse dC , nel colpo successivo

passerà nella sottoclasse 1C .

In una catena cicli ca, le potenze successive di una matrice di transizione

non possono presentare mai tutti gli elementi positi vi, ma ci saranno alcuni

Page 22: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

22

valori nulli; se si considera un indice l tale che dl <≤0 , allora si può

dimostrare che:

∈∈>

= ++

∞→ altrimenti

CjeCiseup hhjlnd

ijn 0

0lim 1)(

nel caso particolare in cui l=0, si ottiene che:

∈>

=∞→ altrimenti

Cjiseup hjnd

ijn 0

,0lim )(

Quanto mostrato implica che la successione delle potenze della matrice di

transizione P, ossia )(nP , di una catena cicli ca non converge. Se si

considera la successione delle medie aritmetiche, ossia

( ))()2( ...1 nPPPn

+++ , questa risulta convergente e la sua matrice limite ha

tutte le componenti positi ve e tutte le righe uguali . Se converge la

successione delle medie aritmetiche, si dice che la successione converge

alla Cesaro.

Volendo studiare il comportamento asintotico di una generica catena

markoviana, ossia volendone studiare la distribuzione )1(1

−⋅= nn Paa per n

che diverge, si può affermare che qualora la catena sia regolare o contiene

una sola classe ergodica e questa è aperiodica, allora esiste una

distribuzione limite u indipendente dalle condizioni iniziali del sistema.

Tale vettore ha tutte le componenti positi ve nel primo caso, mentre sono

positi ve soltanto le componenti relative a stati ergodici nel secondo caso. In

assenza di classi ergodiche cicli che esiste la distribuzione limite, ma

qualora siano presenti più classi ergodiche essa dipende dalla distribuzione

iniziale ed in particolare risulta:

[ ] jjin

ijn

ugp =∞→

)(lim

dove lo stato i è di passaggio, mentre lo stato j è ergodico e con [ ]jig che

rappresenta la probabilit à che il sistema uscendo dallo stato i venga

Page 23: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

23

assorbito nella classe [j]. In tale situazione occorre considerare le

probabilit à che il sistema sia inizialmente allo stato i, ossia ( )ia1 .

Se la catena è cicli ca oppure contiene una sola classe ergodica cicli ca, si ha

una distribuzione limite indipendente dalla distribuzione iniziale qualora si

considera un limite alla Cesaro, ossia la convergenza della successione

delle medie aritmetiche.

Il ritorno ad uno stato i in una catena markoviana è un evento “ ricorrente”,

che è certo se i è ergodico, mentre può non esserlo se è invece uno stato di

passaggio. Il ritorno nello stato i è un evento ricorrente anche se

inizialmente il sistema si trova in uno stato j diverso e i è raggiungibile da j,

si parla al riguardo di “evento ricorrente ritardato” .

È interessante notare come lo studio delle proprietà di un processo

markoviano sia conducibile attraverso l’analisi degli autovalori N

ii 1=λ della

matrice stocastica di transizione P. In generale risulta che essi sono, in

modulo, minori o uguali all ’unità, qualora esista un unico autovalore pari

all ’unità allora si può osservare che esiste una distribuzione limite, che non

dipende dalle condizioni iniziali del sistema, con componenti che possono

essere tutte positi ve. Se esiste solo un autovalore che in modulo è pari

all ’unità, allora la catena ammette una sola classe ergodica, se invece

esistono r autovalori che in modulo sono pari ad uno, allora la catena

presenta r classi ergodiche regolari.

3.5 Catene markoviane con un’ infinita numerabile di stati

Supponiamo, adesso, che l’ insieme S degli stati di una catena markoviana

non sia finito, ma che presenti una cardinalità del numerabile. Come per le

Page 24: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

24

catene finite, è possibile considerare le relazioni di comunicatività e “bi-

comunicatività” fra gli stati del sistema e quindi raggruppare gli stati in

classi di equivalenza.

Mentre nelle catene finite è sempre presente una classe minima ed una

massima, in questo caso ciò non è detto che si verifichi. Ad esempio,

potrebbe verificarsi che tutte le classi siano di passaggio e quindi siano di

passaggio tutti gli stati; si aggiunga che in una classe minima, ammesso che

esista, il ritorno in uno stato può non essere un evento certo e pure qualora

sia certo, non è detto che il suo tempo medio sia finito. Per tali ragioni, nel

caso di catene con un’ infinità numerabile di stati, è conveniente operare

una classificazione degli stessi basata sul carattere della ricorrenza o del

ritorno. Si diranno, quindi, persistenti quegli stati per i quali il ritorno è

certo e, a seconda che il suo tempo medio sia finito o meno, vengono detti

ergodici o nulli . Gli stati per i quali , invece, il ritorno non è certo vengono

definiti transitori e tali stati vengono abbandonati dal sistema con

probabilit à pari ad uno, in analogia agli stati di passaggio delle catene

finite. Considerando una catena costituente un’unica classe di equivalenza,

detta irriducibile, si nota che tutti i suoi stati apparterranno ad uno ed uno

solo dei tre tipi sopra definiti .

3.6 Introduzione alle catene markoviane finite a parametro

continuo

Un processo TtX t ∈; nel quale le variabili casuali della famiglia sono

discrete, ma con l’ insieme T continuo, è detto processo markoviano

discreto a parametro continuo se per ogni numero intero n,

Page 25: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

25

121 +<<<<∀ nn tttt in T e per ogni determinazione 11

,...,,,−niiij xxxx delle

variabili casuali del processo vale la seguente relazione:

itjtitititjt xXxXxXxXxXxXnnnnnn

=======+−−+ 111111

Pr,...,,Pr .

Ponendo ( ) itjtnnij xXxXttpnn

===++ 1

Pr, 1 , se tale probabilit à oltre gli i ndici

(i,j) dipende esclusivamente dalla differenza temporale ( )nn tt −+1 , il

processo in questione viene detto omogeneo. Si ipotizzi che tale processo

sia discreto e finito, per cui esistono solo un numero finito di stati N, si

parla dunque di catena markoviana. La distribuzione iniziale del sistema è

( ) ( ) ( )( )0,...,00 1 Naaa = , in cui il generico termine i ha il seguente significato:

( ) ii xXa == 0Pr0 ; la matrice di transizione al tempo t, detta funzione di

transizione, è:

( )

( )( )

( )

( )( )

( )

=

tp

tp

tp

tp

tp

tp

tP

NN

N

N

N

2

1

1

21

11

dove il generico termine vale ( ) ijtij xXxXtp === 0Pr e dove valgono i

seguenti vincoli:

( )( )

∀=

∀≥

∑=

ttp

tjitpN

jij

ij

1

,,0

1

Le relazioni di Chapman – Kolmogorov sono adesso:

( ) ( ) ( )∑=

=+N

kkjikij sptpstp

1

con ( )

≠=

==ji

ji

se

sep ijii 0

10 δ

Il vettore ( )ta che contiene le probabilit à di appartenenza agli N stati al

tempo t è quindi determinato da:

Page 26: TEORIA DEI PROCESSI STOCASTICI Manno, mannoanto@libero.it, 1 TEORIA DEI PROCESSI STOCASTICI 1. Generalità dei processi stocastici L’utilizzo dei processi stocastici deriva dall’esigenza

Antonio Manno, [email protected], www.statistica.too.it

26

( ) ( ) ( )tPata ⋅= 0 .

Come nel caso di catene discrete, se esiste un valore 0t tale che per ogni

0tt ≥ e per ogni coppia (i,j) risulti ( ) 0>tpij , allora la matrice P(t), per t che

diverge, converge verso una matrice avente tutte le righe uguali , si verifica

cioè che:

( ) 0lim >=∞→ jij

tutp .

La distribuzione asintotica ju , anche in questo caso, non dipende dalla

distribuzione iniziale del processo ed è una distribuzione stazionaria.