View
220
Download
0
Category
Preview:
Citation preview
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI “Frequenza” dei guasti:
0 T
0 T
N GUASTI
Δ
TN
=λ
∆!
•
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI
• Campionando il tempo con il passo Δ :
Regolare Guasto
P G( )
11- ( )P G
(Sistema non soggetto a manutenzioni)
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov SISTEMI CASUALI DINAMICI (PROCESSI) - UN ESEMPIO: I GUASTI
Regolare Guasto
P G( )
P M( ) 1-P(M)
1- ( )P G • : probabilità che il sistema sia riparato nell’intervallo successivo al guasto.
1- ( )p G 0.99
G
=
G
R
R p G( ) 0.01
p M( ) 0.85 -p(M)1 0.15
P : MATRICE DELLE PROBABILITA’ DI TRANSIZIONE : vettore di stato = [ ]x x R GT
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Esempio: SATELLITI e GUASTI
C: in funzionamento corretto
L: in guasto a lungo termine
B: in guasto a breve termine
M: in manovra
C B
B
B
L L
L
M
M
M
q
q
qp p
p
q
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov – Premessa
PROCESSI STOCASTICI X(t)
TEMPO-CONTINUI (“A PARAMETRO
CONTINUO”
TEMPO-DISCRETI: t è un insieme di
valori discreti - esempio:
A valori continui
A valori discreti o “STATI”:
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov – Cenni Storici
Le catene di Markov sono particolari processi a valori discreti, o
“stati”, introdotti da Andrei A. Markov (1856‐1922), allievo di
Tschebyshev. Il loro studio si è diffuso dalla metà del Novecento
per le applicazioni ai Sistemi fisici, biologici, sociali, economici in
cui le probabilità di un evento dipendono dal risultato
immediatamente precedente.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov • Un particolare tipo di processo a valori discreti è costituito
dalle catene di Markov, in cui il processo può assumere un
valore (lo stato del processo) all’interno di un dato insieme
finito o numerabile.
• Il processo è definito mediante le probabilità di passare da uno
stato ad un altro (probabilità di transizione).
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov tempo-discreto
La sequenza di variabili aleatorie: 1 2X ,X ,... forma una
catena di Markov tempo‐discreta se per ogni n (n = 1, 2,…) e
per tutti valori possibili delle variabili aleatorie 1 2X ,X ,... si
ha:
n 1 1 2 2 n 1 n 1
n n 1 n 1
P X j X i ,X i ,...,X i
P X j X i− −
− −
⎡ ⎤= = = = =⎣ ⎦⎡ ⎤= = =⎣ ⎦
cioè se la probabilità che lo stato del processo all’istante n sia
j dipende solamente dallo stato all’istante precedente n‐1.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catene di Markov omogenee Una catena di Markov è omogenea se le probabilità di transizione
(passaggio da uno stato ad un altro) sono costanti (non
dipendono dal tempo).
Nel seguito consideriamo il caso omogeneo.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catena di Markov tempo-continua
Un processo ( )X t a valori interi non negativi è una catena di
Markov tempo‐continua se, per ogni s:
( ) ( ) ( ){ }( ) ( ){ }
P X t s j X t i, X l
P X t s j X t i
+ = = μ = =
= + = = 0 t≤ μ <
s
0 μ t t+s tempo
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Esempio di una catena di Markov a 4 stati (A,B,C,D)
A B
CD
0.30.3
0.9
0.1
0.2
0.8
0.4
. . .
. .. .
0 3 0 3 0 4 00 0 0 1 0 90 8 0 0 0 20 0 0 1
⎡ ⎤⎢ ⎥⎢ ⎥=⎢ ⎥⎢ ⎥⎣ ⎦
P Matrice di transizione
1
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
La Matrice di Transizione • La somma delle probabilità di transizione da un generico stato
verso tutti gli altri e verso se stesso deve essere pari ad 1:
N
ijj 1
P 1 i=1,2,3,...,N=
=∑
essendo N il numero di stati del processo.
• Una matrice con queste caratteristiche (somma unitaria degli
elementi di ogni riga) è detta stocastica.
• Equivalentemente:
P u = u con u =[1,1...1]T
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Esempio: Contatore
0 1 1 0t
1 2 M
FINESTRA NEL TEMPO
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Esempio: Contatore (segue)
L L M0 1 11 2
q q q q
p p p
Esempio: M = 1000, L1 = 480, L2 = 520
1 ···
NB: = probabilità dello stato j
qqp
ppq
0
00
0 1
P =
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
La Matrice di Transizione a 2 passi
( )N
2ij ik kj
k 1
P P P=
=∑
La matrice delle probabilità di transizione a due passi ( )2P ,
costituita da tutti gli elementi ( )2
ijP , si ottiene come prodotto
(righe x colonne) delle matrice delle probabilità di transizione
per se stessa:
( )2 2= ⋅ =P P P P
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
La Matrice di Transizione a n passi Per la generica probabilità di transizione a tre passi:
( ) ( )N
3 2ij ik kj
k 1
P P P=
=∑
( ) ( )3 2 2 3= ⋅ = ⋅ =P P P P P P
Più in generale, indicando con ( )n
ijP :
( ) { }nij n m mP P X j X i+= = =
La matrice ( )nP di elementi ( )n
ijP si ottiene moltiplicando P
per se stessa n‐1 volte:
( )n n=P P
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
La Matrice di Transizione
• Le espressioni utilizzate del tipo:
( ) ( ) ( )N
n m n mij ik kj
k 1
P P P+
=
=∑
sono chiamate equazioni di Chapman‐Kolmogorov.
• Per ricavare le probabilità degli stati del processo
all’istante n occorre conoscere le probabilità dello stato
iniziale.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Probabilità degli Stati all’istante n
Se si dispongono delle probabilità iniziali (i 1,2,...,N= ):
}{i 1P X iα = =
le probabilità degli stati all’istante n si ottengono mediante il
Teorema della Probabilità Totale:
{ } { } { } ( )N N
nn 1 n 1 i ij
i 1 i 1
P X j P X i P X j X i P= =
= = = ⋅ = = = α∑ ∑
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Probabilità degli Stati all’istante n
Se il vettore (trasposto) delle probabilità di stato è:
( ) }{ }{ }{, ,...,Tn
n n nx P X 1 P X 2 P X N⎡ ⎤ ⎡ ⎤= = = =⎣ ⎦⎣ ⎦
si ha:
( ) ( )T Tn n 1x x −⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P
e quindi:
( ) ( ) ( )T Tn 1 nx x⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Il concetto di Raggiungibilità
• Uno stato j è raggiungibile da uno stato i se esiste almeno
un istante n tale che ( )n
ijP 0> .
• Un insieme C di stati si dirà chiuso se da stati appartenenti
a C non è possibile raggiungere stati esterni a C.
Nella matrice delle probabilità di transizione:
ijP 0= i C, j C∀ ∈ ∀ ∉ .
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
STATI RICORRENTI E TRANSITORI
• Lo stato è transitorio se esiste uno stato
raggiungibile da , mentre non è raggiungibile da .
• Lo stato è ricorrente se:
cioè, se non è transitorio.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Il concetto di Stato Assorbente • Se l’insieme C è costituito da un singolo stato, questo si
chiama assorbente. Per il generico stato assorbente si ha quindi:
iiP 1= ijP 0= j i∀ ≠
A
B C
DE 1 p
Uno stato assorbente è transitorio.
La figura mostra una Catena di Markov con un insieme chiuso (B,
C, D) ed uno stato assorbente E.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Catena di Markov Regolare
• Se esiste un numero finito m tale che in m passi tutti gli
stati sono raggiungibili a partire da qualsiasi stato, cioè:
( )mijP 0> i, j∀ ∀
la catena viene detta regolare.
• Per una catena regolare esiste quindi almeno una potenza
della matrice delle probabilità di transizione i cui elementi
sono tutti non nulli.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Teorema di Markov Ci sono condizioni sotto le quali le probabilità di stato
convergono al passare del tempo (esistono finiti i limiti):
{ }nnlim P X j j 1,...,N→∞
= =
Tali condizioni sono date dal Teorema di Markov:
Se la catena è regolare (cioè esiste un m tale che ( )m
ijP 0> i, j∀ ∀ ), allora esistono delle quantità jπ tali che:
( )nij jn
lim P→∞
= π , ,...,i 1 2 N∀ =
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Vettore Limite delle Probabilità di Stato
Le probabilità di stato jμ , per n che tende ad infinito, a
partire dallo stato iniziale i‐esimo avente probabilità iα
i 1,2,...,N= , si ottengono dalle relazioni:
( ) { } ( )
( )
Nnn
j n i ijn n ni 0
N N Nn
i ij i j j i jni 0 i 0 i 0
lim x lim P X j lim P
lim P
→∞ →∞ →∞=
→∞= = =
= μ = = = α =
= α ⋅ = α π = π α = π
∑
∑ ∑ ∑
cioè sono uguali alle probabilità limite di transizione.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Vettore Limite delle Probabilità di Stato
Il vettore limite delle probabilità di stato π deve essere, per
le sue caratteristiche, invariante, cioè tale che (in virtù della
relazione già vista ( ) ( ) ( )T Tn 1 nx x⎡ ⎤ ⎡ ⎤= ⋅⎣ ⎦ ⎣ ⎦ P ) sia:
T TPπ ⋅ = π
π può essere determinato risolvendo il sistema di equazioni
lineari corrispondente a questa relazione di invarianza.
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
ESEMPIO DI VETTORE LIMITE
1-p
;P = x =x
x
p
M M
G G
p -p1
1
2
Con
Risolvendo
G Gcioè
Università di Roma “Tor Vergata” Corso di Teoria dei Fenomeni Aleatori, AA 2012/13
Docente Prof. Gaspare Galati
Applicazioni
• Processi di Nascita e Morte
• Teoria delle file di attesa (teoria delle code)
• Molte altre
Recommended