Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
Enza Messina
Metodi Computazionali
A.A. 2009/10
Ragionamento probabilistico nel tempo
Il compito di prendere una decisionedipende da:
Informazioni parziali
Informazioni rumorose
Incertezza sui cambiamenti dell’ambiente nelcorso del tempo
E. Messina Metodi Computazionali
Metodi Computazionali
- Processi stocastici e processi Markoviani
- Tecniche per la generazione di numeri casuali
. generazione di realizzazioni di variabili
discrete
. generazione di realizzazioni di variabili
continue
- Tecniche di simulazione
o Costruzione e validazione di modelli di simulazione
o Metodi Monte Carlo
o Tecniche di riduzione della varianza
o Analisi dei risultati
- Metodi per la stima dei parametri
Ragionamento probabilistico nel tempo
Per descrivere un mondo mutevole siusano:
una serie di variabili casuali
descritte da uno stato
in ogni istante temporale
Le relazioni fra variabili casuali in istantitemporali diversi descrivono l’evoluzionedello stato!
E. Messina Metodi Computazionali
Tempo e Incertezza
Modelli statici:
Il valore delle variabili non cambia nel tempo
Modelli dinamici
Il valore delle variabili cambia nel tempo
Lo stato corrente dipende dalla storia
Il processo di cambiamento e’ descritto da unaserie di “fotografie” (time slice) ognuna dellequali contiene un insieme di variabili casuali
E. Messina Metodi Computazionali
Metodi Computazionali
Processi stocastici e processi Markoviani
Tecniche per la generazione di numeri casuali generazione di realizzazioni di variabili discrete generazione di realizzazioni di variabili continue
Tecniche di simulazioneCostruzione e validazione di modelli di simulazioneMetodi Monte CarloTecniche di riduzione della varianzaAnalisi dei risultati
Metodi per la stima dei parametri
E. Messina Metodi Computazionali
Un processo stocastico { }TttX ),(
L’insieme T degli indici e lo spazio X degli stati possono essere continui o discreti.
• Processi stocastici a tempo continuo
• Processi stocastici a tempo discreto
• Processi stocastici a stati continui
• Processi stocastici a stati discreti
E. Messina7
Processo Stocasticoè:
un insieme di variabili casuali, (per ogni t, X(t) e’ una variabile casuale)
una variabile casuale che evolve nel tempo
{ }0),( >ttX
{ },...1,0),( =ttX
{ },...1,0, =nXn
Metodi Computazionali
E. Messina8
Processo Stocastico
Metodi Computazionali
X(t) = Valore di una caratteristica del sistema al tempo t, ovvero valore di
una variabile casuale che descrive lo stato del sistema al tempo t
X(t) numero di visitatori di una pagina web al tempo t
X(t) numero di visitatori di una pagina web fino al tempo t
X(t) numero di prodotti venduti fino al tempo t
X(t) valore di un portafoglio di titoli al tempo t
discrete-time, discrete-state
ttt XX += 1 t=1,2,3,...
Random Walk
}1,1{=t
5,0)1()1( =+=== tt pp
where and
-8
-7
-6
-5
-4
-3
-2
-1
0
1
2
3
0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
9
Esempio
E. Messina Metodi Computazionali
Changing p>0,5
we obtain a random walk with drift
0
2
4
6
8
10
12
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
p=0,8
Another way to generalize this process is to let assume continuous values
(discrete time continuous state stochastic process)t t N(0,1)
-2
-1
0
1
2
3
4
5
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
E. Messina1
0
Metodi Computazionali
Esempio
The first order autoregressive process given by the equation
titt baXX ++=
where a and b are constant, with -1<a<1 and t N(0,1)
a=0,5
b=1
-1
-0,5
0
0,5
1
1,5
2
2,5
3
3,5
4
4,5
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
E. Messina1
1
Metodi Computazionali
Esempio
EsempioSupponiamo di essere nell’ambito di un gioco d’azzardo.
Con probabilità p vinco 1$ e con probabilità 1-p perdo 1$; L’obiettivo è
quello di incrementare il proprio capitale fino a 4$.
Possiamo definire Xt come il valore del mio capitale (somma in mio
possesso) dopo aver giocato t volte.
Quindi, X0, X1,…,Xt possono essere visti come variabili casuali.
Se X0 = 2 X1 = 3 con prob. p
X1 = 1 con prob. 1-p
E. Messina1
2
Metodi Computazionali
Tale proprietà assicura che la distribuzione di probabilità per tutti i possibili
valori futuri del processo dipende solo dal loro valore corrente non dai valori
passati o da altre informazioni correnti
Una importante proprietà dei processi stocastici è la
Proprietà Markoviana
I processi stocastici che soddisfano questa proprietà sono detti Processi di Markov
E. Messina13
Metodi Computazionali
Proprietà dei Processi Markoviani
P( Xt+1 = it+1 | Xt = it , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )
= P( Xt+1 = it+1 | Xt = it )
Un processo stocastico a tempi discreti è una catena di Markov se,
per t = 1, 2, 3, … e per tutti gli stati, si ha che:
P( Xt+1 = j | Xt = i , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )
= P( Xt+1 = j| Xt = i )
Se P(X0= i) = qi
q = [q1… qi… qn] distribuzione probabilità iniziale
Catene di Markov
E. Messina Metodi Computazionali
Catene di Markov
Se la probabilità di un certo evento è indipendente dal tempo t la
catena di Markov si definisce stazionaria e si ha che:
P( Xt+1 = j | Xt = i) = pij
pij = probabilità che al tempo t+1 il sistema sarà nello stato j,
essendo nello stato i al tempo t.
Attenzione: non confondere stazionario con statico !!!!!
E. Messina Metodi Computazionali
Matrice delle probabilità
p11 p12 …. p1n
p21 p22 …. p2n
pn1 pn2 …. pnn
rappresenta la probabilità di raggiungere uno stato j
partendo da uno stato i della catena.
pij
0ij
p 0, ji 1
0
==
n
j
ijp
P =
MATRICE DI TRANSIZIONE
(a un passo)
E. Messina Metodi Computazionali
Rappresentazione grafica
Una matrice P delle probabilità di transizione è rappresentabile
graficamente da un grafo. Ogni nodo rappresenta uno stato e l’arco
(i,j) rappresenta la probabilità di transizione pij .
i kj
pjkpij
pii
E. Messina Metodi Computazionali
Esempio
Supponiamo che un’industria produca due tipi di Cola.
Una persona che, all’acquisto precedente, ha comprato Cola1, per il 90% di
possibilità comprerà ancora Cola1.
Chi ha comprato invece Cola2, per l’80% di possibilità comprerà ancora Cola2.
Matrice di transizione:
P =
Cola1
Cola2
Cola1
Cola2
0.100.90
0.800.20
E. Messina Metodi Computazionali
Esercizi1. Definire la matrice di transizione dell’esempio del gioco d’azzardo
2. Si consideri un sistema si stoccaggio nel quale la sequenza di eventi lungo
ogni periodo e’ la seguente:
- si osserva il livello i di magazzino all’inizio del periodo;
- se i <= 1, vengono ordinate (4-i) unità, mentre se i>=2 non viene emesso
nessun ordine.
Le consegne degli ordini sono immediate.
- la domanda d segue la seguente distribuzione di probabilità:
con probabilità 1/3 d=0
con probabilità 1/3 d= 1
con probabilità 1/3 d=2
- si osserva quindi il livello di magazzino all’inizio del prossimo periodo.
Determinare la matrice di transizione che caratterizza tale sistema di
stoccaggio.
E. Messina Metodi Computazionali
Esercizi
1. In un’urna sono contenute due palline, inizialmente bianche.
Ad ogni estrazione si procede come segue:
- se la pallina è bianca si lancia una moneta: se esce testa la dipingo di rosso
altrimenti la dipingo di nero.
- se la pallina estratta è rossa la dipingo di nero
- se la pallina estratta è nera la dipingo di rosso
Determinare la matrice di transizione che descrive questo “gioco”.
E. Messina Metodi Computazionali
Probabilità di transizione a n-passi
Domanda: Se una catena di Markov è in uno stato i al tempo m,
qual è la probabilità che dopo n passi sarà in uno stato j ?
P( Xm+n = j | Xm = i) = P( Xn = j | X0 = i) =Pij(n)
Si avrà che:
Pij(2) = pik · pkj prodotto scalare riga i colonna j
Pij(n) = ij-simo elemento di Pn
Risposta
k=1
n
E. Messina Metodi Computazionali
Esempio (2)
1. Se una persona usualmente compra Cola2, qual è la probabilità
che compri Cola1 dopo due acquisti ?
P( X2 = 1 | X0 = 2) =P21(2)
P2
= =0.100.90
0.800.20
0.100.90
0.800.20
0.170.83
0.660.34
E. Messina Metodi Computazionali
Esempio (3)
1. Se una persona usualmente compra Cola1, qual è la probabilità
che compri ancora Cola1 dopo tre acquisti ?
P( X1 = 1 | X0 = 1) =P11(3)
P3 = =
0.100.90
0.800.20
0.170.83
0.660.34
0.2190.781
0.5620.438
E. Messina Metodi Computazionali
Equazioni Chapman-Kolmogorov
E. Messina Metodi Computazionali
La probabilità di transizione a n-passi
{ } 0,,0| === + jiniXjXPP kkn
n
ij
può essere calcolata tramite le equazioni di Chapman-Kolmogorov
0,,0,0
==
+ jimnPPPk
m
kj
n
ik
mn
ij
)()()( mPnPmnP =+
Equazioni Chapman-Kolmogorov
E. Messina Metodi Computazionali
{ }iXjXPP mn
mn
ij === ++
0|
{ }= + ====
0 0|,k nmn iXkXjXP
{ } { }= + ======
0 00 |,|k nnmn iXkXPiXkXjXP
==
0k
n
ik
m
kj PP
Probabilità di transizione
La probabilità di essere in un certo stato j al tempo n, non
conoscendo lo stato di una catena di Markov al tempo 0, è:
qi Pij(n) = q · (colonna j di P n )
dove:
qi = probabilità che la catena sia nello stato i al tempo 0.
i
E. Messina Metodi Computazionali
Esempio (1)
1. Supponiamo che il 60% delle persone beva Cola1 e il 40%
beva Cola2. Dopo tre acquisti, qual è la percentuale delle
persone che berranno Cola1?
p = q · (colonna 1 di P3)
p = 0.60 0.40 = 0.64380.781
0.438
E. Messina Metodi Computazionali
Classificazione degli stati
Uno stato j è raggiungibile da uno stato i se esiste un cammino
che da i arriva a j :
E. Messina Metodi Computazionali
0>n
ijP per qualche n 0
Due stati i e j si dice che comunicano se j è raggiungibile da i e
viceversa.
Ogni stato comunica con se stesso per definizione e vale anche la
proprietà transitiva.
Una catena di Markov è detta irriducibile se tutti i suoi stati sono
comunicanti fra loro
Classificazione degli stati
Un insieme di stati S in una catena di Markov è un insieme
chiuso se nessuno stato fuori S è raggiungibile dagli stati in S.
Uno stato i si definisce stato assorbente se pii = 1.
E. Messina Metodi Computazionali
Classificazione degli stati
• Uno stato i si definisce stato transiente se esiste uno stato j
raggiungibile da i, ma i non è raggiungibile da j.
E. Messina Metodi Computazionali
•Uno stato che non è transiente viene definito stato ricorrente.
==1n
n
iiP
<=1n
n
iiP
Classificazione degli stati
• La ricorrenza è una proprietà di classe: se lo stato i è
ricorrente e lo stato j comunica con i allora lo stato j è ricorrente
E. Messina Metodi Computazionali
• Anche essere transiente è una proprietà di classe.
• Tutti gli stati di una catena di Markov finita (n. stati finito)
irriducibile sono ricorrenti
Classificazione degli stati
•Uno stato i è periodico di periodo k>1 se k è il più piccolo
numero tale che tutti i cammini che dallo stato i ritornano ad i
hanno una lunghezza che è un multiplo di k.
• Se uno stato non è periodico si definisce aperiodico.
• Se tutti gli stati in una catena sono ricorrenti, aperiodici e
comunicano l’uno con l’altro, la catena si definisce ergodica.
E. Messina Metodi Computazionali
Esempio (catena ergodica)
Una catena ergodica è, per esempio, la seguente:
P =0.3 0.7 0
0.5 0 0.5
0 0.25 0.75
1 320.3
0.7
0.5
0.25
0.5
0.75
E. Messina Metodi Computazionali
Quali stati sono transienti e quali ricorrenti ?
Esercizi
0 0 1/2 1/2
1 0 0 0
0 1 0 0
0 1 0 0
E. Messina Metodi Computazionali
0 0 0
0 0 0
0 0 0 0 0 0
0 0
Quali di queste matrici sono associabili a catene ergodiche ?
Esercizi (catena ergodica)
1/3 2/3 0
1/2 0 1/2
0 1/4 3/4
1/2 1/2 0 0
1/2 1/2 0 0
0 0 2/3 1/3
0 0 1/4 3/4
1/4 1/2 1/4
2/3 1/3 0
0 2/3 1/3
E. Messina Metodi Computazionali
Distribuzione d’equilibrio (steady state)
Sia P una matrice delle probabilità per una catena ergodica di n
stati, vale che:
lim Pij(n) = j
= [ 1 2 3 …. n] vettore distribuzione d’equilibrio
Dove:
= ·P
n +
E. Messina Metodi Computazionali
Esempio (Steady State)
.33.67.33.6730
.33.67.33.6740
.33.67.33.6720
.35.65.32.6810
.44.56.28.725
.56.44.22.783
.66.34.17.832
.80.20.10.901
P22(n)P21(n)P12(n)P11(n)n
STEADY STATE
E. Messina Metodi Computazionali
0.100.90
0.800.20
P=
Esempio (Steady State)
E. Messina Metodi Computazionali
0.100.90
0.800.20
P=
1002.09.0 +=
1018.01.0 +=
110=+{
Esercizi
1. Una macchina è utilizzata per produrre strumenti di precisione.
Se la macchina è in buone condizioni oggi allora lo sarà anche domani con una
probabilità del 90%.
Se la macchina non è in buone condizioni oggi allora sarà mal funzionante anche
domani con una probabilità dell’80%.
Quando la macchina è in buone condizioni produce 100 pezzi al giorno.
Quando la macchina è mal funzionante produce 60 pezzi al giorno.
In media quanti pezzi al giorno verrano prodotti ?
E. Messina Metodi Computazionali
Transitorio
Il comportamento di una catena di Markov prima di raggiungere la
distribuzione d’equilibrio è chiamato transitorio.
TRANSITORIO
E. Messina Metodi Computazionali
Passaggio Intermedio
Numero di transizioni attese prima di raggiungere lo stato j
essendo nello stato i in una catena ergodica:
mij = pij(1)+ pik· (1+mkj)
mij = 1+ pik· mkj
mii =
k j
1
i
E. Messina Metodi Computazionali
Esempio (passaggio intermedio)
Calcolo di quante bottiglie, in media, berrà un compratore di
Cola1 prima di cambiare a Cola2:
• m12 = 1+ p11 · m12 = 1+ 0.90 · m12 m12 = 10
Viceversa, per un compratore di Cola2 si avrà:
• m21 = 1+ p22· m21 = 1+ 0.80 · m21 m21 = 5
E. Messina Metodi Computazionali
Catene assorbenti (1)
Le catene assorbenti sono catene di Markov nelle quali
alcuni stati sono assorbenti, mentre tutti gli altri sono
stati transienti.
Definizione:
Uno stato i si definisce stato assorbente se pii = 1
E. Messina Metodi Computazionali
Catene assorbenti (2)
Possibili domande:
1. Qual’è il numero di passi che intercorrono prima
che, da uno stato transiente, venga raggiunto uno stato
assorbente ?2. Se una catena parte da uno stato transiente, qual è la
probabilità che termini in uno stato assorbente ?
E. Messina Metodi Computazionali
Matrice di transizioneLa matrice di transizione per una catena assorbente può
essere scritta come:
P =
Q matrice che rappresenta le relazioni tra gli stati transienti.
R matrice che rappresenta le transizioni da stati transienti a
stati assorbenti.
Q R
0 I
E. Messina Metodi Computazionali
Matrice fondamentale
1. Se siamo in uno stato transiente i, il numero di periodi
che si trascorreranno in uno stato transiente j prima
dell’assorbimento è:
ij-simo elemento della matrice (I-Q)-1
E. Messina Metodi Computazionali
Esempio
In una fabbrica le tre tipologie d’impiegati sono: junior, senior e partner.
Ci sono inoltre due stati assorbenti che riguardano due modalità per lasciare la
fabbrica: come non-partner o come partner. La matrice delle probabilità è la
seguente:
Junior
Senior
Partner
Lascia NP
Lascia P
Junior PartnerSenior Lascia PLascia NP
10000
01000
0.0500.9500
00.100.200.700
00.0500.150.80
Q
I0
R
E. Messina Metodi Computazionali
Esempio (1)
Quanto tempo passa un dipendente Junior nella fabbrica?
(I-Q)-1
=
• tempo che passa come Junior : m11= 5
• tempo che passa come Senior : m12 = 2.5 17.5 anni
• tempo che passa come Partner : m13 = 10
5 2.5 10
0 3.3 13.3
0 0 20
TOT.
E. Messina Metodi Computazionali
Probabilità d’assorbimento
2. Se siamo in uno stato transiente i, la probabilità di
arrivare in uno stato assorbente j è:
ij-simo elemento della matrice (I-Q)-1
·R
E. Messina Metodi Computazionali
Esempio (2)
Qual è la probabilità che un dipendente Junior lasci la
fabbrica come Partner?
(I-Q)-1
· R =
m12 = 0.5
0.5 0.5
0.3 0.7
0 1
RISPOSTA
E. Messina Metodi Computazionali
Esempio: The Drunkard’s walk
Un uomo cammina lungo Park Avenue, dove abita. Per raggiungere il bar deve
passare vicino a 3 lampioni. Ogni volta che arriva ad un lampione si appoggia e
poi riprende il cammino proseguendo in avanti o tornardo indietro con uguale
probabilità. Se arriva a casa o al bar si ferma.
Home
1
2
3
Bar
Home 21 Bar3
10000
1/201/200
01/201/20
001/201/2
00001
Q
I0
R
E. Messina Metodi Computazionali
Esempio: The Drunkard’s walk
1
2
3
Home
Bar
1 32 BarHome
10000
01000
1/2001/20
001/201/2
01/201/20
Q
I0
R
E. Messina Metodi Computazionali
Quante volte passa per lo stesso lampione?
(I-Q)= (I-Q)-1
=
Se parte dallo stato 2 il numero atteso di volte che passa per i
lampioni 1 2 e 3 prima di venire “assorbito” sono 1, 2 e 1.
3/2 1 1/2
1 2 1
1/2 1 3/2
E. Messina Metodi Computazionali
Esempio: The Drunkard’s walk
1 -1/2 0
-1/2 1 -1/2
0 -1/2 1
R = (I-Q)-1
·R =
Se parte dallo stato 2 la probabilità di tornare a casa è 3/4 e quella
di finire al bar è 1/4.
3/4 1/4
1/2 1/2
1/4 3/4
E. Messina Metodi Computazionali
Esempio: The Drunkard’s walk
1/2 0
0 0
0 1/2
Example: Academic Life
A. Assistant
Prof.: 20
B. Associate
Prof.: 60
T. Tenured
Prof.: 90
S. Out on the
Street: 10 D. Dead: 0
1.0
0.60.2
0.2
0.8
0.2
0.6
0.2
0.2
0.7
0.3
What is the expected lifetime income of an academic?
Courtsey of Michael Littman
Solving for Total Reward
L(i) is expected total reward receivedstarting in state i.
How could we compute L(A)?
Would it help to compute L(B), L(T), L(S),and L(D) also?
Solving the Academic Life
The expected income at state D is 0
L(T)=90+0.7x90+0.72x90+…
L(T)=90+0.7xL(T)
L(T)=300
T. Tenured
Prof.: 90
D. Dead: 0
0.7
0.3
Working Backwards
A. Assistant
Prof.: 20
B. Associate
Prof.: 60
T. Tenured
Prof.: 90
S. Out on the
Street: 10 D. Dead: 0
1.0
0.60.2
0.2
0.8
0.2
0.6
0.2
0.20.7
0.3
0
300
50
325287.5
Another question: What is the life expectancy of professors?
Stepping Stone Model
Let A be a nxn array of squares
Each square is initially any one of k different colors
For each step, a square is chosen at random
This square chooses one of its 8 neighbors at random and assumes its color
(boundary conditions …)
This is an example of absorbing Markov Chain: with probability 1 all the squares
will eventually all be the same color
Credit Rating: Typical Transition Matrix (1-Year)
Year-End Rating Initial
RatingAAA AA A BBB BB B CCC D
AAA 90.81 8.33 0.68 0.06 0.12 0 0 0
AA 0.70 90.65 7.79 0.64 0.06 0.14 0.02 0
A 0.09 2.27 91.05 5.52 0.74 0.26 0.01 0.06
BBB 0.02 0.33 5.95 86.93 5.30 1.17 0.12 0.18
BB 0.03 0.14 0.67 7.73 80.53 8.84 1.00 1.06
B 0 0.11 0.24 0.43 6.48 83.46 4.07 5.20
CCC 0.22 0 0.22 1.30 2.38 11.24 64.86 19.79
Example of Rating Transition Matrix*
* Moody’s Investors Service, July 1997. “Moody’s Rating Migration and Credit
Quality Correlation, 1920-1996”
Google’s Search Engine
Assumption: A link from page A to page B is a
recommendation of page B by the author of A
(we say B is successor of A)
Quality of a page is related to its in-degree
Recursion: Quality of a page is related to
its in-degree, and to
the quality of pages linking to it
PageRank [Brin and Page ‘98]
E. Messina Metodi Computazionali
Definition of PageRank
Consider the following infinite random walk
(surf):
Initially the surfer is at a random page
At each step, the surfer proceeds
to a randomly chosen web page with probability p
to a randomly chosen successor of the current page with
probability 1-p
The PageRank of a page d is the fraction of
steps the surfer spends at d in the limit.
E. Messina Metodi Computazionali
Random Web Surfer
What’s the probability of a page being visited?
E. Messina Metodi Computazionali
Markov Chains
Theorem: Under certain conditions:
There exists a unique stationary distribution q with qi > 0
for all i
Let N(i,t) be the number of times the Markov chain visits
state i in t steps. Then,
it t
tiN=
),(lim
E. Messina Metodi Computazionali
PageRankPageRank = the probability for this Markov chain,i.e.
where n is the total number of nodes in the graph
p is the probability of making a random jump.
Query-independent
Summarizes the “web opinion” of the page
importance
+=
Euv
voutdegreevPageRankpnpuPageRank
),(
)(/)()1(/)(
E. Messina Metodi Computazionali
PageRank
D
A B
PageRank of D is
(1-p)* ( 1/4th the PageRank of A + 1/3rd the PageRank of B ) +p/n
E. Messina Metodi Computazionali
Kth-Order Markov Chain
What we have discussed so far is the first-order
Markov Chain.
More generally, in kth-order Markov Chain, each
state transition depends on previous k states.
What’s the size of transition probability matrix?
X2 X3 X4X1
E. Messina Metodi Computazionali
Add-ins Excel
Per la risoluzione delle operazioni relative alle catene di
Markov sono presenti in rete add-ins free di Excel:
Sito per il download:
http://www.stanford.edu/~savage/software.htm
E. Messina Metodi Computazionali