Click here to load reader

lez 1 processi stocastici - · PDF file - Processi stocastici e processi Markoviani - Tecniche per la generazione di numeri casuali . generazione di realizzazioni di variabili discrete

  • View
    0

  • Download
    0

Embed Size (px)

Text of lez 1 processi stocastici - · PDF file - Processi stocastici e processi Markoviani - Tecniche...

  • Enza Messina

    Metodi Computazionali

    A.A. 2009/10

    Ragionamento probabilistico nel tempo

    Il compito di prendere una decisione dipende da:

    Informazioni parziali

    Informazioni rumorose

    Incertezza sui cambiamenti dell’ambiente nel corso del tempo

    E. Messina Metodi Computazionali

  • Metodi Computazionali

    - Processi stocastici e processi Markoviani

    - Tecniche per la generazione di numeri casuali

    . generazione di realizzazioni di variabili

    discrete

    . generazione di realizzazioni di variabili

    continue

    - Tecniche di simulazione

    o Costruzione e validazione di modelli di simulazione

    o Metodi Monte Carlo

    o Tecniche di riduzione della varianza

    o Analisi dei risultati

    - Metodi per la stima dei parametri

    Ragionamento probabilistico nel tempo

    Per descrivere un mondo mutevole si usano:

    una serie di variabili casuali

    descritte da uno stato

    in ogni istante temporale

    Le relazioni fra variabili casuali in istanti temporali diversi descrivono l’evoluzione dello stato!

    E. Messina Metodi Computazionali

  • Tempo e Incertezza

    Modelli statici:

    Il valore delle variabili non cambia nel tempo

    Modelli dinamici

    Il valore delle variabili cambia nel tempo

    Lo stato corrente dipende dalla storia

    Il processo di cambiamento e’ descritto da una serie di “fotografie” (time slice) ognuna delle quali contiene un insieme di variabili casuali

    E. Messina Metodi Computazionali

    Metodi Computazionali

    Processi stocastici e processi Markoviani

    Tecniche per la generazione di numeri casuali generazione di realizzazioni di variabili discrete generazione di realizzazioni di variabili continue

    Tecniche di simulazione Costruzione e validazione di modelli di simulazione Metodi Monte Carlo Tecniche di riduzione della varianza Analisi dei risultati

    Metodi per la stima dei parametri

    E. Messina Metodi Computazionali

  • Un processo stocastico { }TttX ),(

    L’insieme T degli indici e lo spazio X degli stati possono essere continui o discreti.

    • Processi stocastici a tempo continuo

    • Processi stocastici a tempo discreto

    • Processi stocastici a stati continui

    • Processi stocastici a stati discreti

    E. Messina 7

    Processo Stocastico è:

    un insieme di variabili casuali, (per ogni t, X(t) e’ una variabile casuale)

    una variabile casuale che evolve nel tempo

    { }0),( >ttX

    { },...1,0),( =ttX

    { },...1,0, =nX n

    Metodi Computazionali

    E. Messina 8

    Processo Stocastico

    Metodi Computazionali

    X(t) = Valore di una caratteristica del sistema al tempo t, ovvero valore di

    una variabile casuale che descrive lo stato del sistema al tempo t

    X(t) numero di visitatori di una pagina web al tempo t

    X(t) numero di visitatori di una pagina web fino al tempo t

    X(t) numero di prodotti venduti fino al tempo t

    X(t) valore di un portafoglio di titoli al tempo t

  • discrete-time, discrete-state

    ttt XX += 1 t=1,2,3,...

    Random Walk

    }1,1{=t

    5,0)1()1( =+=== tt pp

    where and

    -8

    -7

    -6

    -5

    -4

    -3

    -2

    -1

    0

    1

    2

    3

    0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

    9

    Esempio

    E. Messina Metodi Computazionali

    Changing p>0,5

    we obtain a random walk with drift

    0

    2

    4

    6

    8

    10

    12

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

    p=0,8

    Another way to generalize this process is to let assume continuous values

    (discrete time continuous state stochastic process) t t

    N(0,1)

    -2

    -1

    0

    1

    2

    3

    4

    5

    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

    E. Messina 1

    0

    Metodi Computazionali

    Esempio

  • The first order autoregressive process given by the equation

    titt baXX ++=

    where a and b are constant, with -1

  • Tale proprietà assicura che la distribuzione di probabilità per tutti i possibili

    valori futuri del processo dipende solo dal loro valore corrente non dai valori

    passati o da altre informazioni correnti

    Una importante proprietà dei processi stocastici è la

    Proprietà Markoviana

    I processi stocastici che soddisfano questa proprietà sono detti Processi di Markov

    E. Messina 13

    Metodi Computazionali

    Proprietà dei Processi Markoviani

    P( Xt+1 = it+1 | Xt = it , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )

    = P( Xt+1 = it+1 | Xt = it )

    Un processo stocastico a tempi discreti è una catena di Markov se,

    per t = 1, 2, 3, … e per tutti gli stati, si ha che:

    P( Xt+1 = j | Xt = i , Xt-1 = it-1 , …, X1 = i1 , X0 = i0 )

    = P( Xt+1 = j| Xt = i )

    Se P(X0= i) = qi

    q = [q1… qi… qn] distribuzione probabilità iniziale

    Catene di Markov

    E. Messina Metodi Computazionali

  • Catene di Markov

    Se la probabilità di un certo evento è indipendente dal tempo t la

    catena di Markov si definisce stazionaria e si ha che:

    P( Xt+1 = j | Xt = i) = pij

    pij = probabilità che al tempo t+1 il sistema sarà nello stato j, essendo nello stato i al tempo t.

    Attenzione: non confondere stazionario con statico !!!!!

    E. Messina Metodi Computazionali

    Matrice delle probabilità

    p11 p12 …. p1n p21 p22 …. p2n

    pn1 pn2 …. pnn

    rappresenta la probabilità di raggiungere uno stato j

    partendo da uno stato i della catena.

    pij

    0 ij

    p 0, ji 1 0

    = =

    n

    j

    ij p

    P =

    MATRICE DI TRANSIZIONE

    (a un passo)

    E. Messina Metodi Computazionali

  • Rappresentazione grafica

    Una matrice P delle probabilità di transizione è rappresentabile

    graficamente da un grafo. Ogni nodo rappresenta uno stato e l’arco

    (i,j) rappresenta la probabilità di transizione pij .

    i kj

    pjkpij

    pii

    E. Messina Metodi Computazionali

    Esempio

    Supponiamo che un’industria produca due tipi di Cola.

    Una persona che, all’acquisto precedente, ha comprato Cola1, per il 90% di

    possibilità comprerà ancora Cola1.

    Chi ha comprato invece Cola2, per l’80% di possibilità comprerà ancora Cola2.

    Matrice di transizione:

    P =

    Cola1

    Cola2

    Cola1

    Cola2

    0.100.90

    0.800.20

    E. Messina Metodi Computazionali

  • Esercizi 1. Definire la matrice di transizione dell’esempio del gioco d’azzardo

    2. Si consideri un sistema si stoccaggio nel quale la sequenza di eventi lungo

    ogni periodo e’ la seguente:

    - si osserva il livello i di magazzino all’inizio del periodo;

    - se i =2 non viene emesso

    nessun ordine.

    Le consegne degli ordini sono immediate.

    - la domanda d segue la seguente distribuzione di probabilità:

    con probabilità 1/3 d=0

    con probabilità 1/3 d= 1

    con probabilità 1/3 d=2

    - si osserva quindi il livello di magazzino all’inizio del prossimo periodo.

    Determinare la matrice di transizione che caratterizza tale sistema di

    stoccaggio.

    E. Messina Metodi Computazionali

    Esercizi

    1. In un’urna sono contenute due palline, inizialmente bianche.

    Ad ogni estrazione si procede come segue:

    - se la pallina è bianca si lancia una moneta: se esce testa la dipingo di rosso

    altrimenti la dipingo di nero.

    - se la pallina estratta è rossa la dipingo di nero

    - se la pallina estratta è nera la dipingo di rosso

    Determinare la matrice di transizione che descrive questo “gioco”.

    E. Messina Metodi Computazionali

  • Probabilità di transizione a n-passi

    Domanda: Se una catena di Markov è in uno stato i al tempo m,

    qual è la probabilità che dopo n passi sarà in uno stato j ?

    P( Xm+n = j | Xm = i) = P( Xn = j | X0 = i) =Pij(n)

    Si avrà che:

    Pij(2) = pik · pkj prodotto scalare riga i colonna j

    Pij(n) = ij-simo elemento di P n

    Risposta

    k=1

    n

    E. Messina Metodi Computazionali

    Esempio (2)

    1. Se una persona usualmente compra Cola2, qual è la probabilità

    che compri Cola1 dopo due acquisti ?

    P( X2 = 1 | X0 = 2) =P21(2)

    P 2

    = = 0.100.90

    0.800.20

    0.100.90

    0.800.20

    0.170.83

    0.660.34

    E. Messina Metodi Computazionali

  • Esempio (3)

    1. Se una persona usualmente compra Cola1, qual è la probabilità

    che compri ancora Cola1 dopo tre acquisti ?

    P( X1 = 1 | X0 = 1) =P11(3)

    P 3 = =

    0.100.90

    0.800.20

    0.170.83

    0.660.34

    0.2190.781

    0.5620.438

    E. Messina Metodi Computazionali

    Equazioni Chapman-Kolmogorov