关键词: 马尔可夫性 时齐马尔可夫链 n 步转移概率 C-K 方程 马氏链的有限维分布律 常返 暂留 正常返 零常返
互达 周期 不可约 平稳分布
第十一章 马尔可夫链
1 马尔可夫链的定义§
8 1 3 4
8 4
.( )
, 1
1 1 .
0
{ 4 | 1, 1, 2}
{ 4 | 2},
n
p
q p
S n
P S S S S
P S S
例1
甲乙两人游戏每一局甲赢 元的概率为 ,输 元的概率为 假设一开始甲带了元钱。令 表示 局后甲所拥有的钱数。
计算
和 它们是
随机游动
否相等?
浙江大学随机过程 3
8 1 3 4
8 4 1 3 4
{ 4 | 1, 1, 2}
{ 2 | 1, 1, 2}
P S S S S
P S S S S S
解:
8 4{ 2}P S S 34p q
8 4
8 4 4
{ 4 | 2}
{ 2 | 2}
P S S
P S S S
34p q8 4{ 2}P S S
8 1 3 4 8 4{ 4 | 1, 1, 2} { 4 | 2}P S S S S P S S
浙江大学随机过程 4
1 0 1
1
0
0 1 1,
1
0 1 1
{ | ,..., , }
{
1, ...
, ,.
}
.
|
. , ,
k k k
k k
n n n k n
k
n
k
n
k n n n
P S j S i S i S i
P S
i i i i
j i
j
S
更一般地:
状态
Markov性
浙江大学随机过程 5
5
:Markov性的直观含义
1{ }............
knC S j
将来
{ }.............kn
B S i 现在0 10 1{ ,..., .}.......
kn n kA S i S i 令 过去
( |
Markov :
) ( | )P C AB P C B性
,已知到现在为止的所有信息来预测将来则只与现在状态有关,与过去状态无关.
浙江大学随机过程 6
:Markov性的直观含义
( | ) ( | ) ( | )P AC B P A B P C B
在已知现在状态的条件下,
过去与将来相互独立.
浙江大学随机过程 7
;
0 1 0 1
{ 0,1,2,...} ,
Markov 1,
... ,..., , ,
n
k k
X n
k
n n m n i i i j
如果 是状态离散的随机过程
并且具有 性,即对任何任何状态
定义:
,有
0 10 -1{ | ,..., , }
{ | }kn n n k m
n m
P X j X i X i X i
P X j X i
{ 0 1...} Markov chainnX n 马尔则称 ; ,, 是 可夫链( )
浙江大学随机过程 8
: ( , ) 0, ( , ) 1ij ijj I
p m n p m n
性质
( | )
m i n
j
( , )im jn p mP X j X i n
记为==
在 时处于状态的条件下,到 时转移到 状态的转移概率
浙江大学随机过程 9
( ( , )( , )
n
) ij I Ip m mP m m nn 记
为对应的 步转移矩阵
: 1各元素非负性 ,每行之和为质
浙江大学随机过程 10
1, , ( |
, Markov{ }n n
n
i j P X j X i
n X 如果对任何状态 )不
依赖于 则称 是时齐的
定义:
链
1( |nij nP X j X ip
i j
: )
称为从到的一步转移概率
ij I IpP ( ) 称为一步转移矩阵
浙江大学随机过程 11
… …n21X0 X1 X2 XnXn-1
0
0
1 .
n 1n
p q p X
X n
只传输 和1的串联系统中,设每一级的传真率为 ,误码率为 以 表示第一级
的输入, 表示第 级的输出( ).
0 12. 传例( 输系统)
浙江大学随机过程 12
1
| , 0,1
ij n n
p j ip P X j X i i j
q j i
… …n21X0 X1 X2 XnXn-1
p qP
q p
一步转移矩阵 ,状态转移图:
{ } Markov {0,1}nX I 则 是一时齐 链,状态空间 ,
pp
q
q0 1
浙江大学随机过程 13
1 3 4 52. 随例3( 机游动)
{1 2 3 4 5}
5),
I
i i
设一醉汉在 ,,,,作随机游动:如果现在位于点(1 则下一时刻各以1/ 3
概率向左或向右移动一格,或以概率1/ 3呆在原处;如果现在位于点1(或点5),则下一时刻以概率1移到点2(或点4)。
1 5和 两点称为反射壁,这种游动称为带两个反射壁的随机游动。
浙江大学随机过程 14
1 3 4 52. 随例3( 机游动)
nX n用 表示时刻 醉汉所在的位置。
{ } MarkovnX则 是一时齐 链,1/ 3 1/ 3
1 2 3 4 51
11/ 3 1/ 3 1/ 3
1/ 31/ 3
1/ 3
浙江大学随机过程 15
1 1 13 3 3
1 1 13 3 3
1 1 13 3 3
1 2 3 4 5
1 1 0 0 0 0
2 0 0
3 0 0
4 0 0
5 0 0 0 1 0
P
1 1 13 3 3
1 1 13 3 3
1 1 13 3 3
1 2 3 4 5
1 0 1 0 0 0
2 0 0
3 0 0
4 0 0
5 0 0 0 1 0
P
1 3 4 52
如果把 1 这点改为吸收壁,即 Q 一旦到达 1 这一点, 则永远留在点 1 时,此时的转移概率矩阵为:
浙江大学随机过程 16
例 4 :排队模型 设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为:先到先服务,后来者需在等候室依次排队,假设一个需要服务的顾客到达系统时发现系统内已有3 个顾客,则该顾客立即离去。 设时间间隔⊿ t 内有一个顾客进入系统的概率为 q ,有一接受服务的顾客离开系统( 即服务完毕 ) 的概率为 p, 又设当⊿ t 充分小时,在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的,再设有无顾客来到与服务是否完毕是相互独立的。
等候室 服务台
系统
随机到达者 离去者
浙江大学随机过程 17
现用马氏链来描述这个服务系统: 设 Xn=X(n⊿t) 表示时刻 n⊿t 时系统内的顾客数,即系统的状态。 {Xn,n=0,1,2…} 是一随机过程,状态空间 I={0,1,2,3}, 且如前例 1 、例 2 的分析可知,它是一个时齐马氏链,它的一步转移概率矩阵为:
0 1 2 3
0 1 0 0
1 (1 ) (1 )(1 ) (1 ) 0
2 0 (1 ) (1 )(1 ) (1 )
3 0 0 (1 ) (1 )
q q
p q pq p q q pP
p q pq p q q p
p q pq p
等候室 服务台
系统
随机到达者 离去者
浙江大学随机过程 18
例 5 :设甲、乙两袋共装 5 个球,每次任取一袋 , 并从袋中 取出一球放入另一袋 ( 若袋中无球则不取 )。 Xn 表示 第 n 次抽取后甲袋的球数, n=1,2,….{Xn,n=1,2,…}
是一随机过程,状态空间 I={0,1,2,3,4,5},当 Xn=i
时, Xn+1=j 的概率只与 i 有关,与 n 时刻之前如何取到 i 值是无关的,这是时齐马氏链,一步转移矩阵为:
1 12 2
1 12 2
1 12 2
1 12 2
1 12 2
1 12 2
0 1 2 3 4 5
0 0 0 00
0 0 0 01
0 0 0 02
0 0 0 03
0 0 0 04
0 0 0 05
P
甲
乙
浙江大学随机过程 19
例 6 :卜里耶( Polya) 罐子模型。设一罐子装有 r 个红球, t 个黑球,现随机从罐中取出一球,记录其颜色,然后将 球放回,并加入 a 个同色球。持续进行这一过程, Xn 表示 第 n 次试验结束时罐中的红球数, n=0, 1,2,…. {Xn,n=0, 1,2,…} 是一随机过程, 状态空间 I={r,r+a,r+2a,…},当 Xn=i 时, Xn+1=j 的概率只 与 i 有关,与 n 时刻之前如何取到 i 值是无关的, 这是一马氏链,但不是时齐的 , 一步转移概率为:
1( )1
0
n n
ij i a
r t naiP X j X i
j ir t na
其它
浙江大学随机过程 20
1 2,
2 0 1 2 1
0.
1 ( 12 | 2, 7), ( 12 | 7)
(2) { }
n
n n n
n
X n
Y X X n
P Y Y Y P Y Y
Y Markov
例7:独立重复地掷骰子,用 表示第 次
掷出的点数,令
()计算
判断 是否是 链?
浙江大学随机过程 21
2 0 1
3 4 1 2 3
1 ( 12 | 2, 7)
( 6 | 1, 1, 6) 1/ 6
P Y Y Y
P X X X X X
()
1 22 1
1
312 3 4 6
62 3 36
( 7, 12)( 12 | 7)
( 7)
( )( 1, 6) 1
( 7) 36
P Y YP Y Y
P Y
P X X X
P X X
链。不是MarkovY
YYPYYYP
n}{
)7|12()7,2|12()2( 12102
浙江大学随机过程 22
1 1
a m a
n
例8
甲乙两人玩抛硬币游戏,一开始甲带有元钱,乙带有 元钱,独立重复抛一枚均匀硬币,若第 次出现正面,则甲赢 元,否则甲输 元。游戏一直到某人输光结束。计算最后
.赌徒输光
甲输光
问题:
的概率。
浙江大学随机过程 23
00 , 1 , 1
{ } Markov
{0,1,..., },
1, 0.5,0 .
n
n
mm i i i i
S n
S
m
p p p p i m
解:以 表示抛 次硬币后甲所拥有的钱数。
则 是一时齐 链,状态空间是
一步转移概率为:
浙江大学随机过程 24
0 0
1 0 1 0
10 1 12
( | ), 1, 0,
( | ) ( | , )
( | ) ( ),0 .
i m
ij
ij i ij
h P S i h h
h P S j S i P S j S i
p P S j h h i m
令 输光 则
输光
输光
1 1,0 .
.
i i i i
mm
i
ii
h h h h i m
{h }
h
即
所以 是等差数列,
所以i元钱
1i 元钱
1i 元钱
输光1/ 2
1/ 21ih
1ih
浙江大学随机过程 25
Markov
Markov性当 链有两个吸收态时,我们可以利用 和全概率公式建立方程,计算被某一个特定吸收态吸收的概率。
m上例中有两个吸收态0和 ,我们需要计算的是最终被状态0吸收的概率.
浙江大学随机过程 26
3,7)
i
n i i
例9
如下图,假设猫不动,老鼠从2号房间出发在迷宫中作随机游动:如果 时老鼠呆在( 号房间,则下一时刻老鼠等可能地移到相邻的房间(即有门与号房间相连的房间);一旦老鼠到达7号房间,就被猫吃掉;一旦到达3号房间,老鼠就吃掉奶酪。计算老鼠在吃掉奶酪前被
.迷宫中的老鼠:
猫吃掉的概率?
987
654
321
猫
奶酪
浙江大学随机过程 27
n { }
Markov {1,2,...,9},3 7
n
n
X
X
解:一旦老鼠跑到3号或7号房间,我们就认为老鼠将永远呆在那个房间。用 表示
时老鼠所在的位置。则 是一时齐
链,状态空间是 和 是两个吸收态。所求的就是从2出发最终被7吸收的概率。
浙江大学随机过程 28
0
7 3
( 7 | ),
1, 0.ih P X i
h h
令 最终被 吸收则
1 5 9
1.
2h h h 利用对称性,
2 1 5 3
Markov
1 1 1 1.
3 3 3 3h h h h
利用 性和全概率公式:
浙江大学随机过程 29
有限维分布§2
, , , ij ik kjk
p s s u v p s s u p s u s u v
C K
方程
k
s u s u v ts
ij
0
, , ,P s s u v P s s u P s u s u v
C K
方程可以写成矩阵形 :式
浙江大学随机过程 30
C K 方程的证明:
| | ,s u s s u v s s uk
P X k X i P X j X i X k 全概率公式
===
| |s u s s u v s uk
P X k X i P X j X k 马氏性
===
, , ik kjk
p s s u p s u s u v
, |ij s u v sp s u v P X j X i
证毕!
浙江大学随机过程 31
{ } Markov nX 时齐以后均假设 是 的 链
)
C-K ( , )
( , ), m
, ), i j m
m
ij
m
mij
P n n m P n
P n n mP
p n n mp
(
( )
由 方程: 不依赖于 ,
记 称为 步转移矩阵
记 ( 从到的 步转移概率
)m mP P(则
浙江大学随机过程 32
12 1
1 1 1 2 1
0
1 2
( )( )1 1
1 1
2 ... ,
( ,... ) ( ) ... k k
k k k
nn ij
i
k
n nn nn n k n i i i i
n P X j P X i p
n n n
P X i X i P X i p p
( )()对任何 ,( ) ( )
()对任何
命题:
浙江大学随机过程 33
有限维分布完全由初始分布和一步转移概率所确定
0 0) )
n
, nn n P
(( ( )( )
把初始分布和 步分布分别写成行向量
和 则
浙江大学随机过程 34
0 0
0
1
( | )n ni
nij
i
P X j P X i P X j X i
P X i p
( )
()由全概率公式
( ) ( )
)
明
(
证 :
1
1 2 1 1 1
12 1
1 1 2 1
1
1 2 1 1 1
( )( )1
2
( ,... )
( ) ( | )... ( | ,... )
( ) ...
k
k k
k k
k k
n n k
n n n n k n n k
n nn nn i i i i
P X i X i
P X i P X i X i P X i X i X i
P X i p p
()由乘法公式
浙江大学随机过程 35
3 14 4
1 1 14 2 4
3 14 4
0 1 2
0 0
1
2 0
P
0
0 2 4
2 4 5 0
2 4 5
1 , 0 0,1,2
Markov
1 0,1,23
1 0, 1, 1 ;
2 1, 1, 0 | 0
3 1, 1, 0
nX n
P X i i
P X X X
P X X X X
P X X X
例:设 是具有三个状态 的时
齐 链,一步转移矩阵为:
初始分布 ,
试求:
浙江大学随机过程 36
解:5 5 18 16 16
2 2 5 3116 2 16
3 9 116 16 4
P P
( )
0 2 4
(2) (2)0 01 11
(1) 0, 1, 1
5 51 103 16 2 96
P X X X
P X p p
( )
2 4 5 0
(2) (2)01 11 10
2 1, 1, 0 | 0
5 51 116 2 4 128
P X X X X
p p p
浙江大学随机过程 37
2
(2) (2) (2)0 01 0 11 0 21
3 ( 1)
( 0) ( 1) ( 2)
5 91 1 11( )3 16 2 16 24
P X
P X p P X p P X p
(2)2 4 5 2 11 10 1, 1, 0 1
11 1 1 1124 2 4 192
P X X X P X p p
浙江大学随机过程 38
0 0
0 1 3
3 1 0
3
0 3
, 0 0,1,2
Markov
10 12
1 0, 1, 1 ;
2 1, 1| 0
3 1
3 0 | 1
nX n
P X P X
P X X X
P X X X
P X
P X X
例2:设 是具有三个状态 的
时齐 链,一步转移矩阵为:
试求:
0 1 2
0 1 001 11 02 2
2 3 104 4
P
浙江大学随机过程 39
解: 71 1 12 2 8 8
2 37 7 3 1518 8 16 32 32
3 3 7 3 45 138 16 16 32 64 64
0 0
0P P
0 1 3
(2)0 01 11
(1) 0, 1, 1
71 10 12 8 16
P X X X
P X p p
( )
(2)3 1 0 01 11
72 1, 1| 08
P X X X p p
浙江大学随机过程 40
解:
(3) (3)3 0 01 0 11(3) 1 ( 0) ( 1)
7 3 311 12 8 2 32 64
P X P X p P X p
3 0 00 3
3
(3)1012
3164
1| 0 ( 0)(4) 0 | 1
( 1)
2831
P X X P XP X X
P X
p
浙江大学随机过程 41
2 3, C KP P 也可不计算 ,根据状态转移图和 方程:
(2)11 10 01 12 21
78
p p p p p (3) (2)01 01 11
78
p p p
(3)11 12 22 21
332
p p p p
0 1 21
12
12 3
4
14
浙江大学随机过程 42
常返和暂留§3
1.从一个状态出发是不是一定能够在有限时间内返
问题:
回该状态?
2.如果能够返回,那么平均返回时间( )一定平均回转时 有限吗?
(常返,暂留)
正常返,( 零常返)
浙江大学随机过程 43
3.如果能够返回,那么平均返回时间的精确值是多少?(平稳分布)
浙江大学随机过程 44
min{
mi
:
n )
1 }i nn X i i
定义:的首中时
(约定
0
0
( | ) 1
( | ) 1i
i
P X ii
P X i
常返:
暂留: 状态
1i i i
i i i
常返:从出发以概率 在有限时间内能返回暂留:从出发以正概率不再返回状态
浙江大学随机过程 45
0( | )i iE X
i
i i
若常返,定义的平均回转时
i
i
i
正常返:
零常 : 返常返
浙江大学随机过程 46
1
1
i i
i
i i
i
正常返:从出发不但以概率 在有限时间 内返回状态,而且平均回转时有限零常返:从出发虽然以概率 在有限时间 内返回状态,但平均回转时无限
正常返态返回速度快于零常返态
浙江大学随机过程 47
0| )i iP X i ( 和 的计算:( )
1 1 0( , ,..., | )nij n nf P X j X j X j X i 令
i n j 从出发第 步首次击中的概率
0( |
i j
)ij jf P X i
从出发能击中的概率
( )
1
nij ij
n
f f
则
浙江大学随机过程 48
1iii f 常返
( )i
1
nii
n
nfi
若常返,则
浙江大学随机过程 49
{ } Markov {0,1,2,3}
0 0.5 0 0.5
0 0 1 0
0 0 0 1
0.5 0 0 0.5
nX I
P
例1. 设 是时齐 链, ,
其一步转移矩阵 ,
讨论状态0和3的常返性。
0 1 21
31
12
12 1
2
12
浙江大学随机过程 50
0 1 21
31
12
12 1
2
12
:先考虑解 状态0,(1)
00 0,f (2)
00 03 30 1/ 4,f p p (3)
00 03 33 30 1/ 8,f p p p
n 当 4时,( ) 2 4
00 03 33 30 01 12 23 33 30n n nf p p p p p p p p
21 12 2n n
( )00 00 2
1 2 4
1 11
2 2n
n nn n n
f f
0 是一个常返态
0 22 4
1 14
2 2n nn n
n n
进一步地:
0 是正常返态
浙江大学随机过程 51
0 1 21
31
12
12 1
2
12
:再考虑解 状态3, (1)33 1/ 2,f
(2)33 30 03 1/ 4,f p p
(3)33 0,f
n 5当 时, ( )33 0nf
( )33 33
1
1n
n
f f
3 是一个常返态
1 1 13 2 4 41 2 4 2 进一步地:
3 也是正常返态(4)
33 30 01 12 23 1/ 4,f p p p p
1 2:状态 和状态 的常返性又问题 是如何呢?( ) ( )
11 22n nf f(计算 和 很复杂,需引入新的方法)
浙江大学随机过程 52
, 1 ,0
{ } Markov
{0,1,2,...} , 1 ,0 1, 0.
0
n
i i i i i i
X
I p p p q p p i 爬例2.( ) 设 是时齐 链,
,
讨
梯子
论状态 的
模型
常返性。
0 1 21p
2p0
p1n
p n
p... ...n
0q
1q
2q
nq
浙江大学随机过程 53
0 1 21p
2p0
p1n
p n
p... ...n
0q
1q
2q
nq
( )00
1n
n
f
对 ,解:
01 12 2, 1 1,0 0 1 2 1... ... (1 )n n n n np p p p p p p p
0 0 1 11, ... , 1.n nu u p p p n 令( )
00 1n
n nf u u 则
0 lim 0.nnu
是常返态当且仅当
0 0
1 1 2 2 3 1
( | 0)
(1 ) ( ) ( ) ... ( ) ...n n
P X
u u u u u u u
1 lim .nnu
浙江大学随机过程 54
0 1 21p
2p0
p1n
p n
p... ...n
0q
1q
2q
nq
1 1 2 2 3
3 4
(1 ) (2 2 ) (3 3 )
(4 4 ) ...
u u u u u
u u
0
.0 nn
u
是正常返态当且仅当
:如何判断其它状态的问题
常返性?
(很难,但利用的关系就容
互达易判断)
( )0 00
1
0
n
n
nf
当 是常返态时,
1 2 30
1 ... nn
u u u u
浙江大学随机过程 55
2
1
( 1) ,iip e
例如,如果
1,
1nu n
那么
22 21
11 1(1 )
2 0i innu e e
那么 ,
0是暂留态
1
2i
ip
i
如果 ,
0是零常返态0
lim 0 ,n nnn
u u
,
浙江大学随机过程 56
2
2
( 1),
( 2)i
ip
i
如果 2
1,
( 1)nu n
那么
0是正常返态0
lim 0 ,n nnn
u u
,
浙江大学随机过程 57
常返和暂留的等价描述
( )
0
1. i
i 1 i
nii
n
p
常返
从出发以概率 返回状态无穷多次
( )
0
2. i
i i
nii
n
p
暂留
从出发以概率0返回状态无穷多次
浙江大学随机过程 58
....
1
i i i i
i
以概率1返回 以概率1返回
1.若常返,则
以概率 无限次返回
0( | ) 1iP N X i
浙江大学随机过程 59
0( | ) 1,ii ii f P X i 2.若暂留,则
0 i以概率 无限次返回
ii
i
i
i不再返回
iif i不再返回
i不再返回
....iif
iif
1 iif
1 iif
1 iif
0( | ) 0iP N X i
浙江大学随机过程 60
10( | ) (1 ) 1,2,...n
i ii
i
iiP N n X
i i
f f n
N
i
从出发访问的次数(包括0时刻) 服从
几何分
,
布:
0
1( | )
1iii
E N n X if
浙江大学随机过程 61
( )0
0
( | ) 11
nii i
nii
ip E N X i
if
若常返
若暂留
1
0n
nn
X iY
X i
若证明:令
若
( )0 0
0 0
( | ) ( | ) ni n ii
n n
E N X i E Y X i p
0i n
n
N Y
则
浙江大学随机过程 62
可达和互达:
( )i : 0j
i j
0ij
ni j n p
设,是两个状态,
(1) ,记为 若存在 ,使可达
i,j : ,i j i j j i 互达(2) ,记为 若 且
i j j i
(3) i j j k i k
性质:互达是一个(1)自反性:i i
(2)对称性:若 ,则传递性:若 ,
系
,则
等价关
浙江大学随机过程 63
状态空间可分成不交的互达等价类的并
Markov { }nX 不可约:
称 链
如果任意 两个 状态互达
浙江大学随机过程 64
周期:( )i { 1:) 0}( niid pi n 定义状态的 为集合
的最大公约数 (若该集合为空集,则定义d(i )=0),
即可返回步数的最
周期
大公约数。
i ( ) 1d i 称 :若非周期
浙江大学随机过程 65
ii称 :若非遍历 周期正常返
{ }nX称 :
若所有状态常
常返(暂留,正
返(暂留,正常
常返,零常
返,零常返
返,
,
非周期)
非周期)
{ } { }n nX X称 :若 不可约非周遍历 期正常返
浙江大学随机过程 66
{ } Markov {0,1,2,3 4 5}
1 0 0 0 0 0
0 0 1 0 0 0
0 0.5 0.5 0 0 0
0 0 0 0 1 0
0 0 0 1 0 0
0.1 0.1 0.1 0.1 0.1 0.5
nX I
P
例3. 设 是时齐 链, ,,,
其一步转移矩阵
,
求出所有互达等价类,各状态的周期和常返性。
浙江大学随机过程 67
0 1 2 3 4 5
1111
0.5
0.5 0.1 0.50.1
0.1
0.10.1
{0},{1,2},{3,4},{5}解:共四个互达等价类:(1)
0 11.0 (0 11 1 0d f 是吸收态, ) , ,() ,
(2) (3)11 12 21 11 12 22 212 0.5 0, 0.25 0, (1) 1p p p p p p p d ()
( ) 2 111 12 22 21 11 12, 0.5 , 1, 3n n nn f p p p f
22 0 (2) 1.p d ,(3) (1) (2)22 22 22 20.5 , 1, 1.5f f f 又
所以0,1,2都是非周期正常返态
浙江大学随机过程 68
0 1 2 3 4 5
1111
0.5
0.5 0.1 0.50.1
0.1
0.10.1
( )33 0 n (3) 2.np d 因为 当且仅当 是偶数,(4)
233 33 31 1 2.f f ( ) 且 44 4(4) 2, 1 2.d f 同理 且
3 4 2 和 都是周期为 的正常返态。
55 0 (5) 1.p d 因 ,(5) 为1
55 55 550.5 0, 2 0.5 1nf f n f () ( ),
5 是非周期的暂留态。
浙江大学随机过程 69
互达等价类的同一性质:
1 ( )
3
i j
d i d j
i j
i j
如果 ,则()() ,
(2) 常返当且仅当常返()正常返当且仅当正常返
互达等价类中各状态具有相同的周期和常返性。
判断一个状态的性质时,可以从它的等价类中找出一个容易判断的状态来判断。
物以类聚,人以群分
浙江大学随机过程 70
讨论例1例2中各状态的周期和例3. 常返性.
0 1 21
31
12
12 1
2
12
例1
中已算得状态0正常返
各状态互达, 所有状态非周期正常返。33 0, (3) 1.p d
Markov这是一个遍历的 链。
浙江大学随机过程 71
例2
各状态互达, 所有状态非周期,并且与0具有相同的常返性。
00 0, (0) 1.p d
0 1 21p
2p0
p1n
p n
p... ...n
0q
1q
2q
nq
1 lim 0nn
u
()当 时,各状态暂留;
0
lim 0n nn
n
u u
(2)当 但 时,各状态零常返;
0n
n
u
(3)当 时,各状态正常返。
浙江大学随机过程 72
平稳分布§4在什么样的情况下,初始分布与一步
之后的问题:
分布相同?
{ }j j I 设初始分布为 ; ,则
0 1.j jj
,
一步之后的分布为:
1 0( ) ,ik i iki i
P X k P X i p p k ( )
所以初始分布与一步之后的分布相同当且仅当:
,k i iki
p k
(平稳分布)
浙江大学随机过程 73
0 1.1 j jj
,()
,2 k i iki
p k ()
平稳分布
{ ; } { }j nj I X 称为是 的平稳分布,如果
浙江大学随机过程 74
Markov求上1节例1中 链的平例1. 稳分布。{0,1,2,3}
0 0.5 0 0.5
0 0 1 0
0 0 0 1
0.5 0 0 0.5
I
P
解: ,
,
0 1 2 3 设平稳分布 ( , , , )则 0 1 2 3
10 32
11 02
2 1
1
1 1 1 1
4 8 8 2 解得 ( ,,,)
0 1 21
31
12
12 1
2
12
0 34 2 已算得 ,
0 30 3
1 1
,恰好
1 21 2
1 1
,是否 ?
^_^完全正确
浙江大学随机过程 75
Markov求上1节例2中 链的平例2. 稳分布。
解:设平稳分布 ,则
0 1 21p
2p0
p1n
p n
p... ...n
0q
1q
2q
nq
1 1... ...n n np 0 1 1 0 0...n n np p p u 得
0n
n
u
平稳分布存在当且仅当
{ }nX即当且仅当 正常返
1 0 0 2 1 1, ,p p
0
1nn
又
浙江大学随机过程 76
Markov求上1节例2中 链的平例2. 稳分布。
00
,nn
u
已算得0
0
1
恰好 , 1i
i
i
实 ,际上
0 1 21p
2p0
p1n
p n
p... ...n
0q
1q
2q
nq
0
, 0,
}
1,...
{
ii
n
n
n
ui
u
X
当 正常返时,有唯一的平
稳分布
浙江大学随机过程 77
1 { }
1n
ii
X
()存在平稳分布当且仅当 正常返,
此时平稳分布 唯一且
)2 { } lim nn ij jn
X i j p
(()若 遍历,则对任何,,
Markov不可约 链的性质{ }nX设 不可约,则
{ }nI X(3)若状态空间 有限,则 一定正常返。
(极限与出发点无关)
ii
ii
如果 越小,即访问状态i的平均时间间隔越小,则访
问越频繁,从而访问的极限概率也越大,所以 越大
浙江大学随机过程 78
0ij
I C
i C j C p 状态空间 的子集 称为是 :
若对于任意状态 和任意状态 ,闭集
C C C即 是 的,从 中出发将永远不闭 会跑出封 外
0 1
( 1
{ } Markovn
n
C P X C
P X C n
X C
若 是闭集,( ) ,则 , ) ,
此时 可以看成是状态空
性质:
间 上的 链
浙江大学随机过程 79
(1) ii如果的互达 不闭等价类 , 暂留则
性质:
i i (如果常返,则的互达等价类是闭的)ii(2)如果的互达等价类是 ,则有限闭集 正常返
( )i lim 0nij
nj p
(3)如果暂留或零常返,则对所有,
浙江大学随机过程 80
Markov有限 链的状态分解:
1 2 ... kI T C C C
1 2 ..., kC C C T这里 , , 是所有闭的互达等价类, 是余下的状态
1 21 ..., kC C C T则() , , 中各状态正常返, 中各状态暂留
0 Markov
{ } Markovi i
n i
X C C
X C
(2)如果 在某个 中,则此 链永不离开 。
可以把 限制在 上得到一个不可约正常返的 链
0 Markov iX T C(3)如果 ,则此 链最终会进入某个 并将不再离开
浙江大学随机过程 81
{ } {1,2,3,4}nX I .设 状态空间 ,一步转
移矩阵讨论各状态的周期和常返性,计算正常态的平均
例3
回转时。
3
12 4
0 0 1 0
1 0 0 0
0.3 0.7 0 0
0.6 0.2 0.2 0
P
浙江大学随机过程 82
1 {1,2,3} {4}C 有两个等价类 和 , 1 {4}C其中 是闭的, 不闭
1 1{ } MarkovnX C C把 限制在 上得到一个遍历 链,状态空间为
1 2 3 4 0d ,,,非周期,()
12
30.31
1
0.7
0 0 1
1 0 0
0.3 0.7 0
转移矩阵为
1 2 3
10 7 10, , ) ( , , )
27 27 27 平稳分布(
1 2 3
27 27 27, , ) ( , , )
10 7 10 (
1 2 3故,,正常返,4暂留
浙江大学随机过程 83
.讨论上节例3各状态性质,计算正常态的平均例4 回转时。
1 2 3{0}, {1,2} {3,4} {5}C C C 有四个等价类 , 和解:
{5} 0 1 2 3 4只有 不闭。 ,,,,正常返,5暂留,
0 1 2 5 3 4,,,非周期,,周期为2
00 1 是吸收态,
0 1 2 3 4 5
1111
0.5
0.5 0.1 0.50.1
0.1
0.10.1
浙江大学随机过程 84
3
3
{ }
Markov .nX C
C
把 限制在 上得到一个不可约正常返
周期为2的 链,状态空间为
3 41
1 3 4
1 1, ) ( , )
2 2 平稳分布(
3 4, ) (2, 2) (
1 21
0.5
0.52
2
{ } MarkovnX C
C
把 限制在 上得到一个遍历 链,
状态空间为
1 2
1 2, ) ( , )
3 3 平稳分布( 1 2
3, ) (3, )
2 (
浙江大学随机过程 85
( ), 0,1 lim nij
ni j p
.在0-1传输问题中,对 , 存在吗?
如存在
例5
,计算之。( )00 00 | 0n
np P X X : (方法一 )
pp
q
q0 1
k n k
k
nq p
k
偶数
=( n )P= 前 次传输中误码偶数次
1 [ ( ) ]2
k n k k n k
k k
n nq p q p
k k
1 1[( ) ( ) ] [1 (2 1) ]2 2
n n np q q p p
浙江大学随机过程 86
( ) 11 0 1, lim2
nijn
p p i j
()若 则 , ,
(极限与出发点无关)
( )3 0, lim nijn
p i j p
()若 则 ,, 不存在
( ) ( ) ( ) ( )00 11 10 012 1, lim lim 1 lim lim 0n n n n
n n n np p p p p
()若 则 ,
(极限与出发点有关)
浙江大学随机过程 87
方法二:
pp
q
q0 1
(0) 1, { }nd X 又 遍历1 0 1 {0 1} { }np X ()若 ,则 ,是闭的等价类,所以 正常返
3 0,p ()若
2 1,p ()若
0 1
1 1, ) ( , )
2 2 平稳分布(
( ) 1lim2
nijnp i j
, ,
11
0 1
1
10 1
( ) ( )00 11
( ) ( )10 01
lim lim 1
lim lim 0
n n
n n
n n
n n
p p
p p
则 ,
( )lim nijn
i j p
则 ,, 不存在
浙江大学随机过程 88
例 6 :设有 6 个球 (2 个红球 ,4 个白球 ) 随机平分放入甲 ,乙两个盒中 . 今每次从两盒中各任取一球并进行交换 . 表示开始时甲盒中的红球数 , 表示经 n 次交换 后甲盒中的红球数 .(1) 求此马氏链的初始分布 ;(2) 求一步转移矩阵 ;(3) 计算
0 2 4 2( 1, 1, 0), ( 2)P X X X P X
0X用 nX
4 lim 2
5
nn
P X
() ( )存在吗?如存在,计算之。
()求甲盒中红球数变没的平均时间间隔
浙江大学随机过程 89
0 1 3 2 3 0
(2) 1 2 9 5 9 2 9 ,
2 0 2 3 1 3
P
2
0 7 27 16 27 4 27
(3) 1 16 81 49 81 16 81 ,
2 4 27 16 27 7 27
P
( )
3 3 1 2 30 4 6 0 2 4 6
2 1 30 2 4 6
( 0) 1 5, ( 1) 3 5,
( 2) 1 5,
P X C C P X C C C
P X C C C
解: (1)
0
0 1 2~
1 5 3 5 1 5X
即:
0 2 4( 1, 1, 0)P X X X
(2) (2) (2)2 0 02 0 12 0 22( 2) ( 0) ( 1) ( 2)P X P X p P X p P X p
3 5 49 81 16 81 2352 32805 0.072
(2) (2)0 11 10( 1)P X p p
1 5 4 27 3 5 16 81 1 5 7 27 1 5 0.2
浙江大学随机过程 90
(4) (0 1d ) ,不可约, 遍历
1 23 9
52 23 9 3
2 19 3
1
0 0 1
1 0 1 2
2 1 2
0 1 2
方程组
, , 0 1 2设平稳分布 = ,
153515
0
1
2
0 1 2
13
29
23
13
59
29
23
2
1
5lim 2nn
P X
( )= 00
1(5) 5 所求为
浙江大学随机过程 91
平稳分布的意义
1
1 2,
2 1 1 1
{ , ...},
2, ( , , )
,
2
,
1
k
n
n n
k k
X
k X X
n n n n n
设初始分布为平稳分布 = 则
所有 的分布均为 ,
对 的分布仅与时间差
有关,与时间起点
()
()
无关。
当初始分布为 时,Markov链 严平平稳 为分布 稳过程。
浙江大学随机过程 92
1 2
3 2 -12 1
1 1, 2 2, 3 -1,
3 2 -12 1
1 1, 2 2, 3 -1,
1 1
1
1 2
1
( )
.
2 ( , , )
( ) ...
...
k
k k
i i i i i ik k
k k
i i i i i ik k
n n nn
n n
n n n k
n n n nn nn
n n n nn ni
X P P P P
X X
P X i X i X i
P X i p p p
p p p
( ) ( )( )
( ) ( )( )
(1) 的分布为
与 的分布相同,所以所有
证
均为
()
:
的分布
浙江大学随机过程 93
Markov链的应用— PageRank
PageRank, 就是网页排名,又称网页级别,是一种由搜索引擎根据网页之间相互的超链接计算的网页排名技术, Google 用它来体现网页的重要性。是 Google 的创始人拉里 ·佩奇和谢尔盖 · 布林在斯坦福大学发明了这项技术 , 并最终以拉里 ·佩奇( Larry Page)之姓来命名。
浙江大学随机过程 94
Markov链的应用 --PageRank
PageRank
PageRank 3
1.
2.
3. (
是基于「从许多优质的网页链接过来的网页,必定还是优质 网页」的回归关系,来判定所有网页的重要性。
提高 的要点,大致有 个:
反向链接数 单纯的意义上的受欢迎度指标
反向链接是否来自推荐度高的页面 有根据的受欢迎指标
反向链接源页面的链接数 被选中的几率指标)
浙江大学随机过程 95
链接源 I D 链接目标 1 1 2,3,4,5, 7
• 2 1 • 3 1,2• 4 2,3,5 • 5 1,3,4,6 • 6 1,5• 7 5
浙江大学随机过程 96
,
,
{ } Markov ,
0 1/ 5 1/ 5 1/ 5 1/ 5 0 1/ 5
1 0 0 0 0 0 0
1/ 2 1/ 2 0 0 0 0 0
0 1/ 3 1/ 3 0 1/ 3 0 0
1/ 4 0 1/ 4 1/ 4 0 1/ 4 0
1/ 2 0 0 0 1/ 2 0 0
0 0 0 0 1 0 0
n
n
X
X
访问网络可看成是在这些网络上的随机游动每次都等可能地访问所在网页的友情连接 若用 表示第n次
访问的网页,则 是 链转移矩阵P=
浙江大学随机过程 97
1
5
2
3
4
7
PageRank : (1) 0, 1
(2)
(0.3035, 0.1661, 0.1406, 0.1054, 0.1789, 0.0447, 0.0607)
PageRank :
(1) 0.3035
(2) 0.1789
(3) 0.1661
(4) 0.1406
(5) 0.1054
(6) 6
,
0.0
j i j
j
i
j
p j
其 满足
恰好为平稳分布. 解得:
所以网络的 评价排名为
6
07
(7) 0.0447
浙江大学随机过程 98