具体数学Concrete Mathematics

赵启阳

2023年4月19日

北京航空航天大学计算机学院

23/4/19 2

8.3 Probability Generating Functions概率母函数

23/4/19 3

概率母函数• 假定某个随机变量 X 仅仅取非负整数值。则 X

的概率母函数 Probability Generating Function ，或者简写做 pgf 为

• 还可以推广为

• 注意：在研究母函数的时候，我们仅限于使之收敛的 z 值。

• 那么，提出概率母函数的意义是什么呢？初看上去， X 的概率母函数是一组幂的和。在这个函数中，包含了关于变量 X 的所有信息。

0

Prk

kX zkXzG

XX zzG Pr

23/4/19 4

概率母函数• 概率母函数还可以写成

• 根据概率分布的定义可知，概率母函数中所有项的系数都是非负的，而且所有系数之和为 1 。事实上，后者可以表达成

• 反向来看，任何一个系数非负、且系数之和为 1的幂级数 G(z) 都可以看作是某个随机变量的概率母函数。

XXX zEzzG

Pr

11 XG

23/4/19 5

概率母函数的作用• 概率母函数的一个重要作用，就是可以简化均

值和方差的计算。例如，均值可以表示成

• 方差的情况稍微复杂一些

• 因此方差为

1|Pr

Pr

01

1

0

Xk

zk

k

GkzkX

kXkEX

111Pr

Pr

01

12

0

22

XXk

z

kk

k

GGkzzkkkX

kXkEX

2111 XXX GGGVX

23/4/19 6

概率母函数的性质• 概率母函数的一个重要的漂亮性质，就是很多

重要应用中的 pgf 的形式却非常简单。例如对分布在 {0, 1, …, n – 1} 上的 n 阶均匀分布，它的 pgf是

• 概率母函数的另一个重要的漂亮性质，就是独立变量之和的 pgf ，等于各自 pgf 的乘积。就是说，如果 X 和 Y 是独立的，那么

z

z

nzzz

nzU

nn

n

1

111

1 12

zGzGzG YXYX

23/4/19 7

概率母函数的性质• 用概率母函数验证独立变量之和的均值和方差• 仍然假定变量 X 、 Y 是独立的，记 F 、 G 分别为

其概率母函数，而 H 是 X+Y 的概率母函数，那么

• 根据前面讲到的，概率母函数与均值、方差之间的关系为

• 可以验证

• 同样也可验证方差情形。

)()()( zGzFzH

2111

1

XXX

X

GGGVX

GEX

EYEXGF

GFGFHYXE

)1()1(

)1()1()1()1(1)(

23/4/19 8

概率母函数的更多应用• 丹麦天文学家 Thorvald Nicolai Thiele 在 1903 年提

出了一系列的累积统计量。均值和方差是前两个累积量，和剩下的高阶累积量一起，很精巧地表达出了某个概率分布。其定义来自于

• 这里函数 G 是概率母函数。先将 G(et) 展开，得到

• 这里

4433221

!4!3!2!1ln tttteG t

4433221

0,0

!4!3!2!11

!PrPr

tttt

m

tkkXekXeG

mk

mm

k

ktt

mk

mm XEkXk

0

Pr m阶（原点）矩

23/4/19 9

概率母函数的更多应用• 对于

• 在两边计算其指数函数值，并且用泰勒级数展开，即可得到 G(et) 的另一个展开式

• 联立 G(et) 的两个展开式，即可得到使用各阶（原点）矩给出的各阶累积统计量

4433221

!4!3!2!1ln tttteG t

22121 2

11 tteG t

312133

2122

11

23

均值方差

23/4/19 10

8.4 投硬币Flipping Coins

23/4/19 11

正面朝上次数的概率母函数• 记硬币在落下后正面朝上的概率为 p ，反面朝

上的概率为 q 。那么 。• 仅扔 1 次硬币的话，正面朝上次数的变量为 X ，

那么 X 的概率母函数为

• 那么，扔 n 次硬币的话，如果每次之间是独立的，那么总的硬币朝上次数的变量的 pgf 为

• 所以，正面朝上次数为 k 的概率为

1 qp

pzqzH )(

0

)(k

kknknn zqpk

npzqzH 为什么？

knkqpk

n

二项分布

23/4/19 12

特殊的扔法• 现在考虑一种特殊的扔法：一直扔到出现正面

朝上为止。那么，需要扔 k 次的概率是多少？• 显然， k = 1 的概率为 p ；而 k = 2 的概率为 qp ；

顺着来，在一般的 k 上的概率为 qk-1p 。那么，对应的 pgf 为

• 再推广一下，出现 n 次正面朝上的概率母函数为

• 由此引出负二项分布的 pgf

qz

pzpzqqpzpz

1

322

k

knkn

k

knn

n

zqpnk

kqz

k

knzp

qz

pz 11

1

k

kkn

n

zqpk

kn

qz

p 1

1

负二项分布：在正向事件发生次数达到某个定值之前，负向事件发生次数为 k 的概

率

23/4/19 13

特殊的扔法• 在这种特殊的扔法中，概率空间与此前遇到的

概率空间有些不同。现在的概率空间中包含无限个元素，其中每个元素都是正面 / 反面组成的的一个序列，其中包含 n 个正面，而且序列的最后一个值是正面，相应的概率为 pnqk-n 。

• 例如，对于 n = 3 ，如果用 H 和 T 表示正面 / 反面的话，那么序列 THTTTHH 就是此概率空间中的一个元素，其对应的概率值为 qpqqqpp = p3q4 。

23/4/19 14

二项分布的 pgf• 假设 X 、 Y 分别服从 n 和 p 决定的二项分布和

负二项分布。由于 X 的 pgf 为 H(z)n ，因此 X 的期望值为

• X 的方差为

• X 的标准差为 ，因此扔 n 次硬币的话，正面朝上的次数大约为

npHn )1(

npqHHHn 2)1()1()1(

npq

npqnp

23/4/19 15

负二项分布的 pgf• 对于服从负二项分布的 Y ，我们知道它的 pgf 为

• 首先，我们来看一个简单的 pgf （事实上是 n=1时的负二项分布）

• 显然有

n

qz

p

1

qz

pzG

1

3

2

2 1

2,

1 qz

pqzG

qz

pqzG

23/4/19 16

负二项分布的 pgf• 由于 p + q = 1 ，因此继续化简得到

• 回到 Y 的 pgf ，可以得到

• 还有没有更简单的计算方法？让我们观察一下pgf G 的倒数形式，记为 F(z)

2

22,

p

qzG

p

qzG

2

,p

nqYVar

p

nqYMean

zp

q

pp

qzzF

11

23/4/19 17

负二项分布的 pgf• 因此有

• 很遗憾，这里的函数 F 并不是任何概率分布的母函数，因为它的一个系数（ -q/p ）是负数。然而，它仍然满足所有系数之和等于 1 的要求，也就是说，如果仍然用硬币来举例的话，可以看成，在 F 对应的概率分布上，正面朝上的概率为 -q/p ，正面朝下的概率为 1/p=1+q/p 。

• 这样处理起来， G(z) 就可以认为是：用 F(z) 所决定的概率分布，扔了 - 1 次硬币。

nn zFzG

23/4/19 18

负二项分布的 pgf• 相应地，参数为 (n, p) 的负二项分布就等同于参

数为 (-n, -q/p) 的（普通）二项分布。另一方面，二项分布的均值和方差很容易计算，那么对这个“负”二项分布，就有

• 负参数下的普通二项分布！！！这也是“负”二项分布名称的来历。

2

1var

p

nq

pp

qn

p

nq

p

qnMean

23/4/19 19

负二项分布的 pgf• 回顾这种解决思路

在数值上发现 1 次负二项分布与普通二项分布的联系

将 1 次负二项分布看成负参数的普通二项分布

将 (n,p)负二项分布看成 (-n,-q/p)的普通二项

分布

借用求二项分布均值方差的简便方法，得到结果

1 2

3 4

23/4/19 20

连续两次正面的扔硬币游戏• 考虑一个更复杂的扔硬币游戏：我们需要扔多

少次硬币，才能出现连续两次正面朝上的结果？• 很显然，在这个游戏对应的概率模型中，概率

空间中的元素是 H/T构成的、以 HH结尾的序列：

• 对概率空间中的任一元素，其概率等于 H换成p 、 T换成 q 的乘积。例如对于 THTHH ，其概率为

,,,

,,,,

HTTHHTHTHHTTTHH

HTHHTTHHTHHHH

23Pr qpqpqppTHTHH

23/4/19 21

连续两次正面的扔硬币游戏• 仔细观察所有序列，有什么共同的结构特征？

• 1 、每个序列末尾两位都是 HH ；• 2 、除末尾以外的其他部分不包含 HH ；

• 第 1 个特征很简单。• 第 2 个特征呢？假设序列长度为 n ，我们在中

间位置上遇到了 H ，那么 H 的前后必定都是 T 。

,,,

,,,,

HTTHHTHTHHTTTHH

HTHHTTHHTHHHH

23/4/19 22

连续两次正面的扔硬币游戏• 继续分析第 2 个特征：

• 除了结尾处以外，序列的其他片断都是由T 、 HT 组成的。注意， HT 是绑定在一起的。换句话说，我们可以写出一个“生成文法”，给出序列的组装方法：

• 小问题：能否将上面的 {T 、 HT}换成 {TH 、 T} ？

SHTTS

HHS

|

23/4/19 23

连续两次正面的扔硬币游戏• OK 。根据前面的组装方法，我们可以将所有的

序列按照其“长度”的递增顺序排列起来（当然， HT被看做是“ 1 个字母”）：

• 依次考虑这些序列的对应概率，很容易得到

HHHTHTHHTHTHHHTTHHTT

HHHTHHT

HH

,,,:4

,:3

:2

pppqpqppqpqpppqqppqq

pppqppq

pp

,,,:4

,:3

:2

23/4/19 24

连续两次正面的扔硬币游戏• 也就是说，对于“长度”为 n 的所有序列，其

概率的一般形式为

• 好的，如果我们关注反应 Ω 中序列长度的随机变量 X ，那么现在我们可以写出 X 的 pgf 了：

22 ppqq knk

222

0

222

2 20

2222

2 20

22222

1

2

2

pqzqz

zppqzqzzp

pqzqzk

nzp

zppqqk

nzG

n

n

n nk

knk

n nk

knkknk

母函数的对应级数默认收敛

CM用了另外一种方法 ,参看Chap7

23/4/19 25

连续两次正面的扔硬币游戏• 在得到了 pgf 之后，就可以很容易地算出序列长度变量 X 的均值和方差：

• 例如对均匀的硬币，均值和方差分别为 6 和 22 。也就是说，平均起来，需要扔 6 次能够得到连续两次正面朝上的结果。

1234

12

22

ppppXVar

ppXMean

23/4/19 26

更复杂的硬币游戏• 在 Chap. 7 给出的母函数方法的基础上，可以考虑

更复杂的硬币游戏： Sheldon 、 Leonard 和 Penny分别选定模式 HHTH 、 HTHH 和 THHH 。两两之间玩这样的游戏：不停地扔一枚硬币，直到出现某个模式为止，并且判相应的人获胜。有这样的有趣结果：

Sheldon VS Leonard赢面 3:2

Penny VS Sheldon Leonard VSPenny 赢面 7:5 赢面 7:5

23/4/19 27

Homework 5• 练习题（不必上交）

8.12 ， 8.20 ， 8.21 ， 8.57• 作业（可用中 /英文提交，不计入最终分数）

Please tell me your opinion on our CM course. You’re completely free on any topics interesting you. Thanks.