2 1 第2章-信源的数学模型和分类

1

HUST FurongWang --- Information and Coding Theory

第第 22 章信源熵章信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理

2


信源的数学模型及其分类通信的根本问题是将信源的输出在接收端尽可能精

确地复现出来，所以需要讨论如何描述信源的输出如何描述信源的输出，即如何计算信源产生的信息量如何计算信源产生的信息量。

信源的数学模型信源概念、数学模型离散信源和连续信源

信源的分类记忆性：有记忆和无记忆信源有记忆信源：马尔可夫信源

3


信源的概念信源－信息的发源地，如人、生物、机器等等。由于信息是十分抽象的东西，所以要通过信息载荷

者，即消息来研究信源，这样信源的具体输出称作消息。

消息的形式可以是离散消息（如汉字、符号、字母）或连续消息（如图像、语音）

信源消息中的信息是一个时变的不可预知的函数，因此，描述信源消息或对信源建模，随机过程是一个有效的工具，随机过程的特性依赖于信源的特性。

4


信源输出的描述信源发出消息，消息载荷信息，具有不确定性，所

以可用随机变量随机变量或随机序列（矢量）随机序列（矢量）来描述信源输出的消息，或者说用概率空间来描述信源。

离散信源：信源输出的消息常常是以一个个符号的形式出现，例如文字、字母等，这些符号的取值是有限的或可数的。离散信源只涉及一个随机事件，称为单符号离散信源，

可用离散随机变量来描述；若离散信源涉及多个随机事件，称为多符号离散信源，

可用离散随机矢量来描述。连续信源：输出连续消息的信源。

5


离散信源和连续信源

信源的输出被抽象为一个随机变量序列（随机过程）。连续信源：如果信源输出的随机变量取值于某一连

续区间，为连续信号，消息的个数是无穷值，就叫做连续信源。比如人发出的语音信号 X(t) 、模拟的电信号等等

离散信源：如果信源输出的随机变量取值于某一离散符号集合，消息在时间和幅值上均是离散的，就叫做离散信源。比如平面图像 X(x ， y) 和电报、书信、文稿等等

信源 X1, X2, X3, ……

A 为 {a1, a2, a3, …am} 或 (a,b)

6


信源的数学模型可以用随机变量或随机矢量来描述信源的输

出消息，用概率空间来描述信源，即信源就是一个概率场，其数学模型可表示为：

1 2

1 2

1

...

( ) ( ) ... ( )

p( ) 0 1 2 ...

( ) 1

n

n

i

n

ii

x x xX

p x p x p xP

x i

p x

其中，，，，n

即信源的概率空间是完备的。

7


信源的数学模型

1 2

1 2

1

b

a

...X

( ) ( ) ... ( )

( ) ( ) 1,2,...,

( ) 0, ( ) 1

X ( , )

( )

( ) X

( , ) X ( ) 0 ( ) 1

n

n

i i

n

i ii

x x x

p x p x p xP

p x P X x i n

p x p x

a b

P p x

p x

a b p x p x dx

其中

且

其中为连续随机变量的概率密度函数，

为的存在域,且

离散信源的数学模型：

连续信源模型：

，

的数学

8


单 / 多符号信源单符号信源：信源输出的是单个消息符号，用一维

离散或连续随机变量 X 及其概率分布 P 来描述。多符号信源：信源输出的是多个消息符号，用 N 维

随机矢量， N 重离散概率空间的数学模型来描述。如自然语言信源就是把人类的语言作为信源，以汉字为

例，就是随机地发出一串汉字序列。我们可以把这样信源输出的消息视为时间上或空间上离

散的随机变量序列，即随机矢量。于是，信源的输出可用 N 维随机矢量 (Xk,k=1,2,...,N) 来

描述， N 一般为有限正整数。

9


多符号信源的数学模型— N 重离散概率空间

1 2

1 2

1

1 2

N1 2

2

...

( ) ( ) ... ( )

, ,..., 1, 2,...,

( , ,..., ) 1,2,...,

, 1, 2,..., ; 1, 2,

{ ,

..

1, 2,3,

.,

..., }

, ,.. , 1.,

N

N

k

n

n

k n

Ni

k

i i iN

Ni

jN

a a a

p a p a p aP

X A x x x k N

a x x x A i n

A x i n k N

X

aX j

k N

X X

X

X x

X

其中为随机序列

＝

可见，随机序列的取值

N

N

, 2,...,

, 1, 2,...,i

n

N

A x i n

的个数n ，取决于序列长度和符号集的符号个数n。

10


信源的分类对信源的分类主要基于两方面的考虑：一是信源消息取值的集合以及消息取值时刻的集合

由此可分为离散信源、连续信源或数字信源、模拟信源（波形信源）

二是信源消息的统计特性由此可分为无记忆信源、有记忆信源、平稳信源、非平稳信源、高斯信源、马尔可夫信源等。

实际中经常是它们的组合如离散无记忆信源等。

11


信源的分类—离散平稳信源

如果随机序列中各个变量具有相同的概率分布，则称为离散离散平稳信源平稳信源。

如果离散平稳信源的输出序列中各个变量是相互独立的，即前一个符号的出现不影响以后任何一个符号出现的概率，则称为离散无记忆平稳信源离散无记忆平稳信源，否则称为离散有记忆平稳信源离散有记忆平稳信源

信源 X1, X2, X3, ……

A 为 {a1, a2, a3, …am} 或 (a,b)

12


信源的分类—无记忆信源如果信源发出的消息符号间彼此是统计独立的，并且它们具有

相同的概率分布，且 N 维随机矢量的联合概率分布为：

我们称之为离散无记忆信源离散无记忆信源。同样，若 N 维随机矢量中 X 每个变量 Xk 是连续随机变量，且相

互独立，则 X 的联合概率密度函数

为，这种信源叫连续型无记忆信源连续型无记忆信源

1 1

( ) ( )

1,2,..., 1, 2,...,

k k

N N

k i ik k

p X p X a p

i n k N

N

k

kpXp1

)(

13


信源的分类—有记忆信源通常情况下，信源发出的符号间是彼此相互

依存和关联的（如小说文字），是有记忆信源。通常用联合概率或条件概率来描述这种关联性。

按记忆长度划分有：有限记忆信源（马尔可夫信源）

有限状态马尔可夫链无限记忆信源

14


混合信源按信源输出时间和取值划分：时间连续，取值连续或随机的，称之为随机

波形信源，表示为 X(t) 。输出既有连续分量又有离散分量，称之为混

合信源。

重点研究离散信源产生消息的不确定性，不研究信源的内部结构和消息的如何产生

15


信源的分类

( , )

( )

X a b

P p x

随机过程 {x(t)}：随机波形信源信源输出的消息是时间（或空间）上

和取值上都是连续的函数

离散无记忆信源的N次扩展信源：输出的平稳随机序列 X中各随机变量统计独立。

每个随机变量 xi 取值于同一概率空间。每N个符号构成一组，等效为一个新的信源

随机变量

离散信源：可能输出的消息数有限

连续信源：可能输出的消息数是无限的或不可数的

非平稳信源

平稳信源

连续连续平稳信源

离散离散平稳信源：输出的随机序列 X中每个随机变量取值是离散离散的，并且随机矢量 X的各维概率分布不随时间平移而改变

有限记忆信源：输出的平稳随机序列X中各随机变量之间有

依赖关系，但记忆长度有限

马尔可夫信源：输出的随机序列 X中各随机变量之间有依赖关系，但记忆长度有限，并满足马尔可夫链的条件式

随机序列

1 2

1 2

...

( ) ( ) ... ( )q

q

x x xX

p x p x p xP

16


第第 22 章信源熵章信源熵 2.0 信源的数学模型及其分类 2.1 单符号离散信源 2.2 多符号离散平稳信源 2.3 连续信源 2.4 离散无失真信源编码定理

17


第 2 章信源熵 2.1 单符号离散信源

2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系

18


2.1.1 单符号离散信源的数学模型定义：单符号离散信源的数学模型

1 2

n

1

1 2

1 2

( , ,... )

( ) 0 1,2,...,

( ) 1, ( ) 0 1,2,...,

...

( ) ( ) ... ( )

n

i

i ii

n

n

X x x x x

p x i n

p x p x i n

X

x x xX

p x p x p xP

设信源输出符号集，n为消息符号个数，

每个符号发生的概率为，

消息符号彼此互不相关，且有

则称为离散无记忆信源，可用下面的概率场来描述

19



2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵

一、信息量一、信息量 11 、自信息量；、自信息量； 22 、联合自信息量；、联合自信息量； 33 、条件自信息量、条件自信息量

二、互信息量和条件互信息量 1 、互信息量； 2 、互信息的性质； 3 、条件互信息量

三、信源熵 1 、信源熵； 2 、条件熵； 3 、联合熵

2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系

20


不确定性、惊讶度与信息量在事件发生前有不确定性在事件发生时有惊讶度在事件发生后有信息量

当一个概率很低的随机事件发生，我们就会感到非常惊讶，并得到很大的信息量。如： 9.11 事件，美国纽约世贸大厦被炸

21


从信息源获取信息的过程就是其不确定性缩减的过程

随机事件包含的信息与其不确定性紧密相关在统计分析中，使用概率作为衡量不确定性

的一种指标。可以推论出：随机事件包含信息的度量应是

其概率的函数。

自信息量

22


概率倒数的对数例如，有一本 n页书，每页 200 字，作者使用的词汇有 1000

个字。那么， 1000 个字每次取 200 个字构成一页，其总排列组合数也就是一页书总的状态数共有 1000200=N1 ，对于 n页书，则不同状态数将增加到 N1

n ，即 Nn= N1n =[(1000)200] n = 1000200

n 假定每种状态是等概的，则 n页书中对应每一种状态的概率为

Pn=1/ Nn=1/ N1n = 1/1000200n

用概率倒数的对数来度量其不确定度，用概率倒数的对数来度量其不确定度，则为 log(1/Pn)= log(Nn)=nlog(N1)

记 1页（ n页）书每种状态的不确定度为 H1 （ Hn）则 Hn = log(1/Pn)= log(Nn)=nlog(N1)= nH1 = Hn 也就是说 nn 页书包含的信息量是页书包含的信息量是 11 页书包含信息量的页书包含信息量的 nn 倍倍。

23


自信息量定义定义 2.1.1 任意随机事件的自信息量定义

为该事件发生概率的对数的负值。

自信息量的单位取决于对数选取的底。单位：比特 bit、奈特 nat、哈特 Hart。

当对数的底取 2 时，单位为比特 bit 当以自然数 e为底时，单位为奈特 nat 当以 10 为底时，单位为哈特 hart

)(log)(

1log)( i

ii xp

xpxI

24


自信息量的单位在现代数字通信系统中，一般采用二进制的

记数方式。在信息量的计算中也多采用以 2为底的方式，一般默认以 2 为底

三个信息单位比特 bit、奈特 nat、哈特 Hart之间的转换关系如下：

Hart 0.301bit 1bit 3.32210logHart 1

nat 0.693bit 1 bit 1.433elognat 1

2

2

111 110, 101, 100, 011, 010, 001, 000, :bits 3

83log2 2 sbsbs b ，则如：

25


对数及常用公式

b

xx

xx

xpx

yx

yxxy

c

cb

p

yx

log

log)(log

log)/1log(

0)1log(

log)log(

loglog)log(

loglog)log(

xy 10log

x 10y

xy blog

x by

Examples:

log2 32

log3 27

log5125

log10100

26


自信息量的性质是非负值，单调递减。自信息 )(log)( ii xpxI

2log x

0 1 x 0 1

)( ixI

ix

27


自信息量的性质

值得注意的是：

1 ( ) 1 ( ) 0

2 ( ) 0 ( )

( ) ( )

i i

i i

i i

p x I x

p x I x

I x p x

、当时，、当时，

3、非负，是的单调递减函数

它没有确定的值。随机变量，所以自信息量也是一个

的函数，是是一个随机量，而 iii xxIx )(

28


例 2.1.1 ：自信息量某地二月份天气的概率分布统计如下：

这四种气候的自信息量分别为：

可见不同天气情况具有不同的自信息量，说明自信息量具有随机变量的性质

8

1 ,

8

1 ,

4

1 ,

2

1)( ),( ),( ),(

)(

4321 雪雨阴晴 xxxx

XP

X

. 3)( 3)( 2)( 1)( 4321 bitxIbitxIbitxIbitxI ，，，

29


联合自信息量定义 2.1.2 二维联合集 XY上的元素（）

的联合自信息量定义为

式中为积事件；为元素的二维联合概率。

当 X 和 Y相互独立时，

ji yx

)(log)( jiji yxpyxI )( ji yxpji yx ji yx

息量之和。自独立发生得到的自信等于这两个随机事件各的自信息量，独立时，同时发生得到说明两个随机事件相互

)()()(log)(log)(

)]()(log[)(log)(

jijiji

jijiji

yIxIypxpyxI

ypxpyxpyxI

30


条件自信息量定义 2.1.3 联合集 XY中，对事件和，事

件在事件给定的条件下的条件自信息量定义为

由于每个随机事件的条件概率都处于 0～ 1范围内，所以条件自信息量均为非负值。

)|(log)|( jiji yxpyxI

ixix jy

jy

31


几种自信息量之间的关系自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性

三者都是随机变量，其值随着变量 xi， yj的变化而变化。

三者之间有如下关系式：

)|()( )|()(log)(

)|()( )|()(log)(

jijjijij

ijiijiji

yxIyIyxpypxyI

xyIxIxypxpyxI

32


例 2.1.2 ：联合自信息量设在一正方形棋盘上共有 64 个方格，如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置：将方格按顺序编号，令乙猜测棋子所在方格的顺序号；

解：

比特

的自信息量为上的元素在二维联合集

，故二维概率分布函数为布。的位置为二维等概率分因此棋子在棋盘中所处格内，意地放在棋盘中某一方由于甲是将一粒棋子随

。将方格顺序编号：

，其中描述元素上的”置可用联合集“如图所示棋子所在位

62log64

1log)(log)(

64/1)(

64;...2;1

8,...,2,1,;8,...,2,1,,)(

6222

882111

jiji

ji

ji

jiji

yxpyxI

yxXY

yxp

yxyxyx

jyixyx

XY

x

y

33


例 2.1.3 ：条件自信息量设在一正方形棋盘上共有 64 个方格，如果甲将一粒棋子随意地放在棋盘中的某方格且让乙猜测棋子所在位置：将方格按行和列编号，甲将棋子所在方格的行（或列）编号告诉乙之后，再令乙猜测棋子所在列（或行）的位置。

解：

比特同样，

比特

的条件自信息量为相对上，元素在二维联合集

，故函数同时，有二维概率分布

，，一维概率分布函数维等概率分布。的行（或列）位置为一因此棋子在棋盘中所处格内，意地放在棋盘中某一方由于甲是将一粒棋子随

。其中描述元素上的”置可用联合集“如图所示棋子所在位

3)|(log)|(

38/1

64/1log

)(

)(log)|(log)|(

64/1)(

8/1)(8/1)(

8,...,2,1,;8,...,2,1,,)(

2

222

ijij

j

jijiji

ji

ji

ji

jiji

xypxyI

yp

yxpyxpyxI

yxXY

yxp

ypxp

jyixyx

XY

x

y

34



2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵

一、信息量 1 、自信息量； 2 、联合自信息量； 3 、条件自信息量

二、互信息量和条件互信息量二、互信息量和条件互信息量 11 、互信息量；、互信息量； 22 、互信息的性质；、互信息的性质； 33 、条件互信息量、条件互信息量

三、信源熵 1 、信源熵； 2 、条件熵； 3 、联合熵

2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系

35


互信息量设有两个离散的符号消息集合 X Y，

X 表示信源发出的符号消息集合 Y表示信宿接收的符号消息集合

每个符号消息相当于一个随机事件信源发出符号消息通过信道传递给信宿

X 信道的输入消息； Y信道的输出消息

信源信道信宿X Y

简化的通信系统模型

36


集合 X Y的概率空间信源 X 的概率空间为：

这里p(xi) （ i=1,2,3 等）是集合 X 中各个消息 x1 ， x2 ，x3 …的概率分布，它又称为先验概率。

信源 Y的概率空间为：

这里p(yj) （ j=1,2,3 等）是集合 Y中各个消息 y1 ， y2 ，y3 …出现的概率。

),(,),(),(

, , , ,

)(

21

21

i

i

xpxpxp

xxx

XP

X

),(,),(),(

,y , ,y ,

)(

21

21

j

j

ypypyp

y

YP

Y

37


收信者获得的信息量当信宿接到集合 Y中的一个消息符号后，

接收者重新估计关于信源的各个消息发生的概率就变成条件概率，这种条件概率又称为后验概率。

收信者收到一个消息后，所获得的信息量等于收到消息前后不确定程度的减少量。

不确定程度减少的原因，是由于收到消息前后概率空间的概率分布改变所致。

jy

ix )( ji yxp

38


不确定程度的减少量当接收到 yj后，重新估计 xi的发生。收信者从不确定到比较

确定或完全确定，依赖于所获得的信息量。可以直观地将它定义为： I( 信息量 )= 不确定程度的减少量

那么，当接收者收到 yj后，所获得的信息量为

收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加。

先验概率后验概率

后验概率先验概率

或写成

log1

log1

log

)(

1log

)(

1log

j

jii

j

I

yxpxpI

39


从通信系统总体观察在通信前，可以认为输入随机变量 X 和输出随机变量 Y

之间没有任何关联关系，即 X 、 Y统计独立。根据概率的性质

在通信后，输入随机变量 X 和输出随机变量 Y之间由信道的统计特性相联系。

)()(

1log)(

)()()(

jiji

jijiji

ypxpyxI

ypxpyxpyx

有先验不确定度

，”的概率和输出端出现“输入端出现

)(

1log)(

)()()()()(

jiji

jijijiji

ji

yxpyxI

yxpypxypxpyxp

yx

有后验概率

”的联合概率和输出端出现“输入端出现

有后验不确定度

40


从通信系统总体观察这样，通信后流经信道的信息量，等于通信

前后不确定度的差( ; ) ( ) ( )

1 1log log

( ) ( ) ( )

( ) ( / )=log log

( ) ( ) ( )

1 1 1=log log log

( ) ( ) ( )

( ; ) ( ) ( ) ( )

1,2, , ; 1, 2, ,

i j i j i j

i j i j

i j i j

i j i

i j i j

i j i j i j

I x y I x y I x y

p x p y p x y

p x y p x y

p x p y p x

p x p y p x y

I x y I x I y I x y

i n j m

其中

41


互信息量等于自信息量减去条件自信息量。

互信息为两个不确定度之差，是不确定度被消除的部分，代表已经确定的东西。实际是从 yj得到的关于 xi的信息量。即等于先验的不确定性减去尚存在的不确定性

同样道理，可定义 xi对 yj的互信息量为

),,2,1;,,2,1(

)( )()(

)(log);(

mjni

xyIyIyp

xypxyI ijj

j

ijij

互信息量：消除不确定性度量

)()()(log)(log);(

)(

1log

)(

1log);(

jiijiiji

jiiji

yxIxIyxpxpyxI

yxpxpyxI

42


互信息量定义 2.1.4 对两个离散随机事件 X 和 Y，事

件 yj的出现给出关于事件 xi的信息量，定义为互信息量。其定义式为

互信息量的单位与自信息量的单位一样取决于对数的底。当对数底为 2 时，互信息量的单位为比特 bit。

)(

)(log);(

i

jiji xp

yxpyxI

43


例 2.1.4 ：互信息量继续讨论第一节的例题 2.1.1 ，即某地二月份天气构成的信源为

某一天有人告诉你：“今天不是晴天。”

8

1 ,

8

1 ,

4

1 ,

2

1)( ),( ),( ),(

)(

4321 雪雨阴晴 xxxx

XP

X

息量。与各种天气之间的互信可算出

。

成后验概率了。其中各种天气发生的概率变后，，当收到息把这句话当作收到的消

1

14131211

11

4

1)(,

4

1)(,

2

1)(,0)(

y

yxpyxpyxpyxp

yy

44


例 2.1.4 互信息量（续）

。的不确定度各减少了、、使也可以理解为消息

的信息量。各、、分别得到了这表明从。的互信息量、对同理可计算出

可计算出对天气

之间的互信息量。与不必再考虑，，因对天气

bitxxxy

bitxxxy

bityxIyxI

xxy

bitxp

yxpyxI

x

yx

yxIyxpx

1

1

)(1);();(

)(141

21log

)(

)(log);(

,0);(0)(

4321

4321

1413

431

22

12

2

12

2

11

11111

45


互信息量的性质 1. 互信息量的互易性 2. 互信息量可为零 3. 互信息量可正可负 4. 任何两个事件之间的互信息量不可能大于

其中的任一事件的自信息量

46


互信息量的性质： 1 、互易性互信息量的互易性可表示为：此性质的意义是：事件提供的有关于事件的信息量等于由事件提供的关于事件信息量

证明：

);();( ijji xyIyxI

jyixixjy

);()(

)|(log

)(

)(/)(log

)()(

)()|(log

)(

)|(log);(

ijj

ij

j

iji

ji

jji

i

jiji

xyIyp

xyp

yp

xpyxp

ypxp

ypyxp

xp

yxpyxI

由互信息的定义：

47


互信息量的性质： 2 、可为零当事件，统计独立时，互信息量为零。

这表示不能从观测获得关于另一个事件的任何信息。反之亦然。

证明

此性质的意义是：当两个事件统计独立时，其相互信息量为零，这也就是说不能从观测一个事件中获得有关另一个事件的任何信息。

jy ix

ix jy0);( ji yxI

01log)()(

)(log

)(

)|(log);(

)()()(,

ji

ji

i

jiji

jijiji

ypxp

yxp

xp

yxpyxI

ypxpyxpyx

于是：

统计独立，故有由于

48


互信息量的性质： 3 、可正可负在给定观测数据的条件下，事件出现的概率

称为后验概率当后验概率大于先验概率时，互信息量

大于零，为正值；互信息量为正，意味着事件的出现有助于肯定事件

的出现；当后验概率小于先验概率时，互信息量为负值。

互信息量为负是不利的。造成不利的原因是由于信道干扰引起的。由于干扰，使估计变得更加困难，即，不确定性增加了。

);( ji yxIjy

ix

)( ji yxp

jy

ix

)( ixp

)( ji yxp

49


互信息量的性质： 4 性质 4 ：任何两个事件之间的互信息量不可

能大于其中的任一事件的自信息量

的最大信息量。件所能提供的关于事件息量，也是任何其它事的出现所必须提供的信是为了确定事件这说明自信息量

，故　　　同理，因

，所以　　　一般，

量为　　证明：由于互信息

i

ii

jj

ijij

ii

jiji

i

jiji

x

xxI

yIyp

xyIxyp

xIxp

yxIyxp

xp

yxpyxI

)(

)()(

1log);(1)|(

)()(

1log);(1)|(

)(

)|(log);(

50


条件互信息量定义 2.1.5 联合集 XYZ中，在给定的条件下，与之间的互信息量定义为条件互信息量。其定义为

联合集 XYZ上还存在与之间的互信息量，其定义式为

kz

)(

)(log);(

ki

kjikji zxp

zyxpzyxI

ix

jy

kj zy

ix

)(

)(log);(

i

kjikji xp

zyxpzyxI

51


条件互信息量可进一步表示为：

上式表明，一对事件 yjzk 出现后所提供的有关 xi的信息量 I(xi; yjzk) 等于事件 yj出现后所提供的有关 xi的信息量 I(xi; yj)加上在给定事件 yj的条件下再出现事件 zk 所提供的有关 xi的信息量。

);();();(

)(

)(log

)(

)(log

)(

)(.

)(

)(log);(

jkijikji

ji

kji

i

ji

ji

ji

i

kjikji

yzxIyxIzyxI

yxp

zyxp

xp

yxp

yxp

yxp

xp

zyxpzyxI

52


例 2.1.5 某人 A预先知道他的三位朋友B、 C、 D中必定

将有一人晚上到他家来，并且这三人来的可能性均相同其先验概率为： p(B)=p(C)=p(D)=1/3

但是上午 A接到D的电话不能来了把这次电话作为事件 E，那么有后验概率 p(D/E)=0,p(B/E)=p(C/E)=1/2

下午 A又接到C的电话，说晚上开会不能来把这次电话作为事件 F，那么有后验概率 p(C/EF)=p(D/EF)=0,p(B/EF)=1

53


例 2.1.5 ：互信息事件 E（上午的电话）发生后， A获得关于 B,C,D的互信息

为：

事件 EF（两次电话）发生后， A获得关于 B,C,D的互信息为：

由此例可以看出，由于 I(B;EF)=1.585bit,I(B;E)=0.585bit，因此事件 EF的出现有助于肯定事件 B的出现。

事件之间的互信息量。事件与所以，无须考虑事件，发生的条件下不会出现，即在事件因为

ED

DEEDp

bitEBIECI

bitBp

EBpEBI

0)(

585.0);();(

585.03/1

2/1log

)(

)(log);(

事件之间的互信息量。事件与所以，不必考虑均为零，因为其它两个条件概率

EFDC

FEDpFECp

bitBp

FEBpFEBI

,

)(),(

585.13/1

1log

)(

)(log);(

54


续例 2.1.5 ：条件互信息在事件 E（上午的电话）发生的条件下，计算条件互信息量

表明，事件 EF出现后所提供的有关B的信息量 I(B;EF) 等于事件 E出现后所提供的有关B的信息量 I(B;E)加上在给定事件 E的条件下，再出现事件 F所提供的有关B的信息量。

)/;();();(

585.0);(;585.1);(

12/1

1log

)/(

)(log)/;(

EFBIEBIFEBI

bitEBIbitFEBI

bitEBp

FEBpEFBI

可见前面已算出

55


几种互信息量之间的关系互信息量、联合事件互信息量、条件互信息

量三者都是随机变量，其值随着变量 xi， yj ，zk 的变化而变化。

三者之间有如下关系式：);();();( jkijikji yzxIyxIzyxI

56


总结自信息量←→不确定度互信息量←→不确定度的减少量自信息量和互信息量的定义和性质自信息量和条件自信息量的关系互信息量和条件互信息量的关系自信息量和互信息量，具有随机变量的性质，均为

随机变量。自信息量只表示单个随机事件的不确定度，不能表

示信源总体的不确定度。

Documents

2 1 第2章-信源的数学模型和分类