第四章 信道及其容量

信道及其容量 4.1 信道分类 4.2 离散无记忆信道 4.3 信道的组合 4.4 时间离散的无记忆信道 4.5 波形信道

4.1 信道分类

4.1 信道分类 离散信道：输入输出均为离散事件集 连续信道：输入输出空间均为连续事件集 半连续信道：输入和输出一个是离散的，一个

是连续的 时间离散的连续信道：信道输入和输出是连续

的时间序列 波形信道：输入和输出都是时间的实函数 x(t),

y(t)

4.1 信道分类 两端信道 多端信道

恒参信道：参数不随时间变化 随参信道：参数随时间变化 无记忆信道和有记忆信道

对称信道和非对称信道

4.2 离散无记忆信道

离散无记忆信道 ( 定义 4.2.1,4.2.2)

N

nnnN xypxyp

1

)|()|(

平稳信道

)|()|( kxjypkxjyp mmnn

例：二元对称信道 p=0.1

1-p

1-p

p

p

1 1

0 0

信道容量

1 1

10 0

0

( | )( ; ) ( | ) log

( | )

K J

k Kk j

ii

p j kI X Y Q p j k

Q p j i

信道容量 定义 4.2.3 离散无记忆信道的信道容量定义

为：

即 C为改变输入分布时，使每个符号所能含有的平均互信息量的最大值。相应的分布称为最佳分布。

信道容量表示了信道传送信息的最大能力

{ }max ( ; )

kQC I X Y

定理 4.2.1

NCYXI

YXIYXI

NN

N

nnn

NN

);(

);();(1

对于 DMC ， N 长序列的信息传输问题可以归结为单个符号的信息传输问题

定理 4.2.2

Q={Q0,Q1,…,QK-1} 达到信道容量的充要条件

0);(

0);(

k

k

QCYkxI

QCYkxI

在给定输入分布下，若某个输入 k 与所有输出事件之间的平均互信息量大于其它任何输入与所有输出之间的平均互信息，则可以通过经常的采用该特定输入 k增大 I(X ; Y)

对称 DMC 容量的计算信道转移概率矩阵

(0 | 0) (1| 0) ... ( 1| 0)

(0 |1) (1|1) ... ( 1|1){ ( | )}

(0 | 1) (1| 1) ... ( 1| 1)

p p p J

p p p JP p j k

p K p K p J K

对称 DMC 容量的计算若信道转移概率矩阵所有行矢量都是第一行

的置换，称为关于输入对称。

)|(log)|()|()|(1

0

kjpkjpxYHXYHJ

j

对称 DMC 容量的计算P的所有列都是第一列的一种置换，关于

输出是对称的当输入事件等概， Qk=1/K

J

kjpK

kjpQ

j

K

k

K

kkj

1

)|(1

)|(1

0

1

0

对称 DMC 的容量计算 输出集 Y 可划为若干和子集 , 每个子集对应的

信道转移概率矩阵 P 中列所组成的子阵具有下列性质 每一行都是第一行的置换 每一列都是第一列的置换

该信道称为准对称信道 关于输入对称 Y 的划分只有一个时，关于输入和输出均对称，称

为对称信道 （例）

对称 DMC 容量的计算 定理 4.2.3 实现准对称 DMC 信道容量的输

入分布为等概分布

s YjK

i

J

jK

i

S ijpK

kjpkjp

ijpK

kjpkjpYkxI

1

0

1

01

0

)|(1

)|(log)|(

)|(1

)|(log)|();(

YS ：子阵中每一列都是第一列置换 对每个

j 相同

对每个k 相同

对称 DMC 容量计算

K 元对称信道 : C = logK - H(p) - plog(K-1)

二元对称信道 : C = 1 - H(p)

准对称信道 :C=(1-p-q)log(1-p-q)+plogp-(1-q)log((1-q)/2)

二元纯删除信道 : C=1-q

1

0

log ( | ) log ( | )J

j

C J p j k p j k

离散无记忆模 K 加性噪声信道 Z=X=Y={0,1,…,K-1} y=x+z mod K

)(log

)(

)(log)()(

)|(log)|()()|(

,

,

ZHKC

ZH

zpzpxQ

xypxypxQXYH

zx

yx

一般 DMC 的容量计算 信道转移矩阵是非奇异方阵，假定所有 Qk>0

1

0

1

0

1

0

1

0

1

0

1,...,1,0)|(log)|(]log)[|(

1,...,1,0log)|()|(log)|(

1,...,1,0)|(

J

j

J

jj

J

jj

J

j

K

kkj

KkkjpkjpCkjp

KkCkjpkjpkjp

KjkjpQ

一般 DMC 的容量计算

j

jj

Cjjj

j

j

C

C

2log

1

2log

4.3 信道的组合

积信道 C1 ＝ maxI(X1;Y1)

C2 ＝ maxI(X2;Y2) 信道 1 和信道 2 同时

传递消息，输入集 X=X1×X2, 输出集 Y=Y1×Y2,

转移概率 p(jj’|kk’)=p(j|k)p(j’|k’)

C=C1+C2

信道 1P(j|k)

X1 Y1

信道 2P(j‘|k’)

X2 Y2

和信道 单位时间内可随机选用信道 1 和信道 2 中的一个，

选用信道 1 的概率为 p1 ，选用信道 2 的概率为 p2 ，

p1 ＋ p2 ＝ 1

输入空间 X=X1+X2 ， Y=Y1+Y2 ，

n

n

CCn

N

n

C

CC

p

C

C

PHpYXIpYXIYXI

2

2log

]22[log

)();();();(

1

2

222111

21

级联信道信道 1 的输出作为信道 2 的输入

j

jkjpkjpkjp )'|'()|()|'(

4.4 时间离散的无记忆连续信道

时间离散的连续信道时间离散信道无记忆信道平稳 ( 恒参 ) 信道

NCYXI

YXIYXI

NN

N

nnn

NN

);(

);();(1

可加噪声信道p(y|x)=p(y-x)=p(z)

)()();(

)()|(

ZHYHYXI

ZHXYH

cc

cc

x y=x+z

z

信道容量为对于所有的输入分布求 H(Y) 的最大值

可加噪声信道高斯噪声信道

)1log(2

1)()();(

2

2

z

xc XHYHYXI

输入为正态分布 , 在此条件下 , 输出也为正态分布

平均功率受限的可加噪声信道

n

x

nnn

N

nn

xdxQxx

SxN

n

)(

1

22

1

2

功率受限的时间离散信道容量输入信号平均功率不超过 S 的时间离散信

道容量定义为：

无记忆平稳条件下

( )max ( ; )

SC I X Y

, ( )

1sup ( ; )

N

N N

N SC I X Y

N

平均功率受限的时间离散、恒参、可加高斯噪声信道容量

)1log(2

12

SC

最佳输入分布是均值为 0 ，方差为 S 的高斯型分布

平均功率受限时间离散恒参可加噪声信道容量

22222

2

2

2]log[

2

1)1log(

2

1

xyx

SC

S

给定信号功率，高斯信道是最差的信道，在它的作用下信道容量最小

平行可加高斯噪声信道 ( 注水定理 )

x=(x1,…,xN), y=(y1,…,yN)

BSES

BSC

nn

N

nn

Bn n

N

n n

n

n

2

1

:2

12

,

log2

1)1log(

2

12

注水定理的说明 积信道 当各分信道的干扰功率不等，需要对输入信号

总能量进行适当分配 比较门限 B 迭代算法

4.5 波形信道

波形信道 信道的输入、输出都是任意时间的函数－波形

信道或时间连续的连续信道

可加波形信道 y(t)=x(t)+z(t)

),,(),,,(

)()(

)()(

)()(

)()(

11

0

0

NN

T

nn

T

nn

nnn

nnn

yyyxxx

dtttyy

dtttxx

tyty

txtx

可加波形信道

)];([sup1

,lim

);(lim)]();([

)|()(

)|(log);(

);(lim)]();([

NNTT

T

NN

NT

NN

N

NT

YXIT

CCC

YXItYtXI

dxxypxQ

xypyxI

yxItytxI

可加波形信道

STSxE

STdttxE

zxy

dtttzz

tztz

nn

nn

T

nnn

T

nn

nnn

)(

])([

)()(

)()(

2

0

2

0

波形信道

波形信道x(t)

z(t)( 白高斯过程 )

y(t)=x(t)+z(t)

x1

Z1 （高斯随机变量）

y1=x1+z1

x2

z2 （高斯随机变量）

y2=x2+z2

……

可加波形信道

)2

1log(2

)2

1log(2

);(max

)2

1log(2

1);();(

0

0

1 01

NN

ST

T

NC

NN

STNYXI

N

SYXIYXI

T

NN

N

n

nN

nnn

NN

Shannon 公式 N=2WT

)/(44.1

)1log(

0

0

NSC

WN

SWC

W 趋于无穷大，单位时间的信

道容量

Shannon 极限

-1.59dB

Shannon 定理信道带宽 W ，若信噪比 SNR 是 P/s2, 能

传送多少比特信息？可以利用 Nyquist 准则和信息论的基本知

识推导 Shannon 公式。2 1/ 2

2 1 2 20 0

( ) =

N W N

p ／

接收幅度

＝噪声幅度， ＝噪声功率＝ （ 噪声功率谱密度）

2 1/ 21/ 2

2 1/ 2 2

( )(1 )

( )

p PS