第五章 信道编码定理

信道编码定理 1.离散信道编码问题 2.信道译码 3.Fano不等式和信道编码逆定理 4.联合典型序列及信道编码定理

1.离散信道编码问题

纠错编码器 将输入的信息数字序列变成另外一个数字序列，

人为地按照一定的规律增加多余度，以便纠正传输过程中出现的错误，以尽可能小的错误概率恢复原来的信源数字序列

有限状态开关网络：信息数字： k0位，每位持续时间， s=1/Rs

码字输出序列： n0位，每位持续时间， c

n0c=k0s

纠错编码器 送给纠错编码器的消息是经过最佳信源编码后，信息

速率为比特 /秒的离散二元或 q 元数字序列。 分组码 每 K 个信息数字为一组，计算出 N个编码数字，称这

些数字为一个码字。通常 N为整数。 卷积码

输出的 n0长码段不仅依赖于当前的 k0位信息数字，还依赖于前 m 个信息段的信息数字，即总共与（ m＋ 1） k0个信息数字有关。

几个概念 码率 R ＝ K/N

误组率

误比特率

L

lelb

mm

pL

p

xxp

1

'

1

)(

2.信道译码问题

译码错误概率

)|'(1)|'()( ymmpymmPyp NNe

－误组率

译码准则最小错误概率译码：是 pe(y) 最小最大后验概率译码：

选 m，使得 pr(m|y) 最大

)|()|'( ympymp rr

最大似然译码

1

( ) ( | )( | )

( )

( ) ( ) ( | )

( | ') ( | )

M

mm

Q m p mp m

Q m p

p m p m

yy

y

y y x

y y

所有 Q(m)相同

译码原则：

最大对数似然译码

)|(ln)'|(ln mypmyp

最小汉明距离译码 汉明距离 d(x, y), x, y中分量不同的数目 码字先验等概 K元对称信道

)1/()|(

1)|(

Kpijp

piip

最小汉明距离译码

]/)1)(1ln[(),()1ln(

)1ln()),((1

ln),(

)|(ln)|(ln1

pKpxydpN

pxydNK

pxyd

xypxyp

m

mm

N

nmiim

判决区域 Ym: lnp(y|xm) > lnp(y|xm’) 给定 m, 错误概率

M

meme

Yymem

pmQp

xyppCm

1

)(

)|(

高斯信道

N

nnmnmn

N

n

N

nmnnm

N

n

mnnm

yxxxyxy

xyxyp

1

2

11

2

12

2

2min)(min)|ln(max

}2

)(exp{

2

1)|(max

若发送信号能量相等 ,最大相关译码

Fano不等式和信道编码逆定理

Fano 不等式和编码逆定理 信源序列： u=(u1,u2,…,uL) ∈UL 码序列（信道输入）： x=(x1,x2,…,xN)

接收序列（信道输出）： y=(y1,y2,…,yN)

译码器输出： v=(v1,v2,…,vL)

Fano 不等式主要说明 Pb, HL(U), 和 I(UL;VL) 之间的关系

Fano 不等式

CL

NUH

YXIL

UH

VUIUHL

VUHL

pHMp

VUHpHMp

L

NNL

LLL

LLbb

bb

)(

);(1

)(

)];()([1

)|(1

)()1log(

)|()()1log(

Fano 不等式

做了一次译码判决后所保留的关于信源的不确定性可分为 2个部分：第一，判决的结果是对的还是错的，其不确定性： H(Pb)；第二，若判决是错的，为确定到底是其余 M -1种可能事件中哪一个，所需信息量不超过 log(M -1)

Pb

HUVlogM

Log(M-1)

信道编码逆定理 离散平稳源有 M 个字母，熵为 HL(U)(limL->∞)，

信道容量为 C, 当 HL(U)>(N/L)C时 , 误码率为非零值。

联合典型序列及信道编码定理

联合典型序列x 是典典典典

y 是典典典典

xy 是典典典典

典典典典 x 典 y 典典典典典典典

1| log ( ) ( ) |

1| log ( ) ( ) |

1| log ( ) ( ) |

p H XN

p H YN

p H XYN

x

y

xy

联合典型序列

[ ( | ) 2 ]|

[ ( ; ) 3 ] [ ( ; ) 3 ]

( , ) ( , )

| ( , ) | 2

(1 )2 ( ) ( ) 2

[ ( , )] 1XY

N H X YX Y

N I X Y N I X Y

T N

r XY

T N

p p

P T N

x y

x y

x y

信道编码定理 Shannon 信道编码定理：给定容量为 C的离散

无记忆信道 {X,P(x|y),Y}, 若编码速率 R<C, 则 R是可达的

可达：对给定离散无记忆信道和任意 e>0, 若有一种编码速率为 R 的码，在 N 足够大时，能使 Pe<e ，就称 R 是可达的。

思路：编码规则采用随机编码；译码规则是联合典型序列译码