BASES DE COMMUNICATIONS NUMERIQUES .BASES DE COMMUNICATIONS NUMERIQUES Didier LE RUYET Département

.

COURS ELE112BASES DE COMMUNICATIONS NUMERIQUES

Didier LE RUYET

Dpartement Electronique Automatique et Systmes (EASY)CNAM Paris

didier.le_ruyet@cnam.fr

1

PROGRAMME

Cours 1 : Introduction, paradigme de Shannon, rappels de probabilits, notion dentropie,Information mutuelle

Cours 2 : thorme fondamental du codage de source, ingalit de Kraft, codagedHuffman, dbit dentropie, codage LZ

Cours 3 : quantification, loi A et mu, codage pour source analogique Cours 4 : Codes en ligne, NRZ Cours 5 : filtrage adapt, Cours 6 calcul du taux derreurs Cours 7 : critre de Nyquist

2

PROGRAMME

Cours 8 : capacit dun canal de transmission Cours 9 : introduction codes en bloc Cours 10 : Dcodage des codes en bloc (mthode du syndrome, Viterbi, ...) Cours 11 : Critre MAP/ML dcodage entres pondres Cours 12 : Codes cycliques , BCH, RS Cours 13 : codes convolutifs Cours 14 : introduction aux modulations numriques

3

COURS 1

Introduction, paradigme de Shannon, rappels de probabilitsnotion dentropie, Information mutuelle

4

PARADIGME DE SHANNON

SOURCECODAGE DE

SOURCECODAGE DE

CANAL

CANAL DETRANSMISSION

MODULATEUR

DEMODULATEURDETECTEURDECODAGEDE CANAL

DECODAGEDE SOURCE

DESTINATAIRE

Lobjectif du codeur de source est de reprsenter le message avec le moins de bitspossibles. Pour ce faire, il cherche liminer toute la redondance contenue dans lemessage de la source.

Le rle du codage de canal est de protger le message des perturbations du canal detransmission en ajoutant de la redondance au message compress.

La modulation consiste effectuer un codage dans lespace euclidien. Pour une mod-ulation M-aire, on associe chaque mot de g bits un signal i(t), i = 1, . . . ,M dedure T choisi parmi les M = 2g signaux.

5

PARADIGME DE SHANNON

SOURCECODAGE DE

SOURCECODAGE DE

CANAL

CANAL DETRANSMISSION

MODULATEUR

DEMODULATEURDETECTEURDECODAGEDE CANAL

DECODAGEDE SOURCE

DESTINATAIRE

Le rle du dmodulateur est dextraire les chantillons tout en maximisant le rapportsignal bruit

Lobjectif du dtecteur est de dcider en faveur des symboles les plus probablementmis

La qualit dun systme de transmission est value en calculant ou en mesurant laprobabilit derreurs par bit dinformation (ou par bloc dinformation).

6

RAPPELS DE PROBABILITES

Soit une variable alatoire X ayant pour alphabet ou espace de ralisations AX ={x1, x2, . . . , xn} avec les probabilits respectives PX = {p1, p2, . . . , pn} :

P (X = xi) = pi pi 0 et

xiAX

pi = 1 (1)

Probabilit conjointe

Soit deux variables alatoires X et Y ayant pour espace de ralisations respectif AX ={x1, x2, . . . , xn} et AY = {y1, y2, . . . , ym}

On appelle P (X = xi, Y = yj) la probabilit conjointe des vnements X = xi etY = yj. On a bien entendu :

xiAx

yjAyP (X = xi, Y = yj) = 1 (2)

Probabilit marginale

Il est possible dobtenir la probabilit P (X = xi) partir de la probabilit conjointe

7

P (X = xi, Y = yj) :

P (X = xi) =

yjAyP (X = xi, Y = yj) (3)

Probabilit conditionnelle

P (X = xi|Y = yj) =P (X = xi, Y = yj)

P (Y = yj)(4)

De la mme manire on a :

P (Y = yj|X = xi) =P (X = xi, Y = yj)

P (X = xi)(5)

Ainsi on a la relation

P (Y = yj, X = xi) = P (X = xi|Y = yj)P (Y = yj)= P (Y = yj|X = xi)P (X = xi) (6)

8

Loi de Bayes

P (Y = yj|X = xi) =P (X = xi|Y = yj)P (Y = yj)

P (X = xi)

=P (X = xi|Y = yj)P (Y = yj)

ykAy P (X = xi, Y = yk)

=P (X = xi|Y = yj)P (Y = yj)

ykAy P (X = xi|Y = yk)P (Y = yk)P (X = xi|Y = yj) est appele la probabilit a posterioriP (Y = yi) est appele la probabilit a priori.

Indpendance

Lindpendance de deux variables alatoires X et Y implique

P (X,Y ) = P (X)P (Y ) (7)

etP (X|Y ) = P (X) (8)

9

UNE MESURE LOGARITHMIQUE DE LINFORMATION

h(xi) la mesure de linformation associe lvnement X = xi doit satisfaire :

h(xi) doit tre continue pour p(X = xi) compris entre 0 et 1 h(xi) = si P (X = xi) = 0 h(xi) = 0 si P (X = xi) = 1 un vnement certain napporte pas dinformation h(xi) > h(yj) si P (Y = yj) > P (X = xi) h(xi) + h(yj) = h(xi, yj). La ralisation de 2 vnements indpendants Y = yj etX = xi apporte une quantit dinformation gale la somme des informations de ces2 vnements h(xi) et h(yj).

La seule expression de la quantit dinformation h(xi) associe la ralisation delvnement X = xi satisfaisant les proprits numres ci-dessus est la suivante:

h(xi) = log21

P (X = xi)= log2 P (X = xi) = log2 pi (9)

Exemple : soit une source discrte produisant des bits (0 ou 1) avec la probabilit 12.On a :

h(0) = h(1) = log21

2= 1 Sh (10)

10

Considrons maintenant la ralisation de 2 vnements X = xi et Y = xj. La quantitdinformation associe est :

h(xi, yj) = log21

P (X = xi, Y = yj)= log2 P (X = xi, Y = yj) (11)

o P (X = xi, Y = yj) est la probabilit conjointe des deux vnements.La quantit dinformation associe la ralisation de lvnment X = xi condition-

nellement lvnement Y = yj est la suivante :

h(xi|yj) = log21

P (X = xi|Y = yj)= log2P (X = xi|Y = yj) (12)

On en dduit :h(xi, yj) = h(xi|yj) + h(yj) = h(yj|xi) + h(xi) (13)

11

INFORMATION MUTUELLE

On dfinit linformation mutuelle i(xi, yj) comme la quantit dinformation que la ral-isation de lvnement Y = yj apporte sur lvnement X = xi :

i(xi, yj) = logP (X = xi|Y = yj)

P (X = xi)(14)

Si les deux vnements sont indpendants, alors P (X = xi|Y = yj) = P (X = xi) etdonc i(xi, yj) = 0.

Si lvnement X = xi est quivalent lvnement Y = yj, alors P (X = xi|Y =yj) = 1 et i(xi, yj) = h(xi).

Linformation que la ralisation de lvnement Y = yj apporte sur lvnement X =xi est identique linformation que la ralisation de lvnement X = xi apporte surlvnement Y = yj.

i(xi, yj) = i(yj, xi) (15)

12

On a galement les relations suivantes :

i(xi, yj) = i(yj, xi)

= h(xi) h(xi|yj)= h(xi) + h(yj) h(xi, yj)= h(yj) h(yj|xi)

Contrairement h(xi), linformation mutuelle i(xi, yj) peut tre ngative.

13

ENTROPIE ET INFORMATION MUTUELLE MOYENNE

Dterminons lentropie dune source dcrite par la variable alatoire X ayant pourespace de ralisation AX = {x1, x2, . . . , xn} avec les probabilits respectives PX ={p1, p2, . . . , pn}. La quantit dinformation moyenne ou entropie de la source est lamoyenne des informations relatives chaque ralisation de lvnement X = xi :

H(X) =n

i=1

pih(xi)

=n

i=1

pi log21

pi

= n

i=1

pi log2 pi en Sh/symbole (16)

H(X) mesure lincertitude sur X .

Proprits :

H(X) 0 avec galit si pi = 1 pour une valeur de i (17)14

H(X) log2 n (18)Si les probabilits P (X = xi) = pi sont toutes gales 1n, alors on a :

H(X) = log2 n (19)

Lentropie est donc maximale lorsque toutes les probabilits pi sont gales.

15

Exemple : soit une source 2 tats x0 et x1 avec p0 = p et p1 = 1 pLentropie de cette source est la suivante :

H(X) H(p, 1 p) = p log2 p (1 p) log2(1 p) (20)

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

probabilit p

H(X)

Figure 1: Entropie dune source binaire

Ainsi, lentropie de la source binaire est maximale (1 Sh/bit) lorsque p = 0.5

16

Considrons deux variables alatoires X et Y ayant respectivement pour espace deralisations AX = {x1, x2, . . . , xn} et AY = {y1, y2, . . . , ym}. Lentropie conjointe H(X, Y ) est dfinie comme suit :

H(X, Y ) =n

i=1

m

j=1

P (X = xi, Y = yj)h(xi, yj)

= n

i=1

m

j=1

P (X = xi, Y = yj) log2 P (X = xi, Y = yj) (21)

Si les variables alatoires X et Y sont indpendantes alors H(X, Y ) = H(X)+H(Y ). On peut aussi dterminer lentropie conditionnelle H(X/Y ) qui dtermine linfor-

mation sur X sachant lobservation Y partir de h(xi|yj):

H(X|Y ) =n

i=1

m

j=1

P (X = xi, Y = yj)h(xi|yj)

= n

i=1

m

j=1

P (X = xi, Y = yj) log2P (X = xi|Y = yj) (22)

17

Ces diffrentes relations permettent dexprimer lentropie conjointe en fonction delentropie et lentropie conditionnelle :

H(X,Y ) = H(X) +H(Y |X) = H(Y ) +H(X|Y ) (23)

Lincertitude sur X et Y est gale lincertitude sur X plus lincertitude sur Y sachantX .

Linformation mutuelle associe la ralisation dun vnement peut galement tretendue aux variables alatoires X et Y .

I(X, Y ) =n

i=1

m

j=1

P (X = xi, Y = yj)i(xi, yj)

=n

i=1

m

j=1

P (X = xi, Y = yj) log2P (X = xi|Y = yj)

P (X = xi)

=n

i=1

m

j=1

P (X = xi, Y = yj) log2P (X = xi, Y = yj)

P (X = xi)P (Y = yj)(24)

18

Ainsi, on a les relations suivantes :

I(X, Y ) = H(X) +H(Y )H(X, Y ) = H(X)H(X|Y ) = H(Y )H(Y |X) (25)

Linformation mutuelle I(X,Y ) mesure la rduction dincertitude moyenne sur Xqui rsulte de la connaissance de Y .

H(X)

H(Y )

H(X |Y ) H(Y |X)

H(X,Y )

I(X,Y )

19

COURS 2

thorme fondamental du codage de source, ingalit de Kraft,codage dHuffman, dbit dentropie, codage LZ

20

CODAGE DE SOURCE

lopration de codage de source consiste associer chaque message issu de la sourceun mot compos dun ou plusieurs symboles q-aire en cherchant rduire au max