Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 1Thorie de linformationAspects mathmatiquespar Jacques CLAVIERIngnieur gnral de larmement (CR)Ancien lve de lcole polytechniqueIngnieur de lcole nationale suprieure daronautique et de lcole suprieure dlectricites aspects mathmatiques de la thorie de linformation constituent le corpsdeladoctrine.Toutefois,commecettedernireatlaborepardeshommes de mtier, les spcialistes de la communication, elle a, dans son voca-bulaireetdanssadmarcheunefortecolorationspcique.Enbref,larticleauraitpusintituler :thoriedelinformation ;applicationauxtlcommuni-cations.Enfait,ilsefforcederpondreuncertainnombredequestionsconcrtes.I Comment mesure-t-on linformation selon ses divers cas dapparition ?Cest le problme des quantits dinformation, de son entropie, de sa redon-dance.I Comment une mme information peut-elle revtir diffrentes formes quiva-lentes ?Cest la question de la conservation de linformation, de ses transformationsrversibles, du thorme de lchantillonnage.I Quel langage appropri pour traduire linformation l o elle nat ?Cest le codage de la source.I Comment faire pour que sa transmission se passe au mieux, en dpit du ph-nomne invitable quon appelle bruit ?Cest ladaptation au canal.I Puisquen fin de compte, on ne sera jamais certain de la vracit dun mes-sage reu, quelles techniques employer pour minimiser les dgts ?Cest laspect dtection et correction des erreurs.I Peut-on protger linformation contre la malveillance ?La rponse est dans les mthodes de discrtion et de chiffrement.1. Quantit dinformation et entropie..................................................... E 3 082 - 22. Conservationde linformation.chantillonnage .......................... 53. Codage de la source................................................................................. 84. Adaptation au canal................................................................................. 125. Aperu sur le modle continu............................................................... 166. Dtection et correctiondes erreurs................................................... 187. Discrtion et chiffrement....................................................................... 21LTHORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 2 Techniques de lIngnieur, trait lectroniqueLes deux derniers points sont traits succinctement. eux seuls, ils font lobjetdouvrages spcialiss.Parailleurs,ondonneunaperudumodlecontinu,bienquelinformationsoit par essence discontinue et par commodit trs numrise.Il convient de souligner ceci : le dveloppement orthodoxe des aspects math-matiquesdelathorierclameunegranderigueur ;penserauxconditionsdexistencedessriesetintgraledeFourier.Ellesepaieauprixdecertainessubtilits et complexits qui sont de peu dintrt pour les ingnieurs et les tech-niciens.Onadoncdlibrmentsacririgueursimplicitenesprantcetchange justi aux yeux du lecteur.1. Quantit dinformationet entropie1.1 DnitionAu plan le plus gnral, la question de la mesure de linformationse pose ainsi. On considre un systme S pouvant revtir un certainnombre M dtats ou de congurations possibles et par consquentseulement probables aux yeux dun observateur O. La constatationparOqueltatMisestralisconstituelacquisitionduneinfor-mationrelativeSetsescongurationspotentielles.OncritI = f (M).Le choix de la fonction f est dict par le bon sens.Lenombredtatspossiblesdedeuxsystmesindpendants S1S2 est le produit M1M2 du nombre dtats de chacun deux. Il est rai-sonnable dcrire que linformation correspondante est I1 + I2, dolidentication de f la fonction logarithme. On crit maintenant :I = K log M condition que les M tats soient quiprobables.Cela revient mesurer linformation par la richesse des potentia-lits des systmes qui la portent ou par leur diversit.Deplus,StantcapabledeMcongurationsquiprobables,laprobabilit a priori de chacune delles, vue de O, est :do :I = K log pCelarevientainsimesurerlinformationparlararetduneconguration dun systme. Cela est conforme lide commune : On en apprend dautant plus quon ne sy attendait pas .On convient dadopter ce point de vue pour dnition gnrale delinformation : la quantit dinformation I attache une congura-tioniquelconquedunsystmedontlaprobabilitaprioriest pi,pour un observateur externe O, scrit :I = K log pi(1)Lobservateurquiaprisconnaissancedecettecongurationareu, a posteriori, la quantit dinformation I.1.2 Le shannon, unit dinformationLe choix de lunit dinformation, cest--dire de la constante K etde la base des logarithmes est videmment libre.On sadresse au cas le plus simple, celui de deux tats possibles,indpendants et a priori quiprobables. On dcide que leur connais-sance a apport une unit dinformation.OnvoitquelgalitI=1=Klog2estsatisfaitepourK=1etlog = log2 (logarithme base 2).Dans ces conditions, la formule (1) scrit :I = log2 pi(2)Lunit dinformation sappelle le shannon (sh).Leshannonestlaquantitdinformationreueparunobserva-teur, aprs lever de doute entre deux ventualits, a priori quipro-bables, des tats dun systme.Longtemps, le bit (binary digit) a t utilis pour mesurer linfor-mation. Ce choix ne sest pas avr correct car il ny a aucune raisonquune suite de digits binaires soit constitue de 0 et de 1 quipro-bables.Ilconvientdedistinguercesdigits,delinformationquilsportent, laquelle peut tre nulle comme dans le cas dune squencemonotone ou alterne de 0 et 1.1.3 Exemplesp1M----- =Exemple : 1.LesystmeSNestunepicedemonnaiehonnte,associeNtiragesausortsuccessifs.LobservateurextrieurOprend connaissance des rsultats.SNestcapabledeM = 2Ncongurationsquiprobablesavec On a :I = log2M = log2p = Nsh2. Le systme S37 est une roulette aide dun croupier, toujours hon-nte. Lobservateur O est un joueur.S37 est capable de 37 congurations quiprobables par tirage, maissi O ne sintresse quaux couleurs, 18 sont rouges : probabilit 18/37 ; 18 sont noires : probabilit 18/37 ; 1 est verte (zro) : probabilit 1/37 ;do :IR (le rouge est sorti) log218/37= 1,03 sh ;IN (le noir est sorti) log218/37= 1,03 sh ;IV (le zro est sorti) log2 1/37 = 5,20 sh.Onconstatequelasortiedunecouleurapportelgrementplusdinformation (1,03 sh au lieu de 1 sh) que si elles taient quiproba-bles. Par contre le zro, rare, apporte beaucoup dinformation.p1M----- 2N = =_____________________________________________________________________________________________________________THORIE DE LINFORMATIONToute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 31.4 Remarques1.5 Linformation moyenne : lentropieOn aborde maintenant le cas gnral, celui o les tats successi-vement indpendants dun systme, porteur dinformation, ne sontplus quiprobables. On suppose que le rcepteur R reoit une suc-cession de N messages, ltat i du systme, de probabilit a priori pitant cod (reprsent) par le message ni.La suite N comporte : n1 messages de probabilit a priori p1 ; .......................................................................... ni messages de probabilit a priori pi ; nn messages de probabilit a priori pn.Daprs (2), R reoit la quantit dinformation :soit, en moyenne par tat ou message :Cette quantit tend vers pi log2piquand.On lappelle information moyenne par tat ou par message, motou lettre, ou encore entropie H : (3)Ladnomination entropie provientdelanalogie,aumoinsformelle, avec lentropie thermodynamique.Cela revient simplement former la moyenne en probabilit desquantitsdinformation.Lentropieenestlesprancemathma-tique.Dansunensembledenmessagesdiffrentspossibles,lesinformations quils portent sont peses au poids de leur probabilit.Les messages rares, donc porteurs dune forte quantit dinforma-tion, psent cependant peu, en moyenne, en raison des propritsdelafonctionplogpolefacteur p lemportetoujourssurlelogarithme.Lagure1comparelvolutiondelaquantit plog2petde lentropie dans le cas binaire (soit H = plog2p (1 p)log2(1 p)).Le lecteur vrie que le maximum est obtenu pour dans uncas et dans lautre.1.6 Loi de la redondanceLentropie ou information moyenne dun ensemble dtatsou de messages est maximale lorsque ces tats ou messages sontquiprobables.On cherche les extremums de la fonction suppose continue :avecOn annule les drives partielles de lexpression H + pi (, multi-plicateur de Lagrange), soit :Les pi sont tous gaux et valent 1/n.Hmax = log2nIl sagit en effet dun maximum car on a :et H = 0 pour pi = 0 (i n) et pn = 1Lexcsdelentropiemaximalesurlentropierellerapportounoncettemmeentropiemaximalesappelleredondance.Ellesexprime quelquefois en pourcentage :(4)La redondance est une proprit qui apparat chaque fois, cest--diretrssouvent,quelesmessagesreusnesontpasquipro-bables.Telestlecasdeslettresdelalphabet,desmots,dessons,employsdansleslangagescritsouparls,telestlecasdelamusique, des images, des objets porteurs dinformation.1. Une conguration est une suite dtats dun systme. tatsetcongurationsdoiventtrediscernablespourlobservateur.Cette exigence, entrane quelles sont ncessairement en nom-brenietquelesmodlesmathmatiquesquilesdcriventsont, par essence, des modles discrets.2. Les systmes dont il est question sidentient aux sourcescites dans la liaison de rfrence, ou encore aux informationsdites primaires du tableau carr des tlcommunications.3. Onabienretenuque,pardnition,linformationportepar un tat ou une conguration dont la probabilit a priori est piscrit I = log2pi.Cestuniquementdanslecasolestatsoucongurationssont quiprobables et au nombre de M que lon a I = log2M.4. Ainsi,laquantitdelinformationestunemesuredesararet,maispasdesonimportance.Unpeucommesilonnesintressait quaux numros gagnants dun tirage, mais pas aumontant des lots.INnilog2pi1n =INN-----niN----- log2pi =N H pilog2piin =Figure 1 Information pondre et entropie dans le cas binaireEntropie Informationpondre1e1e121 112log e= 0,58p pH plog2p12 =p1e--- =p12--- =H pilog2pi1n =pi1n1 =H pi--------- + 1 log2pi 0 = + =H 0 redondanceHmaxH Hmax------------------------ 1HHmax-------------- = =THORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 4 Techniques de lIngnieur, trait lectronique1.7 Information mutuelle et self informationI Dfinition de linformationLadnitiondelinformationtellequellegureen[1](cf.Doc.E 3 084) est relativement abstraite. En particulier, la question duneventuelle distinction entre linformation contenue dans une source,celle qui sen coule et celle qui est reue, nest pas pose.On peut adopter le point de vue suivant, plus concret, qui prenden compte source et rcepteur lexclusion de tous autres lmentsou milieux : la source S est capable de dlivrer des messages xi faisant par-tie dun ensemble X n lments. chaque message xi est attacheune probabilit a priori p(xi) avec le rcepteur R est capable de recevoir des messages yj faisantpartie dun ensemble Y m lments. Les ensembles X et Y nontpas de raison dtre identiques. chaque message yjest attacheune probabilit a priori p(yj) avec LeproblmedelaliaisonSRestvidemmentdeconnatrelesmessages effectivement mis partir des messages reus.I Cas considrerTrois cas sont considrer.1) Cas idal : la rception de yjspcie xisans ambigut. Ce casse prsente toujours lorsque la liaison SR est locale et ne fait doncpasintervenirdemilieudetransmissionlong,obligatoirementgnrateur de perturbation.2) Cas trivial : la rception de yj ne spcie rien dans X. Ce cas estsans intrt.3) Cas gnral : la rception de yjspcie partiellement les xi. Laprobabilitaprioriquelemessagexiaittmissetransforme,aprs que yj a t reu, en la probabilit, a posteriori et condition-nelle p(xi/yj) : avantrceptiondeyj,linformationinitiale ;ouselfinforma-tion, porte par xi est :I(xi) = log2 p(xi) aprs rception de yj, linformation restante porte par xi est :I(xi/yj) = log2 p(xi/yj)Enconsquence,ilestnormaldedirequelinformationreue,relative xi, est la diffrence entre linformation initiale et linforma-tion restante. On lappelle information mutuelle. Elle traduit ce quelon a appris sur xi quand on a reu yj.On crit :I(xi, yj) = log2 p(xi) log2 p(xi/yj) = log2 p(xi/yj)Information mutuelle reue relative au couple xi yj gale informa-tion initiale ou self-information relative xi moins information res-tante relative xi, yj ayant t reu.On a :(5)Les probabilits conditionnelles tablissent le lien entre informa-tion contenue dans la source et information reue.1.8 Information mutuelle moyenne et quivocationLa formule (5) est tablie pour le couple particulier xi yj : on peut,sans difcult, au moins de principe, la transformer en une formulerelative aux moyennes, dabord en considrant tous les xi possibles,pour yj donn, puis tous les yj.On trouve :I(X,Y) = H(X) H(X/Y) (6)Information mutuelle moyenne gale entropie de la source moinsquivocation.avec I(X,Y) = +x, y indices muets ;H(X,Y) = ;H(X) = p(xi)log2p(xi).(6) snonce ainsi :linformation mutuelle, cest--dire linformation moyenne reue,estgalelinformationmoyenneinitialementcontenuedanslasource,diminuedelinformationmoyennerestantedanscettemmesource,laquelleest,silonveut,lincertitudequisubsistequant la source, do lappellation dquivocation donne H(X/Y).Ce rsultat constitue, en quelque sorte, une extension de dni-tion de linformation.Nota : on rappelle la formule symtrique du calcul des probabilits :p(x,y) = p(x) p(y/x) = p(y) p(x/y)qui se lit :la probabilit de lvnement x et y est le produit de la probabilit de lvnement x par laprobabilit conditionnelle que y survienne si x a eu lieu, etc.Cette formule, presque vidente, permet dchanger les probabilits rciproques relati-ves aux ensembles X et Y. On lutilisera par la suite.Exemple : lemessage,exprimantenmillibars,lapressionatmos-phrique Clermont-Ferrand, la ville de Pascal, scrit X, Y, Z.Les probabilits, un peu simplies, sont les suivantes : chiffre X : p(X = 9) = 1 chiffre Y : p(Y = 4, 5, 6) = p(Y = 3 ou 7) = p(Y = 0, 1, 2, 8, 9) 0 chiffre Z : p(Z = 1 chiffre quelconque) = Lentropie scrit : comparer avec lentropie maximalelog21000 10 sh.La redondance vaut :Il est videmment inutile de transmettre le 1er chiffre Xtoujours gal 9, ce qui rduit Hmax log2 100 = 6,6 sh et la nouvelle redon-dance 15 %.Dire quun message est redondant, cest aussi dire quil aurait pu,thoriquement, tre plus court ou faire appel un nombre moindre desymbolesousigneslmentairesN.Ainsi,50 000motsdefranaispourraient, convenablement transcrits, ne pas exiger plus de quatre let-tresToutefois, si tel tait le cas, toute faute dortho-graphe changerait un mot en un autre, sans parler des difcults pourles prononcer !Laraisonnaturelleetlintrtdelaredondancersidentdansunecertaineprotectioncontrelamutilationdelinformation(dfauts,erreurs...).Ainsi,lorsquillefaut,crit-onleschiffresen touteslettres .14---18---110------H 034--- log214---26--- log218---1010------ log210 5,5 sh = =10001000-------------10 5,5 10--------------------- 0,45 soit 45% =100100---------- +26n50000 >14 .p xi( ) 1;=1np yj( ) 1. =1mX YI xi, yj( ) log2p xi/yj( )p xi( )---------------------- =p x y , ( ) log2p x y , ( )p x ( )------------------jip x y , ( ) log2p x y , ( )ji i _____________________________________________________________________________________________________________THORIE DE LINFORMATION Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 5 2. Conservation de linformation. chantillonnage 2.1 Conservation de linformation Une relation entre les lments de deux ensembles X et Y de mes-sages dnit une transformation relative ces messages. Si elle estbijective,latransformationestditerversible.Cestlecasdetousles codages, comme dans les exemples : X = ensemble des lettres de lalphabet, des chiffres... Y = alphabet Morse, codes tlex n os 2, 5, etc.On crit : Y X Lesperturbationsdetoutessortes,appelesbruits,appliquentaux messages des transformations irrversibles.Lepropredestransformationsrversiblesestdeconserverlinformation puisque la probabilit attache un lment de X seretrouve lidentique dans llment transform dans Y .On remarque, par contre, que la transformationna aucune rai-son de conserver nergie, dure, largeur de bande ... du message.Ainsi, une mme information I peut tre lie une innit de mes-sagesphysiquementtrsdiffrents.Endautrestermes,ellepeuttre traduite en une foule de langages distincts. I apparat comme un invariant des transformationsrversibles.Cette constatation conduit une dnition abstraite de linforma-tion comme lentit qui se conserve dans les transformations rver-sibles de type. 2.2 Transformations 2.2.1 Transformations bijectives Cesontlestransformationstabliesentrelmentsdiscretsdes ensembles X et Y , comme on vient de le voir. 2.2.2 Transformations de Fourier Les transformations de Fourier, rversibles, conduisent prendreen considration 6 types de signaux (ou de messages). I Type I : signaux priodiques s T ( t ) : pourvu que la fonction prio-dique s T ( t ) de priode T soit variations bornes, elle peut se rem-placerparunesommeinnie S ( t )defonctionssinusodales,orthogonales sur lintervalle 0, T. Latransformationfaitapparatrelesfrquencespures ,harmoniques de la fondamentale 1/ T .On dit que s ( t ) a un spectre de raies. Lnergie est conserve sur0, T En notation complexe, on crit : S ( f ) tant le spectre de S ( t ), tant la fonction de Dirac.Linformationcontenuedans s T ( t )estlammequecelleportepar la suite innie des coefcients a n , b n (ou c n ). I Type II : signaux priodiques spectre limit F : dans ce cas, lescoefcients de Fourier de rang n tel que sont nuls.Linformationcontenuedans s T ( t )estlammequecelleporteparlasuiteniede N = 2 T F coefcients a n , b n (ou c n ),enngli-geant le terme constant (signal continu). I Type III : signaux non priodiques s ( t ) : pourvu quelle soit som-mable, a fortiori de carr sommable donc dnergie nie, cas gn-ral en pratique, s ( t ) peut se remplacer par une transforme S ( f ) dite intgrale de Fourier :Onditque s ( t )aunspectredebande S ( f ).Lesinformationscontenues dans s ( t ) et S ( f ) sont les mmes.Lnergie est conserve : I Type IV :signaux non priodiques s ( t ) dure limite : lessignaux,nuls,parconvention,lextrieurde(0, T )sontreprsentablesparleurtransformedeFourier S ( f ),maisaussi,danslintervalle(0, T ),parlasriedeFourier S ( t ),fonctionprio-dique dont le motif est s ( t ) ; ainsi, s ( t ) est reprsente : partout par S ( f ), dans lintervalle 0, T par S ( t ), lextrieur de 0, T par 0 ; le spectre S(f ) est un spectre de bande, enveloppe des raies duspectre de la fonction priodique S(t).I Type V : signaux quelconques (priodiques ou non) largeur debandelimiteF :pourcessignaux,largeurdebandenieF,lchantillonnage rgulier, cadence sufsante, est une transforma-tion rversible.chantillonner un signal, cest le remplacer par une suite dimpul-sions ayant pour amplitude celle du signal linstant o lchantillonest prlev.Limpulsion la plus simple est le top de dure nulle ou quasinulle.Ltude de ce type de signaux fait lobjet du thorme de lchan-tillonnage ( 2.3).Exemple (simple) : on transmet, cod en binaire, les 8 chiffres de0 7. On a :X = 0, 1, 2 ... 7 ; n = 8 ; p(xi) = Y = 0, 1 ; m = 2 ; p(yi) = Si lon suppose le canal non bruit, le fait de recevoir, par exemple,un 1 pour 1er digit y signie que le nombre x expdi est un nombreimpair. Il faudra videmment deux autres valeurs de y pour connatre lex exact.Le champ p(xi) = se transforme, la 1re rception de y dans lechamp p(xi si y = 1)soit p(xi/y = 1) = 0 si i est pair ;p(xi/y = 1) =si i est impair.Lapplication de la formule (5) donne :I(xi, 1) = 3 0 = 3sh si i est pair ;I(xi, 1) = 3 2 = 1sh si i est impair.18---12---18---14---sTt ( ) S t ( ) an2 cos ntT--- bn2 sin ntT--- ++ += =fnnT----- =s t ( )2dt a2= n b2n.+0TS t ( ) cn +2jntT--- exp =S f ( ) cn + fnT--- =nT--- F >s t ( ) S f ( ) avec S f ( ) s t ( ) 2jft ( ) exp t d += s t ( ) S f ( ) +2jft ( ) exp t d +=s2t ( ) t d +S2f ( ) f d +=THORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 6 Techniques de lIngnieur, trait lectroniqueI Type VI : signaux dure et spectre borns : supposons un signals(t), dit support born, nul en dehors de lintervalle.Sa transforme de Fourier scrit :On remarque que la drive jS(f ) scrit :do :Si, pour ce qui le concerne, le spectre S(f ) de s(t) est identique-mentnulsurunintervalle,onpeut,partranslation,ramenercetintervalle autour de 0.Onaur aS( n)( 0) =0quel quesoi t n, soi t jnS( n)( 0)Il faut alors que Le spectre ne peut tre identiquement nul sur aucun intervalle.Un signal ne peut donc tre de dure et de spectre borns.Autrefaondexprimercela :ilnyapasdemodlemathma-tique permettant de dcrire ces signaux, pourtant bien rels, commeleprouvelexempledunelampeallumepuisteinteetdontlespectre ne stend toutefois pas linni !De fait, ces difcults thoriques ne gnent gure llectronicien : soit quil considre que lextinction dune lampe met en jeu, enralit, des phnomnes transitoires, vrai dire complexes, faisantappel dautres fonctions que s(t)... pour finir dans des considra-tions quantiques ; soitque,trsattachlarigueurdesmathmatiques,ilseconsoleenconstatantquelespectre,quoiquenonidentiquementnul, peut tre rendu aussi voisin de 0 que lon veut, en dehors de laplage utile 0, F.On rsume les proprits des signaux et de leurs spectres dans letableau 1.2.3 Thorme de lchantillonnageI Linformation contenue dans un signal de largeur de bande limi-te F est la mme que celle qui est contenue dans la suite rguliredes chantillons de ce signal prlevs la cadence de 2F/s.Soitunsignals(t),delargeurdebandeF,despectreS(f ),S(f ) = 0 pour f> F.chantillonners(t)cadence,cestleremplacerparlesignale(t) :e(t) =s(t) (t n)avec fonction de Dirac quelle condition la transformation s(t) e(t) est-elle rversible ?On rappelle que le spectre du produit de 2 fonctions est le produitde convolution de leurs spectres.Do :spectre de e(t) = E(f ) = S(f )avec symbole de convolution, car le spectre de la suite des impulsions de Dirac (t n), fonctionpriodiqueparfoisappele peigne estlespectrederaiesOn trouve : E(f ) = E(f ) est reprsent par le motif de base S(f ), spectre de s(t), rpt linni intervalles rguliers comme le montre la gure 2.Si les motifs rgulirement espacs ne se recouvrent pas en toutou partie, un ltrage convenable permet disoler le motif de base et,donc, de reconstituer sans perte s(t).Pour cela, il faut et il suft que :Lchantillonnage minimal se fait juste la cadence 2F.I Limportance du thorme de lchantillonnage est trs grande,pour trois raisons :1) pourdesraisonsthoriques,touteslesfonctionsdcrivantlemonde rel, a fortiori les messages, ont un spectre born : les fr-quencesinniesimpliquentdesnergiesinnies...etdestempsnuls, daprs la mcanique quantique o nergie et temps sont desgrandeurs conjugues ;2) pour des raisons pratiques, on limite volontairement ltenduedes spectres des signaux leur partie utile . Penser aux canauxde TV ! ;T2--- T2--- +S f ( ) s t ( ) 2jft ( ) exp t dT 2 +T 2 =j S f ( ) ts t ( ) 2jft ( ) exp t dT 2 +T 2 =jnSn ( )f ( ) tns t ( ) 2jft ( ) exp t dT 2 T 2 =tns t ( )dt 0. =T 2 T 2 =s t ( ) 0. + + * fn--- *Tableau 1 Spectres et signauxSpectreDureDure limite TDure illimitepriodiques T non priodiquesSpectreillimitIVIntgrale de Fourierou srie deFourier limite lintervalle(0, T)ISrie de Fourierraies infiniesIIIIntgrale de FourierSpectre limitFVIPas de modlemathmatiquepossibleen thorieIISrie de Fourier2TF raiesVchantillonnagecadence 2F/sChiffres romains = types de signaux.Figure 2 Spectre dune fonction chantillonne fn--- .S fn--- +1--- 2Fou12F----------- 2FE(f )F2F1Spectre de s(t ) Spectre de e(t )S(f )Fonction s(t)Largeur debande limite FFonction chantillonne e(t)e(t) = s(t) (t n)chantillonnagecadence f f_____________________________________________________________________________________________________________THORIE DE LINFORMATIONToute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 73) le thorme tablit lquivalence, du point de vue de linforma-tion, entre les signaux analogiques rels, donc de spectre limit, etles signaux discrets que sont leurs chantillons rguliers.Ces derniers, aprs une nouvelle transformation, sont remplacsparleurmesure,dolaportegrandeouvertesurlanumrisationgnraledelinformation,vnementtechnique,conomiqueetsocial sur limportance duquel on ne revient pas.I Lchantillonnage par impulsions fines, sinon de dure nulle, pro-duit un signal e(t) dont le spectre, on la vu, stend linni. On peutconsidrer des impulsions moins gourmandes en largeur de bande.G Impulsionenetsarciproquelimpulsionrectangulaire(gure 3).On sait que le spectre de limpulsion rectangulaire isole, dampli-tude A et dure est :Les zros successifs se trouvent aux points :avec Rciproquementlimpulsionaunspectrequistendsur lintervalle F, + F avec une largeur utile F et des zrosaux instants successifs On peut crire :s(t) = s(k) s(k) chantillon de s(t) linstant t = tk.Lchantillonnage la cadence 2F, par des impulsions en permet de conserver la largeur de bande F. Certes, la dure de cesimpulsions stend linni, mais : elles steignent assez vite, par amortissement en 1/t ; si le cadencement est bien respect, chaque impulsion est pla-ce l o sont les zros des autres.G Autres impulsions.On cite : limpulsion triangulaire : largeur la base 2, hauteur A, spectre limpulsion de Gauss : impulsion exp( t2/2),I spectre exp( f22).I Approche de D. Gabor : cellules dinformation (figure 4)D.Gaborappliquelarelationdincertitudeauxdeuxgrandeursconjugues E, t (nergie temps)avec h constante de Planck = 6,61034 JsLa plus petite nergie la frquence f est hfdo :E = hf et D. Gabor reprsente un signal dans le plan f, t. Il considre que lesignal rel limit en temps et en frquence peut tredcompos en cellules lmentaires quelconques, mais desurfacef t = 1.Chaquecellulenecomprenantquedeux composantessymtriqueetdissymtrique(principedexclusion).Lamplitudede chacunedecescomposantesdnitlafonction,do 2 = 2TF paramtres pour un signal s(t) de dure T et de spectreborn F.LadcompositionensriedeFouriercorresponddescelluleshorizontales, lchantillonnage des cellules verticales.2.4 Retour sur les signaux discrets et les signaux continusParce quils appartiennent au monde concret de la physique, lessignaux sont par essence discrets.La prcision avec laquelle ils peuvent tre mesurs est limite vi-demmentpardesraisonspratiques,maisonsaitquelesbornesinfrieuressontposesparlamcaniquequantiqueetellessontinfranchissables.Enn,silessignauxanalogiquesontlapparenceducontinu,lethormedelchantillonnageestlpourtablirleliendquiva-lence avec les signaux discrets.Danslasuitedesparagraphes,ontraiteprincipalementdumodle discret. Le paragraphe 5 esquisse toutefois quelques traitsdumodlecontinu,ensoulignelesdifcultsdontlamoindreestque, sans contrainte leur iniger, les signaux continus sont capa-bles de transporter une information innie, ce qui est absurde !x sinx------------Af sinf------------------fK--- - =K 0. 2 sin Ft2Ft--------------------------tkk2F--------------.=2 sin F t tk ( )2F t tk ( )------------------------------------------x sinx------------ ,Af sinf------------------ 2;E t h f t 1. t T ( ) f F ( )Figure 3 Impulsion en sinx/x et impulsion rectangulaireFigure 4 Cellules dinformation de GaborA 2F12Impulsion Spectres (t ) S (F) f tA12F1F22FFA2FS (F) s (t )t fT3/T2/T1/T12FFt T tfFf = a cellules de la srie de Fourierb cellules de l'chantillonnage dans le tempsTFft-------------THORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 8 Techniques de lIngnieur, trait lectronique3. Codage de la source3.1 Le problme P1I Le problme P1se pose ainsi :On dispose dune source, ou, plus gnralement, dun systme Scapable de M tats s1, s2... sM, dont les probabilits a priori sont p1,p2..., pM.Lentropie du systme S est donc :Ilsagitdetraduire aumieux lesMtatsdecesystme,aumoyendeMmotschoisisdansunlangageL,caractrisparunalphabetdevalencev.EntendonsquelalphabetdeLcomportevlettres diffrentes.I Parmi les langages classiques, on a : lcriture v = 26 ou 27 (26 lettres + espacement) ; les nombres v = 10 ou 11 (10 chiffres + espacement) ; le langage binaire v = 2 ou 3 (0, 1, + espacement).En dautres termes, il faut tablir une bijection entre les tats de Set tout ou partie des mots de L ou, encore, une bijection entre unesuite de N tats (ou conguration) de S et une suite de N mots (oumessage)deL.CetteapplicationdulangageLausystmeSsappellecodageetlarelationcorrespondantecode.Danslapra-tique on ne distingue gure code et langage.I Deux exigences apparaissent immdiatement :1)ilestimpratifdepouvoirdistinguerlesmotslesunsdesautres.Ilfautpouvoirlirelecodequiestditsparableoudchif-frable.Trois solutions classiques cet effet : type1 :lesmotssontnaturellementspars,commedanslelangage crit ; type 2 : les mots ont tous la mme longueur, leur sparation sefait automatiquement par comptage ; type 3 : les mots sont de longueur variable et se suivent sanssolution de continuit mais aucun ne peut tre pris pour le commen-cementdunautre.Cestlaconditionduprfixe.Lescodesencauses sont dits irrductibles. Tel le code suivant quatre lments :L = 0, 10, 110, 1112) il est judicieux de choisir le meilleur code. En thorie, aucuncritre de choix nest a priori interdit.En pratique, on retient toujours le critre de lconomie de temps.Ilimposeaulangagedtrelepluscourtpossible,doncdtrelemoins redondant, dans sa traduction des tats de la source.Avant dtudier et de rsoudre la question de ladaptation du lan-gage la source, on examine dabord les proprits gnrales deslangages.3.2 tude des langagesI Soit le langage L dj voqu : L dispose, pour construire ses mots, dun alphabet de v lettresde mme dure unitaire . noter que longueur dun mot et durede ce mot sont deux notions quivalentes dans le langage L(v, ) ; les mots assembls par L comportent 1, 2 ... k, n lettres. Leurdure est donc de tk = k ; la suite de M mots forme une phrase ou message M de dure T.I Rapidit de modulationUn mot de Klettres de dure tk = k peut revtir au maximum vkformes diffrentes. On peut y associer linformation :ek = k logv = logv = r tk logvr =sappellerapiditdemodulation.Ellesexprimeenbauds.Cest le nombre de lettres ou signes lmentaires mis par seconde.Ilnefautpasconfondreshannonsetbauds.UnesourceSquimet1chiffreparsecondedlivre1baudmaislog210 = 3,3sh,supposer que ces chiffres soient quiprobables. Une source binairequi met 1 bit par seconde peut couler bien moins dun shannon/ssi les probabilits de 0 et 1 sont dsquilibres.3.3 Capacits dun langage3.3.1 Capacit unitaireLa quantit dinformation quune lettre peut transporter est logv.Par unit de temps elle scrit : c = = r logvc sappelle puissance ou capacit unitaire du langage.Le langage L(v, ) retenu se caractrise ainsi par la valence de sonalphabet et son type dappartenance qui impose des restrictions auchoix de ses mots, donc leur suite : type1 :unelettrerservepourlespacement,(v 1)lettresutiles, la longueur de chaque mot est augmente dune lettre et sadure augmente de ; type 2 : mots de mme longueur. On code sur la mme dureles tats frquents comme les tats rares de S ; type3 :laconditionduprfixerduitfortementlechoixdesmots possibles.3.3.2 Capacit globaleEnfait,lestypes1et2sontdescasparticuliersdutype3dontltude suft.Par dnition, L comporte :a1 mots diffrents de longueur 1 et de dure ;ak mots diffrents de longueur k et de dure k ;an mots diffrents de longueur n et de dure n. an = m, nombre de mots du langage L.L permet de construire M(T) phrases ou messages diffrents dedure T, partir de :m1mots diffrents ou rpts de dure ;mk mots diffrents ou rpts, de dure k ;mn mots diffrents ou rpts, de dure n.L est, par consquent, capable de la quantit dinformation :I(T) = logM(T) pendant le temps T ;do la puissance globale ou capacit globale C du langage :C = limquand Cmesure laptitude du langage L vhiculer la quantit dinforma-tion moyenne C par unit de temps.Shannon lavait primitivement appele capacit de voie.Il est vident que la capacit du langage ne peut excder celle deslettres ou des mots dont il est construit. On pose :C = c (7)sappellerendementdulangage.Ilmesure,dansleschoixeffectus et sous les contraintes imposes, laptitude de L bien uti-liser les solutions permises.H pi logpi1M =tk----1---v log--------------I T ( )T---------- T 1 _____________________________________________________________________________________________________________THORIE DE LINFORMATIONToute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 93.3.3 Calcul de cette capacitReste calculer M(T).M(T) obit lquation aux diffrences nies.M(T) = a1M(T t1) + a2M(T t2) + ... + akM(T tk)+ ... + anM(T tn) (8)Si, en effet, on supprime le dernier mot de dure tk dun messageM(T), on obtient un message M(T tk) et rciproquement. Et il y apar dnition, ak mots diffrents de dure k.On crit :M(T) = AeCTLa notation C est justie par :Le coefcient Cest bien la puissance de langage ou capacit glo-bale dnie prcdemment au paragraphe 3.3.2.Rsolvons(8)ensubstituantACTM(T)etendivisantparAexp(CT).Il vient :avec tk = k.On pose exp( C) = z.Il vient :(9)ak entierquationalgbriqueuneseulevariation,doncuneseuleracinepositive z0.La connaissance de Crevient rsoudre une quation algbrique coefcients entiers.On remarque par ailleurs que :3.4 Application aux 3 types de langagesI Type 1Une lettre est rserve lespacement et la dure de chaque motest augmente de la dure de cet espacement soit .Il y a donc, au maximum :v 1 mots de dure 2(v 1)k mots de dure k + 1etc.,do lquation (9) traduite en :I Type 2Tous les mots ont mme longueur k.Lquation (9) donne :vkzk = 1do : zv= 1et = 1I Type 3Les possibilits et restrictions offertes par la condition du prxesontvisiblessurlediagrammedelarbre(gure5dessinepourv = 2).Larbrecomportenudsetbranches.Dechaquenud,spa-nouissent v branches termines par v nouveaux nuds.Unnudderangkcommandetouteuneramureaval.Ilestlaboutissement dun cheminement amont unique. Il reprsente unmot mk de k lettres, parmi les vk possibles.La condition du prxe interdit de choisir des mots dans la ramureissue de mk puisque ces mots commencent tous par mk.En particulier le choix de mk interdit vn k mots au rang n.Si on a choisi :a1 mots de 1 lettre (rang 1) ;ak mots de k lettres (rang k)la somme des interdits au dernier rang n vaut : ak vnk qui ne peut dpasser vndo :(10)avec ;nombre de mots du langage L.Cest lingalit de Kraft qui limite le nombre de mots de longueurmaximale n dun langage L soumis la condition du prxe.Le rapprochement de (9) et (10) permet de constater : en cas dgalit de Kraft :vk = zk ; zv = 1 ;et = 1 ; rciproquement si = 1, zv = 1 et lgalit est atteinte ; en cas dingalit :zv > 1 ;do : < 1.La condition ncessaire et sufsante pour que le rendement soitgal 1 est que lgalit de Kraft soit satisfaite.Dans le langage L on a choisi tous les mots possibles satisfaisant la condition au prxe.I T ( )T----------M T ( ) logT------------------------A logT------------- C C quand T + = =akCtk ( ) exp 1 =1nakzk1 =1n0 Cc--- -Cv log--------------1z---logv log--------------- = = =v 1 ( )k1nzk 1 +1 =Figure 5 Diagramme de larbre pour v = 20 0 0 000000 0 11 1 111mTroncRang 11 Rang 2Rang 3Rang 4Convention : partir d'un noeud et en s'levant :- branche de gauche on ajoute 0- branche de droite on ajoute 1Exemple : le mot ms'crit 0100 1nak vk 1 1nakvkakM =1nTHORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 10 Techniques de lIngnieur, trait lectroniqueLe langage L est dit complet.On rappelle que les langages L1 et L2 sont des cas particuliers deL3 : les conclusions tires valent pour tous.La sommation dans (10) a lieu par rapport au nombre de lettresdun mot.Elle peut seffectuer aussi par rapport au nombre de mots retenus.Si un langage L comporte M mots numrots de 1 M, le mot derangkformdenklettresinterditmotsaurangndolingalit :do :(11)Lgalitestsatisfaitelorsquetouslesmotspossiblesonttretenus.3.5 Optimisation ce stade de ltude, on est en possession des lments nces-saires pour coder convenablement la source.On dispose :1) de cette source S ou dun systme S , dont il sagit de tra-duire au mieux, on le rappelle, dans un langage L, les M tats sk pos-sibles, ou encore une succession de N de ces tats.Chaque tat sk est assorti dune probabilit pk de sorte que lentro-pie de la source est :H = pk log2 pk2) delangagesLdchiffrables,constitusdemotsdelongueurvariable,partirdeslettresdunalphabetdevalencev,dedureunitaire . Les langages L obissent la condition du prxe expri-me par lingalit de Kraft. Les langages mots spars ou motsde longueur xe sont des cas particuliers des langages conditionde prxe, comme cela a dj t dit ;3) dun critre de codage, cest--dire dtablissement de la rela-tion bijective entre tats de S et mots de L ou encore entre congu-rations de S et messages de L : on veut que la longueur moyennedes mots ou des messages servant un codage soit minimale. Cestun critre dconomie de temps.Codage des tatsLtat k de S (k = 1, 2 ... M) de probabilit a priori pk est cod parun mot mk de nk lettres.Le nombre moyen de lettres ncessaires pour coder les M tats deS est :Les mots de longueur nk sont contraints par lingalit de Kraft :Onchercheminimiser,comptetenudecettecontrainte.Uncalculsimpliconsidrecommecontinueslesvariablesnketconduit,parconsquent,annulerlesdrivespartiellesdelexpression : multiplicateur de Lagrange.Il vient :do par sommation :lorsque lgalit de Kraft est satisfaite.On trouve alors soit :(12)Nota : sagissant dun rapport, la base des logarithmes est indiffrente.Le bon codage des tats de la source consiste en lemploi de motsdelongueurvariable,proportionnellelaquantitdinformationporte par chacun deux. Le mot codant est dautant plus long quilest rare.Ce rsultat est remarquable. Il est vri par lexprience. La plu-part des langages crits respectent cette rgle que la longueur desmots est inversement proportionnelle leur frquence dapparition.La relation scrit :Cela montre que dans la suite des lettres composant un mot ducode, chacune delles a la mme probabilit 1/v dapparition. Dans lecas binaire, cette probabilit vaut.La longueur moyenne vaut :soit : Dans la formule (12) nk nombre de lettres du mot k est obligatoi-rement entier, ce qui nest videmment pas forcment le cas du rap-port logpk/logv.Il ny a donc gnralement pas de codage parfait.Le vrai nkestcomprisentresalimiteinfrieuredonnepar (12) et cette mme limite augmente de 1 do :et enn :(13) Attention :, valeur moyenne nest pas ncessairement entier.Le rapport sappelle efcacit du codage.On voit quil peut y avoir deux raisons successives pour que les choses ne soient pas satisfaisantes :a) raisons propres au langage : le langage L nest pas complet ; on na pas retenu tous les motsdont il est capable, compte tenu des restrictions (prfixe) ; la puissance globale C du langage est infrieure sa puissanceunitaire c, < 1.b) raisonspropresladaptationlasource:leslongueurs(dures)desmots,forcmentmultiplesentiersdeslongueursdeslettres ne peuvent tre rigoureusement proportionnelles aux proba-bilits dtats, donnes a priori.On rencontre deux cas permettant de surmonter cette difcult :I 1er cas : sont toujours des entiers aksoit : vn nkvn nkvn1Mvnk1 1M k 1 =k M =n nk1Mpk=vnk1 1Mnnkpk vnk1M1Mpkvnknv 0 = 1 nv 0 = pkvnk=nklogpkv log---------------- =pk1vnk-------- =p1v----- pour nk1;= =p1v2------ pour nk2, etc. = =12---nn nkpk pkpklogv log------------------------------ =1M=nHv log------------ = pklogv log--------------- nk pklogv log--------------- 1 + Hv log------------ nHv log------------ 1 + nHn v log------------------ p logv log-------------pkvak= _____________________________________________________________________________________________________________THORIE DE LINFORMATION Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 11 avec Lgalit de Kraft est vrie.Cas particulier binaire v = 2. p k est de la forme avec.Il ny a pas de difcult respecter ce type de relation. I 2 e cas : on code non plus des tats de S , mais leur suite dans letemps, C est le codage des congurations qui gnralise les proces-sus de codage et aboutit au 1 er thorme de Shannon. 3.6 Codage des congurations ou 1 er thorme de Shannon Soit une conguration dordre N , suite de N tats de S quil sagitde coder.Lacongurationdordre2comprend M 2 tatsauxquelslarelation (13) sapplique : H 2 entropie de ltat M M .Ces deux tats tant supposs indpendants H 2 = 2 H 1 = 2 H .On aura alors pour la conguration dordre N :do quand.Ce rsultat constitue le 1 er thorme de Shannon : il est possiblede coder la suite de N tats dune source avec un langage appropriL avec une efcacit tendant vers 1 pourvu que N soit sufsammentgrand.Endautrestermes,lcartentrelinformationncessairepourcoder Ntats successifs dune source Sdentropie Het linforma-tion dont est capable un langage de puissance C, pendant le tempsncessaire, soit CT tend vers 0 quand T tend vers ou la limite, la capacit Cdu langage L peut tre ajuste pour nepas dpasser le dbit de la source. Une seule difcult : cette loiasymptomatique est muette sur la manire de choisir L. De plus, elleimplique des messages trs longs, donc beaucoup de mmoire on-reuse pour atteindre les rendements idaux.3.7 Exemples dans le cas binaire (v = 2)CesttoujourslammesourceSquelonconsidrecapabledtats sk appartenant un ensemble S qui en compte M. Les proba-bilits associes pk sont des donnes.I Premier exemple : procdure de Shannon-FanoLes tats sont rangs par ordre de probabilits dcroissantes :On partage lensemble Sen deux sous-ensembles les plus qui-probables possible, puis chacun deux en deux autres sous-ensem-blesquilibrs,etc.,lespartitionssarrtantdelles-mmeslorsquunsous-ensemblenecontientplusdlment.Largleduprxe est ainsi automatiquement applique. Chaque bipartition ajoute 0 ou 1 aux lments binaires qui prc-dent.Le tableau 2 rsume un exemple un peu modi donn parFano.On calcule sans difcult :H = pk log2 pk = 2,31 shnk pk = 2,33 shlogv = 1et lefcacit = 0,99 voisine de 1.On sait quil suft de 3 bits pour coder 8 lments quiprobables.Dans le cas prsent, les 2 lments s7 s8 en exigent 5, mais, en rai-son de la raret de leur apparition, ils psent nalement peu dans lalongueur moyenne des mots et lon a I Deuxime exemple : procdure de HuffmanElleconsisteconstruireundiagrammedelarbreencommen-antparlaramureetensefforantdquilibrerlesbranches,parapplication des deux rgles suivantes : on procde par tapes successives ; chacunedellesonregroupelesdeuxmotslesmoinsprobables ; on en fait un mot compos qui, avec sa nouvelle proba-bilit,seraconsidrcommeunmotcomparerauxautresdansltape qui suit.Le processus est donc trs simple et se rpte, inchang, chaquetape... jusquau tronc.Larbre se construit de gauche droite et se lit de droite gauche.La gure 6 donne un exemple dapplication.Mode demploi.Pour la premire tape s5 et s6 sont les moins probables. Ils sontregroups. Probabilit nouvelle 0,29 du mot compos s5 s6, consi-dr pour ltape 2, comme un mot lgal des autres.On calcule :H =pk log2 pk = 2,39pk nk = 2,45et lefcacit = 0,98.tats s1s2s3s4s5s6s7s8pk0,49 0,14 0,14 0,07 0,07 0,04 0,03 0,021 vak1M=12ak-------12ak------- 1 =1MH2n2H21 + NH nnNH 1 + nnN------ H N .CT NH 0si T et N CNHT--------- 0 NHT---------Tableau 2 Mise en uvre de la procdure Shannon-FanoPartition Sous-ensemble Probabilits Rsultatn 1S0 = s1S1 = s2 ... s80,490,51s1 = 0n 2S10 = s2 s3S11 = s4 ... s80,280,23n 3S100 = s2S101 = s30,140,14s2 = 100s3 = 101n 4S110 = s4 s6S111 = s5 s7 s80,110,12n 5S1101 = s4S1100 = s60,070,07s4 = 1101s6 = 1100n 6S1110 = s5S1111 = s7 s80,070,05s5 = 1110n 7 S11110 = s70,02 s7 = 11110n 8 S11111 = s80,03 s8 = 11111 18n18=Hn v log-----------------n 2 33 , 3. < = 16n16=Hn v log-----------------THORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 12 Techniques de lIngnieur, trait lectroniqueI Troisime exemple : probabilits binairesLes probabilits pk sont des puissances entires ngatives de 2 :avecLe tableau ci-aprs, un exemple particulier simple :Un calcul ais montre que Lefcacit vaut 1.Lenombredebitsrsultedeschoixobligatoiresdansledia-gramme de larbre binaire.I Solutions du problme P1Le tableau 3 rsume ltude du codage de source ou les solutionsdu problme P1.4. Adaptation au canal4.1 Le canal (problme P2)I On est parvenu, en thorie du moins, rsoudre le problme P1,celuideladaptationlasource.OnsaitchoisirlelangageL(v,)pour quil dcrive de faon conomique une source capable dtatsdiscrets et indpendants sk.Il faut maintenant que les messages transitent travers le canal,toujours dans les meilleures conditions. Le propre dun canal estdapporteruneperturbation,appelebruitdefaongnrale,labonnetransmissiondessignauxquilempruntent.Cetteperturba-tion limite le volume du ot moyen dinformation que le canal doitdbiter et quon nomme capacit C, do deux questions : quelle est cette capacit ? dans quelles conditions peut-elle tre atteinte ?On fait quelques hypothses simplicatrices : le canal est sans mmoire : les mots ou messages transportssont indpendants ; lecanalestconstant :sespropritssontinvariantesdansletemps.I Caractriser un canal nest pas toujours ais, bien quon ait dis-position les paramtres classiques : largeur de bande, notion parfois floue ; puissance, ou nergie, admissible ; distorsions de toutes sortes ; bruits dcrits par leur distribution statistique.Avecplusoumoinsdefacilit,cesparamtrestraduisentleurexistence dans le fait que la liaison entre les messages Y reus lasortieducanaletlesmessagesXenvoyslentreeststochas-tique. Le message reu yk ne spcie que partiellement xk traversla probabilit conditionnelle p(xk/yk).Aprs rception des messages, on doit se contenter dune infor-mation mutuelle moyenne reue (cf. 1) :(14)infrieure lentropie de la source H(X).Figure 6 Arbre dHuffmanTableau 3 Tableau rcapitulatif du codage de sourceI Langage L(v, ) (alphabet de v lettres, dure unitaire ) : doit tre dchiffrable ; capacit unitaire de L : capacit globale ou puissance de L : C = 0c ; rendement du langage : 0 ; information maximale pendant T : information relle pendant T : I Source ou Systme S : M tats s1 s2 ... sk ... sm de probabilits p, pi ... pk ... pm ; entropie de source suite de N tats = MN congurations ; information I correspondant ces N tats pendant T : I = NH ; taux de la source = NH/T.I Codage ou description de S par L : critredconomie :longueurouduremoyenneminimaledes mots servant au codage 1er rsultat dapplication du critre :si nk est le nombre de lettres dun mot. 2e rsultat dapplication du critre : ou NH = CT = 0cT0 rendement propre au langage vaut 1 si lgalit de Kraft estsatisfaite (langage complet) efcacit propre au codage1er thorme de Shannon :condition sufsante pour que = 1 (ou 1)N et T 1 En particulier entier.tat ProbabilitConstruction de l'arbretage 1 2 3 4 5s10,33 0,33 0,33 0,33s20,20 0,20 0,200,38 0,380,62s30,18 0,18 0,180,29s40,13 0,130,29s50,090,16s60,071000011110D'o le code : s1 = 01s2 = 11s3 = 10s4 = 001s5 = 0001s6 = 0000c1--- v; log =cTT--- v; log =CT 0T--- v. log =pk log2pk1MH;=nkpk1Mminimal;nkpklogv log--------------- =NH CT pklogv log--------------- tat s 1 s 2 s 3 s 4 s 5 s 6 s 7 s 8 ProbabilitNombre de bits 1 2 3 4 6 6 6 6pk2nk=pk1. =1M12---14---18---116------164------164------164------164------H n v log 2sh. = =I X Y , ( ) p x y , ( )log2p x y ( )p x ( )------------------- (indices muets)yx= _____________________________________________________________________________________________________________THORIE DE LINFORMATION Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 13 I Lecanalestdfiniparlatransformationprobabiliste quilfaitsubirauxmessagesdentrecest--direparles MN probabilitsconditionnelles p ( y / x ). On a galement : (15) avec p ( x , y ) = p ( y / x ) p ( x ) p ( y / x ) sexplicite par la matrice de transition du canal : se rduit une matrice diagonale si le canal est sans bruit : p ( y k / x k ) = et une matrice colonnes identiques si Y est indpendant de X ,cest--dire si le canal ne transporte pas dinformation. Dans tous lesautres cas, on a : 4.2 Capacit du canal I Dans ces conditions, on dfinit la capacit C du canal comme lavaleurmaximaledelinformationmutuelle I ( X , Y ),lecanaltantcaractris par sa matrice: est une donne ; la distribution p ( x ) est une variable ; rechercherlacapacit C ,cesttrouverladistribution p ( x )quirend maximale I ( X , Y ), compte tenu de lexistence de. I Pour traiter la question dans sa gnralit, il faut considrer nonplus seulement les M messages dentre pris un un et tra-duits dans les N messages de sortie mais une suite de n mes-sages de type X au nombre de M n , et la suite de n messages de type Y , au nombre de N n . Les suites en cause sont des lments u et v dedeux ensembles U , V respectivement. En somme, vis--vis du canal,les ensembles X , Y lments x y sont remplacs par les ensembles U V lments u , v , plus compliqus.La capacit unitaire dans cette distribution largie des messagesscrit naturellement :Siunesuite u nestpasformedunesuitedemessages x indpendants, si le canal nest pas sans mmoire ou nest pas cons-tant,ladpendanceentrelesprobabilits p ( u , v )et p ( v / u )dunepart, et les probabilits p ( x , y ) et p ( x / y ) de lautre, devient trs com-plexe et fait intervenir des probabilits supplmentaires.Cesontdescasquenousavonsexclus.Parcontre,chercherlemaximum dune fonction I ( U , V ) relative une suite dtats indpen-dantsrevientchercherlemaximumdecettefonctionrelativechacun deux do :max I = max I ( X , Y ) = c I Ainsi le problme est ramen au cas le plus simple , celui oon ne considre que les messages X .Il faut rsoudre :avec p ( x)variableet p(x) = 1.Le cas simple dont il vient dtre question lest en thorie. En pra-tique,lesMquationsauxdrivespartiellesncessairespourrsoudre les quations prcdentes sont difciles traiter.4.3 Cas particuliersCinqcasparticuliersimportantsclairentheureusementlasituation.I 1er cas : canal uniforme lentre.La transmission est perturbe de mme manire, quel que soit lesignal lentre.est constitue dun ensemble de probabilits p1,p2 ... pi ... pN quon retrouve, permutes, dune ligne lautre.On rappelle que :I(X,Y) = H(Y) H(Y/X)avec H(Y/X) entropie conditionnelle ;Il vient alors :puisque H(Y) = log2N (messages Yquiprobables).La capacit dun canal uniforme lentre est atteinte lorsque lecodage des messages dentre donne des messages de sortie qui-probables.I 2e cas : canal uniforme la sortie.est constitue dun ensemble de probabilits p1, p2 ... pM quonretrouve, permutes dune colonne lautre.Une distribution uniforme lentre entrane une dis-tribution uniforme la sortie puisque :I 3e cas : canal doublement uniforme.Ce canal est caractris par une distribution uniforme des entreset des sorties et la capacit :I 4e cas : canal binaire symtrique.Lagure7explicitelesdonnesrelativescecanaltrsimportant.On a :C = 1 + p logp + (1 p) log(1 p)On vrie que la capacit est maximale pour p = 1 et nulle pourp = 0 ou I Le canal binaire symtrique est doublement uniforme.Capacit du canal = max. I(X,Y),matriceducanal,estunedonne,p(x),distributionlentre, est une variable.I X Y , ( ) p x y , ( )log2p y x ( )p x ( )-------------------yx=p y1x1 ( ) p y2x1 ( ) ... p yNx1 ( )p y1x2 ( ) p y2x2 ( ) ... p yNn2 ( ) p y1x ( ) p y2x ( ) ... p yNx ( )=1 k 0 I X, Y ( ) H X ( ) x X y Y, I u v , ( )n-----------------1n--- p u v , ( )log2p v u ( )p v ( )--------------------------------VU=I U V , ( )n------------------C max I X Y , ( ) p y x ( ) log2p y x ( )p y ( )-------------------YX= =H Y xk ( )kp yixk ( )log2p yixk ( )ik =pilogpipilog2pii =ik =I X,Y ( ) N log piilog2piCpi donns ( ) = + p xk( )1M----- =p yj( ) p yjxk ( ) p xk( ) cte. =k=C N log pilog2pi1N+ =p12---. =THORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 14 Techniques de lIngnieur, trait lectroniqueI 5e cas : canal 2-3.La gure 8 explicite les donnes relatives ce canal.On a I(X,Y) = H(Y) + pilog2pi.Il faut rendre H(Y) maximal.On crit :de mme :Donc p(y3) est xe, I est maximal si p(y1) = p(y2) = Ce qui est possible si :La capacit de ce canal est atteinte lorsque les deux entres sontquiprobables.Elle vaut, tous calculs faits :C = plog2p + qlog2q + (p + q) [1 log2 (p + q)]Si q = 0, x1 et x2 ne donnent contribution, respectivement, quy1 y3 ou y2 y3.Cest le canal effacement symtrique (binary erasure channel).Linformation 1 p est perdue. La capacit C vaut p.4.4 Retour sur le canal binaire symtrique : 2e thorme de Shannon I Le cas de ce type de canal (figure 9) est remarquable double titre : il est simple mais raliste. Il dcrit en effet le fonctionnementdun canal qui coule un ot rgulier de digits binaires avec un tauxderreursxedeq = 1 p,indpendantdubitconsidretdesaplace dans une squence de 0 1 ; causedesasimplicit,ilpermetdecomprendrelemca-nisme qui conduit au 2e thorme de Shannon.I Le problme est le suivant. Il faut envoyer travers le canal desmessages Miquiprobables.Miappartient lensemble de tous les messages possibles for-ms dune suite de m bits, qui sont au nombre de 2m.Si rien dautre nest fait, chaque bit reu a une probabilit p dtreexact,q = 1 pdtrefauxetsurmbitsilyauraenmoyennemqfaux, sans que personne ny puisse rien.Un message Mi envoy sera reu, en cas derreur, comme un mes-sage Mk, appartenant toujours La seule solution est de trans-former les suites de m bits plus longues de n bits reprsentant desmessages Niau nombre de 2n appartenant lensemble Le problme se prcise : il faut alors tablir une correspondancebiunivoqueentrelesM = 2mmessagesetMchoisisparmilesN = 2n messages de Lanaturedecettebijectioncaractriselecodedadaptationaucanal retenu.Quel critre de slection appliquer ?tantdonnquuneerreurdansunmessageenchange1bit,deux erreurs en changent 2 bits, etc., et que les erreurs sont, gnra-lement,dautantmoinsfrquentesquellessontnombreuses,onpressent quil faut choisir les M messages de les plus diffrentspossibles les uns des autres.Hammingaprciscelaendnissantlanotionsimplededis-tance de deux messages. Cest le nombre de bits dont ces deux mes-sages diffrent. Cest dailleurs le carr de la vraie distance mtriquede ces messages si on les reprsente par des points coordonnes0 ou 1 dans lespace n dimensions.Nota : lhyperespace des messages N est ainsi divis en cellules dordre d disjointes. UnmessagefauxMappartientforcmentlunedentreelles.Ilestnatureldestimerquilprovient de son noyau M cest--dire du message dont la distance est la plus proche.Dans ces conditions :1erreursurunmessageMdonneunmessageMdistance1de M ;2 erreurs sur un message M donnent un message M distance 2de M, etc.Si donc, dans la constellation des N messages possibles n bits,onenchoisitMladistanceminimale2d + 1lesunsdesautres,toutesleserreursjusqulordre(nombrederreursdansunmes-sage) 2 d affectant M donnent des messages nappartenant pas aucode et seront dtectes.Mais il y a plus : le choix de la distance 2 d + 1 minimale revient entourerchaquepointmessageMdunehypersphredescuritdont la surface contient tous les messages distance d de M.Chaque point message mobilise : lui-mme ; les messages distance 1 de lui ; les messages distance 2 de lui ; les messages distance d de lui.Le nombre maximal de messages M la distance minimale 2d + 1est le rapport du nombre de points total au nombre de points mobi-liss par message, soit :Figure 7 Canal binaire symtriqueFigure 8 Canal 2-3x1y1x2y2X = (x1 , x2)Y = (y1 , y2) p1 p 1 pp p1 p1 pT=x1y1x2y21 p q 1 p qy3pqqp1 p q1 p qX = (x1 , x2)Y = (y1 , y2 , y3)T=p qq pp y1( ) p y1xi ( )p xi( ) p p x1( ) qp x2( ) + = =p y2( ) q p x1( ) p p x2( ) + =p y3( ) 1 p q ( ) p x1( ) p x2( ) + [ ] = 1 p q = Cte =p q +2-------------.p x1( ) p x2( )12--- = =Figure 9 Canal binaire symtriquex0y0x1y1pp1 p = q1 p = q...Cn1Cn2CndM2nCnkod------------- - _____________________________________________________________________________________________________________THORIE DE LINFORMATIONToute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite. Techniques de lIngnieur, trait lectronique E 3 082 15Le code dtecte coup sr les erreurs jusqu lordre 2 d, il peutdtecter des erreurs dordre suprieur sauf celles qui transformentun point message en un autre.Le code peut corriger les erreurs jusqu lordre d en utilisant uncritre de proximit mais il est impossible, ce stade, dtre assurque le message faux M ne provient pas dun message plus lointain.Ilfautnoterquelesdveloppementsquiprcdentsontrepris,sous un clairage diffrent, dans le paragraphe 6.I Une question se pose. Est-il possible de trouver un code (n, m),dit code de Hamming, donc de dterminer des valeurs de n et d pourquelaprobabilitderreursurlidenticationdesmessagesmistende vers 0, m et p tant xs ?On suppose que les M messages utiles dans lensemble ont tchoisisauhasard,procdurequiassureunerpartitionrgulirequand n est grand, ainsi que Shannon la montr. Comme il y a 2nmessages possibles, dont seulement M sont utiles, la densit de cesderniers est.Onreoitunmessage Mreconnumauvais,parcequilnappar-tient pas la bonne liste, connue videmment de lmetteur commedu rcepteur.M a pu provenir de message distance 1, 2 ... np, dont le nombretotal est :Lesnptermessonttousinfrieursougaux do :Lecalculdelabornesuprieurede Lestaisenutilisantlafor-mule de Stirling :On trouve :avecp = 1 q.Un seul message parmi les L est le bon, cest--dire le vrai mes-sage dorigine. Les autres, au nombre de L 1 ne le sont pas, maiscompte tenu de la densit des messages du code, la proportion dentreeuxappartientaucode.IlyauraainsiconfusiondansOn introduit la capacit soit C = 1 + plog2p + qlog2qou encore 2nC = 2n pnp qq en levant la puissance n.On trouve Cela conduit poser que M est une fraction de 2nC :avecf (n) >> 1soit :et lentropie par bit soit :LalimiteL1tendvers0quandntendverssilui-mmetendverszro.Celaalieuquandf (n) > n1/2.AlorsH(n)Csin .Le2ethormedeShannonestvrisurcetexemple.Ilsnonce ainsi :Un codage convenable (messages utiles tirs au sort et pas tropnombreux)permetdatteindrelacapacitmaximaleavecdeserreurs tendant vers 0 lorsque la longueur des messages .Si f (n) < n1/2, il y a davantage de messages M possibles, la capa-cit est gnralement atteintemais les erreurs subsis-tent toujours.4.5 Canal bruit blanc additif et gaussien. Dmonstration de ShannonI Par ltude gomtrique de ce cas, Shannon a pu : dunepart,calculerlacapacitCducanaldoudecesproprits ; dautre part, montrer que, moyennant un codage convenable,le canal pouvait couler le dbit C avec un taux derreur aussi faibleque lon veut.La largeur de bande du canal est limite F, le signal dnergieS(T) comme le bruit B(T) peuvent, sur le temps T, tre chantillon-ns raison de N = 2TF chantillons rguliers :On a :si xi et bi sont les chantillons en cause.Cesontaussi,lescoordonnesdunpointmessageMsurlhypersphre de rayon et dun point bruit sur la petitehypersphre de rayon De fait, le bruitage transforme un message propre M en un mes-sage M : situsurlhypersphrederayon(bruitadditif) ; situ distance r de M.OnsaiteneffetquelesNcoordonnesindpendantesdubruitgaussien B(T) sont galement gaussiennes.Lavaleurlaplusprobableducarrdeleursommepourunmessagetlphoniquede10secondes,ilyadj80 000chan-tillons tend trs vite vers lnergie du bruit. On doit considrer lesboules de bruit comme dotes dun rayon xe.I Il est clair, alors, que pour tre distingus, 2 points message M1et M2situssurlhypersphrederayonRnedoiventpasdonnerlieu 2 messagesetindiscernablessurlhypersphrederayon R.La gure 10 claire la discussion en dcrivant le cas limite o et sont confondus.M1 M2 est maximal lorsque On a alors : Rr = d Rdo :M2n-------L CnkCnoCn... Cnnp+ + + =onp=Cn ... CnnpCnnpL 1 npCnnp+ x ! xxex 2x L 1nq2p-----------pnp qnq + M2n------L1M2n------ L 1 ( ) cas. =L1M2nC--------- nq2p-----------M2nCf n ( )---------- =L1p2p----------- nf n ( )----------log2Mn-----------------,H n ( )M logn--------------- Clog2f n ( )n----------------------- = =nf n ( )----------f log n ( )n-------------------- 0 S T ( ) xi21N=B T ( ) bi21N=R S T ( ) =r B T ( ). =R S B T ( ) + =M1M2M1M2M1M1 est perpendiculaire OM.dmaxS T ( )B T ( )S T ( ) B T ( ) +-------------------------------- =THORIE DE LINFORMATION_____________________________________________________________________________________________________________Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.E 3 082 16 Techniques de lIngnieur, trait lectroniqueLessphresconsidressontisotropes.Lasolutionchercheimpliqueaumoinsunedistributionrguliredespointsmessages M. On ne sait pas y procder en pratique sauf effectuerles choix au hasard comme Shannon la propos.Si lon procde ainsi, tout point message tombant lintrieurde lhypersphre de rayon det de volume ventourant Mpeut treconfondu avec lui, do erreur.On a : v = CNdNavec CN coefcient de volume que lon na pas besoin de connatre ;et V = CNRN.Laprobabilitderreurestproportionnellenombretotaldemessages qui peuvent tre distingus et v/V. On veut quelle soitinfrieure un nombre quon crit = 2.On a :comme il vient :LaquantitdinformationI(T),surletempsTlaquellecorres-pond le nombre de messages est log2 soit :La capacit C du canal vaut par consquent :(16)capacitatteinteavecuneerreuraussivoisinequonlonveutde 0.SetBsontleslimitesdeetetdonclespuissancesmoyennes du signal et du bruit.Cetexempleestainsiuneillustrationduthormefondamental(cf. 4.4).I On peut critiquer un type de dmonstration gomtrique dont ona perdu lhabitude. Ce fut nanmoins celle de Shannon et elle a lemrite de donner une vision concrte de la solution qui consiste distribuerrgulirementlespointsmessagesquirevientunedistribution au hasard !Ce paradoxe nest quapparent. On noublie pas quon opre dansun intervalle de T qui tend vers linni et que, dans ces conditions,tout se rgularise.4.6 RcapitulatifLa question de ladaptation au canal est rsume ci-aprs.5. Aperu sur le modle continuOnavu(2.4)quelemodlecontinuenmatiredinformationtait nalement irraliste, pour des raisons pratiques et des raisonsde fond.Onseborneensoulignernanmoinsquelquesapplicationsmarquantes.Lepassagedumodlediscretaumodlecontinuimplique : de remplacer les distributions de probabilit par des densitsde probabilits ; de remplacer lopration de sommation par une intgration.5.1 EntropieUne variable alatoire X, porteuse dinformation a une densit deprobabilit f (x).On lui associe lentropie :avecDe mme on aura : et les entropies conditionnelles :Linformation mutuelle :si h(x, y) est la densit de probabilit du couple XY.Figure 10 Hypersphres de ShannonRrddr0M1 M2 M2 M1' 'Hypersphre R'Hypersphre RvV----- dR---- N < =dRR-----r =