Appunti di Teoria dellinformazionedi Vincenzo Russo (vincenzo.russo@neminis.org)Indice1. Elementi di Algebra 42. Teoria dei semigruppi 53. Semigruppi e monoidi liberi 84. Teoria dei Codici 165. Teoria dellinformazione 31Bibliograa 4631. ELEMENTI DI ALGEBRA 41. Elementi di AlgebraIn questa sezione verrano presentati richiami basilari di algebra,come il con-cetto di relazione e il concetto di morsmo.1.1. Relazioni.Definition1.1. Una corrispondenzaR dellinsiemeA nellinsiemeB unqualunque sottoinsieme del prodotto cartesianoAB.Definition 1.2. Una relazione R sullinsieme A una corrispondenza di A inA, ovvero un qualunque sottoinsieme di AA. Dati x, y A, se x nella relazioneR cony scriveremoxRy.Una relazioneR pu essere:riessiva, se a A,aRasimmetrica, se a, b A,aRb =bRaantisimmetrica, se a, b A,aRb bRa =a = btransitiva, se a, b, c A,aRb bRc =aRcDefinition1.3. Unarelazionechesiaal contemporiessiva, simmetricaetransitiva detta relazione di equivalenza.Definition1.4. Una realzione che sia al contempo riessiva, antisimmetricae transitiva invece un ordinamento parziale.1.2. Omomorsmi. Un omomorsmo (o morsmo) unapplicazione tradue strutture algebriche dello stesso tipo che conserva le operazioni denite su diesse.Nel seguito di questo paragrafo considereremo come struttura algebrica desem-pio, un reticolo.Definition 1.5.Un reticolo (L, , ) un insieme L con due operazioni binariedenite su di esso: loperazione di intersezione () e loperazione di unione ()Definition1.6. SianoL eMdue reticoli. Unapplicazionef:L M unomomorsmo se f(x y) = f(x) f(y) f(x y) = f(x) f(y)Se lomomorsmo iniettivo, si chiama monomorsmo; se invece suriettivoal-lora viene detto epimorsmo. Se biettivo, lomomorsmo detto isomorsmo.SeL = Mallora parliamo di endomorsmo. Se lendomorsmo biettivo, allora chiamato automorsmo.Se c un isomorsmo da L in M, diremo che L e Msono isomor, o anche cheL isomorfo aMe scriveremoL = M.In generale, un morsmo da una strutturaA a una strutturaB ci fornisce unarappresentazione diA attraverso gli elementi diB.2. TEORIADEI SEMIGRUPPI 52. Teoria dei semigruppiDefinition 2.1. Un semigruppo un insieme con unoperazione binaria as-sociativa denita su di esso. Dato linsiemeS e loperazione , scriveremo (S, ) perindicare il semigruppo con S come insieme ecome operazione binaria associativa.E usuale indicare il semigruppo anche utilizzando soltanto la lettera dellinsieme,laddove loperazione sia chiara dal contesto o non rilevante.Definition 2.2. Un semigruppo (S, ) detto semigruppo commutativo ses, t S,st = ts.Definition 2.3. Sia (S, ) un semigruppo e sias S. Allora(1) schiamatoelementoneutro(ozero)di (S, )sexs=sx=s,x S(2) s chiamato elemento identit di (S, ) sexs = sx = x, x S(3) s chiamato idempotentess = sNon tutti i semigruppi hanno lo zero o lidentit; ad ogni modo nessun semigruppopu avere pi di uno zero o pi di unidentit (ovvero, se lidentit e/o lelementoneutro esistono, sono unici).Definition 2.4. Un monoide un semigruppo provvisto dellelemento iden-tit.Definition2.5. Se(M, )unmonoideex M, xdettoinvertibileseesiste uny Mtale chexy eyx sono uguali allidentit. Lelementoy dettoinverso dix e in genere si indica cony = x1oppurey = x.Definition2.6. Ungruppo unmonoide incui tutti gli elementi sonoinvertibili.Definition 2.7.Un semigruppo S si dice cancellativo a sinistra se s, t1, t2 S,st1 = st2=t1 = t2Definition 2.8.Un semigruppo S si dice cancellativo a destra se s, t1, t2 S,t1s = t2s =t1 = t2Definition2.9. Sia (S, ) un semigruppo. SiaT S. SeT chiuso rispettoalloperazionediS, ovvero:t1, t2 T =t1t2 Tallora (T, ) sottosemigruppo di (S, ) e scriveremoT S.2. TEORIADEI SEMIGRUPPI 6Definition 2.10.Sia un insieme di indici e sia S un semigruppo. Sia (T)una famiglia di sottosemigruppi di S, tale che , T S . Allora T=

T un sottosemigruppo diS.I sottosemigruppi sono dunque chiusi rispetto alloperazione di intersezione.Definition2.11. SiaSunsemigruppoesiaXS. Linsieme=

T S [ T X 1 ancora un sottosemigruppo ed detto sottosemigruppogenerato daX.< X> il pi piccolo sottosemigruppo che contieneX.Definition2.12. SiaSsemigruppo e siaX S, deniamoX+=X X2X3 ... Xn... ... conXn= a1a2...an [ a1 X, a2 X, ..., an XDefinition 2.13. SiaSun semigruppo e sias S. Alloras X+n :s Xn, ovvero tale ches = x1x2x3...xn .Proposition 2.14. SiaSun semigruppo e siaX S. Allora< X>= X+.Definition 2.15.Sia S un semigruppo. X S detto insieme di generatoriperSseX+=< X>= S. SeX un insieme nito, alloraSsi dice nitamentegenerato.Definition 2.16. Sia (M, ) un monoide. Sia T Me sia 1Mlidentit di M.SeT chiuso rispetto alloperazione del monoideMe se 1M T, allora (T, ) detto sottomonoide diMe scriveremoT M.Definition 2.17. SiaMun monoide e siaX M. Si denisce sottomonoidegenerato daXlinsieme< X>:< X>=

T M [ T X2< X>= 1M X X2 ... Xn ... = 1M X+Se poniamo X0= 1M, possiamo scrivere < X>=

i0 Xi= X0X+= X.Propriet degli operatori e+. X S conS semigruppo, abbiamo: X X+(estensivit)seX, Y S eX Y =X+ Y+(isotomia)(X+)+= X+(idempotenza)Definition2.18. Siano (S, ) e (T, #) due semigruppi. Unapplicazione daS aT(o viceversa) detta morsmo se u, v S,(uv) = (u)#(v).1Questa intersezione linsieme di tutti i sottosemigruppi diSche contengonoX.2Come nel casodei semigruppi, si trattadellinsieme di tutti i sottomonoidi di MchecontengonoX.2. TEORIADEI SEMIGRUPPI 7Proposition 2.19. Sia : S Tun morsmo dal semigruppo S al semigrup-poT. Allora vale quanto segue:(1) S

S = (S

)=_(s) [ s S

_ T(ovvero: limmaginedi unsottosemigruppo diSe un sottosemigruppo diT).(2) T

T =1(T

) =_s S [ (s) T

_ S(ovvero: lacontroim-magine di un sottosemigruppo diTe un sottosemigruppo diS).Definition2.20. Siano(M1, 1, 1M1) e(M2, 2, 1M2) due monoidi. Unappli-cazione daM1aM2(o viceversa) detta morsmo se s, t M1, (s 1 t) =(s) 2 (t) e(1M1) = 1M2.Definition 2.21. Sia (S, ) un semigruppo. Una relazione si dice compati-bile a destra conse3s, s1, s2 S,s1s2=s1ss2.Definition 2.22. Sia (S, ) un semigruppo. Una relazione si dice compati-bile a sinistra conse s, s1, s2 S,s1s2=ss1s2.Definition 2.23.Sia (S, ) un semigruppo. Una relazione che sia al contempocompatibile a destra e a sinistra si dice semplicemente compatibile, ovvero:s1, s2, s3, s4 S, s1s2 s3s4=s1s3s2s4Definition 2.24. Sia (S, ) un semigruppo e sia una relazione di equivalenza.Si dice che una relazione di congruenza se e solo se compatibile con .ConsideriamooralinsiemequozienteS/i cui elementi sonoleclassi diequivalenza degli elementi diS rispetto alla relazione.Ses1 S, allora(s1) = x S [ s1x la classe di equivalenza dis1; seguecheS/ = (s) [ s S.Deniamo ora loperazione come : S/ S/ S/Example2.25. Sianos1, s2 S, conSsemigruppo. Allora(s1) (s2)=(s1s2).Loperazione associativaequindi (S/, )unsemigruppo, dettosemi-gruppo quoziente di (S, ).Definition 2.26. Sia : S Tun morsmo dal semigruppo S al semigruppoT. La relazione di equivalenza inS denita comes1s2(s1) = (s2)cons1, s2 S, la relazione di equivalenza naturalmente indotta da suS.3Da questo momento in poi loperazione verr sottintesa, scrivendoab in luogo dia b.3. SEMIGRUPPI EMONOIDI LIBERI 8Proposition 2.27. Sia : S Tun morsmo dal semgriuppo S al semigrup-poT. La relazione di equivalenza indotta da suS una congruenza.Dimostrazione. Sianos1, s2, s3, s4 S: s1s2 s3s4. Perladenizio-nedi equivalenzaindotta(s1) =(s2)e(s3) =(s4), ovvero(s1)(s3) =(s2)(s4). Essendo un morsmo e per la denizione di equivalenza indotta, sipu scrivere(s1s3) =(s2s4) s1s3s2s4, che altro non che la proprietdi compatibilit. Quindi una congruenza. Definition 2.28. Sia S un semigruppo e sia una congruenza. Lapplicazioneindotta da suS lapplicazione che associa a ogni elemento diS la sua classe diequivalenza rispetto a, ovvero : S S/denita come (s1) = (s1), s1 S.risulta un epimorsmo, detto epiformismo canonico.Theorem2.29. (Teoremadi Isomorsmo)Siaunepimorsmodi SinT, conSeTsemigruppi. Consideriamo eS/, con relazione naturalmenteindottada. Alloraesisteunmorsmobiettivo(oisomorsmo)daS/inT,ovveroS/ = T(S/eTsono isomor).3. Semigruppi e monoidi liberiIn algebra, una struttura soddisfa la propriet di Fattorizzazione Unica se ognielemento pu essere scritto in modo unico come prodotto4di elementi primi.Definition3.1. (Proprietdi fattorizzazioneunica). Sia(S, ) un semigruppo e siaX S. Xsi dice base diSse verica la propriet di fattorizzazioneunica:x1, x2, ..., xh, x

1, x

2, ..., x

k Xconh, k N, sex1, ..., xh=x

1, ..., x

kallorah = k e i = 1..h, xi = x

i.Laproprietdifattorizzazioneunicagarantiscecheseunelementodi Spuessere fattorizzato come prodotto di elementi diX, tale fattorizzazione unica.Note 3.2. SeS un monoide con identit 1, allora 1/ XDefinition3.3. (Semigruppolibero). Sia(S, )unsemigruppo. Essosidice libero se esisteX S tale che:(1) S = X+(2) X un baseNote 3.4.Se (S, ) un semigruppo libero, allora esso non pu avere lelementoidendit, ovvero non pu essere un monoide.Definition3.5. (Monoidelibero). Sia(M, )unmonoide. Essosi dicelibero se esisteX Mtale che:4Il termine prodotto usato qui in senso lato. Si intende che lelemento pu essere espressoin funzione degli elementi primi tramite loperazione denita sulla struttura.3. SEMIGRUPPI EMONOIDI LIBERI 9(1) M= X(2) X una baseNote 3.6. Da quanto gi osservato nelle note precedenti, un monoide liberonon un semigruppo libero.Monoidedelleparole. Supponiamolesistenzadi uninsieme A, taleche[ A [= r, conr un valore aribitrario. CostruiamoFr(A) come linsieme di tutte lesequenze (parole) nite di elementi (lettere) diA (alfabeto), ovveroFr(A) = w [ w = a1a2...an, i = 1..nai ASeuevsonoparole, allorau=a1a2...anev=b1b2...bmconai, bjAei = 1..n ej = 1..m.La parolauv = a1a2...anb1b2...bm ottenuta tramite concatenazione delle dueparoleu ev.Loperazione di concatenazione associativa, ciou, vw Fr(A), u(vw) = (uv)wSi scriva dunque tale operazione col simbolo , allora (Fr(A), ) il semigruppodelle parole e la sua base A, tale cheFr(A) = A+.Aggiungendo al semigruppo delle parole la parola vuota , otteniamo il monoidedelle parole[Fr(A)]1= Fr(A) Nel monoide delle parole lidentit costituita dalla parola vuotau Fr(A) u = u = uOgni monoide libero generato da una base di cardinalit r isomorfo al monoidedelle parole.Proposition3.7. SiaMunmonoide(semigruppo)liberoesiaXunabaseperM. SeY uninsiemedi generatori perM, talecheM=Y (M=Y+),alloraX Y .Dimostrazione. SupponiamoperassurdocheXY . Allora x X Y ,ilcheimplicax X x/ Y . PoichX M, x X =x M; essendoYun insieme di generatori, si pu scriverex =y1y2...yred essendoXuna base perM, i = 1..r,yi = x(i)1x(i)2...x(i)ji, ovvero possiamo esprimere ogniyi come prodottodeglielementidellabase. Siavr, dunque, chex=(x(1)1...x(1)j1)...(x(r)1...x(r)jr). Xvericalafattorizzazioneunicaedessendox Xlunicapossibilitchesianor = 1 ejr= 1; abbiamo dunquex =x(1)1=y1 Y =x Y , il che ci porta aun assurdo, poich era stato suppostox X Y . Corollary3.8. Una base un insieme minimo di generatori.Corollary 3.9. Sia Mun monoide (semigruppo) libero; allora Mha ununicabase.3. SEMIGRUPPI EMONOIDI LIBERI 10Proposition 3.10. (Caratterizzazione delle basi). SiaSun semigruppo esiaXun insieme di generatori perS, tale cheS = X+. X la base diSse e solose ogni applicazione daXin un qualsiasi semigruppoT, : X T, si estendea un unico morsmo : S T.Dimostrazione. =Vogliamo dimostrare che preso un qualunque elementodiS e denito (S), x Xabbiamo che (x) = (x).Sia s S; s =x1x2...xnconxi X, i =1..ne nN. Essendo Xunabase, lafattorizzazionedi sunica. Possiamoscriveredunqueche (s)= (x1x2...xn), e poich un morsmo per denizione, (s) = (x1) (x2)... (xn).Ma poichs univocamente fattorizzabile tramite gli elementi diX, allora (s) =(x1)(x2)...(xn).= Sappiamo cheX+=S. Supponiamo[X [=r e siaA un insieme tale che[ A [=r; poichAeXhannolastessacardinalit, esisteunabiezionetraidueinsiemi, : A X. AssociamoadAil semigruppodi tutteleparolecostruitesullalfabetoA,FR(A) = A+e supponiamo inoltre che sia lestensione di taleche : S A+sia suriettiva. Dobbiamo vericare cheXsoddisfa la propriet difattorizzazione unica. Supponiamo per assurdo cheXnon soddis tale propriet,questoimplicache x1, x2, ..., xh, x

1, x

2, ..., x

k: x1x2...xh=x

1x

2...x

ke h,=koppure, equivalentemente, i : xi ,= x

i.Essendo un morsmo, (x1x2...xh) = (x

1x

2...x

k) = (x1) (x2)... (xh) = (x

1) (x

2)... (x

k). Essendo unestensionedi peripotesi, possiamoscrivere(x1)(x2)...(xh) = (x

1)(x

2)...(x

k). Supposto quindi che:___(x1) = a1 A(x2) = a2 A...(xh) = ah Ae___(x

1) = b1 A(x

2) = b2 A...(x

h) = bh Asi deveaverea1a2...ah=b1b2...bk. PoichAlabasedel semigruppodelleparolelunicapossibilit5che h=ke i =1..h, ai=bi. Inne, essendounabiezione, (xi) =(x

i) = xi=x

i, ovveroXsoddisfalaproprietdifattorizzazione unica ed perci la base. Proposition 3.11. Sia S un semigruppo libero di base X, quindi X+= S. SiaTunsemigruppoliberodibaseY ,quindi Y+=T. Supponiamoche [X [=[Y[,alloraS = T.Dimostrazione. Essendo [ X [=[ Y[alloraesisteunabiezionetraXeY , : X Y . EssendoY T, allora la biezione traXeY anche unapplicazionedaX inT. EssendoX la base diS, per la proposizione 3.10, la biezione si estendea un unico morsmo :S T. Inoltre, essendo una biezione, risulta essereun epimorsmo ( suriettiva). Bisogna dimostrare che anche iniettiva (ovveroche si tratta di un morsmo biettivo, dunque un isomorsmo).Sianos1, s2S: s1,=s2, dimostrandoche (s1) ,= (s2) dimostreremoliniettivitdel morsmo. Supponiamoperassurdoche (s1)= (s2); sapendoches1=x1x2...xhes2=x

1x

2...x

k, possiamoscrivere (s1)= (x1x2...xh)=5Altrimentisiavrebbeunaparolaconduefattorizzazionidiverse,cheimplicherebbecheAnon base, il che assurdo.3. SEMIGRUPPI EMONOIDI LIBERI 11 (x

1x

2...x

k)= (s2). Essendo unmorsmo, possiamoriscriverequestultimauguaglianza come (x1) (x2)... (xh) = (x

1) (x

2)... (x

k) e ancora, dato che unestensione di , possiamo riscriverla come (x1)(x2)...(xh) = (x

1)(x

2)...(x

k).Mai (xi) sonoelementi di Y cheunabaseper T echequindi soddisfalaproprietdi fattorizzazioneunica. Questocomportacheh=ke(xi)=(x

i)i=1..h. Questoimplica, essendounabiezione, chexi=x

i i=1..h, cheasua volta implica ches1 = s2. Questa una contraddizione, perch si era suppostos1 ,= s2. Definition3.12. (Funzionelunghezza). SiaMun monoide libero di baseA. Ogni elementow M, conw ,=, si fattorizzainunicomodomedianteglielementi di A. Lalunghezzadi w=a1a2...an(conn N, ai A i=1..n)indicato con [ w [= n e corrisponde al numero di fattori della base utilizzati perw.(Variante). Supponiamo di considerare M = [Fr(A)]1. Siaw Mconw ,= 6,alloraw si pu fattorizzare univocamente tramite gli elementi della base:w = a1a2a3...an conai A,i = 1..nn =[ w [ la lunghezza diw._ [[: A N[ a [= 1essendoM = [Fr(A)]1= A, si riduce a un unico omomorsmo[[: A N.Proposition 3.13. (Cancellativit). Ogni monoide liberoM cancellativo,ciou, w1, w2 M, seuw1 = uw2=w1 = w2 (cancellativit a sinistra)oppureu, w1, w2 M, sew1u = w2u=w1 = w2 (cancellativit a destra)Dimostrazione. Peru, w1, w2 = la dimostrazione banale:u = =w1 = w2w1 = =uw2 = u= [ u [ + [ w2 [=[ u [ =w2 = =w1 = w2w2 = =uw1 = u= [ u [ + [ w1 [=[ u [ =w1 = =w1 = w2Supponiamo allora u, w1, w2 ,= . Sia A la base del monoide M, allora abbiamou=a1a2...an, w1=b1b2...br, w2=c1c2...cs, conai, bj, ck A, i=1..n, j =1..r, k = 1..s.Abbiamo cheuw1 = uw2=a1a2...anb1b2...br = a1a2...anc1c2...cs=s =r. Inoltre, essendoA una base,bi = ci i = 1..s, ovverow1 = w2. Lemma3.14. (LemmadiLevi). SiaMmonoide libero e siaA la sua base.Sianow1, w2, w3, w4 Mtali chew1w2 = w3w4.se [ w1 [[ w3 [ allora M:_w1 = w3w2 = w4se [ w1 [h: secos fosse, ci si troverebbe, auncertopunto, conak+1...ah= (oppureah+1...ak=), cioai= per ogni i = 1..h (oi = 1..k), ilche impossibile in quantoai Ne/ N.Quindi lunica possibilit che h = k, che conclude la nostra dimostrazione. Theorem 3.21. (Teorema di Cohn). Sia Mun monoide libero e sia N M(sottomonoide),N liberom M, n N:_nm Nmn N=m N3. SEMIGRUPPI EMONOIDI LIBERI 15Il teorema di Cohn equivalente al teorema di Schtzenberger.Applicazioni del teorema di Schtzenberger.Proposition3.22. SiaMmonoideliberoesianoN Mcon sot-tomonoidi liberi di M; comunquepresi gli NabbiamocheN= Nunsottomonoinde libero diM.Dimostrazione. PerdimostrarecheNMbastautilizzareil teoremadiCohn e dimostrare quindi chem M, n1n2n3n4 N:_n1m = n2mn3 = n4=m NPer denizione,N=

N, quindin N=n N . Poich ogniN libero vale chem M, n1n2n3n4 N:_n1m = n2mn3 = n4=m Nper ogniN, quindim N e ciom

N = N- c.v.d. Questultimaproposizioneaermainsostanzachei sottomonoidi liberi sonochiusi rispetto alloperazione di intersezione.Definition3.23. SiaSunsemigruppoe Xunapartedi S(XS). SeX1X XX1 X, alloraX detta parteliberabilediS(detto semigruppostabile).In seguito a questa denizione, il teorema di Schtzenberger pu essere rifor-mulato come segue:Theorem. (TeoremadiSchtzenberger). SiaMun monoide libero e siaNun sottomonoide diM. N liberoN parte liberabile diM.Definition 3.24. Sia M un monoide libero e sia N un sottomonoide. N si diceunitario a sinistra se N1N N. Nsi dice unitario a destra se NN1 N.Definition 3.25. SiaMun monoide libero e siaNun sottomonoide. SeNunitario sia a sinistra che a destra,Nsi dice biunitario.Proposition3.26. SiaMunmonoideliberoeNMeM=A. SeNunitarioasinistraalloraNliberoelasuabaseX=(N 1) (N 1)2uninsieme presso (X XA+= ).Dimostrazione. Per ipotesi N unitario a sinistra, ovveroN1N N. Ebanale cheN1N NN1 N1N. Segue cheN1N NN1 N, ovveroNparte liberabile diM. Per il teorema di Schtzenberger,N libero. Ora resta dadimostrare cheXbase diN un insieme presso.Supponiamo per assurdo cheXnon sia presso, questo signica x1, x2 X :x1 = x2z. Se cos fosse,z N1N N=z Ne ciox1sarebbe il prodottodi elementi diN, il che assurdo in quantoX costituito da elementi irriducibili,quindiX presso. 4. TEORIADEI CODICI 164. Teoria dei CodiciS C Canale D RS detta sorgente,Ccodicatore,D decodicatore,R ricevitore.Definition 4.1.La sorgente S descritta mediante un alfabeto Y= y1, y2, ..., yhdetto alfabeto sorgente. Y un monoide libero suYe ognin Y detto mes-saggio sorgente (o messaggio in chiaro), poich Y costituisce linsieme delle parolecostruite sullalfabetoY , che anche la base del monoide liberoY .Definition 4.2. SiaA un insieme detto alfabeto dei codici e siaA il monoi-deliberosullalfabetodei codici, allorasi deniscecodicasequenzialeunmor-smo iniettivo (un monomorsmo) dallinsieme dei messaggi in chiaro allinsieme deimessaggi in codice, : Y A tale chew1, w2 Y =(w1w2) = (w1)(w2) (propriet di morsmo)w1, w2 Y , w1 ,= w2=(w1) ,= (w2) (propriet di iniettivit)Definition 4.3. Un codice suA la base di un sottomonoide libero diA.Proposition4.4. SianoY eAmonoidi liberi, siaY labasedi Y esia : Y Aun monomorsmo. Allora(Y ) =X un codice suA (o codice perA).Dimostrazione. Supponiamoperassurdoche Xnonsiauncodice; allorah, k N : x1, x2, ..., xh, x

1, x

2, ..., x

k Xex1x2...xh = x

1x

2...x

keh ,= k (oppurei : xi ,= x

i). Essendo un monomorsmo ed essendo(Y ) = XtraXeYesisteuna biezione. Dunque y1, ..., yh, y

1, ..., y

ktali che___(y1) = x1(y2) = x2...(yh) = xhe___(y

1) = x

1(y

2) = x

2...(y

k) = x

kquindi(y1)...(yh) = (y

1)...(y

k) =(y1...yh) = (y

1...y

k); poich iniettiva,alloray1...yh=y

1...y

kedessendoY unabase, hdeveessereugualeak, cheassurdo poich si suppostoh ,= k. Proposition4.5. Viceversa, seXuncodicesuAeY uninsiemechehalastessacardinalitdi X, alloraogni biezione : Y Xsi estendeaunmonomorsmo diY inA.Dimostrazione. Essendo X un codice su A, esso una base per un sottomo-noide libero di A quindi per la proposizione 3.10 a pagina 10, : Y X si estendeaununicomorsmo

: Y Xequindiancheaunmorsmo : Y AessendoX A.Resta da dimostrare liniettivit di , ovvero che si tratta di un monomorsmo,comerecitalatesi, eciochepresi w1, w2 Y : w1=y1...yh, w2=y

1...y

ke (w1) = (w2) allora deve vericarsi chew1 = w2.4. TEORIADEI CODICI 17Per le propriet dei morsmi e per il fatto che unestensione di , abbiamo (w1) =(y1...yh) = (y1)... (yh) = (y1)...(yh) (w2) =(y

1...y

k) = (y

1)... (y

k) = (y

1)...(y

k)Essendo per ipotesi una biezione, x1, ..., xh, x

1, ..., x

k Xtali che___(y1) = x1(y2) = x2...(yh) = xhe___(y

1) = x

1(y

2) = x

2...(y

k) = x

kAvendo supposto (w1) = (w2) abbiamo chex1...xh =x

1...x

ked essendoXun codice suA7, deve essereh = k exi = x

i i = 1..h; ma essendo una biezione,allora ancheyi = y

i i = 1..h e quindiw1 = w2 - c.v.d. Resti destri e resti sinistri. SiaMun monoide e siaX M.Il resto destro di primo ordine R1 = X1X ; quello di secondo dato daR2 = X1R1 R11X.Si giunge quindi al resto di ordinen, dato daRn = X1Rn1 R1n1X.Discorso simile per i resti sinistri.Il restosinistrodi primoordine L1=XX1 . Quellodi ordine nLn = XL1n1 Ln1X1.Teoremadi SardinasePatterson. IlteoremadiSardinasePattersonciconferisce la facolt di sapere se un particolare insiemeX codice in base ai suoiresti destri8. La dimostrazione di tale teorema coadiuvata da due lemmi che nelseguito saranno presentati prima della dimostrazione del teorema stesso.Lemma 4.6. SiaX A+; allora n > 0, Rn X ,= Rn+1.Dimostrazione. ( = )Rn X ,= =x : x X x Rn.Poichx Rn, per denizione diRn+1 sottraiamo adx,x stesso ottenendo.Pertanto Rn+1.(=) Rn+1=per definizione X1Rn oppure R1nX.Nel primo caso abbiamo: X1Rn=x X rn Rn : x = rn=rn = x=Rn X = Nel secondo caso: R1nX =x X rn Rn:rn =x =rn=x=Rn X = Lemma4.7. SiaX A+. n> 0 k= 1..nsihache Rnrk Rki, j N : i + j + k = n rkXi Xj,= 9Dimostrazione. La dimostrazione avviene per induzione discendente suk.Passo base (k = n).( =)Peripotesi Rnedessendok=ngli unici valori di i e j talichei + j + k=nsonoi =0ej =0; esisterquindi unrkRkRntaleche rkX0X0=rk . Si puquindi scegliere rk=ottenendocos , = e dimostrando pertanto lasserto.7QuindiX una base e quindi soddisfa la propriet di fattorizzazione unica.8Equivalentemente possono essere usati i resti sinistri, ma nel seguito si far sempre uso deiresti destri.9rkXiXjequivale a dire che datork Rkesistonox1, x2, ..., xi, x

1, x

2, ..., x

j Xtali cherkx1...xi= x

1...x

j.4. TEORIADEI CODICI 18(=)Peripotesi rk Rk Rne i, j N: i + j + k=nilcheimplica,essendok=n,chei =j=0. Avremo,quindi, rkX0 X0=rk ,==rk = = Rn, come dovevasi dimostrare.Passo di induzione.( = ) Supponiamo vera la tesi perk + 1, ovvero la nostra ipotesi induttiva Rn=rk+1 Rk+1i, j N : i + j + k + 1 = n rk+1Xi Xj,= Per denizione Rk+1 = X1RkR1kX; ci vuol dire che rk+1 X1Rk oppurerk+1 R1kXe pertantox Xrk Rk :___xrk+1 = rk(Caso 1)oppurerkrk+1 = x (Caso 2)Caso 1. Per ipotesi induttiva valerk+1x1x2...xi = x

1x

2...x

jricordando cherk+1Xi Xj,= . Moltiplicando a sinistra ambo i membri perx si ottienexrk+1x1x2...xi = xx

1x

2...x

jPoich siamo nel caso 1,xrk+1 = rke quindirkx1x2...xi = xx

1x

2...x

jQuesto signica cherkXi Xj

,= coni + j

+ k =n, rk Rk, i, j

N ej

= j + 1. Dallarbitrariet dii ej segue lasserto.Caso 2. Per ipotesi induttiva abbiamo ancora una voltark+1x1x2...xi = x

1x

2...x

jMoltiplicando a sinistra ambo i membri perrkotteniamorkrk+1x1x2...xi = rkx

1x

2...x

jTrovandoci nel caso 2,rkrk+1 = x e quindi abbiamoxx1x2...xi = rkx

1x

2...x

jQuesto signica cheXi

rkXj,= coni

+ 1 + j + k = n,rk Rk,i,

j Nei

= i + 1. Dallarbitrariet dii ej segue lasserto.(=) Supponiamo vera,ancora una volta,la tesi perk + 1,ovvero la nostraipotesi induttiva rk+1 Rk+1i, j N : i + j + k + 1 = n rk+1Xi Xj,= = RnPeripotesi inveceabbiamoche rk Rki

, j

N: rkXi

Xj

,= coni

+ j

+ k = n. Dunque abbiamorkx1x2...xi = xx

1x

2...x

j

Applichiamo ora il Lemma di Levi e consideriamo i due casi:4. TEORIADEI CODICI 191) [ x

1 [[ rk [2) [ rk [[ x

1 [Caso 1: per il lemma di Levi abbiamo_x

1 = rkpx1...xi = px

2...x

j

=p Rk+1Poniamo allorark+1 = p e otteniamork+1 Xj

1Xi

,= conk +1 +i

+j

1 = n= Rn.Per ipotesi induttiva e per larbitrariet dii ej, si giunti alla dimostrazionedellasserto.Caso 2: procedendo analogamente al caso 1, si ha che_rk = x

1ppx1...xi = x

2...x

j=p Rk+1Poniamo allorark+1 = p e otteniamork+1 Xi

Xj

1,= conk +1 +i

+j

1 = n= Rn. Theorem 4.8. (TeoremadiSardinasePatterson). SiaX A+. Xnon codice n 1 : X Rn ,= .Dimostrazione. La dimostrazione di questo teorema procedo attraverso i duelemmi precedenti. Prima si dimostrer cheXnon codice Rn,grazieallaiuto del lemma 4.7 a pagina 17e poi, grazie al lemma 4.6 a pagina 17 si arrivera dimostrare la tesi di questo teorema.Dimostriamo quindi cheXnon codice Rn.( = ). PoichXnon un codice x, y, x1, ..., xi, x

1, ..., x

jconx ,= y tali chexx1x2...xi = yx

1x

2...x

jApplicando il Lemma di Levi otteniamo due casi:1) [ x [[ y [2) [ y [[ x [Caso 1: per il lemma di Levi otteniamo_y = xpx1...xi = px

1...x

j=_p R1pXj Xi,= = (per il lemma4.7apagina 17 conk = 1) RnCaso 2: per il lemma di Levi otteniamo_x = yppx1...xi = x

1...x

j=_p R1Xj pXi,= = (per il lemma4.7apagina 17 conk = 1) Rn(=). Dato che Rn, per il lemma 4.7 a pagina 17 con k = 1, r1 R1i, j:i + j + 1 = n r1Xi Xj,= .Poichr1 R1=X1X , x, y X: xr1=y. Essendor1 ,=perdenizione di resto detro,x ,= y in quanto [ x [ + [ r1 [=[ y [, con [ r1 [ 1.Dal fatto cher1Xi Xj,= sappiamo cher1x1...xi =x

1...x

j. Moltiplicandoa sinistra ambo i membri di questa uguaglianza perx, otteniamoxr1x1...xi = xx

1...x

jAbbiamo detto chexr1 = y quindi4. TEORIADEI CODICI 20yx1...xi = xx

1...x

jPoichxr X, r = 1..i ex

s X, s = 1..jex, y X, x ,= y abbiamo trovatouna parola di X che ha due fattorizzazioni diverse. Questo implica che X non uncodice.Ora che si dimostrato cheXnon codice Rn, per il lemma 4.6 apagina 17, RnRn1 X ,= e quindi si ottiene che n 1 : Rn X ,=Xnon un codice. Definition4.9. (Susso). SiaXun insieme. Siax X. Indicheremo conSuff(x) un elementos tale che y X : ys = x.Definition4.10. (Insiemedei sussi). DatouninsiemeXindicheremoconSuff(X) linsieme dei suoi sussi, cos denitoSuff(X) = s [ x X : s = Suff(x)Proposition4.11. SiaXuninsiemeesiax X. Allora [Suff(x) [[x [+110.Teorema di Levenstein.Lemma 4.12. SiaX A+un insieme nito. Allora n 1, Rn Suff(X).Dimostrazione. La dimostrazione procede per induzione sun.Passo base (n = 1).Consideriamo un elemento arbitrario di R1; w R1x1, x2 Xconx1 ,=x2 :x1w =x2, maw susso di x2quindi w Suff(X).Dallarbitrarietdi wseguechecivaleperogni elementodi R1, quindi R1 Suff(X).Passo di induzione (n > 1). Si supponga vera lipotesi pern; dimostreremoche la tesi vera anche pern + 1.Consideriamounaribitrarioelemento wRn+1; per denizione, Rn+1=X1Rn R1nX=x X rn Rn tali che1)xw = rn2)rnw = xNel secondo caso, w susso dix Xil che implica chew Suff(X). Nelcaso 1 w susso di rn Rn che per ipotesi induttiva suso di una parola di X.Questo implica ancora una volta chew Suff(X). Dallarbitrariet di wsegueche ci vale per ogni elemento diRn+1, quindiRn+1 Suff(X). Lemma4.13. SiaX A+uninsiemenito. SiaN=Card(X)esiaL=maxxX [ x [. Allora vale la seguete disuguaglianzaCard(Suff(X)) (NL) + 1Dimostrazione. Card(Suff(X)) = Card(

xX Suff(x))Per la proposizione 4.11 sappiamo cheSuff(x) [ x [ +1.Abbiamo dunque cheCard(

xX Suff(x))

xX [ x [ +1 (NL) + 111.10Il +1dopo per considerare la parola vuota.11Il +1 fuori dalla sommatoria poich la parola vuota va conteggiata una e una sola volta.4. TEORIADEI CODICI 21Lultimo passaggio possibile poich la somma delle lunghezze di tutte le paroledi un insieme sicuramente maggiorabile con Nvolte la lunghezza della parola pilunga nellinsiemeXdi cardinalitN.Pertanto,Card(Suff(X)) (NL) + 1. Theorem 4.14. (Teorema di Levenstein). SiaX A+e siaXun insiemenito. AlloraX codice n, 1 n (NL) + 1Rn X = .Dimostrazione. ( = )X codice per ipotesi. Per il teorema di Sardinas ePatterson12( 4.8 a pagina 19) lasserto segue banalmente.(=) Supponiamo per assurdo cheXnon sia un codice. Allora per il teoremadi Sardinas e Patterson n 1 : Rn X ,= . Sen (NL) + 1, allora si avrebbeuna contraddizione, poich per ipotesiRn X = pern (NL) + 1. Pertanto sisuppone che n > (NL) +1 e tra tutti gli n che soddisfano tale condizione scegliamoil pi piccolo, ovvero min n [ n > (NL) + 1 Rn X ,= . Poich si suppostoRn X ,= , alloraRn contiene almeno un elemento.Siarn Rn=rn1 Rn1 e xn1 Xtali che_xn1rn = rn1rn1rn = xn1e quindi rn1 Rn1 e xn2 Xe rn2 Rn2 tali che_xn2rn1 = rn2rn2rn1 = xn2e cos via no ad arrivare ai resti del primo ordine dove si avr_x1r2 = r1r1r2 = x1Si cos mostrato che per ognii n esisteRi non vuoto.Avendo garantito lesistenza degli insiemiRi, si pu creare una successione diresti destri r1r2...rn e di parole x1x2...xn tali che ri Ri e xi X per ogni i = 1..ne_xiri+1 = ririri+1 = xiPoichogni insiemeRicon1 i nnonvuotoen>(NL) + 1, allora

ni=1 Ri ,= , poichaltrimenti sarebbeverocheCard(

ni=1 Ri) >NL + 1, maciassurdoperchperil lemma4.12nellapaginaprecedentesi hache i, 1 i nRiSuff(X) = ni=1 RiSuff(X) equindi Card(

ni=1 Ri) Card(Suff(X)) (NL) +1. Questultimo passaggio giusticato dal lemma 4.13nella pagina precedente.Assodato, dunque, che ni=1 Ri ,= , allora esistonoi, j N tali che 1 i0:Rn X = . Applicando loperatore logico allintera formulazione si ottiene ovviamente che X codice se e soltanto se n > 0Rn X= .4. TEORIADEI CODICI 22=rj+2 Ri+2rj+3 Ri+3...rj+nj Ri+njSiam =i + n j=n (j i). Abbiamo dunquerj+nj=rn Rme si quindi trovato un elementorntale chern Rn rn Rme cio un altro indicem 0(Xn) = [(X)]n.Dimostrazione. Peripotesi Xuncodice, alloraperlaproposizione4.18XXnnon ambiguo e si pu quindi scrivere(X)(Xn) =(XXn) essendo DB.Procediamo ora per induzione sun.Passo base (n = 1). n = 1 =(X) = [(X)]1- banale.Passo di induzione.Supponiamo lipotesi vera per n e dimostriamo la stessapern + 1.(Xn+1) = (XXn) = (X)(Xn) =per ipotesi induttiva(X)[(X)]n= [(X)]n+1- c.v.d. Proposition4.28. SiaXA+esia DB. Se DBP, (Xn) =[(X)]n,(X) < +, alloraX un codice.Dimostrazione. Per dimostrare cheX un codice, bisogna mostrare che nXXnnonambiguo. Ricordandoche (XY ) =(X)(Y ) XY nonambiguo, possiamo mostrare che(XXn) = (X)(Xn):(XXn) = (Xn+1) =per ipotesi [(X)]n+1= (X)[(X)]n= (X)(Xn).Ora ci resta da mostrare che(XXn) < +:(XXn) = (Xn+1) = [(X)]n+1< , essendo(X) < + per ipotesi.Segue cheX codice. Proposition 4.29. SiaA un alfabeto. Allora n 0 DB,(An) = 1.Dimostrazione. (An) = [(A)]nma essendo(A) = 1 in quanto DB,allora si ha [(A)]n= [1]n= 1 Theorem4.30. (TeoremadiKraft-McMillangeneralizzato). SiaXuncodice suA. Allora DB,(X) 1.Dimostrazione. (Caso di Xnito). SeX nito, possibile prendereL = max [ x [: x Xe inoltre sappiamo cheX A A2 ... AL=L_i=1Ai4. TEORIADEI CODICI 25La lunghezza delle parole suX limitata danL e cioXnnL_i=1Aiovverolaparolapilungachepossibileottenerecostituitadanvoltelaconcatenazione della parola di lunghezzaL, quindi(Xn) (nL_i=1Ai) nL

i=1(Ai)Per la proposizione 4.29 la precedente uguale anL

i=11 = nLovvero(Xn) nL = [(X)]nnL = (X) n1/nL1/n, quindi(X) limn+ n1/nL1/n= 1.(Casodi Xinnito). ConsideriamoXk= x X :[ x [ k; ogni Xk Xcodice13nito, il che implica, da quanto dimostrato sinora, che(Xk) 1. PoichXk Xk+1 si ha che (Xk) (Xk+1) 1. Si crea cos una successione monotonacrescente a termini non negativi e pertanto valelimk+(Xk) 1Sapendo cheX = X1 (X2X1) (X3X2) ... Xi+1Xi) ... = X1 n_i=1(Xi+1Xi)passando alle probabilit si ottiene(X) = (X1) ++

i=1(Xi+1Xi)ma(Xi+1Xi) = (Xi+1) (Xi), perci sostituendo nella precedente(X) = (X1) ++

i=1(Xi+1) (Xi) = (X1) + limn+n

i=1(Xi+1) (Xi)Sviluppando la sommatoria otteniamo(Xn+1) (Xn) + (Xn) (Xn1) + ... + (X2) (X1) = (Xn+1) (X1)quindi(X) = (X1)+limn+[(Xn+1)(X1)] = (X1)(X1)+limn+(Xn+1) = limn+(Xn+1) 1

13Si osservi che seX un codice eY XalloraY anchesso un codice.4. TEORIADEI CODICI 26Completezza e massimalit.Definition4.31. SiaXun codice suA. X massimale se per ogni altroYcodice suA si ha cheX Y =X = Y .Proposition 4.32. SiaXun codice suA e sia DBP. Se(X) = 1 alloraX massimale.Dimostrazione. Per ipotesi (X) = 1. SiaYun altro codice suA e si sup-pongaX Y , allora(Y ) =(X) + (Y X) = 1 + (Y X). Essendo DBP,(Y X)> 0,quindi (Y X) + 1> 1,che assurdo,quindi X=Y ,ovveroXmassimale. Definition 4.33. Sia X A. X densof Au, v A : ufv X,cioAfA X ,= .Proposition 4.34. SeX denso e DBPallora(X) < +.Proposition 4.35. SeX un codice regolare, alloraX non denso.Proposition 4.36. SiaX A. SeX denso, alloraX completo.Lemma4.37. (Lemmadi Lyndon-Schtzenberger). Sianof, g A+eh Atali chefh =hg;allora , Ae n N tali chef= eg = eh = ()n.Dimostrazione. La dimostrazione procede per induzione su [ h [.Passo base. [ h [= 0 =h = e quindif= g; allora poniamo = ,n = 0e = f= g.Passo di induzione.Si supponga vera la tesi per unh di una determinata lunghezza.Per ipotesi abbiamofh = hg e possono vericarsi, come sempre, due casi1) [ f [[ h [2) [ h [>[ f [Caso 1. Per il Lemma di Levi ( 3.14 a pagina 11): p A : f= hp =fh =hph=hg = hph=g = ph.Dato cheph = g, basta scegliere = h, = p,n = 0.Caso2. Per il lemma di Levi z A: h =fz. Siaz=h

con [ h

[0einoltre(A)=+quindiricordandochewAw PwXSw, possiamo scrivere+ = (w1Aw) = (w2)(A) (PwXSw) = (Pw)(X)(Sw)Essendo DBP edessendo Pwe Swdegli insiemeniti, si hannoduecondizioni importanti:1)(Pw) > 0 e(Sw) > 02)(Pw)(Sw) < +Di conseguenza la relazione precedente vera se e solo se (X) = +, quindi+ = (X) = (+_n=0Xn) +

n=0(Xn) =+

n=0(X)nAnch la serie diverga deve valere(X) 1. - c.v.d - Theorem 4.39. (Secondo Teorema di Schtzenberger). SiaXun codicesuA.1) SeX un codice massimale, alloraX completo.2) SeX un codice completo e non denso, alloraX massimale.Dimostrazione. (1). Supponiamo per assurdo che X non sia completo, alloraf A : AfA X = . Si facciano due ulteriori ipotesi:a)Card(A) > 1b)f una parola primaria, ciof ,= uvu conu ,= eu, v ASiaY= X f dovef, ribadiamo, la parola che non si completa inX.La dimostrazione prosegue in questo modo: si cerca di dimostrare cheY uncodice ottenendo ogni volta un assurdo contraddicendo lipotesi di fcome parolachenonsicompletainX. Cisignicachenonesistealcunaparolachenonsicompleta inX, quindiX completo.Vogliamo dunque dimostrare cheY un codice e supponiamo per assurdo cheYnon lo sia aatto; allora y1, ..., yh, y

1, ..., y

ktali chey1 ,=y

1, y1...yh =y

1...y

keyi, y

j Y, i = 1..h, j = 1..k.Lunico elemento in Yche non in X la parola f. Dunque si possono vericaretre casi:1)fnon si trova n a sinistra n a destra delluguaglianzay1...yh = y

1...y

k2)foccorre solo a sinistra o solo a destra delluguaglianza;3)foccorre sia a sinistra sia a destra delluguaglianza, anche pi volte.Caso1. QuestasituazioneimplicherebbecheXnonuncodice, cheunacontraddizione;4. TEORIADEI CODICI 28Figura1. a) Sottocaso 1; b) Sottocaso 2.Caso2. Sefoccorresoloasinistra, nellapartedestradellauguaglianzacisono soltanto elementi diX; questo implica che iy

i Xe quindi si hay1..yi1fyi+1...yh = y

1...y

kcony1..yi1 = u A,yi+1...yh = v Aey

1...y

k = x X, abbiamo quindiufv X. Questa una contraddizione in quanto per ipotesi f la parola che nonsi completa inX.In modo analogo si mostra il sottocaso difche occorre solo a destra.Caso3. Laparolaf occorresiaasinistrasiaadestra. Isoliamoleprimeoccorrenze difin modo che tutte le lettere che precedonofappartengono aXy1..yi1fyi+1...yh = y

1...x

j1fy

j+1...y

kcony1..yi1=u X, yi+1...yh=q Y , y

1...y

j1=v Xey

j+1...y

k=p Y , quindiufq = vfpA questo punto possiamo avere due sottocasi.Sottocaso 1. [ v [[ uf [ (o analogamente [ u [[ vf [)Per il Lemma di Levi segue che : uf = v che implica che AfAX ,= ;ci assurdo in quanto per ipotesifnon si completa.Sottocaso2. Lafsi accavalla, ovvero abbiamof=f1 = f2da cui, per illemma di Lyndon-Schtzenberger ( 4.37 a pagina 26) , A e n N tali che4. TEORIADEI CODICI 29f1 =, f2 = e =f3 = ()n. Questo implica chef=f1 =()n,maf primaria, quindi deveessere=. Alloraf1==f2e=()n;ciimplicachef =()nmaessendof primaria, abbiamon=0inquantofnonpuiniziareenirecon ,=. Segueche=, ovverochenoncalcunaccavallamento tra lefe quindi il sottocaso in questione non pu vericarsi.Aquestopuntocambiamolipotesi b)esupponiamochefnonsiaprimaria.Allora possiamo costruire g = fb|f| tale che b A sia diversa dalla prima lettera dif14. La parolag quindi costruita in modo che:i)sefnon si completa inX allorag non si completa inX .ii)g primariaSi usa la dimostrazione precedente con il codiceX g.Dimostraiamo lai): seg si completasse inX allora u, v A tale cheugv X=ufb|f|v X=fsi completa inX.Dimostraimolaii): gprimariaperchsenonlofosse u, v Atali cheg=uvu ma per costruzione ci non possibile, poich la primau inizia con unaletteradiversadabelasecondau,percostruzione,puiniziareapartiredade-straconunaletteradiversadabsolodopo [ f [ lettere. Cisignicherebbeche[ udx [>[ f [ = [ usx [ + [ u [ + [ udx [> 2 [ f [>[ g [ =usxvudx ,= g.(2).PerilteoremadiKraft-McMillan(4.30apagina24)abbiamocheXcodice=(X) 1. Per la proposizione di Marcus-Schtzenberger ( 4.38 a pagina 26)abbiamo cheXnon denso =(X) 1.Quindi (X) = 1 e per la proposizione 4.32 a pagina 26, X codice massimale.

Definition 4.40. Sianof, g A,fsi dice coniugatag (f(g) se u, v A :f= uv g = vu.La coniugazione una relazione di equivalenza suA.Proposition 4.41. SiaXun codice non denso. Le seguenti aermazioni sonoequivalenti:1)X completo2) DBP,(X) = 13) DBP:(X) = 14)X massimaleDimostrazione. Per dimostrare la proposizione basta dimostrare che 1) =2) =3) =4) =1).1) =2). Xnondensoecompleto. Perlaproposizione4.38apagina26questo implica che DBP, (X) 1. Il fatto cheX codice, invece, implica(per il teorema di Kraft-McMillan), che DBP, (X) 1.Per tanto, DBP, (X) = 1.2) =3). Banale.3) =4). Per la proposizione 4.32 a pagina 26.4) =1). Il fatto cheXsia un codice non denso e massimale implica, per ilteorema di Sctzenberger ( 4.39 a pagina 27), cheX completo. 14Esempio: siaf= wxyze siab = w, allorag= wxyzbbbb.4. TEORIADEI CODICI 30Proposition4.42. Sia Tlafamigliadi tutti i codici suA, T= X,coninsiemedi indici. Allora Tpossiedelaproprietdi Zorn: , X X+1=Y=

X un codice.Dimostrazione. Dobbiamo dimostrare cheY un codice, ovvero cheyi, y

i Y: y1...yh = y

1...y

k=_h = ki = 1..h, yi = y

iOgni y apparterraunelementodellafamiglia, ovvero yi, y

iX: yiX y

i X. ConsideriamoX= max_X : i : yi X y

i X_, alloraXcontiene tutte gliyi e gliy

ipoichX il massimom rispetto alla catena di inclu-sione. MaX un codice (soddisfa la propriet di fattorizzazione unica), dunquei, yi = y

ieh = k - c.v.d. Proposition 4.43. SiaXun codice suA. AlloraXha un completamento seesisteYcodice massimale suA tale cheX Y .Corollary4.44. Sia XuncodicesuA. Se Xmassimale, allora Xcompletamento di se stesso.Problem 4.45. SiaXun codice. Esiste sempre un completamenteo diX?Problem 4.46.Sias X un codice nito. Esiste sempre un completamento nitodiX?Problem4.47. Esiste un algoritmo in grando di decidere se un codice nitoha un completamento nito?Definition 4.48. (Ordine lessicograco).u lexvsev uAoppure_u = hXv = hY conh A, x, y A, , Aex < yExample. fatto lexfattore lexfattorinoDefinition 4.49. (Ordine militare).u milv se [ u [ 0ovvero il costo minore di quello di0 , il che ci porta a un assurdo. Definition5.6. SiaS = [Y, p] una sorgente, il codiceXadattato aSsi diceottimale perS se qualsiasi altro codiceZadattato aS ha costo maggiore, ovveroZ, C(Z) C(X)Nel seguito dimostreremo che:(1) esiste sempre un codice presso ottimale(2) seCard(Y ) = 2 eX ottimale perS alloraX massimaleEntropia di una sorgente. Shannon denisce come la misura della quantitdi informazione media associata a un risultato casuale. La base del logaritmo origi-nariamente utilizzata da Shannon fu quella naturale, tuttavia oggi di uso comunelabase2inquantoconsentediotteneredeirisultatipichiari(inparticolare, ilvalore di entropia ottenuta misurato in bit).Nel seguito sar utilizzata la base classica scelta da Shannon.Definition5.7. Adogni sorgente Sassociataunaquantit H(S) dettaentropia della sorgenteSH(S) =

yYp(y) ln1p(y)=

yYp(y) ln(p(y))15Per la proposizione 3.10 a pagina 10 la biezione : Y X si estende ad un unico morsmo : Y A.5. TEORIADELLINFORMAZIONE 33In generale lentropia di un sistema stocastico una misura di quanto questosistema sia dierente da uno deterministico.Lentropia verica le seguenti propriet:(1) H(S) 0;(a) H(S) = 0y0 : p(y0) = 1 p(y) = 0, y ,= y0 (determinismo)(2) H(S) ln(n) conn = Card(Y );(a) H(S) = ln(n) y Y, p(y) =1n(tutte le lettere sono equipro-babili =massimo indeterminismo)Diseguaglianza di Gibbs.Proposition5.8. SianopeqduedistribuzionediBernoullisuY talicheqsia positiva. Allora si ha che

yYp(y) ln1p(y)

yYp(y) ln1q(y)Luguglianza vericata solo se y Y, p(y) = q(y).Dimostrazione. Supponiamo inizialmente che anchep sia positiva. Facendola dierenza tra primo e secondo membro della diseguaglianza, otteniamo

yYp(y)(ln1p(y) ln1q(y)) =

yYp(y)(ln q(y)p(y))Dalle propriet dei logaritmi sappiamo che ln(x) x 1, quindiln(q(y)p(y)) q(y)p(y) 1Sostituendo questultima allinterno della precedente, otteniamo

yYp(y)(ln q(y)p(y))

yYp(y)(q(y)p(y) 1) =

yY(q(y) p(y)) = 1 1 = 0quindi

yYp(y)(ln q(y)p(y)) 0Luguaglianza si verica quando

yYp(y)(ln q(y)p(y)) =

yYp(y)(q(y)p(y) 1)e questo accade se e solo se y Y, q(y) = p(y).Ora vediamo cosa accade se non si fanno ipotesi restrittive sup. Innanzituttodobbiamo eettuare le somme per quei valori diy tali chep(y) ,= 0 e per comodi-t indicheremo la sommatoria che esclude automaticamente tali valori,ovvero

yY

yY :p(y)=0. A questo punto procediamo come in precedenza, eettuandoal dierenza tra le due somme5. TEORIADELLINFORMAZIONE 34

yYp(y) ln1p(y)

yYp(y) ln1q(y)=

yYp(y) ln q(y)p(y)

yY(q(y) p(y)) 0Lultimo passaggio giusticato da quanto segue.Essendop DBeq DBP, per entrambe deve valere16che yYp(y) = 1e yYq(y)=1. Perquantoriguardapvaleancora yY p(y)=1poichglielementiyesclusi sono quelli per cuip(y) = 0 e pertanto non inciano il risultatodellasomma; il discorsodiversoper qdove yY q(y) 1, datochequnadistribuzionedi Bernoulli positivaelesclusionedei gicitati elementi inciailrisultato nale della somma.Si conclude quindi che

yYp(y)(ln1p(y))

yYp(y)(ln1q(y))e, ancoraunavolta, luguaglianzasi vericaseesoltantose y Y, p(y)=q(y). Propriet dellentropia. Abbiamo gi enunciato precedentemente le proprie-t dellentropia; ci accingeremo ora alla loro dimostrazione.Proposition 5.9. H(S) 0.Dimostrazione. H(S) =0 yYp(y)(ln1p(y)) =0 p(y) =0 p(y) = 1. Essendop DBallora yYp(y) = 1 e quindi y Y: p(y) = 1 ey Y: y ,= y, p(y) = 0; in tutti gli altri casi y Y, p(y) < 1 =H(S) > 0. Proposition 5.10. H(S) ln(n), conn = Card(Y ).Dimostrazione. ScegliamoqDBPtaleche yY, q(y) =1n. Perladiseguaglianza di Gibbs otteniamoH(S) =

yYp(y) ln1p(y)

y Yln11/n=

yYp(y) ln n = ln n

yYp(y) = ln nquindiH(S) ln n. Theorem5.11. (TeoremadiShannon). SiaS= [Y, p]unasorgenteesiaXun codice suA adattato aS. Detto il morsmo di codica, alloraC(X, ) H(S)ln dcond = Card(A)Potendo sempre scegliere tale cheC(X, ) = C(X) allora, equivalentemente,vale ancheC(X) H(S)ln d16Vedere denizione 4.19 a pagina 225. TEORIADELLINFORMAZIONE 35Il valore minimo raggiunto se e solo se il codiceX massimale e in tal casoy Y, p(y) = d|(y)|.Dimostrazione. Siaq DBPtale cheq(y) =d|(y)|

yYd|(y)|conq(y) DB.Il denominatore, come si pu notare, non dipende dal parametro, ma costantee lo poniamo, pertanto, uguale ad =

yYd|(y)|e quindi riscrivoq(y) come segueq(y) =d|(y)|Per la diseguaglianza di Gibbs,H(S) =

yYp(y) ln1p(y)

yYp(y) ln1q(y)ma avendo denitoq(y), la diseguaglianza sopra diventaH(S) =

yYp(y) ln1p(y)

yYp(y) lnd|(y)|==

yYp(y)(ln ln d|(y)| ==

yYp(y)(ln + [ (y) [ ln d) =per eln d costanti= ln

yYp(y) + ln d

yY[ (y) [ p(y)Per denizioneC(X, ) =

yY[ (y) [ p(y)mentre come abbiamo visto

yYp(y) = 1quindiH(S) ln + ln dC(X, ) ==H(S)ln dln ln d+ C(X, ) ==H(S)ln d ln ln d C(X, )5. TEORIADELLINFORMAZIONE 36Poich =

yYd|(y)| =

yYd|x| per dis. kraftmcmillan 1, allora ln d 0; questo implica a sua volta che ln ln d 0 e quindiH(S)ln d C(X, ).Per avere lugualianza deve accadere chep qeln = 0 = 1 (X) = 1X massimale. Il teorema di Shannon dimostra che la funzione costo ha un valore minimo inH(S)ln dchevieneraggiuntoseesoloseilcodicemassimale. Inpiciforniscelaforma della distribuzione di probabilit.Definition 5.12. SiaX A+, alloraX un codice presso seX XA+= X un codice susso seX A+X = X un codice bipresso se sia presso che sussoX un codice uniforme se k > 0 : X AkDefinition 5.13. Xcodice presso =X unitario a sinistra.Definition 5.14. (Ordinamento pressale). SiaA nito, allorau pv (presso di) se h A : v = uh (oppurev uA oppurevA uA)u sv (susso di) se h A : v = huv Auu fv (fattore di) se h, k A : v = hukv AuATali ordinamenti sono relazioni dordine parziale; inoltre p transitiva.Definition5.15. (Relazionediricoprimento). u[ fi [. Quindi i :[ fi [< min [ x [: x X. Qui la derivazione destra non pucontinuare e avremo:(3 =1) Supponiamo per assurdo cheXnon sia massimale. Questo implicache f: X f = Y codice.Per la 3) allora esiste p A tale che fp X ovvero fp = x1...xn con xi X.Per il lemma di Levi possiamo avere due casi: o fpresso di x1 o x1 presso di f.In entrambi i casi si otterebbe cheX f non pu essere presso, che assurdo.(1 =4) Per ipotesi X presso massimale. Supponiamo per assurdo chelalfabeto che lo rappresenta non sia completo. Allora costruiamo un nuovo codiceaggiungendoil ramochemanca. Il nuovocodiceincluderil precedenteesarpresso; questoimplicherebbecheXnonpressomassimale, raggiungendounassurdo.(4 =2) Se lalbero completo, lunica possibilit perwA che si trovi suun ramo o nel sottoalbero generato da un nodo. Definition 5.21. Un codice presso nito nitamente completabile.Proposition 5.22. Sia X un codice presso non denso. Le seguenti condizionisono equivalenti:1)X massimale come presso5. TEORIADELLINFORMAZIONE 38Figura32)X completo a destra (f AfA X ,= )3)X completo (f AAfA X ,= )4) DBP(X) = 15) DBP:(X) = 16)X massimale come codiceDimostrazione. (1 =2)Gidimostratonellaproposizione5.20apagi-na 36.(2 =3) Banale. (A ,fw = x1...xn ew esiste per la 2))(3 =4) Per il teorema di Kraft-McMillan ( 4.30 a pagina 24),essendoXcodice si ha che(X) 1. Dalla proposizione 4.38 a pagina 26, essendoXcodicenon denso e completo si ha che(X) 1. Ergo, DBP(X) = 1.(4 =5) Banale.(5 =6) Per la proposizione 4.32 a pagina 26.(6 =1) SeX massimale come codice alloraX massimale come presso.

Theorem 5.23. (TeoremadiKraft). Siaf: N N una qualsiasi funzionetalechef(0) = 0e n0 f(n)dn 1conduninteromaggioredizero. AlloraesistesempreuncodicepressoXsuunalfabetoAdicardinalitdconfunzionedi strutturaf, ovverofX f.Dimostrazione. Sappiamoche n0 f(n)dn1, quindi ssato>0possiamo scrivere

n=0f(n)dn 1 =f()d+1

n=0f(n)dn 1 == f()d 1 1

n=0f(n)dn=f() d1

n=0f(n)dn5. TEORIADELLINFORMAZIONE 39Figura4Poniamov() = d1

n=0f(n)dne scriviamo pi compattamentef() v()Dimostriamo ora chev( + 1) = d[v() f()].v( + 1) = d+1

n=0f(n)d+1n= d(d

n=0f(n)dn) == d(d1

n=0f(n)dnf()d) = d(v() f())Adesso consideriamo lalberod-ario per costruire il codice pressoXtale chefX=f. Sappiamo chef(1) v(1) =d. Possiamo scegliere allora di potaref(1)nodi. Dai nodi rimanenti (v(1) f(1)) si dipartonod(v(1) f(1)) = v(2) gli. Diquesti ne possiamo potaref(2) v(2). I nodi che restano a un livello sono pressiperi nodi del livellosuccessivo. Iterandoil processosi costruisceunalberocherappresenta un codice presso avente la seguente struttura:fX(1) = f(1)fX(2) = f(2)...

5. TEORIADELLINFORMAZIONE 40Il teorema di Kraft ci dice che data una qualsiasi funzione tale che soddis ladiseguaglianzadi Kraft-McMillan(4apagina23), possibiletrovareuncodicepresso che abbia proprio quella funzione come funzione di struttura.Corollary 5.24.Sia X un codice su un alfabeto A di cardinalit d > 0. Alloraesiste un codice pressoY suA tale che ha la stessa distribuzione delle lunghezze(fX fY ).Dimostrazione. Se X un codice su A e d = Card(A), allora per la disegue-glianza di Kraft-McMillan abbiamo

n0fX(n)dn 1efX(0) = 0 poich / X. Pertanto,in seguito al teorema di Kraft ( 5.23 apagina 38), esiste un codice pressoYtale chefY fX

Proposition5.25. SiaS=[Y, p] unasorgentedi informazione. PerognicodiceXsuA cond = card(A) esiste sempre un codice pressoZ tale cheC(X) =C(Z).Dimostrazione. Per il corollario 5.24 esiste Z tale che fX= fZ. Si pu alloracostruire un morsmo : X Zin modo che[ x [=[ (x) [con(x) ZPer denizione di costo abbiamoC(X) =

xXp(x) [ x [=

xXp(x) [ (x) [=

z(X)p(z) [ z [= C(Z)

Corollary5.26. EsistesempreuncodicepressoottimaleperlasorgenteS = [Y, p].Proposition5.27. SiaXuncodicesuunalfabetoaduelettereesiaessoottimale per la sorgenteS = [Y, p]. AlloraX massimale.Dimostrazione. Per la proposizione 5.25, esiste un codiceY2presso, il cuicosto C(Y2) = C(X) e quindi Y2 ottimale. Lalbero rappresentante Y2 completo.Se per assurdo lalbero non fosse completo, essendo un albero binario, esisterebbeun nodo con un solo glio. Tale nodo pu essere eliminato e si otterrebbe un codicecon un costo minore, il che porterebbe a un assurdo, poichY2 ottimale.Essendo lalbero completo, inoltre, per la proposizione 5.20 a pagina 36, Y2presso massimale. In aggiunta,Y2 ha la stessa distribuzione delle lunghezze di X,ed essendoY2 massimale, si ha:

n0fY2(n)dn= 1 =

n0fX(n)dn= 1 =Xmassimale

5. TEORIADELLINFORMAZIONE 41Proposition 5.28. SiaS = [Y, p] una sorgente di informazione. Allora esistesempre un codice pressoZsuA tale cheH(S)ln d C(Z) logd1p(y) 1 =dlogd1p(y) dl(y)== p(y) dl(y)y Y =

yYdl(y)

yYp(y) = 1Rifacendoci al teorema di Kraft, possiamo scrivere

yYdl(y)come la sommadi unalunghezzaper dn, quindi esisteuncodicepresso Zchehaparoledilunghezzal(y1), ..., l(yn).Torniamo ora alla disequazionelogd1p(y) l(y) < logd1p(y) + 1e moltiplichiamo perp(y) ottenendop(y) logd1p(y) p(y)l(y) < p(y) logd1p(y) + p(y)Se sommiamo rispetto ay otteniamo

yYp(y) logd1p(y)

yYp(y)l(y)