Che cos’è la teoria Che cos’è la teoria dell’informazione ... · Viene introdotto un modello di un sistema di comunicazione in ... (decodifica). Mauro De Sanctis ... La teoria

Che cos’è la teoria Che cos’è la teoria dell’informazionedell’informazione??

� E’ una teoria matematica che tratta l’aspetto “simbolico”

dell’informazione

� La teoria dell’informazione ha origine nel 1948 con la

pubblicazione da parte di C. E. Shannon di “A Mathematical

theory of Communication”

Mauro De Sanctis – corso di Informazione e Codifica – Università di Roma Tor Vergata

1

theory of Communication”

� Inizia un approccio quantitativo alla nozione di informazione

� Viene introdotto un modello di un sistema di comunicazione in

cui compare una sorgente di informazione ed una di rumore

Che cos’è la teoria Che cos’è la teoria della codifica?della codifica?

� E’ nata con la teoria dell’informazione.

� E’ una teoria matematica che tratta il processo di

rappresentazione dell’informazione in un dato formato (codifica)

ed il processo inverso di recupero dell’informazione nel suo

formato originario (decodifica).


2

formato originario (decodifica).

� La teoria della codifica fa uso della teoria dei numeri e

dell’algebra astratta.

Modello generale di un sistema di Modello generale di un sistema di comunicazione/memorizzazionecomunicazione/memorizzazione


3

Sistema di comunicazione Sistema di comunicazione ddigitaleigitale

� L’obiettivo di ogni sistema di comunicazione è:“La riproduzione di un messaggio emesso da una sorgente nel luogo dove l’utente dell’informazione è ubicato”

� La distanza tra sorgente e utente può essere:- CONSIDEREVOLE (come nel caso delle trasmissioni

intercontinentali)


4

intercontinentali)- MOLTO PICCOLA (come nella memorizzazione e recupero di dati usando l’unità disco di un computer)

S DSorgente Destinazione

Informazione

Messaggio astratto

Segnale fisico

Sistema di comunicazione Sistema di comunicazione ddigitaleigitale

� Il canale di comunicazione permette il trasporto dell’informazione attraverso l’utilizzo di tre risorse:

- Potenza

- Banda

- Tempo

� I dispositivi di comunicazione permettono di inviare l’informazione attraverso il canale sfruttando le seguenti risorse:

- Potenza di funzionamento (assorbita per calcoli, amplificazione,


5

- Potenza di funzionamento (assorbita per calcoli, amplificazione,

memorizzazione,…)

- Memoria

- Complessità

- Peso

� Le risorse del canale e dei dispositivi devono essere utilizzate nel modo più efficiente possibile. Esistono vari compromessi tra risorse.

nodo (dispositivo)

collegamento

Rete di telecomunicazioniRete di telecomunicazioni


6

Pila Protocollare

� L'Open Systems Interconnection (o modello OSI) è uno standard per reti di calcolatori proposto nel 1978 dall'International Organization for Standardization(ISO).

Codifica di sorgente e codifica

crittografica


7

Codifica di canale e modulazione

Sorgenti discrete stazionarieSorgenti discrete stazionarie


8

Sorgenti discrete stazionarieSorgenti discrete stazionarie

Sorgenti e messaggi informativiSorgenti e messaggi informativi

� Come misurare la “quantità d’informazione” emessa da una sorgente?

� L’uscita di una sorgente (il messaggio) consiste in una sequenza di simboli scelti in un insieme finito


9

una sequenza di simboli scelti in un insieme finito (l’alfabeto di sorgente)

� Un meccanismo probabilistico regola l’emissione di simboli consecutivi nel messaggio


� Messaggi diversi in genere trasportano quantità diverse di informazione

Si deve definire per la sorgente una quantità d’informazione media (ENTROPIA)


10

� l’unità di misura dell’informazione è il bit, che corrisponde all’informazione associata all’emissione di uno tra i due simboli equiprobabili

� l’entropia della sorgente rappresenta il minimo numero medio di simboli binari (digit) che è necessario per rappresentare ogni simbolo del messaggio

(ENTROPIA)


• L’uscita della sorgente può dunque essere sostituita da

una stringa di simboli binari che trasportano la stessa

quantità di informazione ed hanno un numero medio di digit

per simbolo della sorgente originaria vicino quanto

desiderato all’entropia della sorgente


11

• Il canale di comunicazione è il mezzo fisico usato per

connettere la sorgente d’informazione con il suo utente


• I canali discreti senza memoriacanali discreti senza memoria sono specificati da una legge probabilistica che lega i simboli dell’alfabeto di ingresso al canale ai simboli dell’alfabeto d’uscita al canale stesso


12

• Un punto importante è la conoscenza del massimo flusso di informazione media che può attraversare il canale in modo affidabile: si arriva così alla definizione di capacità di canale ed al problema di calcolarla


Il teorema della “codifica di canale” collega i concetti di

entropia di una sorgente e capacità di un canale, stabilendo

cosa significhi “trasmissione affidabile” e indicando come

ottenerla


13

ottenerla

Variabili aleatorie e processi stocastici

� L’ingresso e l’uscita di uno qualsiasi dei blocchi di un sistema di comunicazione digitale può essere modellizzatotramite una variabile aleatoria o, più in generale, un processo stocastico.

� Se il sistema è senza memoria è sufficiente utilizzare come modello una variabile aleatoria.

� Si consideri un esperimento stocastico in cui ω rappresenta


� Si consideri un esperimento stocastico in cui ω rappresenta il risultato di una determinata osservazione; ω viene anche detto campione. L’insieme costituito da tutti i campioni ω è detto spazio dei campioni.

� Una variabile aleatoria X(ω) è un numero reale che viene assegnato ad ogni risultato ω di un esperimento stocastico.

� Analogamente una variabile aleatoria X(ω) è una funzione misurabile che mappa lo spazio dei campioni nell’insieme dei numeri reali.

Sorgenti discrete senza memoriaSorgenti discrete senza memoria

Alfabeto: insieme formato da NX simboli:

Messaggio: è una sequenza finita o semi-infinita di simboli dell’alfabeto.

SORGENTE DISCRETA STOCASTICA:

{ } XN

iixA1=

=


15

SORGENTE DISCRETA STOCASTICA:

Una sorgente discreta senza memoria è modellizzabile come

una variabile aleatoria discreta X a valori in A.

Una sorgente discreta è un dispositivo che emette messaggi

attraverso la selezione di simboli dell’alfabeto A, secondo una

assegnata massa di probabilità:

)( ii xPp ={ } XN

iip1=

Definiamo il contenuto informativo (autoinformazione) legato

all’evento elementare X=xi come:

a = base del logaritmo,

determina l’unità di misura di

a=e ( )xI

( )

=

i

aip

xI1

log ( )ixI∆

Misura dell’Misura dell’autoinformazioneautoinformazione


16

Se a=e (base del logaritmo naturale), si misura in nat

Se a=2 allora si misura in bit (binary unit)

In tal caso si ha:

e la corretta identificazione di uno tra due simboli equiprobabili

porta una quantità d’informazione unitaria. Nel seguito si assume

implicitamente a=2.

( )ixI

( )ixI

( ) ( ) 12log221 === xIxI

Proprietà dell’Proprietà dell’autoinformazioneautoinformazione

� L’autoinformazione è una funzione continua di P(X=xi).

(P1)

�

(P2)

)( ixI

0se0)(,0)( ==≥ jjj pxIexI


17

� L’autoinformazione associata al simbolo i-esimo

dell’alfabeto di sorgente è legata alla incertezza riguardo la sua

emissione (maggiore incertezza => maggiore informazione):

(P3)

)( ixI

ijij ppxIxI <> se)()(

Proprietà dell’Proprietà dell’autoinformazioneautoinformazione


18

� L’autoinformazione associata all’emissione di due simboli

indipendenti è la somma delle due autoinformazioni:

(P4))()(),(allora)()(),(Se jijijiji xIxIxxIxPxPxxP +==

� Partendo dalla definizione di e calcolandone il valore

atteso, si può caratterizzare la variabile aleatoria X che

modellizza la sorgente tramite la quantità:

( )ixI

Misura dell’informazione:Misura dell’informazione:ENTROPIAENTROPIA dell’alfabeto di sorgentedell’alfabeto di sorgente

( ) ( ){ } ( ) ∑∑∆

===

xx N

i

N

iiip

pxIpxIEXH1

log


19

� H(X) è chiamata ENTROPIA di sorgente e, per come è

definita, indica il contenuto informativo medio di X.

� H(X) si misura in bit/simbolo

� Utilizzeremo all’occorrenza la notazione:

( ) ( ){ } ( ) ∑∑==

===i i

i

i

iiip

pxIpxIEXH11

log

),...,,()( 21 XX NN pppHXH∆

=

� Continuità: l’informazione media associata alla variabile

aleatoria X è una funzione continua della massa di probabilità pk

della variabile aleatoria X. (P1)

)(XH

Proprietà dell’informazione media (entropia)Proprietà dell’informazione media (entropia)


20

� Non negatività: (P2)0)( ≥XH

� Espandibilità:

(P3)


)0,,...,,(),...,,( 21121 XXXX NNNN pppHpppH +=


21

� Massimalità:

(P4)

≤

XXX

NNNNNN

HpppHXXX

1,...,

1,

1),...,,( 21

� Monotonicità:

(P5)


+++<

+

1

1,...,

1

1,

1

11,...,

1,

11

XXX

N

XXX

NNNN

HNNN

HXX


22

� Concavità: è una funzione concava.

(P6)

),...,,( 21 XX NN pppH

Nel seguito verrà utilizzata la convenzione:

00log0 =⋅ a

Che è una conseguenza del fatto che:



23

Che è una conseguenza del fatto che:

0loglim0

=⋅+→

xx ax

Esempio 1.1Esempio 1.1

� Entropia per il caso NX = 2, con probabilità generiche:

si calcola cosi’:

1

pqppp −=== 121 e

2


24

)(1

1log)1(

1log)(

22

2

pHp

p

ppXH

∆

=

−−+

+

=


� Entropia di un alfabeto di sorgente composto da NX = 4 simboli

aventi le probabilità:

p1 = 1/2, p2 = 1/4, p3 = p4 = 1/8

si calcola cosi’:

obit/simbol75.18log8

124log

4

12log

2

1)( 222 =⋅++=XH


25

� Entropia nel caso di alfabeto di sorgente con NX simboli

equiprobabili, per NX generico

si calcola cosi’:

obit/simbol75.18log8

24log4

2log2

)( 222 =⋅++=XH

∑=

==XN

i

XX

X

NNN

XH1

22 loglog1

)(

Sia X la variabile aleatoria associata al lancio di un dado non truccato. Calcolare l’entropia di X.

Soluzione:La variabile aleatoria X ha distribuzione di probabilità uniforme con:

1



26

simbolobitp

pXHi

N

i i

i /58.22ln

6ln6log6log

6

11log)( 2

6

1

2

1

====

= ∑∑

==

6,...,2,1,6

1== ipi

ricordando la formula del cambio di base per i logaritmi:

a

xx

b

ba

log

loglog =

Limiti dell'EntropiaLimiti dell'Entropia

Le proprietà (P2) e (P4) possono essere riscritte definendo i limiti per

l’entropia:

0 ≤≤≤≤ H(X) ≤≤≤≤ log NX

In particolare si ha H(X) = 0 se esiste k tale che pk=1.

Inoltre si ha H(X) = log N , se X è una variabile aleatoria discreta


27

Inoltre si ha H(X) = log NX, se X è una variabile aleatoria discreta

uniformemente distribuita, cioè pk=1/NX.

Infatti:

∑∑∑===

=−

=−

XXX N

k Xk

k

N

k

Xk

N

k k

kXNp

pNpp

pNXH111

1loglog

1loglog)(

:differenzalaoutilizzande,1 e 11

:chericordando11

== ∑∑==

XX N

k

k

N

k X

pN

Limiti dell'Entropia Limiti dell'Entropia -- cont.cont.

,0per,1ln >−≤ yyyUtilizziamo: che diventa uguaglianza per y=0


28

Uguaglianza se:

ovvero: (simboli equiprobabili)

11

=XNp

k

X

kN

p1

=

Interpretazione del termine Bit

� bit (binary unit): unità di misura dell'informazione. Può averequalsiasi valore reale non negativo. Nel passato era indicato come"binit".

� bit (binary digit): indica una variabile discreta (binaria) che può averedue soli valori possibili comunemente indicati con "0" e "1". Puòavere soltanto valori interi che stanno ad indicare quante variabilibinarie vengono utilizzate. Nel passato era indicato come "bigit".


binarie vengono utilizzate. Nel passato era indicato come "bigit".

� Dall'esempio 1.1 si vede come una sorgente binaria (che emette deibinary digit) ha un contenuto medio di informazione H(X) pari ad 1bit/simbolo (binary unit) se e solo se i due simboli "0" ed "1" sonoequiprobabili. Allo stesso modo, il contenuto di informazione I(x1) delsingolo evento x1=0 è pari ad 1 bit se e solo se P(x1)=1/2.

Libri di Testo

� Ernestina Cianca, Mauro De Sanctis, Marina Ruggieri, “Information

and Coding: Theory Overview, Design, Applications and Exercices”,

ARACNE editrice, Italy, ISBN 978–88–548–1170–6, May 2007.

� R. G. Gallager, “Information Theory and Reliable Communication”,

John Wiley & Sons, New York, 1968.

� Andrew J. Viterbi, Jim K. Omura, “Principles of Digital


� Andrew J. Viterbi, Jim K. Omura, “Principles of Digital

Communication and Coding”, McGraw-Hill, 1979.

� T. M. Cover, J. A. Thomas, “Elements of Information Theory”, John

Wiley & Sons, New York, 1991.

� Steven Roman, “Coding and Information Theory”, Springer, New

York, 1992.

Riferimenti

� Harry Nyquist, “Certain Factors Affecting Telegraph Speed”, The

Bell System Technical Journal, April 1924.

� Harry Nyquist, “Certain Topics in Telegraph Transmission

Theory”, A.I.E.E. Transactions, vol. 47, April 1928.

� R. V. L. Hartley, “Transmission of Information”, The Bell System

Technical Journal, vol. 3, pp. 535-564, July 1928.

� Claude E. Shannon, “A Mathematical Theory of Communication”,


� Claude E. Shannon, “A Mathematical Theory of Communication”,

The Bell System Technical Journal, vol. 27, pp. 379-423 and pp.

623-656, July - October 1948.

� Claude E. Shannon, “Communication Theory of Secrecy

Systems”, The Bell System Technical Journal, vol. 28, pp. 656-715,

October 1949.

� R. W. Hamming, Error Detecting and Error Correcting Codes”,

The Bell System Technical Journal, vol. 29, 1950.

Documents

Che cos’è la teoria Che cos’è la teoria dell’informazione ... · Viene introdotto un modello di un sistema di comunicazione in ... (decodifica). Mauro De Sanctis ... La teoria