Embed Size (px)
Citation preview
1
Facoltà di Ingegneria
Appunti dalle lezioni del corso di
Teoria dell’informazione e codici
Prof. Alessandro NERI
Anno accademico 2008-2009
2
TEORIA DELL'INFORMAZIONE
Problema fondamentale della comunicazione:
Riprodurre in un punto, in modo esatto o approssimato, un messaggio selezionato
in un altro punto
Obiettivo
Provare, per mezzo della teoria dei processi ergodici, teoremi fondamentali sulla
codificazione dell'informazione trasmessa (in cui l'entropia gioca un ruolo
essenziale)
La misura dell'informazione è
1. Un'indicazione della libertà di scelta che una sorgente è in grado di esercitare
nel selezionare un messaggio
2. Un'indicazione del grado di incertezza di un osservatore nei riguardi del
messaggio che sarà emesso
3
Codifica a blocchi
Data una sorgente discreta S0, siano:
x[n]: una realizzazione costituita da una successione indefinita di caratteri
appartenenti all'alfabeto di sorgente A ad L determinazioni
A=(a1, a2, …, aj, …aL)
xk: sequenza di k caratteri successivi
4
Codifica a blocchi A(k) : l'alfabeto estensione di ordine k di A
A(k) =(b1, b2, …, bj, …bLk)
i cui elementi sono le Lk differenti sequenze di k caratteri ciascuno appartenente ad
A, cioè
bj =(aj1, aj2
, …, ajn , … ajk
)
Si applichi ad x[n] una codificazione a blocchi (k; M) a lunghezza di parola non
necessariamente costante tale che a ciascun carattere bj di A(k) faccia corrispondere
una stringa di nj caratteri del nuovo alfabeto ad M simboli
C =(c1, c2, …, cj, …cM)
5
Codifica a blocchi
carattere PA(a) Codice I Codice II Codice III a1 1/2 1 0 0 a2 1/4 00 10 01 a3 1/8 01 110 011 a4 1/8 10 111 111
Codici:
univocamente decodificabili Trasformazione invertibile
istantaneamente decodificabili l'inversione può essere effettuata in tempo reale
senza dover attendere gli altri caratteri della
sequenza.
Regola del prefisso: Un codice risulta univocamente istantaneamente
decodificabile se non esiste nessuna parola di codice che coincida interamente
con l'inizio di parole di codice di lunghezza maggiore.
6
ENTROPIA
Obiettivo
cercare di assegnare le parole di codice di lunghezza più brevi alle
sequenze di caratteri d'ingresso più frequenti
esempio: codice MORSE
Definizione
Indicata con PB(bj) la probabilità associata al carattere bj, il valore atteso
del numero di caratteri di C che corrispondono a xk vale:
7
ENTROPIA
Ciò posto, si definisce Entropia H della sorgente la quantità
al variare in tutti i modi possibili del sistema di codificazione a blocchi,
purché biunivocamente decodificabile.
8
ENTROPIA (cont.)
Teorema
(1)
Dal teorema discende che una serie di approssimazioni per H può essere
ottenuta a partire dalla conoscenza delle proprietà statistiche di sequenze
di 1, 2, …, k simboli
La base del logaritmo che compare nella (1) determina l'unità di misura
per l'entropia.
Per M=2 l'entropia si misura in [bit/simbolo]
Per M=e l'entropia si misura in [nat/simbolo]
9
Sorgente ergodica senza memoria
Poiché per tale sorgente:
PB(bj)=PA(aj1, aj2, …, ajn , … ajk)=
si ha:
10
Sorgente ergodica senza memoria quindi una sorgente senza memoria presenta una entropia pari a:
11
Sorgente ergodica senza memoria
Sorgente binaria posto
PA(a1)=P; PA(a2)=1-P
per l'entropia di tale sorgente si ha:
12
Sorgente ergodica senza memoria
Teorema: L'entropia di una sorgente senza memoria soddisfa la
diseguaglianza:
con uguaglianza quando i simboli sono equiprobabili.
Dim.: poiché
13
Sorgente ergodica senza memoria
si ha:
.
D’altro canto,
,
pertanto si ha:
c.d.d.
14
Diseguaglianza di KRAFT Teorema (diseguaglianza di Kraft): Dato un codice istantaneamente
decodificabile definito sull’alfabeto C ad M simboli, le lunghezze delle
parole di codice deve soddisfare la condizione
Di converso, per ogni insieme di lunghezze ni che soddisfano la precedente
condizione esiste almeno un codice istantaneamente decodificabile con le
predette lunghezze di codice.
15
Diseguaglianza di KRAFT
Si osservi che un
codice a blocco
istantaneamente
decodificabile può
essere rappresentato da
un un albero M-ario in
cui ogni nodo ha M
figli.
c1
c2
cj
cM
rad
c1
cM
c1
cj
cj
c1
cM
c1
cM
c1
cM
c1
cM
c1
cM
cM
c1
cj
cM
16
Ogni ramo dell’albero rappresenta un carattere di C mentre ogni foglia
rappresenta una parola di codice. Il cammino dalla radice alla foglia definisce
la parola di codice. La regola del prefisso è automaticamente verificata poiché
ogni nodo che corrisponde ad una parola di codice è una foglia da cui, pertanto,
non si sviluppano altri sottoalberi.
• Sia nmax la lunghezza maggiore.
• Considerati i nodi al livello nmax, alcuni di essi rappresenteranno parole di
codice, altri corrisponderanno a discendenti di parole di codice.
• Una parola di lunghezza ni ha discendenti a livello nmax.
Poiché i sottoinsiemi costituiti dai discendenti delle parole di codice sono
disgiunti si ha
17
Ovvero
q.e.d.
18
OTTIMIZZAZIONE DELLE LUNGHEZZE La minimizzazione di EB{n} deve tenere in conto la diseguaglianza di Kraft. A
tale scopo si può ricorrere alla tecnica dei moltiplicatori di Lagrange.
Pertanto, indicando con λ il moltiplicatore di Lagrange, possiamo imporre la
minimizzazione del funzionale
e risolvere parametricamente il problema secondo le tecniche consuete.
Pertanto, imponiamo
Da cui si ottiene
19
Il valore del moltiplicatore può essere determinato imponendo il rispetto del
vincolo, ovvero della diseguaglianza di Kraft:
Da cui segue che
e quindi, poiché le lunghezze devono essere numeri interi
Ovvero, indicando con il più piccolo intero
20
Poiché
si ha
Per una sorgente senza memoria pertanto
21
Codificatore di Huffman (1952) Procedura per M=2
Passo 1 Si ordinino gli Lk simboli bj
secondo valori non crescenti delle
loro probabilità e si indichi con
{d(n)} la sequenza così riordinata di
D simboli
Passo 2 Si raggruppino gli ultimi due
simboli d(D) e d(D-1) in un simbolo
equivalente con probabilità
P[d(D)]+P[d(D-1)]
Passo 3 Posto D=D-1 si ripetano i passi 1 e
2 finché non rimanga un unico
simbolo
22
Codificatore di Huffman
All’albero binario di figura costruito secondo l’algoritmo di Huffman corrisponde il codice seguente
carattere Codifica P(bj) log2 [P(bj)]-1 nj a1 00 0.36 1,47 2 a2 010 0.14 2,84 3 a3 011 0.13 2,94 3 a4 100 0.12 3,06 3 a5 101 0.10 3,32 3 a6 110 0.09 3,47 3 a7 1110 0.04 4,64 4 a8 1111 0.02 5,64 4
L’entropia della sorgente vale H=2,62 bit/simbolo
La lunghezza media del codice vale pertanto EB[n]=2x0.36+3x0.14+3x0.13+3x0.12+3x0.10+3x0.09+4x0.04+4x0.02= =2.7 bit/simbolo
23
Codificatore di Huffman
• Per alfabeti di sorgente di dimensione ridotta una codifica efficiente
richiede valori di k relativamente elevati.
• Uno degli svantaggi del codificatore di Huffman è che la soluzione relativa
a blocchi di dimensione k non può essere dedotta a partire da quella
relativa a blocchi di dimensione k-1.
o Il codificatore di Huffman richiede infatti il calcolo completo delle
probabilità di tutte le possibili sequenze di lunghezza k e la costruzione
dell’albero relativo.
• Più adatti appaiono gli schemi di codifica che consentono l’estensione a
lunghezze di blocco via via crescenti di soluzioni relative a lunghezze di
blocco inferiori.
24
Codifica di Shannon-Fano-Elias
L’insieme delle lunghezze soddisfa la diseguaglianza di
Kraft e può essere impiegato per costruire un codice univocamente
decodificabile.
A questo scopo si può fare ricorso al metodo di Shannon-Fano-Elias basato
sulla funzione di distribuzione di probabilità.
Consideriamo, inizialmente, per semplicità una sorgente discreta senza
memoria, tale che per ogni possibile carattere .
Come è noto, nel caso di sorgente discreta la funzione di distribuzione è una
funzione costante a tratti.
25
Inoltre
Oltre alla funzione di distribuzione nel seguito è conveniente fare riferimento
alla funzione di distribuzione modificata definita come segue:
26
• Poiché le probabilità sono tutte positive, se si ha che
e quindi se conosciamo possiamo determinare x.
• Quindi può essere impiegato per codificare x.
• In generale è un numero reale e la sua rappresentazione richiede un
numero infinito di bit.
a1 a2 aL aj
1
27
• Indichiamo con l’approssimazione di basata su l(x) bit
per cui si ha
•
• Se
Si ha che
•
28
E quindi cade all’interno del salto corrispondente ad x e consente
di identificarlo correttamente.
29
Poiché per rappresentare x viene impiegato un numero di bit pari a
La lunghezza attesa del codice vale:
30
Codifica aritmetica
• Elemento essenziale della codifica aritmetica è il calcolo efficiente della
funzione di probabilità e della funzione di distribuzione
• In particolare indicando con la sottosequenza
• Per codificare il carattere successivo emesso dalla sorgente occorre
calcolare
e
A partire dai valori e calcolati al passo precedente.
31
• Riferendoci per semplicità di notazione al caso binario, si ha che per il
calcolo della funzione di distribuzione in x, in linea di principio
occorrerebbe sommare le probabilità relative a tutte le foglie dell’albero
che cadono a sinistra di x.
• In alternativa è però possibile sommare le probabilità dei sottoalberi
disgiunti a sinistra di x calcolati direttamente, passo dopo passo.
x
T1 T2
32
L’algoritmo base può schematizzato come segue:
1. Si inizializza l’intervallo corrente a [0..1].
2. Per ogni carattere della sequenza:
2.1. Si suddivide l’intervallo corrente in sottointervalli, uno per ciascun
simbolo dell’alfabeto. L’ampiezza di ciascun sottointervallo è
proporzionale alla probabilità (stimata) che il carattere corrente sia
uguale al simbolo corrispondente all’intervallo.
2.2. Si seleziona come intervallo corrente il sottointervallo
corrispondente al carattere corrente.
33
La lunghezza finale dell’intervallo corrente è uguale al prodotto P delle
probabilità dei singoli caratteri che compongono la sequenza.
Esempio. Codifica della sequenza bbb a partire dalla conoscenza delle
probabilità
Pa=0.4
Pb=0.5
Peof=0.1
34
Intervallo
corrente
Azione a b EOF Ingresso
[0.000,1.000] dividi [0.000,0.400] [0.400,0.900] [0.900,1.000] b
[0.400,0.900] dividi [0.400,0.600] [0.600,0.850] [0.850,0.900] b
[0.600,0.850] dividi [0.600,0.700] [0.700,0.825] [0.825,0.850] b
[0.700,0.825] dividi [0.700,0.750] [0.750,0.812] [0.812,0.825] eof
[0.812,0.825]
0.0 0.4 0.9 1.0 a b eof
a a
a
b b b
1101000
35
L’intervallo finale, senza approssimazioni, è [0.812,0.825], che è approssimato
dalla seguente rappresentazione binaria:
[0.11010000, 0.11010011]
L’intervallo può quindi essere identificato trasmettendo 1101000.
Si osservi che la probabilità della sequenza considerata vale
P=(0.5)3(0.1)=0.0125. Pertanto –logP=6.322, mentre la versione approssimata
del codificatore aritmetico impiega 7 cifre binarie.
36
Decodifica aritmetica Il decodificatore opera a partire dal valore x che rappresenta un punto
dell’intervallo [0,1].
• Supponiamo, per semplicità, che il decodificatore conosca la lunghezza N
della sequenza da decodificare, codificata e trasmessa separatamente. In
alternativa può essere impiegato un ulteriore carattere di fine sequenza
(eof)
• Si inizializza l’intervallo corrente a [0..1].
• Per ciascuno degli N caratteri da decodificare:
o Si suddivide l’intervallo corrente in sottointervalli, uno per ciascun
simbolo dell’alfabeto. L’ampiezza di ciascun sottointervallo è
proporzionale alla probabilità (stimata) che il carattere corrente sia
uguale al simbolo corrispondente all’intervallo.
37
o Si selezione il carattere corrispondente al sottointervallo in cui cade il
valore x e si tale sottointervallo come intervallo corrente
0
0
0
1
1
1
1
0.0 1.0
38
Codifica universale
• Consideriamo, senza perdita di generalità, una sorgente senza memoria.
L’algoritmo di Huffmann consente di costruire un codice la cui efficienza
raggiunge, al crescere della dimensione k del blocco, il valore teorico
corrispondente all’entropia H della sorgente.
• La procedura presuppone la conoscenza della funzione di probabilità
PB(bj)=PA(aj1, aj2, …, ajn , … ajk)
che caratterizza la sorgente.
• Se in fase di progetto del codice, si commette un errore nella valutazione
della funzione di probabilità della sorgente, esso si ripercuote sul codice e
quindi sulle prestazioni.
• In particolare sia
39
o PA(a): la funzione di probabilità corretta
o QA(a): la funzione di probabilità assunta nel progetto del codice
Per un’assegnata lunghezza k del blocco, il codice costruito a partire da
QB(bj)=QA(aj1, aj2, …, ajn , … ajk)
avrà parole di lunghezza pari a
Poiché la probabilità corretta PB(bj) il valore atteso del numero di simboli
impiegato per codificare un simbolo emesso dalla sorgente varrà
40
Quindi
Ovvero un errore nella valutazione iniziale del modello probabilistico della
sorgente si traduce in un aumento ΔH del numero medio di caratteri necessari
per codificare un simbolo emesso dalla sorgente pari a:
41
Algoritmo di Lempel-Ziv
Appartiene alla classe dei codificatori di sorgente universali (É progettato in
modo da essere indipendente dalla statistica dell'ingresso)
1. La sequenza d'ingresso é scomposta in blocchi di lunghezza variabile, chiamati
frasi.
2. Ogni volta che un blocco di lettere differisce da uno dei blocchi precedenti per
l'ultima lettera esso viene inserito nel dizionario.
3. Tutte le frasi sono riportate nel dizionario unitamente all'informazione sulle
locazioni in cui ciascuna frase compare.
4. nel codificare quindi una nuova frase, l'algoritmo registra nel dizionario la
locazione da cui essa inizia e la nuova lettera.
42
Algoritmo di Lempel-Ziv
Es.:
10101101001001110101000011001110101100011011
scomposizione in frasi
1,0,10,11,01,00,100,111,010,1000,011,001,110,101,10001,1011
43
Algoritmo di Lempel-Ziv 10101101001001110101000011001110101100011011
Dizionario
Locazione del dizionario
Contenuto del dizionario
Parola di codice
1 0001 1 00001 2 0010 0 00000 3 0011 10 00010 4 0100 11 00011 5 0101 01 00101 6 0110 00 00100 7 0111 100 00110 8 1000 111 01001 9 1001 010 01010 10 1010 1000 01110 11 1011 011 01011 12 1100 001 01101 13 1101 110 01000 14 1110 101 00111 15 1111 10001 10101 16 1011 11101
44
Algoritmo di Lempel-Ziv
Le parole di codice sono determinate concatenando la locazione (in binario)
del dizionario che contiene la frase precedente che coincide sino al
penultimo carattere con quella da codificare, ed il nuovo carattere.
La locazione 0000 é impiegata per fare riferimento alla frase nulla.
45
46
Canale di comunicazione
Canale:
É da considerarsi come una trasformazione (dallo spazio dei messaggi in ingresso allo spazio
dei messaggi in uscita) con corrispondenze non rigide ma probabilistiche fra ogni messaggio
possibile in ingresso ed ogni messaggio possibile in uscita (operatore stocastico)
L'operatore é descritto dalla funzione di probabilità della variabile del messaggio d'uscita
condizionata a quella del messaggio d'ingresso
CANALE ai bj
47
Canale stazionario (o permanente) senza memoria
Caratteristiche: Invariante nel tempo L'azione sul messaggio in transito si esplica simbolo per simbolo (trasformazione passo-
passo) É descritto dalla Matrice di Canale
b1 b2 … bj … bM a1 PB/A(b1/a1) PB/A(b2/a1) … PB/A(bj/a1) … PB/A(bM/a1) a2 PB/A(b1/a2) PB/A(b2/a2) … PB/A(bj/a2) … PB/A(bM/a2) … … … … … … … ai PB/A(b1/ai) PB/A(b2/ai) … PB/A(bj/ai) … PB/A(bM/ai) … … … … … … … aL PB/A(b1/aL) PB/A(b2/aL) … PB/A(bj/aL) … PB/A(bM/aL)
CANALE ai bj
b1
b2
bj
bM
a1
a2
ai
aL
PB/A(bj/ai)
48
Tasso di informazione mutua
Prima di osservare il simbolo in uscita dal canale lo stato di conoscenza di un osservatore
circa i risultati possibili é rappresentabile con
{PA(ai), i=1,…,L}
Dopo la ricezione del simbolo bj lo stato di conoscenza di un osservatore é rappresentabile da
{PA/B(ai/bj), i=1,…,L}
L'osservatore esterno é in grado di osservare sia ciò che é emesso dalla sorgente, sia ciò che é
emesso dal canale (con errori dovuti al rumore).
49
L'osservatore nota gli errori e trasmette le eventuali correzioni sul canale ideale
Avendo osservato bj l'osservatore esterno può ricorrere ad una codifica per gli ai che richiede
un numero medio di binit per simbolo pari a:
Il modo più efficiente di operare per l'osservatore consiste nel:
1. predisporre M codici, uno per ogni possibile valore ricevuto bj in base alle PA/B(ai/bj)
2. usare il codice corrispondente al simbolo ricevuto per inviare s
3. ul canale di correzione la codifica del simbolo ai emesso dalla sorgente.
50
I codici utilizzati dall'osservatore devono essere necessariamente istantanei.
51
Equivocazione H(A/B) del canale
Def. numero medio di binit necessari all'osservatore esterno per
rappresentare il simbolo di ingresso, ovvero per inviare la correzione
(1)
Nel caso di canale ideale l'osservazione all'uscita del canale é perfetta e
quindi
PA/B(ai/bj= aj) =δij,
52
Equivocazione H(A/B) del canale
in tal caso, coerentemente con il fatto che in tal caso l'osservatore non ha
necessità di inviare alcuna correzione, l'eq. (1) fornisce un valore nullo per
l'equivocazione.
53
Tasso di informazione mutua
Poiché l'insieme (canale+osservatore esterno) si comporta come un canale
ideale, é naturale dire che
il complesso fornisce una quantità di informazione media per simbolo
pari alla entropia della sorgente H(A)
l'osservatore deve fornire, per inviare le correzioni, una quantità di
informazione media pari alla equivocazione H(A/B)
e quindi l'osservazione di un simbolo all'uscita del canale fornisce una
quantità di informazione media per simbolo pari a
I(A;B)= H(A)- H(A/B)
54
Tasso di informazione mutua
La quantità I(A;B) prende il nome di TASSO DI INFORMAZIONE (MUTUA) del
canale e può essere calcolata come segue
55
Tasso di informazione mutua
Ricordando che si può verificare che
con il segno di eguaglianza se e solo se
PA,B(ai,bj)= PA(ai) PB(bj)
ovvero
l'informazione media ricevuta attraverso un canale é sempre non negativa
la sola situazione in cui l'informazione é nulla é rappresentata dal caso in
cui i simboli di ingesso e di uscita sono indipendenti.
56
Entropia congiunta Def.: Si definisce Entropia congiunta H(A,B) la quantità
♦ Il tasso di informazione si può quindi esprimere come segue:
I(A;B) = H(A)- H(A/B) =
= H(B)- H(B/A) =
= H(A) + H(B) - H(A,B)
57
Capacità di canale ♦ Obiettivo:
caratterizzare le potenzialità del canale prescindendo dalla distribuzione di
probabilità della sorgente a cui il canale é connesso.
♦ Definizioni:
• CAPACITÀ DI CANALE PER SIMBOLO Cs : tasso di informazione massimo
consentito da un dato canale, rispetto a tutte le possibili distribuzioni di
probabilità della sorgente
[bit/coppia di simboli]
58
Capacità di canale
• CAPACITÀ DI CANALE C:
[bit/s] con
fc: frequenza di simbolo all'uscita del canale
C é funzione solo delle probabilità condizionate che caratterizzano il canale.
59
Capacità di un canale ideale
• Poiché per un canale ideale l'equivocazione é nulla sia ha
INTENSITÀ DI EROGAZIONE DI UNA SORGENTE
• Indicata con
fS: la frequenza con la quale la sorgente eroga i messaggi
si definisce intensità di erogazione della sorgente la quantità
RS=fS H(A)
60
Capacità di un canale binario simmetrico
Per il canale binario simmetrico si ha
P 0 0
Q=1-P 1 1
p
q =1-p
q
p
61
Capacità di un canale binario simmetrico
e quindi
62
Capacità di un canale binario simmetrico ovvero
con
Poiché H(x) é massima per x=1/2, il massimo del tasso di informazione
rispetto a P si ha per
63
Capacità per simbolo del canale binario simmetrico
• La capacità per simbolo di un canale binario simmetrico vale
Cs = 1- H0(p)
Cs
p
64
Capacità del Canale Gaussiano limitato in banda
I(X;Y) = H(Y)- H(Y/X)
= =
=
x[k]
n[k]~
y[k]
65
Capacità del Canale Gaussiano limitato in banda
È possibile dimostrare che una sorgente analogica, stazionaria ergodica,
senza memoria, con valore atteso e varianza assegnati, ‘ha la massima
entropia se é gaussiana. Pertanto affinché H (Y) sia massima si ha:
Y~
Ovvero, poiché X e N sono statisticamente, la varianza di y è pari alla
somma delle varianze di X e N, si ha:
Y~
quindi
66
- ed essendo fC=2w si ha
67
Teorema della codifica di canale - Canale Ideale
• Teorema: Data una sorgente con entropia H (bit/simbolo) ed un canale
ideale binario di capacità C (bit/s), é possibile codificare i messaggi in modo
da trasmettere attraverso il canale, nell'unità di tempo, un numero di simboli
di sorgente pari a
con ε piccolo a piacere. Non é possibile trasmettere nell'unità di tempo un
numero di simboli della sorgente superiore a (C/H).
68
Teorema della codifica di canale - Canale Ideale
Dim.:
condizione di codifica in tempo reale
fS: frequenza dei messaggi della sorgente
E{n}: valore atteso del numero di simboli all'ingresso del canale
corrispondenti a k simboli emessi dalla sorgente
69
Teorema della codifica di canale - Canale Ideale Per il Io teorema di Shannon,
ovvero tale che
Poiché per un canale binario ideale (L=2)
si ottiene
ovvero
c.d.d.
70
Teorema della codifica di canale - Caso generale (Shannon 1948)
Teorema: Siano dati una sorgente con entropia H (bit/simbolo) ed un canale
binario di capacità C (bit/s).
• Se fSH<C esiste almeno un codice tale che l'uscita della sorgente possa
essere trasmessa attraverso il canale con un tasso di errore arbitrariamente
piccolo (o equivocazione arbitrariamente piccola).
• Se fSH>C é possibile codificare la sorgente in modo tale che
l'equivocazione sia minore di (fSH - C+ε) con ε piccolo a piacere. Non
esiste nessun codice tale che l'equivocazione sia minore di (fSH - C) .
71
Diseguaglianza di Fano
• Dalla precedente trattazione appare che la qualità di un canale può essere
descritta sia facendo riferimento alla probabilità d’errore che
all’equivocazione. Tali grandezze non sono tra loro indipendenti, come
mostrato dalla seguente disuguaglianza di Fano che lega tra loro la
probabilità d’errore e l’equivocazione di un canale discreto senza
memoria.
72
• Teorema: dato un canale discreto senza memoria i cui alfabeti di ingresso e
d'uscita A e B hanno lo stesso numero di simboli L e la cui probabilità
d'errore é Pe, vale la diseguaglianza
.
Dim.:
In base alla definizione di equivocazione si ha:
73
Pertanto
74
Ricordando che
si ha:
75
76
Quindi
.
c.d.d.
77
78
RATE DISTORTION THEORY
79
QUANTIZZAZIONE Una sorgente analogica presenta, per definizione, una cardinalità dello spazio
di messaggio almeno pari a quella del continuo. Pertanto il ricorso ad una sua
rappresentazione in forma numerica, ad esempio per mezzo di un numero finito
di cifre binarie, richiede l’analisi della bontà dell’approssimazione.
Il primo passo concettuale consiste nell’introduzione di una misura di
distorsione (non negativa) che definisce il costo pagato nel
rappresentare il dato originale x con una sua rappresentazione discreta.
Una volta specificata la funzione di distorsione, il problema di base può essere
formulato in una delle due forme seguenti:
80
• Data una sorgente caratterizzata da una propria distribuzione ed una classe
di rappresentazioni che utilizzano un numero preassegnato R di bit
con associata distorsione media D(R)
determinare quanto vale il minimo valore di distorsione media D(R)
ottenibile e la rappresentazione che consente di ottenere tale valore.
• Data una sorgente caratterizzata da una propria distribuzione ed una
funzione di distorsione, determinare quanto vale il minimo numero di bit R
necessario per garantire che la distorsione media non superi un livello
preassegnato.
81
ξ1 ξ2 ξi-1 ξi ξN-1
Quantizzazione scalare Consideriamo inizialmente il caso della quantizzazione scalare.
L’asse reale è partizionato in
N=2R intervalli
consecutivi, con e
.
Il quantizzatore scalare associa il
valore ad ogni punto
dell’intervallo Vi.
82
La distorsione media vale pertanto
• L’ottimizzazione della regola di quantizzazione richiede sia la
determinazione dei valori quantizzati, sia l’individuazione della partizione.
• Consideriamo inizialmente, per semplicità, l’ottimizzazione dei valori
quantizzati nel caso in cui la partizione sia fissata ed esaminiamo in
particolare il caso di distorsione quadratica.
83
Quantizzazione scalare e distorsione quadratica
Nel caso di funzione di distorsione di tipo quadratico si ha:
Pertanto, per una partizione assegnata il livello di quantizzazione ottimo si
ottiene imponendo l’annullamento di
Da cui si ha
84
• Il valore ottimo per un dato intervallo Vi è quindi dato dal valore atteso
condizionato all’evento che il valore osservato cada in tale intervallo.
• Esso si riduce, ad esempio, al punto medio dell’intervallo nel caso in cui la
funzione di densità di probabilità sia costante nell’intervallo Vi.
85
Quantizzazione scalare Max-Lloyd
L’algoritmo di Max-Lloyd fornisce un procedimento iterativo per la
determinazione del quantizzatore ottimo per un’assegnata funzione di densità
di probabilità nel caso di funzione di distorsione di tipo quadratico.
Si assume che sia disponibile un’approssimazione iniziale
della partizione ottima.
• Tale approssimazione può essere ottenuta ad esempio, suddividendo
l’intervallo di variabilità della grandezza fisica d’interesse in parti uguali.
86
Algoritmo Max-Lloyd
1. Inizializza k=0
2. Ripeti
a.
b.
c. k=k+1
Sino a quando
87
QUANTIZZAZIONE: Sorgente con distribuzione uniforme
Si consideri il caso in cui i valori emessi dalla sorgente siano distribuiti
uniformemente nell’intervallo [-A, A], cosicchè
In tal caso, indicato con Qi l’ampiezza dell’i-esimo intervallo, si ha
88
Con il vincolo
Pertanto, applicando il metodo dei moltiplicatori di Lagrange, posto
si ha
89
si ha
Il valore del moltiplicatore può essere ottenuto imponendo il vincolo
Da cui segue che
Ovvero la partizione ottima corrisponde a intervalli tutti uguali con ampiezza
90
E la distorsione complessiva vale
Ovvero, esprimendo la distorsione in dB si ha
Si osserva quindi che in questo caso la distorsione decresce di circa 6 dB per
ogni bit impiegato nel convertitore.
91
CODIFICA PCM DELLA FONIA (ITU G.711)
La raccomandazione ITU G.711 specifica le modalità secondo le quali deve
essere rappresentato il segnale vocale per servizi di fonia offerti dalle reti
telefoniche pubbliche internazionali.
• Il valore nominale raccomandato per il ritmo di campionamento è di 8000
campioni al secondo con una tolleranza di ± 50 parti per milione (ppm).
• Ogni campione è rappresentato con 8 bit.
• La quantizzazione è non uniforme ed è realizzata come cascata di un
quantizzatore uniforme e di una non linearità per la
compressione/espansione della dinamica.
92
• La raccomandazione specifica due non linearità indicate rispettivamente
come legge A e legge µ.
• La legge µ si applica negli USA e in Giappone ed è caratterizzata dalla
seguente espressione analitica
.
Il quantizzatore uniforme impiega 14 bit.
s(t) sPCM[k] Campionatore Fc=8000
Quantizzatore uniforme
a 14 bit
Legge µ
93
• La legge A si applica in Europa e nel resto del mondo (ad esclusione di
USA e Giappone) ed è caratterizzata dalla seguente espressione analitica
Il quantizzatore uniforme impiega 13 bit.
s(t) sPCM[k] Campionatore
Fc=8000
Quantizzatore uniforme
a 13 bit
Legge A
94
95
QUANTIZZAZIONE VETTORIALE
Un quantizzatore vettoriale associa ad ogni vettore dello spazio a k dimensioni
uno fra N possibili vettori C={c1,c2,…,cN} che costituiscono il dizionario
(codebook).
Ad ogni parola di codice ci, è associata la regione di Voronoi i cui punti
soddisfano la condizione
L’insieme delle regioni di Voronoi costituisce una partizione di Rk .
96
97
ALGORITMO LBG
Nel 1980, Linde, Buzo, and Gray (LBG) hanno proposto un algoritmo per la
progettazione di un quantizzatore vettoriale a partire da una sequenza di
addestramento (training sequence) il cui impiego consente di evitare le
operazioni di integrazione multidimensionale richieste dall’uso diretto della
funzione di densità di probabilità.
Nel caso ad esempio dei segnali vocali la sequenza di addestramento potrebbe
essere estratta a partire da registrazioni di conversazioni telefoniche tipiche.
Si assume che il numero di casi che costituiscono la sequenza di
addestramento sia sufficientemente grande da poter applicare le leggi dei
grandi numeri e sostituire le medie d’insieme con le medie calcolate sul
numero finito di realizzazioni disponibili.
98
ALGORITMO LBG
Il problema affrontato da Linde, Buzo, and Gray può essere schematizzato
come segue:
Dato un insieme di M vettori di addestramento T=(x1x2,xM), trovare il dizionario C={c1,c2,…,cN} e la partizione V={V1,V2,…,VN} = tale che la sia minima distorsione media
essendo il vettore del dizionario associato a xm:
99
IV. Criteri di ottimalità
Indicato con Sn l’insieme dei vettori di addestramento che cadono in Vn:
se C e V sono soluzioni del problema devono essere soddisfatte le due
condizioni seguenti
Nearest Neighbor Condition:
Centroid Condition:
100
IV. Algoritmo
L’algoritmo si compone di tre parti
• Inizializzazione
• Raddoppio degli elementi della partizione tramite suddivisione
• Raffinamento iterativo della partizione
101
Inizializzazione
• La partizione iniziale è costituita da un unico elemento coincidente con
Rk.
• Il dizionario ha un solo elemento costituito dal centroide dei vettori della
sequenza di addestramento
N=1
102
• Raddoppio degli elementi della partizione tramite suddivisione
1. Suddivisione
1. Per i=1,2,…,N
i.
ii.
2. Poni N=2N
103
• Raffinamento iterativo della partizione
i=0
Ripeti
i. Per m=1,2,…,M
ii. Aggiornamento partizione
iii. Aggiornamento del dizionario
104
iv. Aggiornamento distorsione
v. i=i+1
sino a quando
105
VI. Two-Dimensional Animation
VIII. References
1. A. Gersho and R. M. Gray, Vector Quantization and Signal Compression. 2. H. Abut, Vector Quantization. 3. R. M. Gray, ``Vector Quantization,'' IEEE ASSP Magazine, pp. 4--29, April 1984. 4. Y. Linde, A. Buzo, and R. M. Gray, ``An Algorithm for Vector Quantizer Design,'' IEEE Transactions on Communications, pp. 702--710, January 1980.
106
CODIFICA DI CANALE
107
Codificatore lineare a blocchi - In un codice lineare a blocchi la sequenza in ingresso viene suddivisa in
blocchi di lunghezza costante k,
- per ogni blocco in ingresso di lunghezza k, il codificatore genera un
blocco di n cifre in uscita combinando linearmente le k cifre del blocco
sorgente
xm1 xm2 … xmk
cm1 cm2 … cmn
x
c
registro d'ingresso
registro d'uscita
108
Codificatore lineare a blocchi Un codice lineare a blocchi (n,k) e' definito quindi dalla relazione
in cui - Ingresso: - Uscita: - G : Matrice di generazione del codice
Xm Cm
109
Codificatore lineare a blocchi Esempio: Il codice di Hamming (7,4)
ingresso Codice Peso Ingresso Codice Peso 0000 0000 000 0 1000 1000 101 3 0001 0001 011 3 1001 1001 110 4 0010 0010 110 3 1010 1010 011 4 0011 0011 101 4 1011 1011 000 3 0100 0100 111 4 1100 1100 010 3 0101 0101 100 3 1101 1101 001 4 0110 0110 001 3 1110 1110 100 4 0111 0111 010 4 1111 1111 111 7
x xm1 xm2 xm4 xm3
cm1 cm2 cm6 c
cm3 cm4 cm5 cm7
110
Codificatore lineare a blocchi Poiché
Cm=XmG
per ottenere l'uscita del codificatore è sufficiente sommare le righe
corrispondenti agli 1 contenuti nella sequenza d'ingresso
Esempio: Dato il codice di Hamming (7,4) calcolare l'uscita per Xm=[1100]
111
Codificatore lineare a blocchi
Def.: Peso di Hamming: numero di 1 contenuti in una parola di codice
Def.: distanza di Hamming fra due parole di codice: numero di
posizioni in cui le parole sono diverse.
Def.: distanza minima del codice: minimo delle distanze di Hamming
tra le parole che compongono il codice
112
Codici sistematici
Def.: Un codice lineare (n,k) e' detto sistematico se le prime k cifre della
parola di codice sono una replica delle cifre d'ingresso e le rimanenti (n-k)
sono dei controlli di parità sulle k cifre d'informazione, ovvero se la sua
matrice di generazione ha la forma seguente:
113
Codici sistematici Proprietà 1. Ogni parola di codice è una somma di righe della matrice
generatrice Proprietà 2. Il codice a blocco è formato da tutte le possibili somme
delle righe della matrice generatrice Proprietà 3. La somma di due parole di codice è ancora una parola di
codice Proprietà 4. La sequenza di tutti zeri è sempre una parola di codice di
un codice a controllo di parità Proprietà 5. La distanza minima di un codice a blocco lineare è il peso
minimo delle sue parole di codice non nulle.
114
Codici sistematici Proprietà 6. Da un punto di vista algebrico le k righe della matrice
generatrice costituisco una base del sottospazio costituito
dalle 2k parole di codice
Proprietà 7. La matrice di un codice lineare a blocco può essere ridotta,
tramite operazioni sulle righe e permutazioni sulle
colonne, alla forma sistematica
115
Rivelazione e correzione d'errore per i codici a blocco Siano
Cm: parola di codice trasmessa Y: parola di codice ricevuta
In generale Y può essere posto nella forma seguente
Y= Cm+ e
con e: vettore di errore binario arbitrario
Il decodificatore confronta le (n-k) cifre di controllo di parità con il
risultato dei controlli effettuati sulle prime k cifre ricevute.
Viene rivelato un errore quando almeno uno degli (n-k) controlli fallisce.
116
Rivelazione e correzione d'errore per i codici a blocco
Def.: Si definisce sindrome il vettore S a (n-k) componenti la cui
componente i-esima vale 1 se il controllo di parità i-esimo è fallito e 0
altrimenti.
117
Codice duale di un codice sistematico Dato un codice lineare a blocchi (n, k), ad esso e' associato un codice duale
a blocco (n, n-k) il cui sottospazio costituito dalle 2n-k parole di codice è
ortogonale al sottospazio costituito dalle 2k parole del codice (n,k).
Sia H la matrice di generazione del codice duale. Poiché ogni parola di
codice Cm e' ortogonale ad ogni parola del codice duale, vale la condizione
XmG(ZmH)T =0 ovvero
XmGHT(Zm)T =0 Poiché tale condizione deve valere per ogni Xm e per ogni Zm, si ha
GHT =0
118
Matrice di controllo di parità Per un codice sistematico posto
si ha:
ovvero (poiché il segno negativo può essere omesso per codici binari):
H prende il nome di matrice di controllo di parità
119
Matrice di controllo di parità Dato il codice di Hamming (7,4)
la matrice di controllo di parità vale
120
Matrice di controllo di parità Data la matrice di controllo di parità vale la proprietà:
essendo S la sindrome del vettore d'errore. Infatti
e quindi YHT è un vettore la cui componente i-esima vale 0 solo se il risultato del controllo di parità i-esimo coincide con la (k+i)-esima cifra ricevuta
Inoltre S=YHT= CmHT+ eHT=eHT
121
Rivelazione e correzione dell'errore
La sindrome associata ad una sequenza Y è un vettore nullo se e solo se Y è
una parola di codice
Il decodificatore può rivelare tutti gli errori del canale che non siano parole
di codice
Data una parola di codice esistono 2k diverse sequenze che danno la stessa
sindrome
La sola sindrome non consente di determinare quindi quale sequenza
di errore si sia verificata
122
Rivelazione e correzione dell'errore per canali binari simmetrici Per un canale binario simmetrico si ha
in cui di è la distanza di Hamming tra Y e la i-esima parola di codice C(i).
Quindi, date due parole di codice C(i) e C(h) , per il logaritmo del rapporto
di verosimiglianza si ha
123
Rivelazione e correzione dell'errore per canali binari simmetrici Pertanto, poiché per funzione di costo uniforme e simboli equiprobabili si
ha
se p>1/2 la verifica del rapporto di verosimiglianza porta a scegliere, tra le
due ipotesi, quella a cui corrisponde la minima distanza di Hamming (se
p<1/2 viene selezionata l'ipotesi a cui corrisponde la massima distanza di
Hamming)
124
Rivelazione e correzione dell'errore per canali binari simmetrici
Posto
Y= C(i)+ e(i)
la distanza di hamming di tra Ye C(i) è pari al peso dell'errore e(i)
pertanto se p>1/2 la regola di decisione ottima associa selezionata
la parola di codice corrispondente all'errore di peso minimo.
125
Rivelazione e correzione d'errore per i codici a blocco TEOREMA
Un codice a blocco lineare (n,k) con distanza minima dmin può correggere
tutti i vettori d'errore che non contengano più di
errori. Tale codice è detto a correzione di t errori.
Dim.: la regola di decisione ottima fa corrispondere una data parola di codice a tutte le sequenze ricevibili che sono più vicine ad essa piuttosto che ad una delle altre parole di codice. Un vettore d'errore con non più di
errori genera una sequenza ricevuta che cade all'interno della regione corretta.pertanto la correzione dell'errore è possibile
126
Rivelazione e correzione d'errore per i codici a blocco Poiché dato un codice ed una parola ricevibile è possibile calcolare la
parola di codice più vicina, l'uso diretto dell'algoritmo di decodifica a
distanza minima richiede la memorizzazione di una tavola con 2n ingressi
dmin errori corretti
errori rilevati
2 0 1 3 1 2 4 1 3 5 2 4 6 2 5 7 3 6
127
Rivelazione e correzione d'errore per i codici a blocco Un approccio più efficiente consiste nell'associare ad ogni sindrome il
vettore d'errore di peso minimo che possa produrre la sindrome osservata.
Aggiungendo ad una parola di codice una parola non di codice la
somma ha la stessa sindrome della parola non di codice
S= CmHT+ eHT=eHT
Per ogni sindrome S esistono 2k parole di codice che la generano, che
prendono il nome di coinsieme
L'elemento del coinsieme di peso minimo prende il nome di
rappresentante del coinsieme
128
Schieramento standard dato il codice (6,3) associato alla matrice
a cui corrisponde
ad esso è associato lo schieramento standard
sindrome Codice 000 000000 100111 010110 001101 110001 101010 011011 111100 111 100000 000111 110110 101101 010001 001010 111011 011100 110 010000 110111 000110 011101 100001 111010 001011 101100 101 001000 101111 011110 000101 111001 100010 010011 110100 100 000100 100011 010010 001001 110101 101110 011111 111000 010 000010 100101 010100 001111 110011 101000 011001 111110 001 000001 100110 010111 001100 110000 101011 011010 111101 011 000011 100111 010101 001110 110010 101001 011000 111111
129
Schieramento standard la prima riga dello schieramento standard è costituita dalle 2k parole di
codice riordinate per peso crescente da sinistra verso destra
le successive righe sono costituite dagli altri coinsiemi
per ciascuna riga, a sinistra si scrive il rappresentante di coinsieme
le altre parole si ottengono sommando a ciascuna parola di codice della
prima riga, il rappresentante di coinsieme
a margine di ciascuna riga si annota inoltre la sindrome corrispondente
130
Algoritmo per la correzione degli errori FUORI LINEA
costruzione della tabella di decodifica a 2n-k ingressi corrispondenti alle diverse
sindromi contenente
(sindrome, rappresentante di coinsieme)
ovvero
(Si,ei), i=1,…,2 n-k
131
Algoritmo per la correzione degli errori IN LINEA
1. calcolo della sindrome S della sequenza ricevuta
2. ricerca nella teballa di decodifica della riga corrispondente
3. stima della sequenza trasmessa come
132
Algoritmo per la correzione degli errori Dato il codice di Hamming (7,4) si ha
Sindrome Rappresentante di coinsieme
cifra errata
000 0000000 Nessuna 001 0000001 7 010 0000010 6 011 0001000 4 100 0000100 5 101 1000000 1 110 0010000 3 111 0100000 2
133
Algoritmo per la correzione degli errori pertanto se Y=(1101010) si ha
il rappresentante di coinsieme è [0 0 0 1 0 0 0] e quindi
134
Codici Convoluzionali
Un codificatore binario convoluzionale (n, k) con lunghezza di vincolo N è un sistema a memoria finita che genera n cifre binarie per ogni k cifre di messaggio presentate al suo ingresso.
Può essere pensato come una macchina sequenziale costituita da un registro a scorrimento a Nk posizioni, suddivise in N stadi di k elementi, un circuito combinatorio di uscita e un convertitore parallelo serie.
1 2 … k 1 2 … k 1 2 … k
1 2 … … … … … n
Nk elementi
Xm
Zm
135
Codici Convoluzionali
Il diagramma di connessione tra le celle del registro a scorrimento ed i
sommatori modulo-2 è specificato dall'insieme dei coefficienti
Tali coefficienti possono essere riorganizzati in N sottomatrici G1, G2, …,
GN, che descrivono le connessioni del i-esimo stadio del registro a
scorrimento con le n celle del registro di uscita.
136
Codici Convoluzionali
Diagramma a traliccio Diagramma degli stati di un codice (3,1)
137
Decodifica a massima verosimiglianza Si indichino con St lo stato del codificatore convoluzionale, con St∈{0,1,…,M-1}, con M=2Nk, e con Xt l’uscita del sistema nell’istante t. Si indichi inoltre con
la successione degli stati dall’istante t, all’istante t’, e con
la successione delle uscite dall’istante t, all’istante t’.
Nel seguito, per semplicità e compattezza, si assume che l’ingresso del codificatore
convoluzionale sia costituito dall’uscita di un codificatore (di sorgente) entropico, cosicché i
simboli binari in ingresso possano essere considerati statisticamente indipendenti, identicamente
distribuiti ed equiprobabili.
La sorgente parte dallo stato iniziale S0=0 e ritorna nello stesso stato all’istante finale τ.
Si assume infine che il canale di comunicazione sia un canale senza memoria per cui la
probabilità condizionata della successione ricevuta dal ricevitore
138
vale
.
L’obiettivo è quello di calcolare la successione degli stati tale che
A tal fine si osservi che
Qer90Poichè il sistema è markoviano, se lo stato Sτ−1 è noto gli eventi che si producono dopo
l’istante τ-1 non dipendono dalle uscite del sistema sino all’istante τ-1. Pertanto
139
e quindi
Ovvero riapplicando iterativamente la procedura si ha
Data una sequenza ricevuta di lunghezza τn, a cui corrisponde un
cammino di lunghezza τ sul traliccio, sia
: la sequenza di n cifre binarie (uscita del codificatore) relativa al
cammino r-esimo del traliccio che congiunge gli stati Sl e Sl+1 .
140
il decodificatore ottimo a massima verosimiglianza deve scegliere il
cammino del traliccio per il quale risulti massima la probabilità condizionata
, ovvero il suo logaritmo.
141
Decodifica a massima verosimiglianza
Considerato che
Ciascuno dei 2kN stati in cui si può trovare il sistema ammette solo 2k possibili successori. Pertanto, indicato con T(m) l’insieme dei successori dello stato m-esimo, nel caso in cui la sequenza in ingresso al codificatore convoluzionale sia una sequenza i.i.d. binaria con simboli equiprobabili, la probabilita’ di transizione vale:
Conseguentemente, all’istante t sono possibili solo 2(k+1)N transizioni. Nel seguito indicheremo con r l’indice che identifica le transizioni ammissibili e con l’uscita corrispondente.
Pertanto il decodificatore ottimo deve trovare il cammino per il quale
142
Ovvero per cui
In particolare, indicando con la distanza di Hamming tra le due sequenze
e , per un canale binario simmetrico con probabilità di rivelazione corretta p
si ha
143
Decodifica a massima verosimiglianza
quindi, tralasciando le costanti non essenziali il problema si riduce alla
ricerca del cammino che rende minimo
Come era intuitivo, la decodifica a massa verosimiglianza richiede la
minimizzazione della distanza di Hamming fra la sequenza ricevuta ed il
cammino scelto nel traliccio del codice.
Per la ricerca del minimo di tale funzionale può essere impiegato l'algoritmo
di Viterbi (1969), essendo la metrica di ogni ramo la distanza di Hamming tra
le sequenze binarie.
144
Algoritmo di Viterbi (1969) Denotiamo ciascuno degli M=2k stati con il numero d'ordine corrispondente
1. Passo:
1.1. Il decodificatore considera tutti gli MN relativi ai primi N rami del
traliccio e computa le funzioni , ovvero
• nel caso di decisione soft: ,
• nel caso di decisione hard: le distanze di Hamming
145
Algoritmo di Viterbi (1969) 1.2. Per ciascuna delle sottosequenze di stati si
seleziona tra gli M cammini:
……..
quello per cui il funzionale è minimo.
Tale cammino prende il nome di superstite relativo alla sottosequenza
.
Si avranno pertanto, al termine del 1^ passo, MN-1 superstiti. Per
ciascuno di essi viene memorizzata la metrica corrispondente.
146
Algoritmo di Viterbi (1969) 2. passo
2.1. Per ciascun superstite del passo 1^ vengono calcolate le M metriche relative ai rami del traliccio divergenti dal nodo e vengono sommate alla metrica corrispondente al superstite. Ciò produce MN funzioni relative agli MN cammini di lunghezza N+1.
2.2. Il decodificatore compara le funzioni in gruppi di M, eseguendo i confronti su sottinsiemi di cammini del tipo
………..
in cui corrisponde al primo ramo del superstite selezionato al passo
147
2.3. Di nuovo vengono conservati solo i superstiti degli MN-1 sottinsiemi ed i
rimanenti vengono scartati.
148
Algoritmo di Viterbi (1969) j. passo
j.1 Per ciascun superstite del passo j-1 vengono calcolate le M metriche
relative ai rami del traliccio divergenti dal nodo e vengono
sommate alla metrica corrispondente al superstite. Ciò produce MN
funzioni relative agli MN cammini di lunghezza N+1.
149
Turbocodici - Calcolo della Probabilità A Posteriori (APP) Si consideri una sorgente di Markov a tempo discreto con un numero finito di stati. Si indichino con St lo stato della sorgente, con St∈{0,1,…,M-1}, e con Xt l’uscita del sistema nell’istante t. Si indichi inoltre con
la successione degli stati dall’istante t, all’istante t’, e con
la successione delle uscite dall’istante t, all’istante t’.
La sorgente di Markov sia caratterizzata dalle seguenti probabilità di transizione
E dalle seguenti probabilità condizionate delle uscite:
Infine la sorgente parte dallo stato iniziale S0=0 e ritorna nello stesso stato all’istante finale τ.
Si assume infine che il canale di comunicazione sia un canale senza memoria per cui la probabilità
condizionata della successione ricevuta dal ricevitore
150
vale
.
L’obiettivo è quello di calcolare le probabilità congiunte
•
•
Infatti, una volta note tali probabilità è possibile calcolare le probabilità condizionate:
151
A tal fine, posto
Si osservi che per λt(m) si ha
Poichè il sistema è markoviano, se lo stato St è noto gli eventi che si producono dopo l’istante t non
dipendono dalle uscite del sistema sino all’istante t. Pertanto
Similmente:
e sempre per la markovianità si ha:
152
Conseguentemente
Inoltre, sempre per la markovianità si ha:
con condizioni al contorno
Inoltre
153
154
Algoritmo AAP 1. Inizializzazione
a.
b.
2. Per ogni t=1,…,τ, ricevuto Yt, si calcola
a.
b.
3. Per ogni t=τ−1…,1, ricevuto Yt, si calcola
a.
4. Per ogni t=1,…,τ si calcola
a. Si calcolano i valori
155
b. Si normalizzano le probabilità per ottenere le probabilità condizionate
c. Si calcolano i valori
d. Si normalizzano le probabilità per ottenere le probabilità condizionate
156
Codici punturati
L’operazione di punturazione consiste nell’eliminazione selettiva di alcuni
caratteri della sequenza prodotta in uscita da un codificatore convoluzionale
ordinario, secondo una legge (periodica) nota sia al codificatore che al
decodificatore.
L’obiettivo è quello di generare un codice caratterizzato da un tasso elevato a
partire da un codice a tasso basso e di ridotta complessità computazionale.
Generazione di un codice punturato con tasso ¾ a partire da un codice con tasso 1/3
157
Punturazione
a
b
c
d
00
00
01
11 01
10
10
10
0
0
1 0
1
1
1
0
0
0
1 0
1
1
1
0
0
1 0
1
1
1
0 0 00
00
01
11 01
10
10
10
0
0
1 0
1
1
1
0
0
0
1 0
1
1
1
0
0
1 0
1
1
1
0 0 00
00
01
11 01
10
10
10
