Információelmélet

2005.

Információelmélet

Nagy Szilvia

6. Csatornakódolás6. Csatornakódolás

2

SzéchenyiIstvánEgyetem

A csatornán való áthaladás során a jelek többnyire módosulnak: zaj adódik hozzájuk. A csatorna zajosságának jellemzésére alkalmas a jel-zaj arány (signal to noise ratio): SNR=20 log10( S/N ), ha S a jel, N pedig a zaj átlagos teljesítménye. Egysége decibel.

A következőkben olyan csatornákkal foglalkozunk, amelyek diszkrét jeleket visznek át.

A csatornák jellemzéseA csatornák jellemzése

Információelmélet – Csatornakódolás

Csatorna-kódolás

Csatornák jellemzése

Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát

Csatornakódo-lási tétel

3


Ha a csatorna bemenetére adott egyetlen szimbólum hatására a kimeneten is csak egy szimbólum jelenik meg, azaz a csatorna nem nyel el és nem teremt új szimbólumokat, akkor a szinkron csatornáról beszélünk.

Ha a csatorna kimenetén megjelenő jel csak az éppen aktuális bemeneti szimbólumtól függ, azaz a szimbólumok csatornán való áthaladása egymástól független esemény, akkor a csatorna memóriamentes.



Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


4


Egy diszkrét, szinkron csatornát úgy adha-tunk meg, hogy

• megadjuk a bemeneti szimbólumkész-letét: C={c1, c2, …, c r }-t

• megadjuk a kimeneti szimbólumkészle-tét: X={x1, x2, …, x s }-et

• és megadjuk a p( x j|c i ) feltételes valószínűségeket.


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



5


Legyen n db egymást követő bemeneti szimbólum c (1), c (2), …, c (n) ; az általuk generált kimeneti karaktersorozat x

(1), x (2), …, x (n) . Ezen az esemény valószínűsége p(x (1),x (2),…,x (n)|c (1),c (2),…,c (n) )

Memóriamentes csatornákra

n

i

iinn cxpcccxxxp1

2121 |,,|,,,


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



6

SzéchenyiIstvánEgyetem Csatornamátrix, csatornagráfCsatornamátrix, csatornagráf

A p( x j|c i ) feltételes valószínűségeket mátrixba szokták rendezni:

A csatornát gráfjával is meg lehet adni:

rsrr

s

s

cxpcxpcxp

cxpcxpcxp

cxpcxpcxp

P

|||

|||

|||

21

22221

11211

1c

2c

3c

1x

2x

3x

4x

11| cxp

12| cxp

13| cxp

14| cxp

21| cxp

22| cxp

23| cxp

24| cxp

31| cxp

32| cxp

33| cxp 34| cxp


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


7


Csatornatípusok, mátrixaik és Csatornatípusok, mátrixaik és gráfjaikgráfjaik

Determinisztikus csatorna: egy bemenet mindig ugyanazt a kimeneti szimbólumot hozza létre. A csatornamátrix minden sorában egyetlen nem nulla elem van.

1c2c3c

1x

2x

3x4c5c

1x

2x

3x

2c1c

3c


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


8



Zajmentes csatorna: egy kimeneti szimbólum csak egyféle bemeneti jelből áll elő. A csatornamátrix minden oszlopában egyetlen 1-es van, a többi elem 0.

1c

4x3x2x1x

1c

2c

3c


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


1x

2x

3x

2c1c

3c

9


Bináris szimmetrikus csatorna (BSC):

Bináris Z-csatorna:

Bináris törléses csatorna

0

1

0

1p p

p1

p1

0

hiba

11

0 pp

p1

p1

0

1

0

1p

p1

1

pp

pp

1

1

pp 1

01

pp

pp

1 0

01


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



10

SzéchenyiIstvánEgyetem Entrópia, veszteségEntrópia, veszteség

• A csatorna használatát (a forrást) jellemző mennyiségek:

• A csatornát jellemző mennyiségek:

Miután a kimeneten észleltük az X j szimbólumot, maradt bizonytalanság arra nézve, hogy melyik C i válthatta ki: ennek a bizonytalanságnak a várható értéke a csatorna vesztesége:

r

iij

s

jijij CXpCXpCXHCXp

12

1

|log| ,|

r

iiii CpCpCHCp

12log ,

r

iji

s

jji XCpXCpXCH

12

1

|log|


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


11


A zajmentes csatorna vesztesége 0.

kifejezés minden tagjában vagy p(Ci Xj )=0, vagy p(Ci |Xj )=1.

A teljesen zajos csatorna vesztesége H(C ).Az adott és a vett jelek függetlenek, így p(Ci Xj )= p(Ci ) p(Xj )

r

iji

s

jji XCpXCpXCH

12

1

|log|

i

j

jiji Cp

Xp

XCpXCp

CHCpCpXpXCHs

j

r

iiij

1 12log|

1


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


Entrópia, veszteségEntrópia, veszteség

12

SzéchenyiIstvánEgyetem Átvitt információÁtvitt információ

A csatornán átvitt információ a rá adott információ és a csatorna veszteségének a különbsége:

egy X j vételekor az őt előidéző C i -ről nyert átlagos információ.

XCIXCHCH |

s

j

r

ijiji

s

j

r

iiji

s

j

r

ijiji

r

iii

XCpXCpCpXCp

XCpXCpCpCpXCI

1 12

1 12

1 12

12

loglog

loglog

s

jjii XCpCp

1

s

j

r

ijiiji XCpCpXCp

1 122 loglog


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


13


s

j

r

ijiji

s

j

r

iiji

s

j

r

ijiji

r

iii

XCpXCpCpXCp

XCpXCpCpCpXCI

1 12

1 12

1 12

12

loglog

loglog

s

j

r

i i

jiji Cp

XCpXCp

1 12log

j

jiji Xp

XCpXCp


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


s

j

r

i ji

jiji XpCp

XCpXCp

1 12log

Átvitt információÁtvitt információ

14

SzéchenyiIstvánEgyetem CsatornakapacitásCsatornakapacitás

A csatornakapacitás a rajta maximálisan átvihető információ:

XCI maxC

s

j

r

i ji

jiji XpCp

XCpXCp

1 12logmaxC


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


15


A csatornákon áthaladó A csatornákon áthaladó vektorokvektorok

A csatorna a rá bocsátott c=c (1), c (2), …, c

(n) szimbólumsorozatból – döntés után – egy v=v (1), v (2), …, v (n)

szimbólumsorozatot csinál.A cCn , illetve vCn n elemű sorozatokat

tartalmazó Cn halmaz vektortér, c és v vektorok.


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


16


Egy V halmaz vektortér, vagy lineáris tér, ha értelmezve van a vV elemein egy számmal való szorzás ( λ∙v V ), a v, wV elemei között egy összeadás ( v+w V ) amelyekre:

• 1∙v=v• λ∙(κ∙v)= (λκ)∙v (asszociatív)• (λ+κ)∙v= λ∙v +κ∙v (disztributív)

• v+w=w+v (kommutatív)• v+(w+u)=(w+v)+u (asszociatív) 0, melyre v+0=0+v=v v-hez v, melyre v + (v) = (v)

+v=0

Matematikai kitérő – Matematikai kitérő – VektorterekrőlVektorterekről


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


17


Vektortér például az euklideszi tér (akármennyi dimenziós), vagy a legfeljebb n-edfokú polinomok tere.



Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


18


Példa: Legyen a V halmaz a legfeljebb harmadfokú polinomok halmaza. Egy eleme a következőképpen néz ki: p(x) = p0 + p1x + p2x2 + p3x3. Két polinom egyenlő, ha az együtthatóik megegyeznek.

• Egy p(x) és egy q(x) polinom összegén azt az r (x) polinomot értjük, amelynek az együtthatói az ri = pi + qi képlet szerint állnak elő i =0, 1, 2, 3-ra,

• a p(x) polinom λ számmal való szorzatán pedig azt az s (x) polinomot értjük, amelynek az együtthatói az si =λ∙pi formulával kaphatók meg i =0, 1, 2, 3-ra.



Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


19


Ha p(x) és q(x) legfeljebb harmadfokú, akkor r(x) és s(x) is legfeljebb harmadfokú lesz, azaz sem az összeadás, sem pedig a számmal való szorzás nem visz ki V-ből. (Ha p(x) és q(x) pontosan harmadfokú, akkor a fenti műveletekkel csak csökkenhet az eredmény fokszáma, hogyha a p3=q3, akkor például r3=0 lesz, azaz r(x) másodfokú.)

A többi axióma is teljesül:


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



20


• 1∙ p(x) = p(x) , hiszen 1∙ pi=pi minden i-re.

• λ∙(κ∙ p(x))= (λκ)∙ p(x), mivel λ∙(κ∙ pi)= (λκ)∙ pi teljesül minden i-re.

• λ ∙ p(x) +κ ∙ p(x) = (λ+κ) ∙ p(x) teljesül: (λ∙ p(x) +κ∙ p(x)) i-edfokú együtthatója λ∙ pi +κ∙ pi = (λ+κ)∙ pi , ami pont ((λ+κ) ∙ p(x)) i-edik együthatója.

• p(x)+q(x)= q(x)+p(x), mivel pi +qi = qi +pi

• (p(x)+q(x))+r (x) = p(x)+(q(x)+r (x)), teljesül: (pi +qi) +ri = (pi + qi )+ri


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



21


0, melyre p(x)+0=0+p(x)=p(x), a nullelem a csupa nulla együtthatójú polinom.

p(x)-hez p(x), melyre p(x) + (p(x)) = (p(x))+p(x)=0, a p(x) polinom ellentettje az a polinom, melynek minden együttható-ja a p(x) megfelelő együtthatójának ellentettje.


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



22


Példa: Legyenek a V halmaz vφ elemei az origó körüli φ szöggel való forgatások. A két elem, vφ és vχ közötti összeadást értel-mezzük φ+χ szöggel való elforgatásként, a vφ elem λ számmal való szorzását pedig λ∙φ szöggel való elforgatásként. Vektortér-e a halmaz a két művelettel? A két művelet nem vezet ki V-ből.

• 1∙ vφ = vφ , hiszen az 1∙φ = φ szöggel való elforgatást jelent

• λ∙(κ∙vφ)= (λκ)∙vφ teljesül: λ∙(κ∙φ) szöggel való forgatás = (λκ)φ szöggel való forgatás.

• (λ+κ)∙vφ = λ∙vφ+κ∙vφ : (λ+κ)∙ φ szöggel való elforgatás = λ∙ φ szöggel való forgatás +κ∙ φ szöggel való forgatás


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



23


• vφ+vχ =vχ+ vφ: mindegy, hogy előbb forgatok-e φ-vel, aztán χ-vel, vagy előbb χ-vel, aztán φ-vel.

• vφ+(vχ+ vψ) = (vφ +vχ)+ vψ: nem számít, hogy egy φ szögű forgatáshoz adok egy χ+ψ szögűt, vagy egy φ+χ szögűhöz egy ψ szögűt, így is úgy is φ+χ+ψ szögűt kapok

0, melyre vφ+0=0+ vφ= vφ: a nullelem a 0°-kal való elforgatás

vφ -hez vφ, melyre vφ+ ( vφ) = ( vφ) + vφ=0: a vφ ellentett eleme a vφ , a φ szöggel való elforgatás.


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



24


A v1, v2, …, vn V vektorok lineáris kombinációja,

egy újabb vektor.

A v1, v2, …, vn V vektorok lineárisan összefüggők, ha vannak olyan λ1, λ2, …, λn számok, melyek közül néhány (legalább 2) nem nulla és

n

iiinn

12211 vvvv

n

iiinn

12211 0vvvv


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



25


A v1, v2, …, vn V vektorok lineárisan függetlenek, ha

csak akkor teljesül, ha minden λi=0.

Egy vektortér n-dimenziós, ha van n darab független vektora, de nincsen n+1 darab független vektora.

n

iii

1

0v


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



26


Egy n-dimenziós vektortérnek n darab független e1, e2, …, en V vektora alkotja a tér bázisrendszerét, a ei vektorok a bázisvektorok.

Minden v V vektor kifejthető e1, e2, …, en V vektorok lineáris kombinációjaként:

A v V vektorok lehetséges reprezentációi:

sorvektoros:

oszlopvektoros:

n

n

2

1

21

n

iiinn

12211 eeeev


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



27


Példa: Legyen ex az xyz Descartes-koordiná-tarendszer x tengelye irányába mutató egységvektor, ey, az y irányba mutató egységvektor, ez pedig a z irányú egység-vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (vx , vy , vz ), a sorvektoros jelölés egy speciális esete.

Legyen e1=(1, 1, 0), e2=(1, 0, 1) és e3=(0, 1, 1). Ez is bázisrendszert alkot:


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



28


Példa: Legyen ex az xyz Descartes-koordiná-tarendszer x tengelye irányába mutató egységvektor, ey, az y irányba mutató egységvektor, ez pedig a z irányú egység-vektor. E három vektor bázisrendszert alkot a háromdimenziós (euklideszi) térben. A hagyományos koordinátageometriai jelölés, a v = (vx , vy , vz ), a sorvektoros jelölés egy speciális esete.

Legyen e1=(1, 1, 1), e2=(1, 0, 1) és e3=(0, 1, 0). Ez nem alkot bázisrendszert:3

21

2e

ee


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



29


Példa: Legyen a V hamazunk a legfeljebb hatodfokú polinomok halmaza. Bázisrendszer lehet az {x0, x1, x2, x3, x4, x5, x6} függvényekből álló rendszer, hiszen minden legfeljebb hatodfokú polinom kifejthető ezek lineáris kombinációjaként:

A polinomokra is alkalmazható a bázisrendszer rögzítése után a sor- és oszlopvektoros jelölés:

6

5

4

3

2

1

0

6

0

66

55

44

33

2210

i

iixxxxxxxxp


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



és 6543210

30


Egy V vektortér U részhalmazát a tér alterének nevezik, ha az összeadás és a számmal való szorzás nem vezet ki belőle (azaz, ha U maga is tér, csak szűkebb, mint V ).

• A háromdimenziós euklideszi tér altere például a kétdimenziós euklideszi tér.

• A legfeljebb hatodfokú polinomok terében altér a legfeljebb ötödfokú polinomok tere, a legfeljebb harmadfokú polinomok tere,…


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



31


Speciális vektorterekben (metrikus terek) lehet két elem közötti távolságot definiálni. A v, u V vektrok d(v,u) távolságára igaz:

• d(v,u) ≥0, d(v,v)=0• d(v,u)= d(u,v) • d(v,u)≤ d(v,w) + d(w,u) háromszög-

egyenlőtlenség


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



32

SzéchenyiIstvánEgyetem Hamming-távolságHamming-távolság

A csatorna a rá bocsátott c=c(1), c(2), …, c(n) szimbólumsorozatból – döntés után – egy v=v(1), v(2), …, v(n)

szimbólumsorozatot csinál.A c, vCn.Vezessük be c és v eltérésének mérésére

egy távolságot:c és v Hamming-távolsága azon i pozíciók száma, ahol c (i) ≠ v (i). Jele: d(c,v). A Hamming-távolság teljesíti a távolságfogalom követelményeit:

• d(c,v)≥0, d(c,c)=0• d(c,v)=d(v,c)• d(c,v)≤ d(c,w) + d(w,v)


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


33

SzéchenyiIstvánEgyetem Egyszerű és törléses hibázásEgyszerű és törléses hibázás

A csatorna a rá bocsátott c=c(1), c(2), …, c(n) szimbólumsorozatból – döntés után – egy v=v(1), v(2), …, v(n)

szimbólumsorozatot csinál.Egyszerű hibázásnak nevezzük azt, ha

nem tudjuk, hogy melyik pozíciókban rontott a csatorna, csak azt, hogy hány darab hiba van.

Törléses hiba esetén ismerjük a hibázások helyét is, csak azt nem, hogy mennyire romlott el azokon a helyeken a jel.


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


34


Kódok halmaza, Kódok halmaza, csatornakódoláscsatornakódolás

A Cn tér azon K részhalmazát, amelyet a kódszavak alkotnak, kódnak nevezik.

• Csatornakódolás:

• Dekódolás:– döntés:

– a kódolás inverze:

KBF l :

KCG n :

lBKF :1


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


35


Kódtávolság, javítható hibák Kódtávolság, javítható hibák számaszáma

Egy K kód kódtávolsága:

a kódszavak közötti Hamming-távolság minimuma.

Hibajelzés lehetséges, ha a c kódszavunkból keletkezett v nem egy másik érvényes kódszó: vK. Ha a hibák száma, akkor < dmin hibát lehet biztosan jelezni. Hibajelzés után általában megismétlik az üzenetet.

',min',;'min cc

ccccdd

K


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


36


4 2 5 0 1 3 0 3 1 4 6 5 1 04 1 5 0 1 3 0 4 0 4 6 3 1 0


Törléses hiba javítása: ezesetben tudjuk a hibák helyét. A v hibás vett vektort abba a kódszóba javítjuk, amelyik a hibás pozícióktól eltekintve azonos v-vel. Ha több ilyen van, nem tudunk javítani. Ha a két legközelebbi kódszóból dmin komponenst a megfelelő helyről törlünk, akkor azonos maradékot kapunk, ennél kevesebb elem törlésével sehogy sem kaphatunk azonos maradékot.Így ≤ dmin−1 törléses hiba javítható.


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


=1 hiba javítható: a két vektor különbözik=4 nem javítható

37


A javítható egyszerű hibák száma 2

1min

d

Egyszerű hiba javítása: nem tudjuk a hibák helyét. A v hibás vett vektort abba a c kódszóba javítjuk, amelyikre d(v,c) a legkisebb. Ha több ilyen van, nem tudunk javítani. A javíthatóság feltétele:

A háromszög-egyenlőtlenség szerint: vcvccvvccc ,',',,', ddddd

.,', vcvc dd

vcvccc ,',', ddd

vcccvc ,',, ddd

min21

, ',,2 dddd vcccvc


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát



38

SzéchenyiIstvánEgyetem Singleton-korlátSingleton-korlát

Legyen a kódábécé elemszáma r , a kódsza-vak hossza n , száma M , a kódtávolság pedig dmin. A Singleton-korlát szerint

Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k . Legyen r k−1 < M ≤ r k.Több kódszó van (M db) mint ahány k−1 hosszú sorozat, így ci , cj K, melyeknek az első k−1 eleme azonos. Ezekre d(ci , cj )< n−(k−1), így dmin< n−(k−1).

1min dnrM


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


39


Legyen a kódábécé elemszáma r , a kódsza-vak hossza n , száma M , a kódtávolság pedig dmin. A Singleton-korlát szerint

Bizonyítás: Az r elemből felépülő k hosszúságú sorozatok száma r k . Legyen r k−1 < M ≤ r k.

1

min

min

min

1

1

dnk rr

dnk

knd

M

1min dnrM


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


40


M egyértelműen megadja k-t, az r k−1 < M ≤ r k -nak egyetlen egész megoldása van: log r M egészrésze. A Singleton-korlát szerint

Behelyettesítve k-t:majd r -alapú logaritmust véve:és átrendezve a kódtávolságnak a

kódszavak számától függő maximumát kapjuk:

1min dnrM1min dnk rr

1min dnk

1log1min Mnknd r


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


41


Az olyan kódok, amelyeknél mindkét helyen egyenlőség áll, maximális távolságú kódok (MDS – Maximum Distance Seprable)

A k szám és n, a kódszavak hossza szokott a kód két paramétere lenni.

1log1min Mnknd r


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


42

SzéchenyiIstvánEgyetem Hamming-korlátHamming-korlát

Legyen a kódábécé elemszáma r , a kód paraméterei (n, k ) , a javítandó hibák száma . A Hamming-korlát (gömbpakolási korlát) szerint

Bizonyítás: A Cn térben a ciK kódszavak pontok; egymástól minél távolabb vannak, dmin annál nagyobb, így annál több hibát tudunk javítani.

ni

i

k rri

nr

11


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


43

SzéchenyiIstvánEgyetem Hamming-korlátHamming-korlát

Akkor javítunk egy v Cn hibás vektort a ci kódszóba, ha az a ci körüli sugarú gömbön belül van. Ezek a gömbök nem fedhetnek át, azaz az összes gömbben levő elemek száma nem lehet nagyobb, mint r n, Cn elemszáma.

A c kódszótól pontosan i helyen, a j 1 ,…, j i-edik helyeken eltérő vektorok száma:

1c

3c

4c

5c2c


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


ir 1

44


A j 1 ,…, j i pozíciók megválasztása -féleképpen lehet.

A c kódszótól legfeljebb helyen eltérő vektorok száma:

Összesen r k darab kódszó van, mindegyikkörül egy-egy sugarú

gömb.

Egyetlen olyan vektor sincs, amely több gömbben is benne lenne, így a gömbök elemszámainak összege nem lehet több, mint a teljes Cn halmaz elemszáma, r n:

i

n

i

i

ri

n1

1

i

i

ri

n1

1

ni

i

k rri

nr

11


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


Hamming-korlátHamming-korlát

45

SzéchenyiIstvánEgyetem Perfekt kódokPerfekt kódok

Azokat a K kódokat, amelyekre a Hamming-korlátban egyenlőség teljesül, azaz

perfekt kódoknak nevezzük.Az ilyen kódoknál a teljes Cn teret kitöltik a

gömbök, szorosan illeszkednek egymás-hoz, a kódszavak egyenletesen helyez-kednek el a téren belül (Hamming-távol-ságot véve), adott n szóhosszra maximális számú kódszót tartalmaznak.

ni

i

k rri

nr

11

1c

2c

3c

4c

5c

6c

7c 8c 10c 11c


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


46

SzéchenyiIstvánEgyetem Kódsebesség (jelsebesség)Kódsebesség (jelsebesség)

Az információátvitel gyorsasága jellemez-hető a

kódsebességgel, avagy jelsebességgel.(egy szimbólumra jutó átlagos információ)

nKH

R


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


47

SzéchenyiIstvánEgyetem Kódsebesség (jelsebesség)Kódsebesség (jelsebesség)

Legyen a kódszavak előfordulási valószínűsége azonos, 1/M. Az entrópia ekkor

a kódsebesség pedig

Ha a kódnak csak a legáltalánosabb paraméterei (szóhossz, betűszám) ismertek, ez jó felső becslés a jelsebességre.

,log1

log1

21

2 MMM

KHM

i

.log2

nM

R


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


48


Shannon csatornakódolási Shannon csatornakódolási tételetétele

Ha egy C kapacitású diszkrét, memória-mentes csatornán

• R < C , akkor lehet olyan n kódszóhosszt találni, hogy a hibás dekódolás valószínűsége tetszőleges > 0 számnál kisebb legyen. Az n növelésével csökken minimuma, azaz csökken a hibás dekódolás valószínűsége.

• R > C , akkor nem lehet olyan n kódszóhosszt találni, hogy a hibás dekódolás valószínűsége tetszőlegesen kicsi legyen.


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


49


Shannon csatornakódolási Shannon csatornakódolási tételetétele

R>C esetén n növelésével a hibás dekódolás valószínűsége,

is nő.

A tétel nem ad meg módszert jó csatornakódok létrehozására, csak azt mondja ki, hogy jelsebességük kisebb, mint a csatornakapacitás.

nRR1

1 C


Csatorna-kódolás


Csatorna-kapacitás

Vektorterek

Hamming-távolság

Hibák típusai

Kódtávolság

Singleton-korlát

Hamming-korlát


Documents

Információelmélet