1. Vznik a vývoj teorie informace

2. Matematický aparát v teorii informace• Základy teorie pravděpodobnosti – Náhodné veličiny• Číselné soustavy

3. Informace• Základní pojmy – jednotka a zobrazení informace, informační hodnota• Entropie – vlastnosti entropie• Zdroje zpráv – spojité zdroje zpráv, diskrétní zdroje zpráv• Přenos informace – vlastnosti přenosu kanálů, poruchy a šumy přenosu,

způsoby boje proti šumu

4. Kódování• Elementární teorie kódování• Rovnoměrné kódy – telegrafní kód• Nerovnoměrné kódy – Morseova abeceda, konstrukce nerovnoměrných

kódů• Efektivní kódy – Shannonova – Fanova metoda, Huffmanova metoda

5. Bezpečností kódy • Zabezpečující schopnosti kódů, • Systematické kódy, • Nesystematické kódy

ZÁKLADY INFORMATIKY – Rovnoměrné a nerovnoměrné kódyZÁKLADY INFORMATIKY – Rovnoměrné a nerovnoměrné kódy

Rovnoměrné kódyRovnoměrné kódy

Rovnoměrné kódyRovnoměrné kódyRovnoměrné kódy jsou takové kódy, u kterých se každému znaku zdrojové abecedy přiřadí stejný počet kódových znaků.

Z toho důvodu mají tyto kódy velkou výhodu při dekódování.

Nerozšířenější příklady rovnoměrných kódů jsou: telegrafní kód a ASCII kód.

Telegrafní kód se používá v dálnopisných sítích. Verze MTA2 se používá už od roku 1932.

Roku 1820 Oersted zjistil, že kolem elektrického vodiče (drátu) vzniká elektromagnetické pole schopné otáčet ručičkou kompasu.

Telegrafní kódTelegrafní kód

Na tomto principu vznikl elektromagnet a další vývoj už byl "jen" otázkou dobrých nápadů. V roce 1832 se objevují první jehlové telegrafy (tehdy se říkalo galvanoměrygalvanoměry).

Systém používá pěti jehlových ukazatelů k indikaci zvláštního kódu, jehož význam se pak hledá ve slovníku.

V tom samém roce se objevuje Samuel F. B. MorseSamuel F. B. Morse jehož jméno je spojeno s

ELEKTROMAGNETICKÝM telegrafem.

Zdrojová abeceda obsahuje

• všechny písmena anglické abecedy, číslice 0, 1, ... , 9

• a některá interpunkční znaménka.

Každému znaku zdrojové abecedy je přiřazena konkrétní pětice kódových znakůpětice kódových znaků 0 a 1.

O rok později už předvádí své první zařízení pro přenos signálů po drátě: na jednom konci zapíná vypínač a na druhém označuje papírovou pásku.

V roce 1840 dostává MORSE patent na záznamový elektrický telegraf a telegrafní symboly.

Protože písmen anglické abecedy je 26, k tomu ještě 10 číslic (a nějaká interpunkční znaménka), kapacita kódu, která je rovna 25=32 znaků, je

nepostačující.

Tento problém se řeší tak, že se většina pětic znaků využívá dvakrát. K jejich rozlišení se používá tzv.

změna registru.

Pro písmenovou změnu je přiřazené kódové slovo 11111 a pro číslicovou změnu 11011.

To umožňuje, abychom mohli zakódovat 2.25-2=62 zdrojových znaků.

Písmena Číslice Kód Písmena Číslice Kód 1. A - 11000 17. Q 1 11101 2. B ? 10011 18. R 4 01010 3. C : 01110 19. S , 10100 4. D kdo tam? 10010 20. T 5 00001 5. E 3 10000 21. U 7 11100 6. F “ 10110 22. V ů 01111 7. G ˇ 01011 23. W 2 11001 8. H ´ 00101 24. X / 10111 9. I 8 01100 25. Y 6 10101

10. J zvonek 11010 26. Z + 10001 11. K 11110 27. návrat vozíku 00010 12. L 01001 28. posun o řádek 01000 13. M . 00111 29. písmenová

změna 11111

14. N , 00110 30. číslicová změna 11011 15. O 9 00011 31. mezera 00100 16. P 0 01101 32. nepoužito 00000

11111 00111 10100 00100 10010 00011

Písmenová M S mezera D Ozměna

10100 00100 11011 11100 00111 01101

S mezera číslicová 7 . 0změna

Příklad: Pomocí tabulky telegrafního kódu zakódujte zprávu„MS DOS 7.0“

Protože existují 22 = 4 různé dvojice kódových znaků 0 a 1 stačí kódovat takto:

a1 = 00 a2 = 01 a3 = 10

Příklad: Abeceda zdroje má tři znaky A={a1, a2, a3}. Zakódujte znaky zdroje rovnoměrným kódem.

V současné době, době počítačů a počítačových sítí ztrácí dálnopisy význam. Telegrafní kód je již dlouho nepostačující současným potřebám přenosu dat.

V šedesátých letech proto vznikl v USA kód vyvinutý speciálně pro mikropočítače - ASCII

Zdrojová abeceda obsahuje kromě písmen anglické abecedy a číslic i znaky používané ve výpočetní technice (malá písmena, algebraické znaky +,,,=...).

Každému z 27=128 znaků zdrojové abecedy se přiřadí sedmicesedmice kódových znakůkódových znaků 0 a 1.

ASCII kódASCII kód

Zdokonalováním ASCII kódu se vyvinulo mnoho

dalších rovnoměrných kódů např. ISO-7, ISO-8

Z ISO-7 se vycházelo při sestavování osmi prvkového kódu ISO-8.

Osmý paritní bit ISO-7 byl nahrazen významovým bitem umožňujícím vyjádřit malá i velká písmena např. azbuky a v české verzi písmena s háčky a čárkami (prvních 7 sloupců kódové tabulky ISO-8 je shodných se sloupci ISO-7).

1010100 1100101 1100011 1101000 1101110 1101111 1101100 1101111 T e c h n o l o 1100111 1101001 1100011 1101011 1100001 1000110 1100001 1101011 g i c k a F a k 1110101 1101100 1110100 1100001 u l t a

Příklad: Pomocí tabulky ISO-7 kódu zakódujte zprávu „Technologická Fakulta“

Nerovnoměrné kódy

Nerovnoměrné kódy

Nerovnoměrné kódyNerovnoměrné kódy

Nerovnoměrné kódy jsou takové kódy, kdy se jednotlivým znakům zdrojové abecedy přiřazují kódová slova, která mají různý počet znakůrůzný počet znaků.

Nejznámějším a nejrozšířenějším příkladem

tohoto kódování je Morseova abeceda.

Charakteristickou vlastností tohoto kódu je, že zohledňuje pravděpodobnostní strukturu zdrojové abecedy.

To znamená, že znakům s vyšší frekvencí výskytu je přiřazeno kratší kódové slovo a naopak znakům s nižší frekvencí výskytu delší kódové slovo.

Morseova abecedaMorseova abeceda

Je obecně známo, že Morseova abeceda

obsahuje znaky .(tečka) a - (čárka) .

Bližším zkoumáním bychom zjistili, že to není úplně pravda protože kódová abeceda obsahuje znaky tři.

Plyne to z pravidel vysílání:

- čas vysílání znaku . je t - čas vysílání znaku - je 3t - mezi znaky . a - je pauza t - mezi zdrojovými znaky je pauza 3t - mezi zdrojovými slovy je pauza 6t

Z toho kódová abeceda je:

Y={ y1, y2, y3 }

y1= . + t

y2= - + t

y3= 3t

Písmena Kód Písmena Kód Písmena Kód Písmena Kód

A . - K - . - U . . - 5 . . . . .

B - . . . L . - . . V . . . - 6 - . . . .

C - . - . M - - W . - - 7 - - . . .

D - . . N - . X - . . - 8 - - - . .

E . O - - - Y - . - - 9 - - - - .

F . . - . P . - - . Z - - . . 0 - - - - -

G - - . Q - - . - 1 . - - - - pozor - . - . -.

H . . . . R . - . 2 . . - - - nerozumím . . . . . . . .

I . . S . . . 3 . . . - - konec . . . - . -

J . - - - T - 4 . . . . - rozumím - - - - . -

TABULKA MORSEOVY TABULKA MORSEOVY ABECEDYABECEDY

a) do Morseové abecedy

b) do kódové abecedy Y

Řešení:

Z I M N Í S E M E S T R

a) --.. .. -- -. .. ... . -- . ... - .-.

b) y2 y2 y1 y1 y3 y1 y1 y3 y2 y2 y3 y2 y1 y3 y1 y1 y3 y3 y1 y1

y1 y3 y1 y3 y2 y2 y3 y1 y3 y1 y1 y1 y3 y2 y3 y1 y2 y1 y3

ZDE JE MOŽNO SI VYZKOUŠET MORSEOVU ABECEDU

Příklad: Pomocí tabulky Morseové abecedy zakódujte zprávu „ZIMNÍ SEMESTR“

Ke konstrukci nerovnoměrných kódů se využívají grafy.

V teorii grafů se takovýto graf nazývá strom.

Strom obsahuje uzly a z každého uzlu stromu vycházejí dvě hrany.

Posloupnost za sebou následujících hran se nazývá cesta.

Konstrukce nerovnoměrných kódůKonstrukce nerovnoměrných kódů

Po dohodě, že při pohybu po stromě od jednoho uzlu k druhému přiřadíme:

směrem doprava - 1

směrem doleva - 0

0

0

0

1

1

111

101100

Z toho vyplývá, že každé cestě začínající v kořeni stromu odpovídá nějaké kódové slovo a každému kódovému slovu je jednoznačně přiřazena nějaká cesta začínající v kořeni stromu.

Platí:

Přiřadíme-li zdrojovému znaku aaii nějakou cestu

začínající v kořeni stromu, pak žádné jiné zdrojové slovo aajj a a

ii nemůže mít přiřazenou cestu, která

by obsahovala celou cestu přiřazenou znaku aaii..

Toto pravidlo se označuje jako

vlastnost předpony - P (prefix property)

a takovéto kódy se nazývají P-kódy.

Tyto kódy jsou jednoznačně dekódovatelné!

Jejich dekódování spočívá v postupném ověřování patří-li přijaté kódové slovo (nebo jeho část) do kódu, nebo ne.

Uvažujme, že pro zdrojovou abecedu A={A={aa11, a, a22,...,a,...,a

NN}}

zadáme dopředu délku kódových slov příslušících jednotlivým zdrojovým znakům.

Budeme tedy vyžadovat, aby znaku aaii A A odpovídalo

kódové slovo délky nnii, i=1, ..., N, i=1, ..., N.

Mc Millan (1956) dokázal, že pro jednoznačně dekódovatelný kód s délkami kódových slov

n1, n2, ..., nN platí:

121

N

i

ni

Zde je možné vyzkoušet

Mc Millanovu podmínku:

) Zjistíme, existuje-li takový kód pomocí

Mc Millanova vztahu:

2-2 + 2-2 + 2-3 + 2-3 + 2-4 + 2-5 + 25 =

= 0.25 + 0.25 + 0.125 + 0.125 + 0.0625 + 0.03125 + 0.03125 = 0.8751

Příklad: Sestrojte kód pro zdrojovou abecedu, která obsahuje 7 písmen, jsou-li dány délky jednotlivých kódových slov takto: 2, 2, 3, 3, 4, 5, 5 2, 2, 3, 3, 4, 5, 5.

Znamená to, že takový kód existuje a stačí obsadit libovolné:

2 uzly na druhé úrovni2 uzly na druhé úrovni

2 uzly na třetí úrovni2 uzly na třetí úrovni

1 uzel na čtvrté 1 uzel na čtvrté úrovniúrovni 2 uzly na páté úrovni2 uzly na páté úrovni

)) Sestrojíme jeden z možných kódů:Sestrojíme jeden z možných kódů:

0. úroveň

1. úroveň

2. úroveň

3. úroveň

4. úroveň

5. úroveň

00 01

100 101

11010 11011

1111

Výsledný kódVýsledný kód je { je { 00,01,100,101,1111,11010,1101100,01,100,101,1111,11010,11011 }.}.

0 1

Začneme-li teď uvažovat o otázce kódových slov z hlediska pravděpodobnostní struktury zdrojové abecedy, přiřadíme zdrojové abecedě A={A={aa11,a,a22,...,a,...,a

77 } }

pravděpodobnosti:

A a1 a2 a3 a4 a5 a6 a7

P(A=ai

) 0.2 0.1 0.2 0.1 0.1 0.1 0.2

Na jejich zakódování použijeme kód vytvořený v příkladu:

K 00 01 100 101 1111 11010 11011

ni 2 2 3 3 4 5 5

Vypočítejme teď, kolik kódových znaků musíme vyslat, chceme-li poslat zprávu obsahující 1000 zdrojových znaků:

= 3400 kódových znakůZ toho vyplývá, že na jeden zdrojový znak připadne 1/1000 tzn. 3.4 kódového znaku.

( Toto číslo je průměrná délka kódového slovaprůměrná délka kódového slova při nezávislém vysílání zdrojových znaků ).

)52.051.041.031.032.021.022.0(1000

)(1000)(10007

1

7

1

i

iii

ii naPnaP