INFORMACE

Tři přístupy k pojmu informaceM. Buckland vychází ze vztahů mezi znalostmi, objekty a procesy a rozlišuje 3 pohledy:

Informace jako znalost je objektem informace jako procesu. Jde o entitu, nikoliv proces. Znalosti, názory, víra .. nelze se jich přímo dotknout.

Informace jako dokumenthmatatelná entita, dokument. Jde o fixovanou informaci, informaci v určité materiální reprezentaci.

Informace jako proces někdo někoho informuje, sděluje mu zprávu. Závisí na kontextu.

Čtyři aspekty informace (Buckland)

Znalost

Sdělení Zpracování dat

DokumentVĚC

PROCES

NEHMOTNÁ HMOTNÁ

Shannonovo chápání informace

Komunikační schéma: odesílatel - kódování - kanál (médium) - kódování - příjemce

Odhlíží od předchozích znalostí příjemce, od sémantického obsahu informace.

Máme-li dvě (stejně pravděpodobné) možnosti a víme, že platí jedna z nich, dostáváme informaci o velikosti - 1 bit

Paradox – je třeba odhlédnout od smyslu zpráv, pak zbude forma, kterou lze popsat jako posloupnost dovolených stavů.

Čím větší překvapení ve zprávě, tím větší je hodnota informace.

Entropie

• Entropie je míra neurčitosti (neuspořádanosti) systému. Pokud vyjádříme entropii pomocí pravděpodobnosti, dostaneme maximální entropii při hodnotě 50%.

• Normální (Gaussovo) rozdělení pravděpodobnosti má nejvyšší entropii – systém se chová zcela náhodně.

• Sekvence náhodných čísel má maximální míru entropie.

Informace

• Informace snižuje nebo odstraňuje neurčitost systému.

• Informace je míra uspořádanosti systému, čím je systém uspořádanější, tím nese větší informaci. Informace a entropie jsou tedy funkce, které se liší znaménkem.

• Množství informace v systému je dáno rozdílem mezi stavem neurčitosti systému (entropie), kterou měl systém před přijetím informace a stavem neurčitosti, která se přijetím informace odstranila.

• V tomto smyslu může být informace považována za vlastnost organizované hmoty.

Claude Elwood Shannon (1916 - 2001)

Matematik a inženýr, jeden ze zakladatelů teorie informace.

Uvědomil si, že stavy relé mohou odpovídat pravdivostním hodnotám

v Booleově algebře, použil ji pro návrh relé sítí.

Ukázal, že libovolnou formuli Booleovy algebry lze implementovat ve formě

kombinačního (tranzistorového) obvodu.

Za války v Bellových laboratořích pracoval na vývoji přístrojů protiletecké palby.

V r. 48 napsal „A mathematical theory of communication“ je třeba abstrahovat od významu informace, informace odstraňuje neurčitost.

Poprvé použil termín bit – binary digit.

V 45 letech zanechal aktivní vědecké činnosti.

Shannonova definice informace

Zavedeme tyto termíny:• abeceda ... množina všech symbolů• zpráva ... jakákoliv posloupnost symbolů

Pak počet možných zpráv .. N délky .. n nad abecedou s celkovým počtem symbolů ..s je

A: {0,1} tedy s=2

n = 1 N=2, I=1 ... přenos informace o velikosti 1 bitun = 2 N=4, I=2 ... přenos informace o velikosti 2 bityn = 8 N=256, I=8 ... přenos informace o velikosti 8 bitů = 1 byte

(všechny zprávy mají stejnou pravděpodobnost)

nsN NI 2log [ bit ]