Uzajamni sadržaj informacije

- iznos informacije koji jedna slučajna varijabla sadrži o drugoj slučajnoj varijabliI(X;Y) = H(X) - H(Y/X)

I(Y/X) je uzajamni sadržaj informacijeVrijedi i simetrična relacija

I(X;Y) = I(Y;X) = H(Y) - H(X/Y)jer X govori o Y govori o X. Također vrijedi

I(X;Y) =H(X) + H(Y) - H(X,Y)

Vennov dijagram

Binarni simetrični kanal.

Binarni simetrični kanal (ili BSC) je najčešće korišten model komunikacijskog kanala u teoriji kodiranja i teoriji informacije. Razlog je jednostavnost prijenosa informacija što nam omogućuje lakšu analizu konkretnih zadataka. U ovom modelu, odašiljač šalje jedan bit podataka (nula ili jedan), a prijemnik prima taj isti podatak. Pretpostavka je da će prijemnik primiti ispravan podatak, ali postoji vjerojatnost da se podatak prenese i krivo.

BSC je binarni kanal, to jest, može prenositi samo jedan od dva simbola (obično se naziva 0 i 1). (Ne-binarni kanal će biti sposoban odašiljati više od 2 simbola, možda čak i beskonačan broj mogućnosti). Prijenos u ne-binarnom kanalu nije savršen, a povremeno prijemnik dobiva pogrešnu malo.

BSC kanal se često koristi od strane teoretičara, jer je jedan od najjednostavnijih bučnih (smetnje koje utječu na krivi prijenos podataka) kanala za analizirati. Mnogi problemi u teoriji komunikacije mogu se svesti na BSC.

Shematski prikaz BSC-a

X0 i X1 su informacije koje šalje binarni izvor. P je vjerojatnost da se informacija prenese krivo. 1-P je vjerojatnost za ispravan prijenos informacije. Y0 i Y1 su informacije koje dolaze na prijemnik.

Entropija BSC-a se računa prema formuli:

Entropija je maksimalna ukoliko je vjerojatnost pogrešnog prijenosa 0,5.

Grafički prikaz entropije.

Kapacitet BSC-a:

Pogreška na binarnom simetričnom kanalu.

Binarni simetrični kanal može prenositi informaciju sa smanjenom pogreškom ako se uvede zalihost. Pretpostavimo dakle da prenosimo 0 kodom(000) a 1 kodom (111). Tada su preostale kombinacije kodova neiskorištene. Pretpostavimo da je vjerojatnost točnog prijenosa P a netočnog Q, Q<0.5. Za Q=P=0.5 imamo samo šum na kanalu i kapacitet C=0.