Teorija informacija

Na današnjem času…

Uvod u teoriju informacija

Teorija informacija

Čime se bavi teorija informacija?

Šta je zapravo informacija?

Kako meriti količinu informacija?

• Informacija je saznanje preneto kroz prostor-vreme.

• Signal je fizički nosilac informacije.

Informacija - Signal Uvod u teoriju unformacija

Signal

InformacijaInformacija

Signal

Druge definicije informacije: Poruka koju je primalac prihvatio i razumeo Podatak: činjenica na osnovu koje je moguće doneti

zaključak; "statistički podatak" Znanje prikupljeno studiranjem, iskustvom ili podučavanjem Mentalni stimulans Značenje Znanje Uvid

Definicije informacije Uvod u teoriju unformacija

Detaljnije...

... Denuncijacija Vest Saopštenje vrha partije koje se ima pročitati na svim partijskim

sastancima (obično o “bezbedonosnim pitanjima”) Predanje Prezentacija Ono što auditor prikupi o organizaciji

(dovoljno, kompetentno, relevantno i korisno)

Definicije informacije Uvod u teoriju unformacija

Detaljnije...

... Rezultat procesiranja i organizacije činjenica čime

se povećava količina znanja onoga ko ih prima Mogućnost zaključivanja o uzroku posmatranjem posledice

(vatra, dim)

Definicije informacije Uvod u teoriju unformacija

Detaljnije...

“Bilo kakva komunikacija ili predstava znanja u formi činjenica, podataka, mišljenja na bilo kom medijumu i u bilo kom obliku, uključujući tekstualni, numerički, grafički, kartografski, narativni ili audiovizualni” Numerička mera smanjenja neizvesnosti nakon prelaska nekog sistema iz jednog stanja u drugo Najkraći zapis koji treba dati Turingovoj mašini nakon čega bi ona mogla da reprodukuje datu sekvencu simbola

Definicije informacije Uvod u teoriju unformacija

Šta je informacija?

• Informacija je saznanje preneto kroz prostor-vreme.

Informacija

Uvod u teoriju unformacija

InformacijaInformacija

Pod rečju “saznanje” možemo smatrati postupak uklanjanja nedoumice o stvarnom stanju nekog sistema Drugim rečima, ono što saznajemo jeste istina koja nam je pre saznanja bila nedostupna Saznanje se, u vidu informacije, može dalje preneti, tako da korisnik informacije može postati njen novi izvor

Saznanje

Uvod u teoriju unformacija

Šta je saznanje?

Na današnjem času…

Uvod u teoriju informacija

Teorija informacija

Čime se bavi teorija informacija?

Šta je zapravo informacija?

Kako meriti količinu informacija?

Teorija informacija bavi se: Definicijom mere količine informacija Proučavanjem izvora informacija Proučavanjem prenosnog kanala Analizom granica koje optimalni sistem može dostići Konstrukcijom prenosnog sistema što boljih performansi

Predmet proučavanja Uvod u teoriju unformacija

Pored toga, teorija informacija bavi se i: Analizom mogućnosti zaštite tajnosti informacija Analizom mogućnosti skladištenja informacija Analizom sistema sa više korisnika koji međusobno sarađuju

ili ne sarađuju

Predmet proučavanja Uvod u teoriju unformacija

Poznate ličnostiPoznate ličnosti

Communication Engineering & Signal Processing

Mala digresija o ŠenonuMala digresija o Šenonu

T I

Claude Elwood Shannon (1916 – 2001)

Američki elektroinženjer i matematičar, poznat kao “otac teorije informacija”, ali i teorije projektivanja digitalnih elektronskih kola

Poznate ličnostiPoznate ličnosti

Communication Engineering & Signal Processing

Mala digresija o ŠenonuMala digresija o Šenonu

T I

Bavio se on i drugim stvarima...

Početak...

Uvod u teoriju unformacija

Početak teorije informacija

Sve tehničke komunikacije u suštini su diskretne – teorema o uzorkovanju

Izvor informacija generiše stohastički proces,

pa se prenos informacija mora analizirati alatima teorije verovatnoće

Postoji mogućnost da se prenos informacija značajno ubrza

bez oštećenja, bez obzira na kanal

Postoji mogućnost da se kroz dati kanal prenos informacija obavi

sa proizvoljno malom verovatnoćom greške – kapacitet kanala

Grb teoretičara informacija... Uvod u teoriju unformacija

Šenonov model komunikacionog sistema

IZVORKODER

IZVORA

ZAŠTITNI

KODER

ZAŠTITNI

DEKODER

DEKODER

IZVORAKORISNIK+

Ekvivalentni korisnik

Smetnje

Ekvivalentni izvorKanal bez smetnji

Prenosni medijum

Na današnjem času…

Uvod u teoriju informacija

Teorija informacija

Čime se bavi teorija informacija?

Šta je zapravo informacija?

Kako meriti količinu informacija?

PRIMER

Uvod u teoriju unformacija

Mera količine informacija

27. januara zagrmelo je nad Beogradom 28. juna zagrmelo je nad Beogradom

Manje verovatni događaj nosi veću količinu informacija.

PRIMER

Uvod u teoriju unformacija

Mera količine informacija

Prvi test je sledeće nedelje. Na FTN je zabranjeno pušenje.

Informacija koju pružaju dva nezavisna događaja jednaka je

sumi informacija koju pruža svaki od njih pojedinačno.

Matematička definicija Uvod u teoriju unformacija

I(a) = -log(P[a])

Aksiome 1 I 2 zadovoljava sledeća definicija:

Smanjivanjem P[a], I(a) raste.

Verovatnoća dva nezavisna događaja

je P[a,b]=P[a]*P[b].

Matematička definicija Uvod u teoriju unformacija

Baza logaritama u definiciji I(a) samo menja skalu

Hartley10

Natural Unit - NATe

Binary Digit - BIT2

Matematička definicija Uvod u teoriju unformacija

Primer:

Primer:

Ishod eksperimenta sa jednim novčićem nosi 1 bit informacije.

ДИНАР

Usvojena definicija ne vodi računa o značenju koje neka informacija ima za korisnika usled njegovih predznanja (informacija koje je uskladištio pre prijema informacije o događaju a). S druge strane, ona je osnovni koncept digitalnih komunikacija.

Definicije informacije Uvod u teoriju unformacija

Objašnjenje...

Postoje i druge definicije, na primer:

Fišerova informacija

Varijansa nezavisnih događaja ima

osobinu da se sabira.

f(X,θ) predstavlja gustinu raspodele slučajne promenljive X sa nepoznatim parametrom θ koji se procenjuje.

Definicije informacije Uvod u teoriju unformacija

KOMENTAR

Pauza!

Uvod u teoriju informacija

Teorija informacija

Predavanja:

Prof. dr Vojin Šenk

Animacija

Branislav Popović