Upload
others
View
13
Download
0
Embed Size (px)
Citation preview
Entropija i informacija
Teorija informacija
Čime se bavi teorija informacija?
Šta je zapravo informacija?
Kako meriti količinu informacija?
• Informacija je saznanje preneto kroz prostor-vreme.
• Signal je fizički nosilac informacije.
Informacija - Signal
Uvod u teoriju unformacija
Signal
Informacija Informacija
Signal
Druge definicije informacije:
Poruka koju je primalac prihvatio i razumeo
Podatak: činjenica na osnovu koje je moguće doneti
zaključak; "statistički podatak"
Znanje prikupljeno studiranjem, iskustvom ili podučavanjem
Mentalni stimulans
Značenje
Znanje
Uvid
Definicije informacije
Uvod u teoriju unformacija
...
Vest
Predanje
Prezentacija
Ono što auditor prikupi o organizaciji
(dovoljno, kompetentno, relevantno i korisno)
Definicije informacije
Uvod u teoriju unformacija
...
Rezultat procesiranja i organizacije činjenica čime
se povećava količina znanja onoga ko ih prima
Mogućnost zaključivanja o uzroku posmatranjem posledice
(vatra, dim)
Definicije informacije
Uvodu teoriju unformacija
“Bilo kakva komunikacija ili predstava znanja u formi činjenica,
podataka, mišljenja na bilo kom medijumu i u bilo kom obliku,
uključujući tekstualni, numerički, grafički, kartografski, narativni ili
audiovizualni”
Numerička mera smanjenja neizvesnosti nakon prelaska nekog
sistema iz jednog stanja u drugo
Najkraći zapis koji treba dati Turingovoj mašini nakon čega bi ona
mogla da reprodukuje datu sekvencu simbola
Definicije informacije
Uvod u teoriju unformacija
• Informacija je saznanje preneto kroz prostor-vreme.
Informacija
Uvod u teoriju unformacija
Informacija Informacija
Pod rečju “saznanje” možemo smatrati postupak uklanjanja
nedoumice o stvarnom stanju nekog sistema
Drugim rečima, ono što saznajemo jeste istina koja nam je pre
saznanja bila nedostupna
Saznanje se, u vidu informacije, može dalje preneti, tako da
korisnik informacije može postati njen novi izvor
Saznanje
Uvod u teoriju unformacija
Teorija informacija bavi se:
Definicijom mere količine informacija
Proučavanjem izvora informacija
Proučavanjem prenosnog kanala
Analizom granica koje optimalni sistem može dostići
Konstrukcijom prenosnog sistema što boljih performansi
Predmet proučavanja
Uvod u teoriju unformacija
Pored toga, teorija informacija bavi se i:
Analizom mogućnosti zaštite tajnosti informacija
Analizom mogućnosti skladištenja informacija
Analizom sistema sa više korisnika koji međusobno sarađuju
ili ne sarađuju
Predmet proučavanja
Uvod u teoriju unformacija
Communication Engineering & Signal Processing
Claude Elwood Shannon (1916 – 2001)
Američki elektroinženjer i matematičar, poznat kao “otac
teorije informacija”, ali i teorije projektivanja digitalnih
elektronskih kola
Uvod u teoriju unformacija
Početak teorije informacija
Sve tehničke komunikacije u suštini su diskretne – teorema o uzorkovanju
Izvor informacija generiše stohastički proces,
pa se prenos informacija mora analizirati alatima teorije verovatnoće
Postoji mogućnost da se prenos informacija značajno ubrza
bez oštećenja, bez obzira na kanal
Postoji mogućnost da se kroz dati kanal prenos informacija obavi
sa proizvoljno malom verovatnoćom greške – kapacitet kanala
Uvod u teoriju unformacija
Šenonov model komunikacionog sistema
IZVOR KODER
IZVORA
ZAŠTITNI
KODER
ZAŠTITNI
DEKODER
DEKODER
IZVORA KORISNIK +
Ekvivalentni korisnik
Smetnje
Ekvivalentni izvor
Kanal bez smetnji
Prenosni medijum
Matematička definicija
Uvod u teoriju unformacija
I(a) = -log(P[a])
Smanjivanjem P[a], I(a) raste.
Verovatnoća dva nezavisna događaja
je P[a,b]=P[a]*P[b].
Uvod u teoriju unformacija
Primer:
Primer:
Ishod eksperimenta sa jednim
novčićem nosi 1 bit informacije. ДИНАР
Usvojena definicija ne vodi računa o značenju koje neka
informacija ima za korisnika usled njegovih predznanja
(informacija koje je uskladištio pre prijema informacije o
događaju a). S druge strane, ona je osnovni koncept
digitalnih komunikacija.
Definicije informacije
Uvod u teoriju unformacija
Objašnjenje...
Uvod u teoriju unformacija
Entropija
Ako slučajni događaji A1, A2, ... , An označavaju različita stanja
nekog fizičkog sistema X, gde je funkcionisanje sistema prelazak iz
jednog u drugo stanje, tada se svakom stanju može pridružiti
brojevna vrednost i X smatrati slučajnom promenljivom (gde su pi
verovatnoće zauzimanja stanja Ai):
n
i
i
n
np
ppp
xxxX
121
211,
...
...:
Uvod u teoriju unformacija
Entropija
Entropija je mera neodređenosti (haosa, neizvesnosti) sistema u
pogledu prelaska u jedno od mogućih stanja, posmatrajući
komunikacione sisteme (izvor, koder, kanal, dekoder, primalac,
smetnje) u kojima signali i šumovi takođe imaju statistički karakter,
tj. pojavljuju se sa određenim raspodelama verovatnoće. Od ove
raspodele zavisi i srednja informacija po signalu (mera informacije).
Obrazac za entropiju (neizvesnost u pogledu izbora jedne od
mogućih vrednosti kojima su pridružene verovatnoće pi) je po
Shannon-u:
n
i
ii ppXH1
2log
Jedinica za entropiju je bit.
Uvod u teoriju unformacija
Entropija
Entropiju H(x) slučajne veličine x možemo interpretirati na sledeće
načine:
•Očekivana količina informacije koju sadrži jedna realizacija x
•Neodređenost u vezi ishoda jedne relizacije x
•Očekivana vrednost broja bita neophodnih za opis jedne
realizacije x
Uvod u teoriju unformacija
Osobine entropije
• H(1)=0
•H(p1, p2, …, pn) ne zavisi od permutacije verovatnoća pi; i=1,2, .., n
•H(p1, p2, …, pn, 0) = H(p1, p2, …, pn)
• je rastuća funkcija od n N
•U slučaju kada su verovatnoće pi iste, obrazac ima oblik:
)(1
,...,1,1
nhnnn
H
nnnn
H 2log1
,...,1,1
Uvod u teoriju unformacija
Entropija složenih sistema
Posmatraju se i složeni sistemi (X,Y), gde su sva moguća stanja,
realizacije dvodimenzionalne slučajne promenljive.
Vezano za komunikacione sisteme, veličine su:
H(X) i H(Y) – neizvesnosti u vezi sa ulazom kanala X i izlazom kanala Y,
H(X,Y) – neizvesnost u pogledu pojave uređenog para (X,Y),
Uslovna entropija:
Srednja uzajamna informacija X i Y:
i j
ijij qpYXH /2log/
XYHYHYXHXHYXI //,