1

1. Teorija informacije (definicija, sadraj informacije)

TEORIJA INFORMACIJE - matematika teorija, temeljena na statistici i teoriji vjerojatnosti, koja se bavi komunikacijom tj. prijenosom informacije od izvora do odredita i to: to bre, to tonije, uz to manji utroak energije, uz prikrivanje i zatitu od zlouporabe.SADRAJ INFORMACIJE - koliina informacije u nekoj izvorinoj poruci, tj. koliina informacije koju u prosjeku sadri svaki simbol poruke. Teorija informacije daje mjeru za SADRAJ INFORMACIJE i postavlja minimalan broj simbola potreban za izraavanje nekoga sadraja informacije.

2. Model informacijske mree (komunikacijskog sustava)

izvor ( predajnik ( kanal+smetnje ( prijemnik ( odredite

3. Prijenos poruke: pogled s izvora i pogled s odredita

Temeljni problem komunikacije poruku odabranu na izvoru tono ili aproksimativno reproducirati na odreditu. Poruka je niz simbola. Poruka odabrana na izvoru uzrokuje pojavu druge poruke na odreditu. U idealnom sluaju je niz simbola koji se pojavi na odreditu bio jednak nizu simbola na izvoru, ali zbog smetnja u komunikaciji to nije tako. POGLED S IZVORA:

Promatramo prijenos samo jednoga simbola poruke. Na izvoru se odabire poruka Xi (i=1,...,n) te alje prema odreditu gdje se pojavljuje bilo koji od simbola Yj (j=1,...,m). Promatar na izvoru ne zna koji od simbola se pojavio, ve zna uvjetnu vjerojatnost p(Yj|Xi) tj. vjerojatnost da se na odreditu pojavio simbol Yj ako je na izvoru odabran Xi.POGLED S ODREDITA:Nakon prijenosa na odreditu se pojavio simbol Yj, ali promatar na odreditu ne zna koji je simbol odabran na izvoru ve poznaje statistika svojstva sustava i zna uvjetne vjerojatnosti p(Xi|Yj) tj. vjerojatnosti da je na izvoru odabran simbol Xi ako se na odreditu pojavio simbol Yj. Pojavom simbola Yj na odreditu nae znanje se bitno povealo tj. primili smo informaciju.4. Sadraj informacije

Sadraj informacije dogaaja xi(oznaka I(X= xi))je koliina informacije koju svojom pojavom sam o sebi donosi dogaaj X= xi .Ako je p vjerojatnost pojave dogaaja (X= xi) tada je I(X=xi)= -log2p[bit]5. Entropija (definicija, prije nastanka, nakon nastanka i nakon prijenosa poruke)

Entropija diskretne sluajne varijable:

Entropija daje mjeru za srednji sadraj informacije, a izraava koliko informacije moemo prenijeti nekom porukom.U trenutku prije nastanka poruke na izvoru i odreditu postoji neodreenost jer ne znamo koji e simboli biti odabrani, a mjera neodreenosti je entropija izvora H(x). Nakon nastanka poruke(tj. odabira simbola) neodreenost na izvoru nestaje a nastaje informacija dok na odreditu i dalje imamo neodreenost jer poruka nije jo primljena. Nakon prijenosa i primanja poruke nestaje i neodreenost na odreditu. 6. Svojstva entropije Sadraj informacije ne moe biti negativan

Sadraj informacije je 0 ako se uvijek pojavljuje samo jedan simbol

Neodreenost i sadraj informacije su maksimalni ako su vjerojatnosti simbola jednako rasporeene

Zato ba logaritam?

7. Kodiranje(definicija, veza s entropijom)

Kodiranje je postupak dodjele kodnih rijei simbolima poruke. Kodiranjem se poruka pretvara u novi oblik. Kada se kodira s ciljem kompresije podataka mora postojati granica do koje se moe saimati bez gubitka. Ta granica je entropija izvora. Entropija je granica kompresije bez gubitka. Nemogue je jednoznano kodirati simbole s nekog izvora uz prosjenu duljinu koda manju od entropije izvora.

8. Opis komunikacijskog sutava(informacijski i vjerojatnosni opis )

Informacijski opis komunikacijskog sustava se promatra kao diskretni informacijski sustav gdje prijenos bilo kojega simbola ne ovisi o simbolima koji su se pojavili ranije. Vjerojatnosni opis informacijskog sutava je dan u opisu sustava skupom vjerojatnosti: [p(xi)],[p(yj|xi)] ; [p(yj)],[p(xi|yj)] ; [p(xi,yj)] gdje svaki od ova tri pogleda odreuje sutav i pojave na ulazu/izlazu, a vjerojatnosti prelaza X(Y potpuno odreuju kanal.9. Odnosi vjerojatnosti u informacijskom sustavu.

10. Informacijske mjere diskretnog sutava.

VLASTITE H(X) - entropija na ulazu sustava

ENTROPIJE H(Y) entropija na izlazu sustava H(X,Y) zdruena entropija

UVJETNE H(Y|X) entrpija uma, irelevantnost

ENTROPIJE H(X|Y) ekvivokacija, mnogoznanost

I(X;Y) srednji uzajamni sadraj informacije, transinformacija

11. Srednju uzajamni sadraj informacije(transinformacija)Srednji uzajamni sadraj informacije I(X;Y) izmeu sluajnih varijabli X i Y je definiran kao relativna entropija izmeu razdiobe njihovih zdruenih vjerojatnosti (p(xi,yj)) i razdiobe umnoka njihovih pojedinanih vjerojatnosti (p(xi) i p(yj)).

12. Odnosi i svojstva informacijskih mjera

13. Prijenos informacije i informacijske mjere

14. Kapacitet kanala je maksimalna koliina informacije po simbolu koja se moe prenijeti kanalom.

15. Signali(definicija, kontinuirani i diskretni signali, analogni i digitalni signali)

Signal je pojava koja opisuje neku fizikalnu veliinu.Kontinuirani signal je signal u kontinuiranom vremenu, tj t je kontinuirana varijablja (primjer: x(t)=A sin(2 f t ) , f-frekvencija, A-amplituda).

Diskretni signal je signal u diskretnom vremenu, odnosno varijabla t poprima vrijednost t=kT

Analogni signal je signal koji u kontinuiranom vremenu poprima bilo koju vrijednost unutar kontinuiranog intervala (a,b) ,(primjer: (x(t)=A sin(2 f t ))

Digitalni signal je signal koji u diskretnom vremenu moe poprimiti samo konaan broj razliitih vrijednosti

16. Sluajni signal u bilo kojem vremenskom trenutku poprima neku sluajnu vrijednost pa se karakterizira statistiki a modelira se pomou sluajnoga procesa.17. Gaussov bijeli um

Bijeli um je sluajni proces W(t) ije su sluajne varijable u trenutcima ti i tj , ti=/=tj meusobno potpuno nekolerirane. Tada je autokovarijanca Cx(ti , tj) jednaka nuli kada god vrijedi ti=/=tj .Sluajni proces nazivano Gaussov bijeli um ako su sluajne varijable sluajnog procesa Gaussove te ako su zadovoljena predhodna svojstva.18. irina spektra signala

Ovisno o pojasu frekvencija kojeg zauzima amplitudni spektar signala, signale djelimo na:

-signale u osnovnom frekvencijskom pojasu

-signale u pomaknutom frekvencijskom pojasu

19. Komunikacijski kanal (definicija, klasifikacija)Komunikacijski kanal je tehniki oblikovan sustav za jednosmjerni prijenos izmeu predajnika i prijemnika.

Klasifikacija: linearni(telefonski kalan)

nelinearni(satelitski kanal, ali ne uvijek)

vremenski nepromjenjiv(optika nit) vremenski promjenjiv(radijski kanal u pokretnoj komunikacijskoj mrei)

ogranieni kanal:

-po irini prijenosnog pojasa(npr. telefonski kanal)

-po raspoloivoj snazi predajenika(npr. optiki prijenos)

20. Prijenosna funkcija (definicija, svojstva)

21. irina prijenosnog pojasa kanala je podruje frekvencija u kojem komunikacijski kanal proputa signale sa svog ulaza na izlaz. Realni kanali priguuju signale koje prenose: srednja snaga izlaznig signala uvjek je manja od srednje snage ulaznog signala, a vrijedi i za energiju signala. Priguenje kanala A(f) = 1/|H(f)| . Kanal djeluje i na fazu signala: faze frekvencijskih komponenti ulaznig signala se razlikuju od faza frekvencijskih komponenti izlaznog signala- disperzija signala.22.Veza izmeu irine prijenosnog pojasa kanala i irine spektra signala

23. Uzorkovanje(definicija, teorem uzorkovanja, frekvencija uzorkovanja)

Uzorkovanje je proces uzimanja uzoraka kontinuiranog signala u diskretnim trenucima. Uzorkovanje je prvi korak u digitalizaciji signala.

Teorem:I. dio predajnik: Pojasno ogranieni signal konane energije, x(t) , t e R, iji spektar ne sadri frekvencijske komponente na frekvencijama iznad B Hz ( X(f)=0 za |f| > B ) u potpunosti je i na jednoznaan nain je opisan pomou vrijednosti toga signala uzetih u diskretnim vremenskim trenucima Tn = n / (2B) gdje je n e Z, B je gornja granina frekvencija signala. II. dio . prijemnik: Pojasno ogranieni signal x(t) konane energije iji spektar ne sadri frekvencijske komponente na frekvencijana iznad B Hz ( X(f)=0 za |f| > B ) mogue je u potpunosti i na jednoznaan nain rekonstruirati na temelju poznavanja njegovih uzoraka uzetih u diskretnim trenucima meusobo razmaknutim za 1/(2B)Frekvencija uzorkovanja je osnovni problem uzorkovanja jer slijed uzoraka mora jednoznano definirati izvorni analogni signal. Poeljno je da frekvencija uzorkovanja bude to manja jer je tada i broj uzoraka manji. to su uzorci gui to je slijed uzoraka sve blii originalnom analognom signalu.24. Rekonstrukcija signala

25. Poduzorkovanje

26.Aliasing

27. Kvantizacija uzoraka(definicija, matematiki model)

28. Kvantizacijski um (definicija, varijanca kvantizacijskog uma)

29. Kodiranje i kompresija(definicija, razlike i slinosti, uloga u komunikacijskom sustavu)

Kodiranje je dodjela kodnih rijei simbolima poruke. Kodiranje moe biti:

Entropijsko(Hiffmanovo, Aritmetiko, Metode rjenika, Skarivanje niza) ,

Izvorno(Kvantizacija, Poduzorkovanje, Kodiranje zasnovano na modelu, Transformacijsko, Podpojasno, Diferencijalno i predikcijsko)

Hibrodno(Kombinacija Entropijskog i Izvornog) Kompresija je kodiranje koje smanjuje broj bitova potreban za izraavanje poruke i vri se u koderu informacije. Kompresija moe biti: bez gubitaka komprimirani podaci mogu se dekomprimiranjem bez gubita rekonstruirati (tekst, medicinske slike, satelitske snimke)

s gubicima cilj je dobiti najbolju vjernost rekonstruiranih podataka za zadanu brzinu (bit/s) ili postii najmanju brzinu za zadanu granicu vjernosti(govor, slika, video)

Omjer kompresije je omjer veliine komprimiranih i originalnih podataka.

30. Entropijsko kodiranj(definicija, klasifikacija i metode)Entropijsko kodiranje skraeno zapisuje viestruko ili esto ponavljane simbole ili nizove simbola. Zajedniko svim metodama entropijskog kodiranja: temelje se direktno na teoriji informacije

kodiranje bez gubitaka

omjer kompresije ovisi samo o statistikim svojstvima izvora informacije

poruka se promatra kao niz sluajnih vrijednosti, ne uzima se u obzir svojstvo medija

Metode entropijskog kodiranja:

Shannon-Fanoovo kodiranje

Huffmanovo kodiranje(optimalno kodiranje, binarno stablo,krai zapis estih znakova)

Aritmetiko kodiranje(poopenje Huffmanovog kodiranja, cijela poruka se pretvara u jednu kodnu rije)

Metode Rijenika(isti kodni rijenik na strani poiljatelja i primatelja, dinamika konstrukcija rjenika)

Metode skraivanja niza(potiskivanje nula, slijedno kodiranje)

31. Izvor informacije(kasifikacija i podjele)

Izvor informacije se promatra kao stohastiki proces, tj niz sluajnih varijabli x1, x2, ...xn.

Stacionarni izvor (statistika svojsta se ne mjenjaju s vremenom)

Ergodiki izvor (izvor kao skup svih moguih proizvedenih nizova, a svaki proizvedeni niz ima ista svojstva i ona se ne mijenjaju u vremenu. Ergodinost: prosjek po skupu=prosjek po vremenu)

izvori s Memorijom (vjerojatnost pojavljivanja simbola je ovisna o jednom ili vie predhodnih simbola pa su neki nizovi simbola vjerojatniji od drugih. Veina prirodnih izvora si izvori s memorijom slova u tekstu, zvuk govora...)

32. Markovljev izvor

Izvori s memorijom se esto zapisuju pomou markovljevih izvora. U dijagramu su zapisana stanja i vjerojatnosti prijelaza iz stanja u stanje. Markovljev izvor moe biti i binarni sa dva bita.33. Vrste kodova

Nesingularni - ako svakom simbolu dodijeljuje drugaiju kodnu rije

Jednoznano dekodabilan - ako je proirenje nesingularno

Prefiksni niti jedna kodna rije nije prefiks neke druge kodne rijei i kod se moe dekodirati trenutno, tj. bez znanja idue kodne rijei

34. Prosjena duljina kodne rijei i Kraftova nejednakost

li duljina pojedine kodne rijei

Prosjena duljina kodne rijei:

Kraftova nejednakost odreuje minimalne duljine kodnih rijei potrebne za prefiksni kod. Za svaki prefiksni kod sa abecedom od d simbola i duljinama kod nih rijei l1, l2, ...,ln vrijedi:

35. Entropijsko kodiranje optimalno kodiranje

Optimalan kod je prefiksni kod sa najmanjom moguom prosjenom duljinom kodne rijei

uz uvjet

Optimalan kod ima prosjenu duljinu kodne rijei koja je unutar jednoga bita od entropije:

H(X) < L < H(X) + 1

Efikasnost koda:

36. Shannon-Fanoovo kodiranje je jedna od prvih metoda kodiranja utemeljenih na teoriji informacije u kojoj ni jedna kodna rije ne smije biti prefiks neke druge.

Postupak: posloiti simbole po opadajuim vjerojatnostima

podijeliti simbole u grupe

dodijeliti 0 jednoj, a 1 drugoj grupi

ponavljati postupak dok se grupe ne svedu na jedan simbol

37. Huffmanovo kodiranje kodira saetijim zapisom(npr. tipian tekst se saima za 45%) tako da simboli s veom vjerojatnou pojavljivanja imaju krae kodne rijei od simbola s manjom vjerojatnou. Postupak:

sortiraj simbole po opadajuim vjerojatnostima

pronai dva simbola s najmanjim vjerojatnostima

jednome dodijeli simbol 0 a drugome 1

kombiniraj ta dva simbolai zbroji njhove vjerojatnosti u jedan nadsimbol i zapii ih kao dvije grane binarnog stabla ije je ravanje nadsimbol

ponavljaj korake dok ne dobije samo jedan nadsimbol

povratkom kroz stablo oitaj kod

Primjena:

standardi za telefaks(T.4 , T.6)

standard za nepominu sliku JPEG

38. Aritmetiko kodiranje39. Metode rjenika.

Algoritmi kodiranja metodama rijenika uzimaju kao ulaz nizove simbola (rijei) promijenjljive duljine i kodiraju ih kodnim rijeima stalne duljine iz rijenika. Koder i dekoder moraju imati isti rijenik a grade ga dinamiki:

LZ77 rijenik je posmini prozor od N zadnjih simbola, primjena ZIP

LZ78 i LZW umjesto posminog prozora rijenik ima zasebnu memoriju pa je rijenik poredana lista rijei gdje se rije dohvaa pomou indexa, primjena UNIX compres, GIF, modem V.24 bis40. Metode skraivanja niza.

Algoritam kodiranja metoda skraivanja niza se temelji na kraem zapisu ponavljanih simbola pomou specijalnog znaka (!) , a isplati se za 4+ znakova, primjena: prva generacija telefaksa, unutar JPEG-a.

ABCCCCCCCC ( ABC!8

41. Informacijske mjere kontinuiranog sustava ulaz u kanal sluajna varijabla X kontinuirana funkcija gustoe vjerojatnosti f1(x)

izlaz iz kanala sluajn varijabla Y - kontinuirana funkcija gustoe vjerojatnosti f2(y)

zdruena funkcija gustoe vjerojatnosti od X i Y kontinuirana finkcija f(x,y)

Entropija na ulazu kanala H(X)

Entropija na izlazu kanala H(Y)

Ekvivokacija H(X|Y)

Entropija uma H(Y|X)

Zdruena entropija H(X,Y)

42. Srednji uzajamni sadraj informacije (transinformacija) u kontinuiranom kanalu.

43. Kapacitet kanala s aditivnim umom.

44. Informacijski kapacitet pojasno ogranienog kanala.

45. Odnos prijenosne brzine i kapaciteta kanala.

46. Zatitno kodiranje (definicija, podjela).

Cilj zatitnoga kodiranja je koristiti onaj zatitni kod koji

1.uvodi najmanje mogue poveanje prosjene duljine kodnih rijei u odnosu na prosjenu

duljinu poruka 2.osigurava prihvatljivo malu vjerojatnost da pogreke simbola zatitno kodirane poruke

ostanu neotkriveneKada se otkrije pogreka pokree se neki od postupaka otklanjanja pogreke.

Podijela: blok kodovi

konvolucijski kodovi

linearni

nelinearni

47. Blok kod (definicija, podjela, oznaavanje, Hammingova udaljenost). Hammingova udaljenost izmeu dvije kodne rijei je broj pozicija na kojima se kodne rijei razlikuju, tj. broj pozicija na kojima kodne rijei imaju razliite simbole.

d( x , y )- oznaka Hammingove udaljenosti izmeu dvije kodne rijei x i y48. Otkrivanje i ispravljanje pogreaka.

49. Perfektan kod (definicija, Hammingova mea).

50. Paritetno kodiranje.

51. Linearni binarni blok kd (definicija, teina kodne rijei, oznaka).

52. Generirajua matrica G (definicija, ekvivalentan kod, standardni oblik).

53. Kodiranje linearnim blok kodovima i dekodiranje.

54. Matrica provjere pariteta koda (definicja, proraun, dekodiranje).

55. Sindrom (definicija, sindromsko dekodiranje).

56. Hammingov kd (definicija, svojstva, kodiranje).

57. Ciklini kod (definicija, uvjet, generiranje).