INFORMACIJSKA TEHNIKAINFORMACIJSKA TEHNIKATeorija informacijeTeorija informacije

Predavač: prof.dr.sc. Franjo JovićPredavač: prof.dr.sc. Franjo Jović

Kontakt: franjo.jovic@etfos.hrKontakt: franjo.jovic@etfos.hr

tel: 031-224-615, tel: 031-224-615, utorak/srijeda11-12hutorak/srijeda11-12h

Satnica i izvođenje Satnica i izvođenje nastavenastave

Predavanja: Predavanja: 30-4530-45 h - h - Auditorne vježbe: 8-12 h - Auditorne vježbe: 8-12 h - Laboratorijske vježbe: 8-12h - Laboratorijske vježbe: 8-12h -

Sadržaj predavanjaSadržaj predavanja Pojam informacije. Filozofske osnove. Matematičko izražavanje. Pojam informacije. Filozofske osnove. Matematičko izražavanje.

Entropija. Entropija kontinuiranog izvora informacije. Pojavni i Entropija. Entropija kontinuiranog izvora informacije. Pojavni i obilježni oblici informacije. Bayesovi i Gittovi stavci. Kapacitet obilježni oblici informacije. Bayesovi i Gittovi stavci. Kapacitet informacijskog kanala. Shannonov teorem. Železnikarove teze.informacijskog kanala. Shannonov teorem. Železnikarove teze.

Informacija na izvoru, njeno otkrivanje i kodiranje. Obrazac i Informacija na izvoru, njeno otkrivanje i kodiranje. Obrazac i opažaj. Markovljev izvor. Kvaliteta izvora. Govorna informacija. opažaj. Markovljev izvor. Kvaliteta izvora. Govorna informacija. Mrežni agent kao informacijski izvor. Šum i kodiranje na kanalu. Mrežni agent kao informacijski izvor. Šum i kodiranje na kanalu. Međuinformacija. Podaci i informacija. Signal i umnožak BT.Međuinformacija. Podaci i informacija. Signal i umnožak BT.

Analiza glavnih komponenti informacije. Carnapova entropija. Analiza glavnih komponenti informacije. Carnapova entropija. Klasifikacijski postupci. Statistička i entropijska klasifikacija. Klasifikacijski postupci. Statistička i entropijska klasifikacija. Klastering. Postklasifikacijska analiza. Vrednovanje Klastering. Postklasifikacijska analiza. Vrednovanje semantičkog sadržaja. Mrežni informacijski multiagenti - semantičkog sadržaja. Mrežni informacijski multiagenti - posrednici, osnovica .posrednici, osnovica .

Sadržaj vježbiSadržaj vježbi

Kodiranje na informacijskom kanalu. Kodiranje na informacijskom kanalu. Vlastiti sadržaj informacije. Proračun Vlastiti sadržaj informacije. Proračun entropije. Proračun semantičkog sadržaja.entropije. Proračun semantičkog sadržaja.

Proračun uvjetne entropije. Kodiranje Proračun uvjetne entropije. Kodiranje Markovljevih izvora. Filtriranje podataka. Markovljevih izvora. Filtriranje podataka. Klasifikacijska analiza. Klasteriranje Klasifikacijska analiza. Klasteriranje složenih događaja. Projekt mrežnog složenih događaja. Projekt mrežnog agenta.agenta.

Proračun rizičnosti složenih događajaProračun rizičnosti složenih događaja

Znanje, informacija i Znanje, informacija i osnovna pitanja filozofijeosnovna pitanja filozofije

Uvodno izlaganjeUvodno izlaganje

Franjo JovićFranjo Jović

Osijek 05.10.2006.Osijek 05.10.2006.

Što je filozofijaŠto je filozofija FFilozofijailozofija razmatra cjelinu bitka u razmatra cjelinu bitka u

odnosu na čovjeka i istinu koju odnosu na čovjeka i istinu koju obuhvaća dublje od svake znanstvene obuhvaća dublje od svake znanstvene spoznajespoznaje

Nastupa kod osvještavanja ljudiNastupa kod osvještavanja ljudi Smisao čiste fSmisao čiste filozofijeilozofije bez znanosti se bez znanosti se

pojavljuje tamo gdje se:pojavljuje tamo gdje se: a) stvarnost sagledava u svom podrijetlua) stvarnost sagledava u svom podrijetlu b) stvarnost obrađuje poput unutrašnjeg b) stvarnost obrađuje poput unutrašnjeg

razgovorarazgovora

Što je filozofijaŠto je filozofija/2/2

c) otvara širina spoznatljivogc) otvara širina spoznatljivog d) odvija ljudska komunikacija u d) odvija ljudska komunikacija u

traženju istinetraženju istine e) razum strpljivo održava budnim pred e) razum strpljivo održava budnim pred

onim najstranijim i pred osobnim onim najstranijim i pred osobnim ograničenjimaograničenjima

FFilozofijailozofija nas koncentrira time što nas nas koncentrira time što nas održava ljudima u našem sudjelovanju održava ljudima u našem sudjelovanju u stvarnosti.u stvarnosti.

Podrijetlo filozofijePodrijetlo filozofije Pobuda filozofiranja leži u čuđenju, Pobuda filozofiranja leži u čuđenju,

sumnji, svijesti o izgubljenosti, sumnji, svijesti o izgubljenosti, primicanju graničnih stanja: smrti, primicanju graničnih stanja: smrti, slučaja, krivice, neoslonjivosti na slučaja, krivice, neoslonjivosti na svijetsvijet

Platon i Aristotel su izučavali u Platon i Aristotel su izučavali u začuđenosti samu bit bitka, Descartes začuđenosti samu bit bitka, Descartes je u beskonačnosti nepoznatog tražio je u beskonačnosti nepoznatog tražio ono nužno poznato; stoici su u patnji ono nužno poznato; stoici su u patnji sadašnjosti tražili smirenje duše. sadašnjosti tražili smirenje duše.

Podrijetlo filozofijePodrijetlo filozofije/2/2

Pritisak polazi od sigurnog tla do Pritisak polazi od sigurnog tla do dubine bitka do počovjekovljenja; dubine bitka do počovjekovljenja; ide do komunikacije čovjek - čovjek.ide do komunikacije čovjek - čovjek.

Priopćenja koja pritom nastaju su Priopćenja koja pritom nastaju su neodvojiva od sagledavanja istine: u neodvojiva od sagledavanja istine: u unutrašnjem postojanju, unutrašnjem postojanju, osvjetljavanju ljubavi, približavanju osvjetljavanju ljubavi, približavanju savršenstvusavršenstvu

SpoznatljivoSpoznatljivo Osnovno pitanje fOsnovno pitanje filozofijeilozofije je: Što jest? Što je bitak, je: Što jest? Što je bitak,

osnovica svega što postoji, živog i neživog, vidljivog osnovica svega što postoji, živog i neživog, vidljivog i nevidljivog? Ono iz čega sve proizlazi?i nevidljivog? Ono iz čega sve proizlazi?

Tales: Sve je voda! ..vatra, materija, duh, duhovno Tales: Sve je voda! ..vatra, materija, duh, duhovno živuća materija (hilozoizam)živuća materija (hilozoizam)

No jesmo li voda koja misli? … To dovodi do No jesmo li voda koja misli? … To dovodi do suprotnosti subjekt - objekt. Nema objekta bez suprotnosti subjekt - objekt. Nema objekta bez subjekta i obrnuto. Stvarnost je dakle spoznatljivo subjekta i obrnuto. Stvarnost je dakle spoznatljivo koje se u toj suprotnosti pojavljuje. Spoznatljivo ne koje se u toj suprotnosti pojavljuje. Spoznatljivo ne postaje predmetom ali dolazi u pojavnost u postaje predmetom ali dolazi u pojavnost u dualnosti ja-predmet. U tom promišljanju postoji i dualnosti ja-predmet. U tom promišljanju postoji i drugi rascijep: predmet u odnosu na druge drugi rascijep: predmet u odnosu na druge predmete. predmete.

SpoznatljivoSpoznatljivo/2/2 Kao razlika prema drugome proizilazi da je bitak Kao razlika prema drugome proizilazi da je bitak

suprotstavljen ništavilu. Predmet ne može biti sve, suprotstavljen ništavilu. Predmet ne može biti sve, dakle ni cjelina bitka. Ni sam bitak. Svako dakle ni cjelina bitka. Ni sam bitak. Svako osmišljavanje nečega je izvlačenje toga iz osmišljavanje nečega je izvlačenje toga iz spoznatljivog. Dakle to stoji suprotstavljeno ne samo spoznatljivog. Dakle to stoji suprotstavljeno ne samo meni već i drugim predmetima. Spoznatljivo je stoga meni već i drugim predmetima. Spoznatljivo je stoga ono što se u promišljanju uvijek navještava.ono što se u promišljanju uvijek navještava.

Zamisao je u odnos na predmet neprirodna pojava u Zamisao je u odnos na predmet neprirodna pojava u uobičajenom razumijevanju odnosa. Mi želimo s uobičajenom razumijevanju odnosa. Mi želimo s njezinom pomoći utjecati na vlastitu svjesnost bitka. njezinom pomoći utjecati na vlastitu svjesnost bitka. Zamisao sama po sebi je prazna, bespredmetna. No Zamisao sama po sebi je prazna, bespredmetna. No svojim oblikom otvara beskonačne mogućnosti svojim oblikom otvara beskonačne mogućnosti pojave postojanja i postaje s obzirom na njega pojave postojanja i postaje s obzirom na njega transparentna.transparentna.

SpoznatljivoSpoznatljivo/3/3 Mi promišljamo predmetno, slikovno. Moramo Mi promišljamo predmetno, slikovno. Moramo

odatle misleći predmetno postići usmjerenje na odatle misleći predmetno postići usmjerenje na bespredmetno spoznatljivog.bespredmetno spoznatljivog.

Egzistencijalno smo vezani na Boga / Egzistencijalno smo vezani na Boga / transcendentalno a to sve putem znakova, transcendentalno a to sve putem znakova, simbola. Božje postojanje je za nas stvarnost simbola. Božje postojanje je za nas stvarnost putem našeg postojanja, dok inače postoji u putem našeg postojanja, dok inače postoji u drugim dimenzijama potpuno različitim od našeg drugim dimenzijama potpuno različitim od našeg predmetnog svijeta.predmetnog svijeta.

Tako se spoznatljivo sastoji od naše svjesnosti po Tako se spoznatljivo sastoji od naše svjesnosti po kojoj smo svi jednaki, od životne stvarnosti po kojoj smo svi jednaki, od životne stvarnosti po kojoj smo međusobno odvojeni pojedinci i od kojoj smo međusobno odvojeni pojedinci i od egzistencije u kojoj smo po svojoj snalažljivosti.egzistencije u kojoj smo po svojoj snalažljivosti.

SpoznatljivoSpoznatljivo

Mistici transcendiraju dualnost objekt - subjekt, Mistici transcendiraju dualnost objekt - subjekt, poništavaju subjekt i odlaze u poništavaju subjekt i odlaze u transcendentalno, no ne mogu ga iskazati jer transcendentalno, no ne mogu ga iskazati jer nije predmetljivo, nije izrecivonije predmetljivo, nije izrecivo

Spoznatljivo je dakle:Spoznatljivo je dakle:– bitak po sebibitak po sebi– transcendentalost (Bog)transcendentalost (Bog)– svijetsvijet

TranscendentalnoTranscendentalno Prorok Jeremija promišlja živog Boga. Grčki fProrok Jeremija promišlja živog Boga. Grčki filozofiilozofi

domišljaju Boga kao pravilo. Oba razmišljanja svode se na domišljaju Boga kao pravilo. Oba razmišljanja svode se na to da Bog jest i da postoji kao obdržavač i stvoritelj svijeta. to da Bog jest i da postoji kao obdržavač i stvoritelj svijeta. Današnji fDanašnji filozofiilozofi zaobilaze to pitanje, kao ono zaobilaze to pitanje, kao ono:: što ne što ne možemo znati radije prešućujemo. Bog nije pristupačan možemo znati radije prešućujemo. Bog nije pristupačan promišljanjem već vjerovanjem. Njegovo se postojanje ne promišljanjem već vjerovanjem. Njegovo se postojanje ne može dokazati matematikom ili empirijskim znanostima. može dokazati matematikom ili empirijskim znanostima. No ni dokazani Bog ne bi bio Bog već predmet. No ni dokazani Bog ne bi bio Bog već predmet.

Odakle vjera? Iz ljudske slobode. U svojoj slobodi nisam po Odakle vjera? Iz ljudske slobode. U svojoj slobodi nisam po sebi samom već sam sebi u njemu darovan; ne mogu svoju sebi samom već sam sebi u njemu darovan; ne mogu svoju slobodu iznuditi. U svojoj najvećoj slobodi sam slobodan i slobodu iznuditi. U svojoj najvećoj slobodi sam slobodan i od sebe i svoje vezanosti za svijet. Dakle najdublje sam od sebe i svoje vezanosti za svijet. Dakle najdublje sam vezan za transcendentalno. Bog je po meni odlučnost u vezan za transcendentalno. Bog je po meni odlučnost u kojoj postojim. On je sadašnjost postojanja a ne sadržaj kojoj postojim. On je sadašnjost postojanja a ne sadržaj znanja. U njemu je izvjesnost životne prakseznanja. U njemu je izvjesnost životne prakse /1,Karl /1,Karl Jaspers/Jaspers/..

Bezuvjetni zahtjevBezuvjetni zahtjev BZ postoji u ljubavi, borbi, u visoko postavljenim BZ postoji u ljubavi, borbi, u visoko postavljenim

ciljevima. Obilježje BZ jest da mu je život u cjelini ciljevima. Obilježje BZ jest da mu je život u cjelini osnova no ne posljednja. Za ostvarenje BZ je osnova no ne posljednja. Za ostvarenje BZ je svejedno odnosi li se na ideju, ljubav ili vjernost. svejedno odnosi li se na ideju, ljubav ili vjernost. Nije podložan volatilnosti života. U krajnjoj granici Nije podložan volatilnosti života. U krajnjoj granici prekoračuje život i dovodi do gubitka bitka, do prekoračuje život i dovodi do gubitka bitka, do neizbježne smrti. Uvjetni zahtjev se po svaku neizbježne smrti. Uvjetni zahtjev se po svaku cijenu obraća životu. cijenu obraća životu.

Sokrat, Thomas Morus, Bruno, umrli su za svoju Sokrat, Thomas Morus, Bruno, umrli su za svoju istinuistinu

BZ ima svoj korijen u nama samima, s time da me provlači BZ ima svoj korijen u nama samima, s time da me provlači kroz nešto što nisam samo ja po sebi. To nije ono što se želi kroz nešto što nisam samo ja po sebi. To nije ono što se želi nego ono zbog čega se želi. To je stav vjere, težina jedne nego ono zbog čega se želi. To je stav vjere, težina jedne duše.duše.

Bezuvjetni zahtjevBezuvjetni zahtjev/2/2 Razabiremo li mi svoje osnove i ciljeve svojih postupaka Razabiremo li mi svoje osnove i ciljeve svojih postupaka

ostajemo u uvjetovanom. Tek život iz nepredmetnog ostajemo u uvjetovanom. Tek život iz nepredmetnog osnova je života u BZ. BZ je duboko ukorijenjen u ono osnova je života u BZ. BZ je duboko ukorijenjen u ono čime smo ispunjeni.čime smo ispunjeni.

Opredmećeni BZ je fanatizam i tiranijaOpredmećeni BZ je fanatizam i tiranija Komunikacija zaljubljenih u ljubavnoj bitci - možda i ona Komunikacija zaljubljenih u ljubavnoj bitci - možda i ona

može biti lažnamože biti lažna BZ je vanvremensko. Ono je konstruktivna dobrota.BZ je vanvremensko. Ono je konstruktivna dobrota. Zlo nastupa u tri oblikaZlo nastupa u tri oblika

– kao moralni čin odluke tipa želja / zadaćakao moralni čin odluke tipa želja / zadaća– kao etični čin kada odluke BZ stoji u ovisnosti uvjetovanog kao etični čin kada odluke BZ stoji u ovisnosti uvjetovanog

(čistoća motiva)(čistoća motiva)– kao metafizički čin biti motiva: ljubav (od koje se živi) / kao metafizički čin biti motiva: ljubav (od koje se živi) /

mržnja (izvlačenje iz transcendentalnog)mržnja (izvlačenje iz transcendentalnog)

Ostala pitanja filozofijeOstala pitanja filozofije Što je čovjekŠto je čovjek

– sloboda, djelovanje, transcendentalnostsloboda, djelovanje, transcendentalnost Što je svijetŠto je svijet

– svijet i prolaznostsvijet i prolaznost– svijet i ono vječno u njemusvijet i ono vječno u njemu

Povijest čovječanstva, filozofije, religijePovijest čovječanstva, filozofije, religije– je li ipak nečastivi pomagač Boguje li ipak nečastivi pomagač Bogu

Filozofska neovisnostFilozofska neovisnost– Filozof je Filozof je neovisan od materijalne zapetljanosti, neovisan od materijalne zapetljanosti,

plemena, asket, nije prestrašen, neovisan o religiji, plemena, asket, nije prestrašen, neovisan o religiji, politici, uređenju države, smrtipolitici, uređenju države, smrti

– filozofiranje je škola neovisnosti a ne posjedovanje filozofiranje je škola neovisnosti a ne posjedovanje neovisnosti. neovisnosti.

1.Pojam i matematičko 1.Pojam i matematičko izražavanje informacijeizražavanje informacije

“Mislim da smo trenutno u predkopernikanskom razdoblju “Mislim da smo trenutno u predkopernikanskom razdoblju spoznaje i primjene informacije” Marijan Miković, 2004., spoznaje i primjene informacije” Marijan Miković, 2004.,

osobno priopćenjeosobno priopćenje

Informacija i propast EPR pokusaInformacija i propast EPR pokusa

Na temelju članka Einsteina, Rosena i Podolskog (1935) Na temelju članka Einsteina, Rosena i Podolskog (1935) “Can quantum-mechanical description of physical reality be “Can quantum-mechanical description of physical reality be considered complete?” izradio je John Bell prijedlog provjere considered complete?” izradio je John Bell prijedlog provjere istodobne pojave informacije na udaljenim mjestima npr u istodobne pojave informacije na udaljenim mjestima npr u pokusu s polariziranim zrakama svjetlosti. Ovo su pokusu s polariziranim zrakama svjetlosti. Ovo su spomenuta tri autora naveli kao nešto nemoguće. Pokus su spomenuta tri autora naveli kao nešto nemoguće. Pokus su 1982. godine izveli Aspect, Roger i Dalibard i pokazali da se 1982. godine izveli Aspect, Roger i Dalibard i pokazali da se informacija pojavljuje istodobno na udaljenim mjestima, informacija pojavljuje istodobno na udaljenim mjestima, dakle neovisno o brzini svjetlosti. Ovime je informacija dakle neovisno o brzini svjetlosti. Ovime je informacija pokazala da posjeduje svojstvo (barem) četvrte prostorne pokazala da posjeduje svojstvo (barem) četvrte prostorne dimenzije jer se može iskazati istodobno na bilokojem dimenzije jer se može iskazati istodobno na bilokojem mjestu treće dimenzije prostora. Naprosto dolazeći iz mjestu treće dimenzije prostora. Naprosto dolazeći iz njegovog “ne prostora”. njegovog “ne prostora”.

Istodobno i materija(energija) je pokazala da je nedjeljivo Istodobno i materija(energija) je pokazala da je nedjeljivo “vezana” uz informaciju! Obje činjenice bile su “previše” za “vezana” uz informaciju! Obje činjenice bile su “previše” za dotadašnje poimanje stvarnosti.dotadašnje poimanje stvarnosti.

Informacija i propast EPR pokusa/2Informacija i propast EPR pokusa/2

Neovisnost o prostornoj dimenziji 3D prostora čini i striktno Neovisnost o prostornoj dimenziji 3D prostora čini i striktno čuvanje informacije te dostup do informacije vrlo osjetljivim čuvanje informacije te dostup do informacije vrlo osjetljivim ako ne i nemogućim zahvatom u užem smislu te riječi. ako ne i nemogućim zahvatom u užem smislu te riječi. Naravno ukoliko je informacija upakirana u materijalnom Naravno ukoliko je informacija upakirana u materijalnom aspektu prostora.aspektu prostora.

Mi smo propašću EPR pokusa dovedeni na “golu ledinu” gdje Mi smo propašću EPR pokusa dovedeni na “golu ledinu” gdje je samo pitanje vremena i sredstava kada će apsolutno je samo pitanje vremena i sredstava kada će apsolutno nedostupna materijalno pakirana informacija biti stvar nedostupna materijalno pakirana informacija biti stvar prošlosti. Ograničenje će biti naša spoznajna sposobnost, prošlosti. Ograničenje će biti naša spoznajna sposobnost, dakako.dakako.

Drugo je pitanje ne posjedujemo li već takva saznanja u Drugo je pitanje ne posjedujemo li već takva saznanja u podsvijesti? No informacija u podsvjesti je isto tako i podsvijesti? No informacija u podsvjesti je isto tako i “nedostupna informacija”. Osim ako nismo vješti u npr “nedostupna informacija”. Osim ako nismo vješti u npr tumačenju snova...tumačenju snova...

Opažaj - obrazac - Opažaj - obrazac - informacijainformacija

Poučavanje o informaciji je stoga poučavanje o mišljenju.Poučavanje o informaciji je stoga poučavanje o mišljenju. Poučavanje o mišljenju ne smije biti poučavanje o klasičnoj logici, Poučavanje o mišljenju ne smije biti poučavanje o klasičnoj logici,

jer je logika nešto konkretno i opipljivo, nešto čisto i formalno jer je logika nešto konkretno i opipljivo, nešto čisto i formalno gotovo poput matematike. Logika je osim toga samo sukladna gotovo poput matematike. Logika je osim toga samo sukladna mitu u paru logos – mithosmitu u paru logos – mithos /2, de Saussure Ferdinand/ /2, de Saussure Ferdinand/..

U svojoj osnovnoj prirodi logika je alat opažanja, ona ukazuje na U svojoj osnovnoj prirodi logika je alat opažanja, ona ukazuje na ono implicitno, na proturječno.ono implicitno, na proturječno.

Porota se na sudu bavi istraživanjem iskustva zločina. Činjenice Porota se na sudu bavi istraživanjem iskustva zločina. Činjenice povećavaju opažaj. Logika čini implicitno eksplicitnim.povećavaju opažaj. Logika čini implicitno eksplicitnim.

Eksplicitne činjenice povezuju se u obrazac. U poučavanju obično Eksplicitne činjenice povezuju se u obrazac. U poučavanju obično se informacija izvlači iz gotovih obrazaca i “suho” predstavlja. se informacija izvlači iz gotovih obrazaca i “suho” predstavlja. Tada naša pažnja ide brzo prema informaciji.Tada naša pažnja ide brzo prema informaciji.

U stvarnom životu doći do informacije je mučan postupak. Skup. O U stvarnom životu doći do informacije je mučan postupak. Skup. O tome ćemo ovdje raspravljati. O gruboj tehnici dobivanja tome ćemo ovdje raspravljati. O gruboj tehnici dobivanja obrazaca. obrazaca.

Iz podataka, signala, znakova, zvukova - podsvješću se ne kanimo Iz podataka, signala, znakova, zvukova - podsvješću se ne kanimo baviti. Niti snovima.baviti. Niti snovima.

Obrazac - oblik - idejaObrazac - oblik - ideja Obrazac bi mogao biti nešto što se ponavlja, nekakav red, Obrazac bi mogao biti nešto što se ponavlja, nekakav red,

odnos, nešto što mi opažamo i uspoređujemo s nečim nama odnos, nešto što mi opažamo i uspoređujemo s nečim nama ranije poznatimranije poznatim

Definicija, deBonoDefinicija, deBono /3/ /3/: Kada se dogodi pokret iz sadašnjeg : Kada se dogodi pokret iz sadašnjeg stanja u neko sljedeće stanje s vjerojatnošću iznad stanja u neko sljedeće stanje s vjerojatnošću iznad očekivanog tada se stvara obrazac:očekivanog tada se stvara obrazac:– ova definicija uključuje aktora obrascaova definicija uključuje aktora obrasca– moguću ideju o akciji koju on izvodi, temoguću ideju o akciji koju on izvodi, te– moguću posljedicu te akcijemoguću posljedicu te akcije

Obrasci mogu biti simultani, sinkronijski ili slijedni, Obrasci mogu biti simultani, sinkronijski ili slijedni, dijakronijski. Njihovo pojavljivanje u jeziku poput nečega što dijakronijski. Njihovo pojavljivanje u jeziku poput nečega što je “postavljeno van volje pohranitelja” nešto što više izražava je “postavljeno van volje pohranitelja” nešto što više izražava svojstvo duha nego prirodu stvari svojstvo duha nego prirodu stvari /2//2/. No izgleda da je . No izgleda da je materijal koji generira obrazac u prednosti pred Gestaltom, materijal koji generira obrazac u prednosti pred Gestaltom, oblikom, oblikom, da je da je pojava u prednosti pred formom.pojava u prednosti pred formom.

Obrazac - oblik - ideja /2Obrazac - oblik - ideja /2

De Saussure je izveo dihotomiju jezika (langue) i govora De Saussure je izveo dihotomiju jezika (langue) i govora (parole) iz prvobitnog zajedništva u jezičkoj djelatnosti (parole) iz prvobitnog zajedništva u jezičkoj djelatnosti (language). Dakle postoji pojedinčev i skupni (povijesni) vid (language). Dakle postoji pojedinčev i skupni (povijesni) vid jezika jezika /2//2/. .

Jezik i kodovi u komunikaciji nisu mogući bez sustava Jezik i kodovi u komunikaciji nisu mogući bez sustava stvaranja obrazaca. Riječi su kodovi. One pokreću akcije u stvaranja obrazaca. Riječi su kodovi. One pokreću akcije u memoriji slušatelja. One djeluju kao okidači obrazaca. memoriji slušatelja. One djeluju kao okidači obrazaca. Riječima se naš razum vodi od stanja do stanja (preko Riječima se naš razum vodi od stanja do stanja (preko nespoznatljivih međustanja).nespoznatljivih međustanja).

Po nekim obrascima. Do ideja. Ali i obrnuto: od ideja (iz Po nekim obrascima. Do ideja. Ali i obrnuto: od ideja (iz nadprostora??). nadprostora??).

Prikazuju se dPrikazuju se dva modela obrasca informacije: model va modela obrasca informacije: model stolnjaka i model želatine. Zašto su to informacijski modeli?stolnjaka i model želatine. Zašto su to informacijski modeli?

Model stolnjakaModel stolnjaka Mjesto A pokazuje otisak Mjesto A pokazuje otisak

neke pravilne mrljeneke pravilne mrlje Mjesto B pokazuje otisak Mjesto B pokazuje otisak

nepravilnog oblikanepravilnog oblika Mjesto C pokazuje još veći Mjesto C pokazuje još veći

nepravilni otisaknepravilni otisak Jesu li podaci o prošlim Jesu li podaci o prošlim

događajima zapisani?događajima zapisani? Jesu li ti podaci lako Jesu li ti podaci lako

izmjenjivi?izmjenjivi? Jesu li podaci međusobno Jesu li podaci međusobno

povezani? Prostorom, povezani? Prostorom, vremenom?vremenom?

AC

B

Model želatineModel želatine Dotok tople tekućine otapa Dotok tople tekućine otapa

sve više i više želatinu.sve više i više želatinu. Otopljena tekućina u Otopljena tekućina u

području a i b se širi.području a i b se širi. Kada se područja a i b spoje Kada se područja a i b spoje

sve što padne bit će samo sve što padne bit će samo zajednički doprinos.zajednički doprinos.

Sve što padne izvana neće Sve što padne izvana neće biti doprinos.biti doprinos.

Koji najvažniji informatički Koji najvažniji informatički proces je tu u igri?proces je tu u igri?

Selekcija!Selekcija!

a b

Ideje i informacijaIdeje i informacija

Obrada informacije (gdje je ta informacija koja se Obrada informacije (gdje je ta informacija koja se izgubila u podacima) - ili zašto je Napoleon izgubio bitku izgubila u podacima) - ili zašto je Napoleon izgubio bitku kod Trafalgara kod Trafalgara

( pa zbog sporijeg punjenja topova!)( pa zbog sporijeg punjenja topova!) Informacijsko prokletstvo na kineski način- Dabogda Informacijsko prokletstvo na kineski način- Dabogda

živjeli u zanimljivim vremenima! Ili, ako se bavite tuđom živjeli u zanimljivim vremenima! Ili, ako se bavite tuđom informacijom/idejom tada se ne bavite vlastitom.informacijom/idejom tada se ne bavite vlastitom.

Slika - sve je započelo izgleda jednostavnim crtežima - Slika - sve je započelo izgleda jednostavnim crtežima - iako, prije slika bile su piramide (i samo suglasnici) iako, prije slika bile su piramide (i samo suglasnici) jedne davne civilizacije.jedne davne civilizacije.

Ideje i informacija /2Ideje i informacija /2

Riječ ( u početku su riječi bile svete: izgovaranjem riječi Riječ ( u početku su riječi bile svete: izgovaranjem riječi nastajala je pojava) - zato su i Egipćani vjerojatno zazirali nastajala je pojava) - zato su i Egipćani vjerojatno zazirali od skraćenicama prikazanih riječi npr. koloid = ko(tač)od skraćenicama prikazanih riječi npr. koloid = ko(tač)+lo(tos)+id(em), no Midianiti se nisu bojali i … nastali su +lo(tos)+id(em), no Midianiti se nisu bojali i … nastali su suglasnici, a u Grčkoj i samoglasnici.suglasnici, a u Grčkoj i samoglasnici.

Pismo Pismo današnje dobi današnje dobi nastalo nastalo je je u Feniciji i Grčkoj, no za u Feniciji i Grčkoj, no za brojeve su se pobrinuli Babilonci i - Arapi; pred 5000 brojeve su se pobrinuli Babilonci i - Arapi; pred 5000 godina su Kinezi davali doktorate iz matematikegodina su Kinezi davali doktorate iz matematike

Slijede pravila, strojevi, tehnologija, inteligencija, ideje, Slijede pravila, strojevi, tehnologija, inteligencija, ideje, ljudski element - tu leži informacija! ljudski element - tu leži informacija!

...= B ;A =

Osnovna svojstva Osnovna svojstva informacijeinformacije

Spontanost, nepredvidljivost, slojevitost, kružnost, povratnostSpontanost, nepredvidljivost, slojevitost, kružnost, povratnost Informira i biva informirana, protuinformacija - pitanje, prostor Informira i biva informirana, protuinformacija - pitanje, prostor

ukotvljenosti, opkoljenosti, proširenje informacije, pragukotvljenosti, opkoljenosti, proširenje informacije, prag Nastaje i nestaje, briše se, prekriva, ponavlja, Nastaje i nestaje, briše se, prekriva, ponavlja, Serijska, paralelna, paralelna pa serijska Serijska, paralelna, paralelna pa serijska Apsolut, osobnost, bolno spoznajna, svjesna, podsvjesnaApsolut, osobnost, bolno spoznajna, svjesna, podsvjesna Informacija je komunikacija i njen nedostatak, Informacija je komunikacija i njen nedostatak, Vanjska - unutrašnja, povjerljiva, javna, nedostupna, Vanjska - unutrašnja, povjerljiva, javna, nedostupna,

nespoznatljiva, jednostavna, tajanstvena, simbolična, nespoznatljiva, jednostavna, tajanstvena, simbolična, prosvjetljenje, razum, moćprosvjetljenje, razum, moć

Informacija je riječ koja bijaše na početku, izraz više sile, Informacija je riječ koja bijaše na početku, izraz više sile, unutrašnji glas...unutrašnji glas...

Osnovna svojstva Osnovna svojstva informacije/2informacije/2

Informacija je činjenica, detalj, laž, promidžba, instinkt, Informacija je činjenica, detalj, laž, promidžba, instinkt, intuicijaintuicija

Informacija je u pozivu, djelovanju, voljiInformacija je u pozivu, djelovanju, volji Informacija je univerzalna, ćudljiva, (ne)dohvatljivaInformacija je univerzalna, ćudljiva, (ne)dohvatljiva Provjerava se informacijom, pitamo se što je to, bojimo se Provjerava se informacijom, pitamo se što je to, bojimo se

moći informacije, krijemo jemoći informacije, krijemo je Pojavljuje se na začudnim mjestima i skrivenim putovima, u Pojavljuje se na začudnim mjestima i skrivenim putovima, u

postupku koji je entitet i proces istodobno, događanje i postupku koji je entitet i proces istodobno, događanje i prestanak događanja, prestanak događanja,

Informacija je nadzor, vođenje i povratna veza; šum i Informacija je nadzor, vođenje i povratna veza; šum i smetnja su informacija, smetnja su informacija,

Nevidljiva je i sveprisutna, ona je sve to rečeno i puno višeNevidljiva je i sveprisutna, ona je sve to rečeno i puno više Nastaje voljom i razumom.Nastaje voljom i razumom. To je fundamentalna veličina, ni energija niti materija To je fundamentalna veličina, ni energija niti materija

Nastanak i spremanje Nastanak i spremanje informacijeinformacije

Pojam informacije osnova je za mnoge znanosti i tehničke Pojam informacije osnova je za mnoge znanosti i tehničke discipline: kibernetiku, automatiku, biologiju, povijest, discipline: kibernetiku, automatiku, biologiju, povijest, teologiju, ekonomiju, proizvodne tehnologije, filozofijuteologiju, ekonomiju, proizvodne tehnologije, filozofiju

Osnovni Shannonov teorem koji pojam informacije uspješno Osnovni Shannonov teorem koji pojam informacije uspješno veže uz vjerojatnost pojave pojedinih znakova, riječi veže uz vjerojatnost pojave pojedinih znakova, riječi komentira Karl Steinbach: “To je kao kada biste smatrali komentira Karl Steinbach: “To je kao kada biste smatrali kilogram zlata i kilogram pijeska jednako vrijednim”kilogram zlata i kilogram pijeska jednako vrijednim”

Norbert Wiener piše: “Informacija je informacija ni materija Norbert Wiener piše: “Informacija je informacija ni materija niti energija”niti energija”

Gittov 1. stav: Fundamentalnu veličinu informaciju ne Gittov 1. stav: Fundamentalnu veličinu informaciju ne možemo pripisati materiji. možemo pripisati materiji.

Ovime se “čisti” materijalni procesi isključuju kao izvori Ovime se “čisti” materijalni procesi isključuju kao izvori informacije. informacije.

Nastanak i spremanje Nastanak i spremanje informacije/2informacije/2

Stav 2: Informacija nastaje samo putem volje (nakane)Stav 2: Informacija nastaje samo putem volje (nakane)

Inf. VoljaI vd2

No informacija iz nekog izvora je to bolja što je veća inteligencija i znanje tog izvora, dakle informacija = inteligencija (d) * znanje (d) * volja (v) = v*d2

Nastanak i spremanje Nastanak i spremanje informacije/3informacije/3

Povezivanje volje informacije i inteligencije / znanja odražava Povezivanje volje informacije i inteligencije / znanja odražava pojavu na izvoru informacije. Osnova priopćenja informacije pojavu na izvoru informacije. Osnova priopćenja informacije je volja pojedinca. Veća volja daje veći učin. Konstanta je volja pojedinca. Veća volja daje veći učin. Konstanta proporcionalnosti ovisi o umnošku inteligencije i znanja proporcionalnosti ovisi o umnošku inteligencije i znanja autora informacije. Ovo je intuitivni model, dakako. autora informacije. Ovo je intuitivni model, dakako.

Informacija služi svrsi vođenja sustava u kojem je stvorena, Informacija služi svrsi vođenja sustava u kojem je stvorena, radom ne slučajem. Dakle informacija je nešto blisko politici, radom ne slučajem. Dakle informacija je nešto blisko politici, ali i tehnici, medicini, pravu.ali i tehnici, medicini, pravu.

Stav 3. Pri svim tehničkim i uopće umjetnim sustavima Stav 3. Pri svim tehničkim i uopće umjetnim sustavima informacija tvori njenu nematerijalnu osnovicu. informacija tvori njenu nematerijalnu osnovicu.

Informacije se može pohranjivati na materijalnu osnovicu, Informacije se može pohranjivati na materijalnu osnovicu, štoviše, idealno je upravo ono pohranjivanje gdje se štoviše, idealno je upravo ono pohranjivanje gdje se modificira određena (prostorna) dimenzija materijalnog modificira određena (prostorna) dimenzija materijalnog medija drugom dimenzijom informacijskog svijeta medija drugom dimenzijom informacijskog svijeta (vremenom) (vremenom)

Razine, oblici i vrste informacijeRazine, oblici i vrste informacije

Pet je različitih vidova informacije: statistika, sintaksa, Pet je različitih vidova informacije: statistika, sintaksa, semantika, pragmatika i apobetika. Primjer govorne semantika, pragmatika i apobetika. Primjer govorne informacije:informacije:

abeceda rječnik jezik informacijaabeceda rječnik jezik informacija

a, b, c Ivo Ivo gleda :Ivo gleda

kôd gramatika smisao akcija?

Razine, oblici i vrste informacije/2Razine, oblici i vrste informacije/2

Statistički vidStatistički vid određuje kvantitetu, količinu određuje kvantitetu, količinu informacijskih znakova, predanu ili primljenu, brzinu informacijskih znakova, predanu ili primljenu, brzinu protoka znakova, znakovnih grupa, riječi. protoka znakova, znakovnih grupa, riječi.

Gramatička točnost i jasnoća informacije pri tome nije Gramatička točnost i jasnoća informacije pri tome nije bitna, jer se svaka pogreška u prijenosu jednako tretira.bitna, jer se svaka pogreška u prijenosu jednako tretira.

Informacija se obrađuje posredno preko vjerojatnosti Informacija se obrađuje posredno preko vjerojatnosti pojavljivanja informacijskih znakova.pojavljivanja informacijskih znakova.

Statistički vid osnovica je mjerenja informacije. Kako se Statistički vid osnovica je mjerenja informacije. Kako se to može obaviti? Pa preko statističke mjere: relativne to može obaviti? Pa preko statističke mjere: relativne frekvencije pojavljivanja informacijskih znakova.frekvencije pojavljivanja informacijskih znakova.

Razine, oblici i vrste informacije/3Razine, oblici i vrste informacije/3

Iza oblikovanja znakova, slova, grafema, fonema u riječi, Iza oblikovanja znakova, slova, grafema, fonema u riječi, simbola, stoji simbola, stoji sintaksasintaksa (syntaxis - poredak, order, Anordnung). (syntaxis - poredak, order, Anordnung). Pravila se odnose na znakove pisanih jezika, kodne signale, Pravila se odnose na znakove pisanih jezika, kodne signale, slikovne znakove, notno pismo, računalne kodove, genetičke slikovne znakove, notno pismo, računalne kodove, genetičke kodove, plesne znakove pčela, mirisne znakove kukaca, kodove, plesne znakove pčela, mirisne znakove kukaca, znakovlje gluhonijemih. Pravila se uče ili nasljeđuju.znakovlje gluhonijemih. Pravila se uče ili nasljeđuju.

U sintaksu spadaju pravila pisanja, izbor simbola i njihovih U sintaksu spadaju pravila pisanja, izbor simbola i njihovih kombinacija, pravila biranja riječi, tvorbe rečenice, načini na kombinacija, pravila biranja riječi, tvorbe rečenice, načini na koje se rečenica mijenja. Gramatika. Na razini koda se koje se rečenica mijenja. Gramatika. Na razini koda se odražava i odlučuje o tome ima li predloženi sustav kreativnu odražava i odlučuje o tome ima li predloženi sustav kreativnu ili samo reproduktivnu značajku.ili samo reproduktivnu značajku.

Kreativni kodovi imaju u pravilu sintetička, integrativna, Kreativni kodovi imaju u pravilu sintetička, integrativna, asocijativna a reproduktivni analitička, disocijativna svojstva. asocijativna a reproduktivni analitička, disocijativna svojstva.

Razine oblici i vrste informacije/4Razine oblici i vrste informacije/4

SemantikaSemantika (semantikos - obilježavajući, sema = znak) (semantikos - obilježavajući, sema = znak) je smisao, sadržaj, poruka, iskaz, značenje niza je smisao, sadržaj, poruka, iskaz, značenje niza znakova, riječi neke poruke.znakova, riječi neke poruke.

Stav 4: samo je ono informacija što sadrži (barem) Stav 4: samo je ono informacija što sadrži (barem) semantiku, značenje.semantiku, značenje.

Ovo znači da odašiljatelj (i primatelj) informacije Ovo znači da odašiljatelj (i primatelj) informacije posjeduju određeni duhovni koncept, kojim je moguće posjeduju određeni duhovni koncept, kojim je moguće prihvatiti značenje informacije. prihvatiti značenje informacije.

Tek se postojanjem jezika informacija može pohranjivati Tek se postojanjem jezika informacija može pohranjivati na materijalnim nositeljima. Informacija je na materijalnim nositeljima. Informacija je nepromjenjiva bez obzira na vrstu prijenosnog medija ili nepromjenjiva bez obzira na vrstu prijenosnog medija ili sustava zapisa. Ova invarijantnost uzrokovana je sustava zapisa. Ova invarijantnost uzrokovana je njezinom nematerijalnom prirodom.njezinom nematerijalnom prirodom.

Razine, oblici i vrste informacije /5Razine, oblici i vrste informacije /5

Razlikujemo: Razlikujemo: prirodne jezike (preko 5000 jezika) prirodne jezike (preko 5000 jezika) umjetne jezike (esperanto, gluhonijemi, zastavice, umjetne jezike (esperanto, gluhonijemi, zastavice,

prometna pravila), prometna pravila), umjetne formalne jezike (programski, matematički, umjetne formalne jezike (programski, matematički,

logički, kemijski, notni), logički, kemijski, notni), posebne jezike tehnike, znakovni jezik nacrta, posebne jezike tehnike, znakovni jezik nacrta, posebne jezike žive prirode (dupini, glavonošci, pauci, ..)posebne jezike žive prirode (dupini, glavonošci, pauci, ..)

Razine, oblici i vrste informacije/6Razine, oblici i vrste informacije/6

Kodiranje značenja u prirodnim i umjetnim jezicima Kodiranje značenja u prirodnim i umjetnim jezicima postiže se pojedinim ili složenim djelovanjem sljedećih postiže se pojedinim ili složenim djelovanjem sljedećih sredstava:sredstava:– oblikovanjemoblikovanjem– stilistikomstilistikom– fonetikomfonetikom– intonacijomintonacijom– gestikomgestikom– semantičkim sredstvima: homonimima, homofonima, semantičkim sredstvima: homonimima, homofonima,

metaforama, metonimijama, ironijom, anomalijom,…metaforama, metonimijama, ironijom, anomalijom,…

Pri tome su predajnik i prijemnik ili inteligentno biće ili inteligencijom stvoreni umjetni sustavi.

Razine, oblici i vrste informacije/7Razine, oblici i vrste informacije/7 PragmatikaPragmatika (pragmatike - vještina ispravnog (pragmatike - vještina ispravnog

rukovanja)rukovanja) Svaki prijenos informacije ima za cilj ili nakanu izazvati Svaki prijenos informacije ima za cilj ili nakanu izazvati

na prijemnoj strani odgovarajući učin, događaj. Da bi to na prijemnoj strani odgovarajući učin, događaj. Da bi to postigla predajna strana se služi: molbom, pitanjem, postigla predajna strana se služi: molbom, pitanjem, kukanjem, poučavanjem, opominjanjem, pritiskom, kukanjem, poučavanjem, opominjanjem, pritiskom, naredbom, a sve u cilju rukovanja predajnom stranom. naredbom, a sve u cilju rukovanja predajnom stranom.

Informacija se stoga može nazvati i strukturom koja na Informacija se stoga može nazvati i strukturom koja na predajnoj strani izaziva određeni učin. Ona je predajnoj strani izaziva određeni učin. Ona je manipulativna.manipulativna.

Možemo razlikovatiMožemo razlikovati– kruto postupanje, kruto postupanje,

kao kod programiranja strojeva, izgradnje stanice, funkcija kao kod programiranja strojeva, izgradnje stanice, funkcija disanja, disanja,

instinktivno rukovanjeinstinktivno rukovanje dresura životinjadresura životinja

Razine, oblici i vrste informacije/8Razine, oblici i vrste informacije/8 Pragmatika - fleksibilno i kreativno rukovanje Pragmatika - fleksibilno i kreativno rukovanje

informacijominformacijom– uvježbano rukovanje ljudima, oblici učtivosti, kretnje uvježbano rukovanje ljudima, oblici učtivosti, kretnje

obrtnikaobrtnika– jednostavno djelovanje ljudijednostavno djelovanje ljudi– intuitivno nastupanje ljudiintuitivno nastupanje ljudi– inteligentno ponašanje ljudi slobodne voljeinteligentno ponašanje ljudi slobodne volje

Sva navedena ponašanja rezultat su upravo primljene informacije, dakle komuniciranja, ali i onog naučenog, iskustvenog.

Razine, oblici i vrste informacije/9Razine, oblici i vrste informacije/9

ApobetikaApobetika (apobeinon - događaj, uspjeh, (apobeinon - događaj, uspjeh, rezultat) razmatra svrhovitost, cilj odašiljanja rezultat) razmatra svrhovitost, cilj odašiljanja informacije. informacije.

Primjeri su kod životinja osiguranje životnog Primjeri su kod životinja osiguranje životnog prostora, kod ljudi su potreba komunikacije i prostora, kod ljudi su potreba komunikacije i dogovora o zajedničkom cilju, životu. dogovora o zajedničkom cilju, životu.

Uvijek se u slučaju naglašavanja ili Uvijek se u slučaju naglašavanja ili potiskivanja cilja treba biti oprezan, jer se radi potiskivanja cilja treba biti oprezan, jer se radi o najvišem vidu prijenosa informacije, pa i o najvišem vidu prijenosa informacije, pa i šteta za primatelja može biti najveća.šteta za primatelja može biti najveća.

Razine, oblici i vrste informacije/10Razine, oblici i vrste informacije/10

Dakle izvoru informacije treba posvetiti dužnu pozornost! Dakle izvoru informacije treba posvetiti dužnu pozornost! Kod informacije nekog izvora specifičan je!Kod informacije nekog izvora specifičan je!

Izbjegavanje dohvata informacije je opasno, jer smo bez Izbjegavanje dohvata informacije je opasno, jer smo bez informacije neupućeni.informacije neupućeni.

Dohvaćanje informacije je opasno, jer nas dobivanje Dohvaćanje informacije je opasno, jer nas dobivanje informacije kada je nismo spremni primiti može “satrti” - informacije kada je nismo spremni primiti može “satrti” - stoga u pravilu vrijedi:stoga u pravilu vrijedi:

Kada je čovjek spreman da je primi - informacija Kada je čovjek spreman da je primi - informacija dolazi. Skrivanje od informacije je također dolazi. Skrivanje od informacije je također opasno!opasno!

No suprotstavljeni koncepti se utjelovljuju i sukobljavaju opet u No suprotstavljeni koncepti se utjelovljuju i sukobljavaju opet u živom dijalogu! U dijalogu autora (duha) i junaka (duše). Život je živom dijalogu! U dijalogu autora (duha) i junaka (duše). Život je konflikt. Konflikt je prirodan.konflikt. Konflikt je prirodan.

Kvalitete izvora Kvalitete izvora informacijeinformacije

Kvaliteta izvora Kval. semantike ipragmatike

Kvalitetadogađaja

Inteligencija Zamisao rješenja,funkcije

Cilj

Bogatstvo ideja Optimalnost,strategija

Nakana

Genijalnost Vrijeme provedbe Smisao

Stanje znanja Tehnologija Funkcija

Domišljatost Programiranje Scenarij

Minijaturizacija

Razine, oblici i vrste informacije/11Razine, oblici i vrste informacije/11

Vrste informacije:Vrste informacije: Proizvodna, pogonska, komunikacijskaProizvodna, pogonska, komunikacijska Podrijetlo informacije:Podrijetlo informacije:

– kopirana informacija (CD, DNK, fotokopija, reprodukcija kopirana informacija (CD, DNK, fotokopija, reprodukcija slike), u pravilu se svakim kopiranjem nešto gubi; zašto?slike), u pravilu se svakim kopiranjem nešto gubi; zašto?

– reproduktivna informacija (interpretacija teksta, glazbe, reproduktivna informacija (interpretacija teksta, glazbe, dijela softvera), u pravilu se svakom reprodukcijom dijela softvera), u pravilu se svakom reprodukcijom nešto dobiva; zašto?nešto dobiva; zašto?

– kreativna informacija: voljom, sposobnošću i talentom kreativna informacija: voljom, sposobnošću i talentom pojedinca nastaje nova vrijednost poput jezika, teksta, pojedinca nastaje nova vrijednost poput jezika, teksta, koda, sustava, glazbe, slike, patenta, postupka, koda, sustava, glazbe, slike, patenta, postupka, saznanja.saznanja.

Razine, oblici i vrste informacije/12Razine, oblici i vrste informacije/12

Poseban oblik informacije je hologram. Izgleda da je DNK Poseban oblik informacije je hologram. Izgleda da je DNK jedan vid holograma. Osnovno svojstvo holograma je jedan vid holograma. Osnovno svojstvo holograma je zapisivanje informacije u nižoj dimenziji prostora. Tako se zapisivanje informacije u nižoj dimenziji prostora. Tako se 1D hologram može rabiti za zapis 2D podatka, 2D za zapis 1D hologram može rabiti za zapis 2D podatka, 2D za zapis 3D itd. Drugo je svojstvo integrativnost: iako se dio 3D itd. Drugo je svojstvo integrativnost: iako se dio holograma može izgubiti sadržaj ostaje. Treće svojstvo je holograma može izgubiti sadržaj ostaje. Treće svojstvo je linearnost: hologram čuva spremljeno vjerno linearnost: hologram čuva spremljeno vjerno reproducirajući osnovni oblik.reproducirajući osnovni oblik.

Može se očekivati veća uporaba ovog vida pohrane i Može se očekivati veća uporaba ovog vida pohrane i aktiviranja informacije. Aktiviranjem holograma događa se aktiviranja informacije. Aktiviranjem holograma događa se i mogućnost promjene sadržaja (relaksacije) u smislu i mogućnost promjene sadržaja (relaksacije) u smislu smanjenja hologramskog “šuma”. Na taj način se, uz smanjenja hologramskog “šuma”. Na taj način se, uz ostalo brane i naše stanice od smetnji izazvanih ostalo brane i naše stanice od smetnji izazvanih izgaranjem ATP-a, toksikacijom ili napadom virusa.izgaranjem ATP-a, toksikacijom ili napadom virusa.

Razine, oblici i vrste informacije/13Razine, oblici i vrste informacije/13

Primjer relaksacije holograma:Primjer relaksacije holograma: nerelaksirani hologram s greškomnerelaksirani hologram s greškom

relaksacija

relaksirani oporavljeni hologram

Kvaliteta i korisnost Kvaliteta i korisnost informacijeinformacije

Informacija može biti upotrebljiva ili neupotrebljiva što ovisi o okolnostima.No bez obzira na to ona može biti po svojoj mjeri samo kvalitativnog a nikako kvantitativnog značenja.Po svojoj semantičkoj vrijednosti i korisnosti razlikujemopet stupnjeva vrednovanja:izuzetno važnu, važnu, korisnu, beskorisnu i štetnu informaciju.Ova procjena je često stvar pojedinca, iako postoje posve jasni etički obrasci koji su podloga procjeni. Postoji savjest.

Kvaliteta i korisnost Kvaliteta i korisnost informacije/2informacije/2

Izuzetno važna informacija: visoki sadržaj Izuzetno važna informacija: visoki sadržaj apobetikeapobetike

Važna informacija: značajna za postizanje ciljaVažna informacija: značajna za postizanje cilja Korisna informacija: općeg značenja, u smislu Korisna informacija: općeg značenja, u smislu

kontakta, izobrazbe, zabave, dnevnih događajakontakta, izobrazbe, zabave, dnevnih događaja Beskorisna informacija: općeniti podaci, Beskorisna informacija: općeniti podaci,

banalnosti, besmislene novosti, gubitak vremena banalnosti, besmislene novosti, gubitak vremena Štetna informacija: inf. s negativnim posljedicama Štetna informacija: inf. s negativnim posljedicama

, vodi k zabludama, štetnim događajima, , vodi k zabludama, štetnim događajima, defektima a postiže se svjesnim ili u zabludi datim defektima a postiže se svjesnim ili u zabludi datim iskazima, lažima, podmetanjima, šarlatanstvom, iskazima, lažima, podmetanjima, šarlatanstvom, ljutnjom, sektašenjem, ideologizacijom, šundom.ljutnjom, sektašenjem, ideologizacijom, šundom.

Važnost i korisnost Važnost i korisnost informacijeinformacije

Korisnost je Korisnost je objektivnaobjektivna komponenta informacijekomponenta informacije– vrijedi za većinu ljudivrijedi za većinu ljudi– nije upotrebljiva ako ne nije upotrebljiva ako ne

postoji ili nije ostvarivapostoji ili nije ostvariva– često neotkrivene često neotkrivene

činjenicečinjenice– neobjavljena inf.neobjavljena inf.– zaboravljena inf.zaboravljena inf.– beskorisnost je vezana beskorisnost je vezana

i za nemogućnost i za nemogućnost djelovanjadjelovanja

Važnost je Važnost je pojedinčevapojedinčeva komponenta informacijekomponenta informacije– važnost za pojedinca važnost za pojedinca

nije isto što i za neku nije isto što i za neku drugu osobudrugu osobu

– općenita važnost inf. je općenita važnost inf. je samo relativno važna samo relativno važna pojedincupojedincu

– velika većina inf. je velika većina inf. je pojedincu irelevantnapojedincu irelevantna

– velika je važnost velika je važnost pojedincu svaka njemu pojedincu svaka njemu štetna informacija štetna informacija

Vrednovanje semantičkog sadržaja Vrednovanje semantičkog sadržaja informacijeinformacije

Veličine koje obuhvaćaju semantičku kvalitetu Veličine koje obuhvaćaju semantičku kvalitetu informacije u cilju njene možebitne kvantifikacije ili informacije u cilju njene možebitne kvantifikacije ili barem relativne usporedbe subarem relativne usporedbe su

semantička kvaliteta qsemantička kvaliteta q relevantnost rrelevantnost r novost (aktualnost) anovost (aktualnost) a dostupnost z dostupnost z postojanje epostojanje e To su semantičke veličine osobnog značaja informacije, To su semantičke veličine osobnog značaja informacije,

korisničkekorisničke Kreću se dogovorno u rasponu od 0 do 1 osim q koji se Kreću se dogovorno u rasponu od 0 do 1 osim q koji se

prema ranije navedenom kreće u rasponu q = (1,-1)prema ranije navedenom kreće u rasponu q = (1,-1)

Vrednovanje semantičkog sadržaja Vrednovanje semantičkog sadržaja informacije - semantička kvalitetainformacije - semantička kvaliteta

Mjera semantičke kvalitete obuhvaća težinu značenja. Mjera semantičke kvalitete obuhvaća težinu značenja. Posebno se odnosi na tzv proizvodnu upotrebljivost Posebno se odnosi na tzv proizvodnu upotrebljivost informacije, poput učinkovitosti primijenjenog algoritma informacije, poput učinkovitosti primijenjenog algoritma u računalu, smanjenjenju memorijskog prostora i u računalu, smanjenjenju memorijskog prostora i vremena obrade, prenosivost programa, pouzdanost vremena obrade, prenosivost programa, pouzdanost programa, primijenjenom programskom jeziku i sl.programa, primijenjenom programskom jeziku i sl.

Koliko pojedini elementi ovog vida informacije utječu na Koliko pojedini elementi ovog vida informacije utječu na samu kvalitetu informacije ovisi i o subjektivnim samu kvalitetu informacije ovisi i o subjektivnim procjenama, ali i o objektivno zatečenom stanju.procjenama, ali i o objektivno zatečenom stanju.

Informacija bez kvalitete, prazna informacija ima q = 0, Informacija bez kvalitete, prazna informacija ima q = 0, najkvalitetnija informacija ima q = 1, a najštetnija najkvalitetnija informacija ima q = 1, a najštetnija informacija ima q = -1 informacija ima q = -1

Semantička relevantnost i važnostSemantička relevantnost i važnost Kod informacije posebno se naglašava osobni interes koji Kod informacije posebno se naglašava osobni interes koji

donesena informacija daje korisniku, njegovom ostvarenju cilja, donesena informacija daje korisniku, njegovom ostvarenju cilja, osobnom ciljuosobnom cilju

Ono što osobi A može biti izuzetno važno, dakle rOno što osobi A može biti izuzetno važno, dakle rAA = 1, može = 1, može osobi B biti potpuno nevažno, dakle može imati rosobi B biti potpuno nevažno, dakle može imati rBB = 0 = 0

Stoga je procjena iznosa parametra relevantnosti od strane Stoga je procjena iznosa parametra relevantnosti od strane neinformiranih promatrača za nepoznate osobe težak zadatak.neinformiranih promatrača za nepoznate osobe težak zadatak.

Tako je npr prognoza vremena za zapadnu Australiju Tako je npr prognoza vremena za zapadnu Australiju prosječnom hrvatskom gledatelju televizije potpuno irelevantna. prosječnom hrvatskom gledatelju televizije potpuno irelevantna. Naprotiv, ako netko odavde putuje rođacima u zapadnu Naprotiv, ako netko odavde putuje rođacima u zapadnu Australiju rado će pogledati na TV prognozu vremena i uopće se Australiju rado će pogledati na TV prognozu vremena i uopće se upoznati s tamošnjim vremenskim prilikama.upoznati s tamošnjim vremenskim prilikama.

Za tehnološke procese je relevantnost nebitna, jer nemaju Za tehnološke procese je relevantnost nebitna, jer nemaju osobni značaj - ili ne bi trebali biti tako projektirani.osobni značaj - ili ne bi trebali biti tako projektirani.

AktualnostAktualnost U mnogim je područjima života potrebno relevantnu i važnu U mnogim je područjima života potrebno relevantnu i važnu

informaciju dostaviti informaciju dostaviti pravodobno.pravodobno. Podatak o zastarjeloj informaciji, “lanjskom snijegu”, ima iznos Podatak o zastarjeloj informaciji, “lanjskom snijegu”, ima iznos a = 0a = 0 Visokoaktualna informacija ima a = 1.Visokoaktualna informacija ima a = 1. Za tehnološke procese je aktualnost nedvojbena i trajno Za tehnološke procese je aktualnost nedvojbena i trajno

konstantna veličina s a = 1, pa se niti ne procjenjuje posebno.konstantna veličina s a = 1, pa se niti ne procjenjuje posebno. Opadanje iznosa aktualnosti zavisi o vremenskim konstantama Opadanje iznosa aktualnosti zavisi o vremenskim konstantama

pojava na koje se odnose - već i mali prekid govora ili glazbe je pojava na koje se odnose - već i mali prekid govora ili glazbe je štetan štetan

Tako su geološki podaci iako izuzetno stari još uvijek aktualniTako su geološki podaci iako izuzetno stari još uvijek aktualni Istraživanjem nekih starih događaja se parametar aktualnosti mijenjaIstraživanjem nekih starih događaja se parametar aktualnosti mijenja Osobito kada se pravilnosti pojavljivanja mogu protegnuti na Osobito kada se pravilnosti pojavljivanja mogu protegnuti na

današnje događaje - dakle nešto davno može postati vrlo aktualno.današnje događaje - dakle nešto davno može postati vrlo aktualno.

DostupnostDostupnost

Ni najvažnija informacija ako nije dostupna nema vrijednosti, Ni najvažnija informacija ako nije dostupna nema vrijednosti, dakle za nju je z = 0.dakle za nju je z = 0.

Informacija koja je potpuno dostupna ima iznos z = 1.Informacija koja je potpuno dostupna ima iznos z = 1. Baze podataka, biblioteke, informacijski centri, računarske Baze podataka, biblioteke, informacijski centri, računarske

mreže, internet povećavaju dostupnost informaciji.mreže, internet povećavaju dostupnost informaciji. Nedostupnost se povećava zaštitnim kodom, klauzuriranosti Nedostupnost se povećava zaštitnim kodom, klauzuriranosti

informacije u pravu, medicini, filozofiji te namjerne informacije u pravu, medicini, filozofiji te namjerne klauzuriranosti kod nedostupnih, tajnih ili štićenih podataka klauzuriranosti kod nedostupnih, tajnih ili štićenih podataka poput industrijske svojine ili poslovnih tajni. Nedostupnost poput industrijske svojine ili poslovnih tajni. Nedostupnost može biti i mjera manipulacije.može biti i mjera manipulacije.

Industrijski podaci moraju biti dostupni operatorima, Industrijski podaci moraju biti dostupni operatorima, tehnolozima ili voditeljima smjeni, iako selektivno. Smatra se tehnolozima ili voditeljima smjeni, iako selektivno. Smatra se da je dostupnost u proizvodnim procesima jednaka jedinici.da je dostupnost u proizvodnim procesima jednaka jedinici.

PostojanjePostojanje Postojanje informacije je pitanje da li informacija uopće postoji Postojanje informacije je pitanje da li informacija uopće postoji

na svojem izvoru (ili materijalnoj kopiji). na svojem izvoru (ili materijalnoj kopiji). Potpuna upitnost postojanja izražava se iznosom parametra e = Potpuna upitnost postojanja izražava se iznosom parametra e =

0.0. Potpuna poznatost, osvjedočenost postojanja izražava se Potpuna poznatost, osvjedočenost postojanja izražava se

iznosom parametra e = 1.iznosom parametra e = 1. Tako je pitanje postojanje terapije raka želudca između 0 i 1, a Tako je pitanje postojanje terapije raka želudca između 0 i 1, a

isto to kod raka jetre jednako je ništici. isto to kod raka jetre jednako je ništici. Procesni i tehnološki podaci smatraju se da redovito postoje, Procesni i tehnološki podaci smatraju se da redovito postoje,

iako često preko posrednog mjerenja.iako često preko posrednog mjerenja. U teoriji sustava smatra se da neki podaci postoje iako nisu U teoriji sustava smatra se da neki podaci postoje iako nisu

izmjerivi. Do takvih se podataka ne može dostupiti. izmjerivi. Do takvih se podataka ne može dostupiti. U principu možemo reći da svi podaci na neki način postoje U principu možemo reći da svi podaci na neki način postoje

(Bayes).(Bayes).

Mjera semantičkog Mjera semantičkog sadržaja - primjersadržaja - primjer

00,10,20,30,40,50,60,70,80,9

1K

vali

teta

Rel

evan

tnos

t

Akt

ualn

ost

Dos

tupn

ost

Pos

toja

nje

PROCESINTERNETVISOKA ŠKOLA

Mjera informatičkog sadržajaMjera informatičkog sadržaja Pretvorbom tabličnog u pentagramski oblik dobiva se za Pretvorbom tabličnog u pentagramski oblik dobiva se za

površinu izrazpovršinu izraz A = F sin72A = F sin720 0 (ra+az+ze+eq+qr) / 2(ra+az+ze+eq+qr) / 2 (1)(1) Nadopuna 1: faktor potpunosti F koji je jednak ništici kada Nadopuna 1: faktor potpunosti F koji je jednak ništici kada

su q, ili r ili a ili z ili e jednaki ništici a inače je F jednak su q, ili r ili a ili z ili e jednaki ništici a inače je F jednak jedinici. Dakle, ne smatra se informatičkim sadržajem kada jedinici. Dakle, ne smatra se informatičkim sadržajem kada ne postoji neki od parametara.ne postoji neki od parametara.

Nadopuna 2: na iznos parametra q koji može biti između -1 i Nadopuna 2: na iznos parametra q koji može biti između -1 i 11

Normalizacija na iznos semantičke mjere jednake Normalizacija na iznos semantičke mjere jednake maksimalno 100 ili -100 dobiva se relacijommaksimalno 100 ili -100 dobiva se relacijom

S = 20 ( ra +az +ze + e|q| + |q|r) F sign qS = 20 ( ra +az +ze + e|q| + |q|r) F sign q (2)(2) Izrazite mjeru informatičkog sadržaja iz prethodnog Izrazite mjeru informatičkog sadržaja iz prethodnog

primjera!primjera!

2. Entropija kontinuiranog 2. Entropija kontinuiranog izvora informacijeizvora informacije

ZalihostZalihost Zalihost ili redundancija jest postojanje nekog detalja, koda, Zalihost ili redundancija jest postojanje nekog detalja, koda,

poruke, signala kanala ili sustava više nego što je najnužnije poruke, signala kanala ili sustava više nego što je najnužnije potrebno za predstavljanje ili prijenos tražene informacije.potrebno za predstavljanje ili prijenos tražene informacije.

Prijenosom redundantnog signala na primjer, dolazi do Prijenosom redundantnog signala na primjer, dolazi do neučinkovite uporabe kanala, jer ne prenosi informaciju na neučinkovite uporabe kanala, jer ne prenosi informaciju na svojoj najvećoj brzinisvojoj najvećoj brzini

Prikažemo li npr. signal DA i signal NE sljedećom shemomPrikažemo li npr. signal DA i signal NE sljedećom shemom– DA : ++---DA : ++---– NE : +-+-+NE : +-+-+– dobivamo dosta zališnu shemu jer bi zadovoljilo i dobivamo dosta zališnu shemu jer bi zadovoljilo i – DA : +DA : +– NE : -NE : -– Dakle imali bismo pet puta brži prijenos ili manji prostor Dakle imali bismo pet puta brži prijenos ili manji prostor

skladištenja podatkaskladištenja podatka

Prednost zalihostiPrednost zalihosti

U slučaju smetnji ili šuma postoji bolja U slučaju smetnji ili šuma postoji bolja mogućnost ispravne interpretacijemogućnost ispravne interpretacije

*Kontrolirana ekspanzija informacije daje potpuniji opisprocesa na izvoru informacije

t

Zalihost u tehničkoj praksiZalihost u tehničkoj praksi Zalihost ponavljanjem u vremenuZalihost ponavljanjem u vremenu

– ponavljanje poruke u vremenu u slučaju otkrivanja ponavljanje poruke u vremenu u slučaju otkrivanja pogreškepogreške

– periodičkim slanjem porukeperiodičkim slanjem poruke Zalihost ponavljanjem u prostoruZalihost ponavljanjem u prostoru

– slanjem poruke u više kanala slanjem poruke u više kanala – bilježenjem podatka na više mjestabilježenjem podatka na više mjesta

Zalihost ponavljanjem u frekvencijiZalihost ponavljanjem u frekvenciji– slanjem poruka na više frekvencijskih područjaslanjem poruka na više frekvencijskih područja Zalihost u funkciji

- ponavljanjem uređaja, ili kritičnih dijelova uređaja - ponavljanjem softvera ili više načina uporabe softvera

Uzorkovanje redundantnog signalaUzorkovanje redundantnog signala

Dobivaju se manje redundantni podaciDobivaju se manje redundantni podaci Uzorkovanje frekvencijom višom od NyquistoveUzorkovanje frekvencijom višom od Nyquistove Primjer:Primjer:

– a) originalni podaci(V): 2,56 2,05 2,98 8,01 4,87a) originalni podaci(V): 2,56 2,05 2,98 8,01 4,87– b) zaokružene vrijednosti(V): 3, 2, 3, 8, 5b) zaokružene vrijednosti(V): 3, 2, 3, 8, 5– c) kodirani iznosi: --++, --+-, --++, +---, -+-+ c) kodirani iznosi: --++, --+-, --++, +---, -+-+ – d) niz impulsa u prijenosu / zapisu : --++--+---+++----+-+d) niz impulsa u prijenosu / zapisu : --++--+---+++----+-+

Navedite razliku broj bitova nizova a) i d) !

Diskretni informacijski izvorDiskretni informacijski izvor Izvor koji proizvodi konačan broj poruka naziva se Izvor koji proizvodi konačan broj poruka naziva se

diskretnim izvorom informacijediskretnim izvorom informacije Poruka može biti za početak znak poput slova, ili riječ kao Poruka može biti za početak znak poput slova, ili riječ kao

smislena kombinacija znakovasmislena kombinacija znakova Kontinuirani izvor poput temperaturnog detektora ili Kontinuirani izvor poput temperaturnog detektora ili

mikrofona proizvodi neizmjerno različiti skup znakova. No mikrofona proizvodi neizmjerno različiti skup znakova. No većina od tih znakova beznačajna je za korisnika voditelja većina od tih znakova beznačajna je za korisnika voditelja procesa ili slušatelja glazbeprocesa ili slušatelja glazbe

Pretpostavimo za početak da su uzastopne poruke Pretpostavimo za početak da su uzastopne poruke diskretnog informacijskog izvora međusobno neovisni diskretnog informacijskog izvora međusobno neovisni događajidogađaji

Iznos informacije za svaki znak- poruku jednaka jeIznos informacije za svaki znak- poruku jednaka je– I = log (aposteriorna vjerojatnost/ apriorna vjerojatnost)I = log (aposteriorna vjerojatnost/ apriorna vjerojatnost) (3)(3)– vjerojatnosti se odnose na pojavljivanje datog znaka - poruke vjerojatnosti se odnose na pojavljivanje datog znaka - poruke

Ukupna informacija diskretnog Ukupna informacija diskretnog izvoraizvora

Kada nema šuma brojnik je u izrazu (3) jednak jedinici tj Kada nema šuma brojnik je u izrazu (3) jednak jedinici tj sigurno smo primili poslani znak, pa ostaje samo apriorna sigurno smo primili poslani znak, pa ostaje samo apriorna vjerojatnost pojave nekog znakavjerojatnost pojave nekog znaka

Stoga možemo izraziti ukupnu informaciju koju očekujemo Stoga možemo izraziti ukupnu informaciju koju očekujemo od niza duljine n od k različitih znakova s poznatim od niza duljine n od k različitih znakova s poznatim apriornim vjerojatnostima pojave i-tog znaka P(i) kaoapriornim vjerojatnostima pojave i-tog znaka P(i) kao

Ukupna informacija = - n Σ P(i) log P(i)Ukupna informacija = - n Σ P(i) log P(i) (4)(4) gdje suma ide po svim k različitih znakovagdje suma ide po svim k različitih znakova Prosječna informacija po znaku jednaka je entropiji tjProsječna informacija po znaku jednaka je entropiji tj H = -Σ P(i)log P(i) 1 < i < kH = -Σ P(i)log P(i) 1 < i < k (5)(5) Entropija diskretnog izvora uvijek je manja od navedenog izraza.Entropija diskretnog izvora uvijek je manja od navedenog izraza. Zašto?Zašto?

Entropija složenog događajaEntropija složenog događaja

Vjerojatnost pojave dvaju uzastopnih znakova i j Vjerojatnost pojave dvaju uzastopnih znakova i j H(ij) = - ΣΣ P(ij) log P(ij) 1<i,j<nH(ij) = - ΣΣ P(ij) log P(ij) 1<i,j<n (6)(6) Opći iznos entropije nekog znaka kada je poznat njegov Opći iznos entropije nekog znaka kada je poznat njegov

prethodnik jednak jeprethodnik jednak je H(j/i)= - ΣΣ P(ij) log P(j/i)H(j/i)= - ΣΣ P(ij) log P(j/i) (7).(7). Vrijedi takođerVrijedi također H(ij) = H(i) + H(j/i) H(ij) = H(i) + H(j/i) H(i) + H(j) H(i) + H(j) (8)(8) Gornji se izrazi odnose i na izvore koji emitiraju znakove Gornji se izrazi odnose i na izvore koji emitiraju znakove

potpuno nezavisno.potpuno nezavisno. Razmotrimo slučaj gdje dva izvora označeni s i j istodobno Razmotrimo slučaj gdje dva izvora označeni s i j istodobno

proizvode znakove: izvor i proizvodi znakove A,B,C a izvor j proizvode znakove: izvor i proizvodi znakove A,B,C a izvor j proizvodi D,E,F, Gproizvodi D,E,F, G– data je tablica vjerojatnost P(i) te uvjetne vjerojatnosti P(j/i) data je tablica vjerojatnost P(i) te uvjetne vjerojatnosti P(j/i)

Tablica uvjetnih vjerojatnosti složenog Tablica uvjetnih vjerojatnosti složenog događajadogađaja

A B C

P(i) 1/2 1/3 1/6

P(j/i) D 1/4 3/10 1/6

P(j/i) E 1/4 1/5 ½

P(j/i) F 1/4 1/5 1/6

P(j/i) G 1/4 3/10 1/6

Tablica vjerojatnosti složenog Tablica vjerojatnosti složenog događajadogađaja

- A B C

D 1/8 1/10 1/36

E 1/8 1/15 1/12

F 1/8 1/15 1/36

G 1/8 1/10 1/36

Entropija složenog događajaEntropija složenog događaja

Iz (6) slijedi H(ij) = 3,416 bit/znakIz (6) slijedi H(ij) = 3,416 bit/znak Iz (5) slijedi H(i) = 1,461 bit /znakIz (5) slijedi H(i) = 1,461 bit /znak Iz (7) i prethodnih tablica slijediIz (7) i prethodnih tablica slijedi H(j/i) = 1,956 bit/znakH(j/i) = 1,956 bit/znak Dakle vidimo da vrijedi relacija (8).Dakle vidimo da vrijedi relacija (8). Ako bismo računali entropiju izvora j (ovo nije Ako bismo računali entropiju izvora j (ovo nije

jednostavno jer nemamo nigdje eksplicite dato pa jednostavno jer nemamo nigdje eksplicite dato pa računamo preko uvjetnih vjerojatnosti P(D) = P(A)*P(D/A) računamo preko uvjetnih vjerojatnosti P(D) = P(A)*P(D/A) + P(B) * P(D/B)+ …,+ P(B) * P(D/B)+ …,) ) dobili bismodobili bismo

H(j) = 1,977 bit /znak što bi dalo maksimum entropije H(j) = 1,977 bit /znak što bi dalo maksimum entropije H(ij)H(ij)maxmax = 3,458 bit/znak = 3,458 bit/znak Pitanje: Jesu li to jako povezani izvori? Koliko?Pitanje: Jesu li to jako povezani izvori? Koliko?

Entropija diskretiziranog Entropija diskretiziranog kontinuiranog izvorakontinuiranog izvora

Neka su vjerojatnosti diskretiziranog izvora informacije date Neka su vjerojatnosti diskretiziranog izvora informacije date tablicomtablicom

i= i= 00 11 22 j=0j=0 9/119/11 1/81/8 00 j=1j=1 2/112/11 3/43/4 2/92/9 j=2j=2 00 1/81/8 7/87/8 Vjerojatnosti p(0)=11/36, p(1)=4/9 , p(2)=1/4 računaju se iz Vjerojatnosti p(0)=11/36, p(1)=4/9 , p(2)=1/4 računaju se iz

površina ispod funkcije gustoće vjerojatnosti.površina ispod funkcije gustoće vjerojatnosti. Odatle je H(i) = 1,542 bit/impulsOdatle je H(i) = 1,542 bit/impuls Računanje P(ij) = P(i)*P(j/i) daje P(00)=1/4, P(01)=1/18, Računanje P(ij) = P(i)*P(j/i) daje P(00)=1/4, P(01)=1/18,

P(02)=0, P(10) = 1/18, P(11) = 1/3, P(12)=1/18, P(20)=0, P(02)=0, P(10) = 1/18, P(11) = 1/3, P(12)=1/18, P(20)=0, P(21)=1/18 P(22)=7/36. Odatle je H(j/i)=0,890 bit/znak, te je P(21)=1/18 P(22)=7/36. Odatle je H(j/i)=0,890 bit/znak, te je razlika 0,652 bit/znaku zbog međuznačnog utjecaja. razlika 0,652 bit/znaku zbog međuznačnog utjecaja.

Entropija kontinuiranog izvoraEntropija kontinuiranog izvora Kontinuirani izvor ima kontinuiranu funkciju gustoće Kontinuirani izvor ima kontinuiranu funkciju gustoće

vjerojatnosti p(v)vjerojatnosti p(v) Ako uzmemo po analogiji s diskretnim izvodom diferencijal Ako uzmemo po analogiji s diskretnim izvodom diferencijal

vjerojatnosti dv dobivamo za entropiju izrazvjerojatnosti dv dobivamo za entropiju izraz - Σ p(vj) dv log (p(vj) dv) = - Σ p(vj) dv log (p(vj) dv) = =lim =lim dv-0 dv-0 -( Σ p(vj)(log p(vj)) dv + lim -( Σ p(vj)(log p(vj)) dv + lim dv-0dv-0 -Σ p(vj) (logdv)dv = -Σ p(vj) (logdv)dv =

= - Ϊ p(v)log p(v) dv - lim = - Ϊ p(v)log p(v) dv - lim dv-0dv-0 Σ p(vj)(log dv) dv Σ p(vj)(log dv) dv (9)(9) Kako dvKako dv0 drugi izraz teži u beskonačno jer log dv teži u 0 drugi izraz teži u beskonačno jer log dv teži u

minus beskonačno. Ako izostavimo ovaj član ono što možemo minus beskonačno. Ako izostavimo ovaj član ono što možemo izračunati prvim članom je samo relativni iznos entropije.izračunati prvim članom je samo relativni iznos entropije.

Računanje entropije za svaki konkretni slučaj mora uzeti u Računanje entropije za svaki konkretni slučaj mora uzeti u obzir i drugi član u izrazu (9). Npr ako pojačamo signal obzir i drugi član u izrazu (9). Npr ako pojačamo signal faktorom dva onda i dv biva dva puta veći pa je log1/dv= faktorom dva onda i dv biva dva puta veći pa je log1/dv= log2 + log 1/2dv odnosno za jedan bit manji!log2 + log 1/2dv odnosno za jedan bit manji!

Rasprava o entropiji kontinuiranog Rasprava o entropiji kontinuiranog signalasignala

Signali su ograničeni frekvencijskim pojasom. Kada se Signali su ograničeni frekvencijskim pojasom. Kada se njihova funkcija distribucije postavi kao uniformna onda njihova funkcija distribucije postavi kao uniformna onda se postiže maksimum entropije signala. se postiže maksimum entropije signala.

Kada signal ima maksimum entropije onda je Kada signal ima maksimum entropije onda je maksimalan prijenos bitova po znaku!maksimalan prijenos bitova po znaku!

Druga je stvar kako se ponaša omjer signal/šum.Druga je stvar kako se ponaša omjer signal/šum. Tu trebna očito težiti manjim pojačanjima šuma kada je Tu trebna očito težiti manjim pojačanjima šuma kada je

signal manji. Inače se dobiva manji omjer signal /šum.signal manji. Inače se dobiva manji omjer signal /šum. Za signale Gaussovskog tipa ograničene snagom N je Za signale Gaussovskog tipa ograničene snagom N je H = c * log NH = c * log N (10)(10)

Teleonomska entropijaTeleonomska entropija Ciljna ili teleonomska entropija razmatra entropiju Ciljna ili teleonomska entropija razmatra entropiju

pojedinačnih objekata u nekoj ciljnoj strukturi. Npr. pojedinačnih objekata u nekoj ciljnoj strukturi. Npr. raspored stolaca u učionici. Mjera podjele prostora u raspored stolaca u učionici. Mjera podjele prostora u tom slučaju određuje prostorne segmente tzv tom slučaju određuje prostorne segmente tzv Voronojeve dijagrame koje “zauzima” pojedini predmet. Voronojeve dijagrame koje “zauzima” pojedini predmet. Odnos veličina tih prostora i njihova razdioba prema Odnos veličina tih prostora i njihova razdioba prema traženoj ciljnoj raspodjeli određuju trenutno stanje ciljne traženoj ciljnoj raspodjeli određuju trenutno stanje ciljne entropije. Teleonomsku entropiju je prvi izrazio filozof entropije. Teleonomsku entropiju je prvi izrazio filozof Rudolf Carnap (1956). Ona obuhvaća izračun prostora Rudolf Carnap (1956). Ona obuhvaća izračun prostora stanja informacije prema prostoru željenog stanja stanja informacije prema prostoru željenog stanja informacije. informacije.

3. Informacija i 3. Informacija i informacijska mrežainformacijska mreža

Proces, mreža i obrada Proces, mreža i obrada podatakapodataka

Obrada podataka i proizvodni proces / usluga povezuju Obrada podataka i proizvodni proces / usluga povezuju različite vrste komunikacija.različite vrste komunikacija.

U procesu se spontanim odvijanjem procesnih događaja U procesu se spontanim odvijanjem procesnih događaja povećava entropija. Svrhovitom obradom tih podataka i povećava entropija. Svrhovitom obradom tih podataka i djelovanjem na proces postiže se ponovno smanjenje djelovanjem na proces postiže se ponovno smanjenje entropije u sustavu. To su povoljni, korisni informatički entropije u sustavu. To su povoljni, korisni informatički procesi. Postoje i nepovoljni procesi kod kojih se na procesi. Postoje i nepovoljni procesi kod kojih se na pojavu smanjenja entropije djeluje suprotno tome, pojavu smanjenja entropije djeluje suprotno tome, izaziva nered i šteta. izaziva nered i šteta.

Opća shema:Opća shema:– procesproces mreža obrada podataka mreža obrada podataka

Entropija u sustavu s obradom i Entropija u sustavu s obradom i komunikacijomkomunikacijom

Entropija se u sustavima održava na razini prirodne entropije Entropija se u sustavima održava na razini prirodne entropije tj raste bez djelovanja u suprotnom smjerutj raste bez djelovanja u suprotnom smjeru

Entropija u sustavu s obradom podataka, informacijskom Entropija u sustavu s obradom podataka, informacijskom vezom te efektorima u procesu se općenito smanjuje i vezom te efektorima u procesu se općenito smanjuje i održava na razini ravnoteže procesne degradacije i održava na razini ravnoteže procesne degradacije i informacijske akcijeinformacijske akcije

U prijelaznim režimima kada se tek uspostavlja informacijska U prijelaznim režimima kada se tek uspostavlja informacijska obrada sustav teži iz stanja veće u stanje manje entropije.obrada sustav teži iz stanja veće u stanje manje entropije.

Sustav s obradom informacije i efektorima u procesu kada Sustav s obradom informacije i efektorima u procesu kada djeluje pod štetnim utjecajima povećava svoju entropiju do djeluje pod štetnim utjecajima povećava svoju entropiju do razine djelovanja tih silarazine djelovanja tih sila

Sustavi su redovito u ravnoteži prirodne entropije, sila za Sustavi su redovito u ravnoteži prirodne entropije, sila za smanjenje i sila za povećanje entropije. smanjenje i sila za povećanje entropije.

Informacija i entropija u sustavuInformacija i entropija u sustavu

Slučaj 1. Korisna informacija je veća od entropije - ukupna Slučaj 1. Korisna informacija je veća od entropije - ukupna entropija u sutavu padaentropija u sutavu pada

Slučaj 2. Korisna informacija je jednaka entropiji u sustavu Slučaj 2. Korisna informacija je jednaka entropiji u sustavu - entropija sustava je u ravnoteži- entropija sustava je u ravnoteži

Slučaj 3. Korisna informacija je manja od entropije u Slučaj 3. Korisna informacija je manja od entropije u sustavu - entropija sustava rastesustavu - entropija sustava raste

Korisna informacija uključuje lanac: izvor informacije - Korisna informacija uključuje lanac: izvor informacije - prijenos i obrada podataka - odluka i djelovanje u povratu prijenos i obrada podataka - odluka i djelovanje u povratu na proces / izvorna proces / izvor

Informacijski kanal je usmjerena veličina s najmanje jednim Informacijski kanal je usmjerena veličina s najmanje jednim izvorom i najmanje jednim odredištem; sadržava izvor, izvorom i najmanje jednim odredištem; sadržava izvor, koder informacije, koder kanala, prijenosni sustav, dekoder koder informacije, koder kanala, prijenosni sustav, dekoder kanala, dekoder informacije i odredište - prijamnik.kanala, dekoder informacije i odredište - prijamnik.

Informacijski kanalInformacijski kanal

Informacijski kanal ima semantičku bazu koja je zajednička za Informacijski kanal ima semantičku bazu koja je zajednička za izvor i korisnika, odredišteizvor i korisnika, odredište

Pragmatika i apobetika se pri tome mogu značajno razlikovatiPragmatika i apobetika se pri tome mogu značajno razlikovati U tehničkom i informacijskom smislu razlikujemo kanale sa ili U tehničkom i informacijskom smislu razlikujemo kanale sa ili

bez memorije, dakle kod kojih se prijenos informacije u bez memorije, dakle kod kojih se prijenos informacije u nekom trenutku ne uvjetuje prethodnim prijenosom (znakom)nekom trenutku ne uvjetuje prethodnim prijenosom (znakom)

Isto tako lučimo stacionarne i nestacionarne kanale, dakle Isto tako lučimo stacionarne i nestacionarne kanale, dakle kanale kojima se svojstva mijenjaju odnosno ne mijenjaju s kanale kojima se svojstva mijenjaju odnosno ne mijenjaju s vremenomvremenom

Fizička i tehnička podrška informacijskom kanalu je vrlo Fizička i tehnička podrška informacijskom kanalu je vrlo različite prirode poput telefonske veze, telegrafa, satelitskih, različite prirode poput telefonske veze, telegrafa, satelitskih, radijskih komunikacija, do, po vlasničkom principu i izgradnji, radijskih komunikacija, do, po vlasničkom principu i izgradnji, različitih namjenskih ili vlasničkih mreža različitih namjenskih ili vlasničkih mreža

Osnovni parametri informacijskog Osnovni parametri informacijskog kanalakanala

Kanali se razlikuju po kašnjanju u prijenosu, propusnoj Kanali se razlikuju po kašnjanju u prijenosu, propusnoj moći, cijeni, pouzdanosti, kvaliteti usluge.moći, cijeni, pouzdanosti, kvaliteti usluge.

Komunikacijska mreža čini barem 40% ukupne cijene Komunikacijska mreža čini barem 40% ukupne cijene nekog tehnološkog projekta - ako se gradi iznutranekog tehnološkog projekta - ako se gradi iznutra

Kašnjenje u sustavu zbog obrade dato je srednjim Kašnjenje u sustavu zbog obrade dato je srednjim vremenom vremenom TwTw– TwTw = = Tx Tx - - u u (11)(11)– gdje sugdje su Tx Tx srednje vrijeme odziva kanala / sustava a srednje vrijeme odziva kanala / sustava a uu je je

vrijeme obrade u čvorovima sustava vrijeme obrade u čvorovima sustava

4. Bayesov teorem i Bayesov 4. Bayesov teorem i Bayesov stavakstavak

Ako postoji događaj A, P(A)>0, pokušajmo odrediti Ako postoji događaj A, P(A)>0, pokušajmo odrediti kolika je vjerojatnost da neki drugi događaj B poprimi kolika je vjerojatnost da neki drugi događaj B poprimi svojstvo događaja A.svojstvo događaja A.

Dakle P(B/A) = P (AB) / P(A)Dakle P(B/A) = P (AB) / P(A) (12)(12)

– BB A A

AB

Složeni događajSloženi događaj

Ako je B neki događaj koji se prostire preko više područja A Ako je B neki događaj koji se prostire preko više područja A onda vrijedi P(BA1)+P(BA2)+… +P(BAn) = P(B)onda vrijedi P(BA1)+P(BA2)+… +P(BAn) = P(B) (13)(13)

Odnosno Odnosno P(B)= P(B/A1)P(A1)+P(B/A2)P(A2)+…+P(B/An)P(An)P(B)= P(B/A1)P(A1)+P(B/A2)P(A2)+…+P(B/An)P(An) (14).(14). Obrnuto da događaj A poprimi vrijednost događaja B jeObrnuto da događaj A poprimi vrijednost događaja B je P(A/B)=P(AB)/P(B)P(A/B)=P(AB)/P(B) (15).(15). Kako je P(AB) = P(BA) to vrijediKako je P(AB) = P(BA) to vrijedi P(A/B)=P(B/A) P(A) / P(B)P(A/B)=P(B/A) P(A) / P(B) (16)(16) Poopćenje za Ai ti događaj dajePoopćenje za Ai ti događaj daje P(Ai/B)=P(B/Ai)P(Ai) / ( P(B/A1+…+P(B/An)P(An))P(Ai/B)=P(B/Ai)P(Ai) / ( P(B/A1+…+P(B/An)P(An)) (17)(17) što se zove Bayesov teorem koji povezuje apriornu i što se zove Bayesov teorem koji povezuje apriornu i

aposteriornu vjerojatnost tj vjerojatnosti prije i nakon pojave aposteriornu vjerojatnost tj vjerojatnosti prije i nakon pojave događaja Ai.događaja Ai.

Bayesov teorem - primjerBayesov teorem - primjer

Izvor informacije šalje s jednakom vjerojatnosti p=0,5 Izvor informacije šalje s jednakom vjerojatnosti p=0,5 jedan od dva znaka 0 ili 1. Znamo s vjerojatnosti 0,001 da jedan od dva znaka 0 ili 1. Znamo s vjerojatnosti 0,001 da je moguće bilokoji od ova dva znaka krivo interpretirati. je moguće bilokoji od ova dva znaka krivo interpretirati. Dobili smo 1. Koliko je sigurno jedinica i poslana?Dobili smo 1. Koliko je sigurno jedinica i poslana?

P(A1/B)= 0,999 0,5 /(0,999 0,5 + 0,001 0,5) = 0,499/0,5 P(A1/B)= 0,999 0,5 /(0,999 0,5 + 0,001 0,5) = 0,499/0,5 = 0,999= 0,999

Dakle zbog jednake vjerojatnosti odašiljanja aposteriorna Dakle zbog jednake vjerojatnosti odašiljanja aposteriorna vjerojatnost jednaka je apriornoj. Što bi bilo da je pvjerojatnost jednaka je apriornoj. Što bi bilo da je p00=0,2? =0,2?

Bayesov stavakBayesov stavak: Makako malo vjerojatan događaj ipak : Makako malo vjerojatan događaj ipak ima određenu iako vrlo vrlo malu vjerojatnost pojave.ima određenu iako vrlo vrlo malu vjerojatnost pojave.

5.Binarni simetrični kanal 5.Binarni simetrični kanal Kanal: bez memorije, dio je informacijskog sustava i Kanal: bez memorije, dio je informacijskog sustava i

stacionaran je.stacionaran je. Na ulazu je skupina znakova A (a1,a2,a3,…aq) a na izlazu Na ulazu je skupina znakova A (a1,a2,a3,…aq) a na izlazu

skupina znakova B (b1,b2,b3,…,bs). Ulazna abeceda je veća skupina znakova B (b1,b2,b3,…,bs). Ulazna abeceda je veća zbog mogućnosti ispravljanja greški redundancijom u kodu.zbog mogućnosti ispravljanja greški redundancijom u kodu.

Kanal opisuje skup uvjetnih vjerojatnosti P(bj/ai) =Pij tj Kanal opisuje skup uvjetnih vjerojatnosti P(bj/ai) =Pij tj vjerojatnosti da neki ulazni znak ai bude interpretiran kao vjerojatnosti da neki ulazni znak ai bude interpretiran kao izlazni znak bj.izlazni znak bj.

Dakle imamo shemu:Dakle imamo shemu: p(a1)P11+p(a2)P21+ …+ p(aq)Pq1= p(b1)p(a1)P11+p(a2)P21+ …+ p(aq)Pq1= p(b1) …….. p(a1)P1s+p(a2)P2s+…+ p(aq)Pqs=p(bs)p(a1)P1s+p(a2)P2s+…+ p(aq)Pqs=p(bs) Ako kanal nema smetnji onda je za svaki i jedan Pij=1 a svi Ako kanal nema smetnji onda je za svaki i jedan Pij=1 a svi

ostali jednaki su ništici. Tada je p(bj)=p(ai).ostali jednaki su ništici. Tada je p(bj)=p(ai).

Binarni simetrični kanal sa šumom/2Binarni simetrični kanal sa šumom/2

Rabimo sada Bayesovu formulu tjRabimo sada Bayesovu formulu tj P(ai/bj)=P(bj/ai)p(ai) / Σ P(bj/ai)p(ai)=P(bj/ai)p(ai)/p(bj)P(ai/bj)=P(bj/ai)p(ai) / Σ P(bj/ai)p(ai)=P(bj/ai)p(ai)/p(bj)

(16)(16) Svaki ulazni znak izaziva pojavu nekog izlaznog znaka. Svaki ulazni znak izaziva pojavu nekog izlaznog znaka.

Problem je što mi ulaz ne poznajemo!Problem je što mi ulaz ne poznajemo! Binarni simetrični kanal: p(a1=0)=p, p(a2=1)=1-pBinarni simetrični kanal: p(a1=0)=p, p(a2=1)=1-p a1=0, a2 =1a1=0, a2 =1 P00=P11=P P00=P11=P b1=0, b2=1b1=0, b2=1 P10=P01=QP10=P01=Q

Što je Q? Kako ga možemo mjeriti?

Binarni simetrični kanal/3Binarni simetrični kanal/3 Uz uvjet da znamo koji je znak primljen treba odrediti Uz uvjet da znamo koji je znak primljen treba odrediti

vjerojatnost odašiljanja različitih znakova tjvjerojatnost odašiljanja različitih znakova tj P(a=0,b=0)= Pp/ (Pp+Q(1-p))P(a=0,b=0)= Pp/ (Pp+Q(1-p)) P(a=1,b=0)=Q(1-p) / (Pp+Q(1-p))P(a=1,b=0)=Q(1-p) / (Pp+Q(1-p)) P(a=0,b=1)=Qp/(Qp+P(1-p))P(a=0,b=1)=Qp/(Qp+P(1-p)) P(a=1,b=1)=P(1-p)/(Qp+P(1-p))P(a=1,b=1)=P(1-p)/(Qp+P(1-p)) (17)(17) Za P=0,9 Q=0,1 p(0)=19/20 p(1)=1/20 dobivamo iz (17)Za P=0,9 Q=0,1 p(0)=19/20 p(1)=1/20 dobivamo iz (17) P(a=0,b=0)=171/172, P(a=1,b=0)=1/172, P(a=0,b=0)=171/172, P(a=1,b=0)=1/172,

P(a=0,b=1)=19/28 teP(a=0,b=1)=19/28 te P(a=1,b=1)=9/28.P(a=1,b=1)=9/28. Proizlazi da se, za navedeni primjer, bez obzira na to koji Proizlazi da se, za navedeni primjer, bez obzira na to koji

je znak poslan mora pretpostaviti da je poslana ništica! je znak poslan mora pretpostaviti da je poslana ništica! Isto je tako veći utjecaj izbora znakova na kanalu od Isto je tako veći utjecaj izbora znakova na kanalu od šuma na kanalu. šuma na kanalu.

Entropije diskretnog kanala sa Entropije diskretnog kanala sa šumomšumom

Zamisao entropije može se primijeniti na ulazni i izlazni niz znakova,Zamisao entropije može se primijeniti na ulazni i izlazni niz znakova, H(A)= Σp(ai)logp(ai), H(B)=Σp(bj)logp(bj)H(A)= Σp(ai)logp(ai), H(B)=Σp(bj)logp(bj) (18)(18) Za uvjetne entropije H(A/B) iz Za uvjetne entropije H(A/B) iz H(A/bj)= Σ P(ai/bj) logP(ai/bj) H(A/bj)= Σ P(ai/bj) logP(ai/bj) H(A/B)= Σ p(bj) H(A/bj)=ΣΣ P(ai,bj)logP(ai/bj)H(A/B)= Σ p(bj) H(A/bj)=ΣΣ P(ai,bj)logP(ai/bj) H(A,B)=ΣΣ P(ai,bj) log P(ai,bj) … slikomH(A,B)=ΣΣ P(ai,bj) log P(ai,bj) … slikom

H(A) H(A/B) I(A,B) H(B) H(B/A)

H(A,B)

Entropije diskretnog kanala sa Entropije diskretnog kanala sa šumom/5šumom/5

Vrijedi:Vrijedi: H(A/B)H(A/B) H(A), H(B/A) H(A), H(B/A)H(B)H(B) H(A,B)=H(A)+H(B/A)=H(B)+H(A/B)H(A,B)=H(A)+H(B/A)=H(B)+H(A/B) H(A)+H(B) = H(A,B) za nezavisne A i B H(A)+H(B) = H(A,B) za nezavisne A i B Transinformacija I(A,B)= H(A)+H(B) - H(A,B)Transinformacija I(A,B)= H(A)+H(B) - H(A,B) (19).(19). I(A,B)=H(B)- WI(A,B)=H(B)- W W=W=B B P(b/a) log(1/ P(b/a))=Plog(1/P)+Qlog(1/Q)=H(P)P(b/a) log(1/ P(b/a))=Plog(1/P)+Qlog(1/Q)=H(P) (19a)(19a) I(A,B)=H(B)-H(P), uz p(b=0)=pP+(1-p)Q=x te p(b=1)=1-x I(A,B)=H(B)-H(P), uz p(b=0)=pP+(1-p)Q=x te p(b=1)=1-x

slijedislijedi I(A,B)=H(x)-H(P)I(A,B)=H(x)-H(P) Kapacitet C=maxKapacitet C=maxAAI(A,B)=1-H(P)I(A,B)=1-H(P) (19b),(19b), jer je max(H(x)) jednako 1 za x=1/2jer je max(H(x)) jednako 1 za x=1/2

6. Markovljev izvor, kodiranje na 6. Markovljev izvor, kodiranje na izvoru, procesni izvoriizvoru, procesni izvori

Izvori podataka često traže prilagodbu zbog svojeg optimalnog Izvori podataka često traže prilagodbu zbog svojeg optimalnog kodiranja. To se naziva kodiranje na izvoru.kodiranja. To se naziva kodiranje na izvoru.

Uobičajena pretpostavka da su vjerojatnosti pojavljivanja Uobičajena pretpostavka da su vjerojatnosti pojavljivanja znakova međusobno neovisne je dosta gruba i netočna. znakova međusobno neovisne je dosta gruba i netočna. Uključuje zapravo gubitak memorije između pojava pojedinih Uključuje zapravo gubitak memorije između pojava pojedinih znakova znakova

Uključenje memorije svojstvo je izvora Markovljevog tipa. Dakle Uključenje memorije svojstvo je izvora Markovljevog tipa. Dakle vjerojatnost emitiranje nekog znaka ovisi o prethodnim vjerojatnost emitiranje nekog znaka ovisi o prethodnim znakovima, tjznakovima, tj

P(ai u intervalu t/ aj u intervalu t+1) = P(an u intervalu t-n,…,P(ai u intervalu t/ aj u intervalu t+1) = P(an u intervalu t-n,…, ai u intervalu t/ aj u intervalu t+1)ai u intervalu t/ aj u intervalu t+1) (20).(20). Markovljev proces je određen kada se zna početna raspodjela Markovljev proces je određen kada se zna početna raspodjela

vjerojatnosti pojave znakova pj i matrica prijelaza izmedju vjerojatnosti pojave znakova pj i matrica prijelaza izmedju svakog od znakova. Element matrice pij označava vjerojatnost svakog od znakova. Element matrice pij označava vjerojatnost da se iza znaka ai šalje znak aj.da se iza znaka ai šalje znak aj.

Markovljev izvor /2Markovljev izvor /2 Da bi izvor podataka Markovljevog tipa bio stacionaran Da bi izvor podataka Markovljevog tipa bio stacionaran

mora biti ispunjeno mora biti ispunjeno pj = pj = pi *pij j=1,2,…a pi *pij j=1,2,…a (21),(21), odnosno u matričnom obliku odnosno u matričnom obliku TT pij = pij pij = pij (22),(22), gdje je T oznaka za transponiranu matricu.gdje je T oznaka za transponiranu matricu. Markovljev izvor je izvor prvog reda kada ima memoriju Markovljev izvor je izvor prvog reda kada ima memoriju

prvog reda.prvog reda. Možete li procijeniti kolikog je reda cijena automobila kao Možete li procijeniti kolikog je reda cijena automobila kao

Markovljev izvor? Što moramo uzeti u obzir? A kojeg je Markovljev izvor? Što moramo uzeti u obzir? A kojeg je reda automobilska nezgoda?reda automobilska nezgoda?

Markovljev izvor podataka može biti ergodičan ili Markovljev izvor podataka može biti ergodičan ili neergodičan. Ergodičan je kada se izvor iz svakog stanja neergodičan. Ergodičan je kada se izvor iz svakog stanja može u konačnom vremenu vratiti u svako stanje. može u konačnom vremenu vratiti u svako stanje.

Neergodičan Markovljev izvorNeergodičan Markovljev izvor

Na slici je prikazan neergodičan Markovljev izvor:Na slici je prikazan neergodičan Markovljev izvor:

a

b d

c

eIzvor se nikada ne vraća upočetno stanje a!

Kodiranje podataka Markovljeva Kodiranje podataka Markovljeva izvoraizvora

Pretpostavimo da prijelazna matrica Markovljeva izvora ima Pretpostavimo da prijelazna matrica Markovljeva izvora ima izgled:izgled: aa bb cc– aa 1/31/3 1/31/3 1/31/3– bb 1/41/4 1/21/2 1/41/4– cc 1/41/4 1/41/4 1/21/2– Višestrukim množenjem matrice samom sa sobom što je Višestrukim množenjem matrice samom sa sobom što je

ispunjeno za homogenu nedjeljivu matricu dobivaju se tzv ispunjeno za homogenu nedjeljivu matricu dobivaju se tzv ravnotežne vjerojatnosti pojavljivanja znakova a,b,c kao ravnotežne vjerojatnosti pojavljivanja znakova a,b,c kao pa=3/11, pb = 4/11 pc = 4/11.pa=3/11, pb = 4/11 pc = 4/11.

– Kodiranjem matrice prijelaza Huffmanovim kodom za a=1, b=00 Kodiranjem matrice prijelaza Huffmanovim kodom za a=1, b=00 i c=01 slijedi: La = 1*1/3 + 2*1/3 +2*1/3 = 1,667 bita,i c=01 slijedi: La = 1*1/3 + 2*1/3 +2*1/3 = 1,667 bita,

– Lb= 2*1/4+1*1/2+2*1/4= 1,5 bita i Lc= 1,5 bitaLb= 2*1/4+1*1/2+2*1/4= 1,5 bita i Lc= 1,5 bita– U ravnoteži dobivamo prosječnu duljinu koda U ravnoteži dobivamo prosječnu duljinu koda

Lm=3/11La+4/11Lb+4/11Lc= 17/11 bitaLm=3/11La+4/11Lb+4/11Lc= 17/11 bita– Kodiranjem prema frekvencijama pojavljivanja dobivamoKodiranjem prema frekvencijama pojavljivanja dobivamo– L=2*3/11+2*4/11+1*4/11=18/11> Lm !L=2*3/11+2*4/11+1*4/11=18/11> Lm !

Procesni izvori podatakaProcesni izvori podataka

Vrstaentropije

Primjervarijable

Skupznakova

Brzinasnimanja

Razdiobapodatka

Entropija Tokpodataka

Vremen-ska

Temperaturni pretv.mA

Svakih0,1mA

10 znak/s Jednolika 763bit/znak

76,3bit/znak

Prostorna Tlak ucijevi0-1 bar

Svaki 0,1bar

1 znak/m Drugikorijen

3,25bit/znak

3,25 bit/m

2Dprostorna

Onečišćenje tla, 0-10ppm

Svaki ppm 1 znak/km2 Eksponencijalna

1,5 bit/znak 1,5 bit/km2

Entropijauporabe

Vrem.Rasporedrada kem.reaktora

Uk / isk 1 znak/dan Puk=0,7Pisk=0,3

O,899bit/znak

0,899bit/dan

Optimiranje procesnih izvora Optimiranje procesnih izvora podatakapodataka

Osnovno je što više reducirati nepotrebne obrade Osnovno je što više reducirati nepotrebne obrade podataka. U tu svrhu najjednostavnije je izostaviti podataka. U tu svrhu najjednostavnije je izostaviti redundantne podatke. Smanjuje se razlučivanje osjetila ili redundantne podatke. Smanjuje se razlučivanje osjetila ili povećava vremenski i prostorni korak snimanja. povećava vremenski i prostorni korak snimanja. Ograničenje za brzo promjenjive procese je zahtjev Ograničenje za brzo promjenjive procese je zahtjev Nyquistova teorema uzorkovanja ( uzimanje najmanje dva Nyquistova teorema uzorkovanja ( uzimanje najmanje dva uzorka od najbrže promjene - kako se to nosi sa šumom?)uzorka od najbrže promjene - kako se to nosi sa šumom?)

Drugi je način ne uzimati u prvoj fronti one podatke za Drugi je način ne uzimati u prvoj fronti one podatke za koje postoje izravna stohastička zamjena, sličnost. Ovo se koje postoje izravna stohastička zamjena, sličnost. Ovo se naziva ortogonalizacija izvora podataka.naziva ortogonalizacija izvora podataka.

Poseban je problem vjerodostojnost podatka pojedinog Poseban je problem vjerodostojnost podatka pojedinog izvora. To se rješava poznavanjem povezanosti ponašanja izvora. To se rješava poznavanjem povezanosti ponašanja tog izvora s ostalim izvorima podataka u procesu. Stoga je tog izvora s ostalim izvorima podataka u procesu. Stoga je određena redundantnost snimanja nužna.određena redundantnost snimanja nužna.

7. Shannonov teorem za binarni 7. Shannonov teorem za binarni

simetrični kanalsimetrični kanal

Sheme odlučivanjaSheme odlučivanja

Na prijamnoj strani odlučujemo, nakon dobivanja znaka Na prijamnoj strani odlučujemo, nakon dobivanja znaka bj, koji je znak ai poslan. Ovo ovisi o p(bj/ai) te o bj, koji je znak ai poslan. Ovo ovisi o p(bj/ai) te o vjerojatnosti p(ai). Na primjervjerojatnosti p(ai). Na primjer

– b1b1 b2b2 b3b3 a1a1 0,50,5 0,30,3 0,20,2 a2a2 0,20,2 0,30,3 0,50,5 a3a3 0,30,3 0,30,3 0,40,4 Ovdje postoje tri pravila odlučivanjaOvdje postoje tri pravila odlučivanja

Pravilo 1: o(b1)=a1 o(b2)=a1 o(b3)=a2Pravilo 2: o(b1)=a1 o(b2)=a2 o(b3)=a2Pravilo 3: o(b1)=a1 o(b2)=a3 o(b3)=a2

Argumenti postoje u prilog svake pojedine odluke. Promatra se jedan znak u vremenskom nizu, a ne cijeli nizovi znakova.

Sheme odlučivanja /2Sheme odlučivanja /2

U općem slučaju postoji qU općem slučaju postoji qss shema odlučivanja, q je broj shema odlučivanja, q je broj ulaznih a s broj izlaznih znakova. Stoga se uvodi pojam ulaznih a s broj izlaznih znakova. Stoga se uvodi pojam pravila najveće vjerojatnosti odnosno uzimaju se pravila najveće vjerojatnosti odnosno uzimaju se najvjerojatniji znakovi. Ako to primijenimo dobivamo za najvjerojatniji znakovi. Ako to primijenimo dobivamo za gornji slučaj i b1 : o(b1)=a1.gornji slučaj i b1 : o(b1)=a1.

Ako je dobiven b2 možemo uzeti jednu od odlukaAko je dobiven b2 možemo uzeti jednu od odluka o(b2)= a1, o(b2)=a2 ili o(b2)=a3.o(b2)= a1, o(b2)=a2 ili o(b2)=a3. Kada na prijamniku dobijemo b3 onda istim načinom Kada na prijamniku dobijemo b3 onda istim načinom

odlučujemo za o(b3)=a3.odlučujemo za o(b3)=a3. Općenito je vjerojatnot pogreške odlučivanja pri Općenito je vjerojatnot pogreške odlučivanja pri

dobivanju znaka bj jednakadobivanju znaka bj jednaka P(E/bj)= 1- PP(E/bj)= 1- P (o(bj)/bj)(o(bj)/bj) (23) (23)

Prosječna pogreška odlučivanjaProsječna pogreška odlučivanja

Općenito je vjerojatnost pogreške pri prijamu znaka bj Općenito je vjerojatnost pogreške pri prijamu znaka bj jednakajednaka

P(E/bj) = 1 - P( o(bj)/ bj)P(E/bj) = 1 - P( o(bj)/ bj) (24).(24). Prosječna pogreška jednaka je uz p(a)=1/q Prosječna pogreška jednaka je uz p(a)=1/q Pe=Pe= P(E/bj) p(bj)= 1 - 1/q * P(E/bj) p(bj)= 1 - 1/q * P(bj/a ispr) P(bj/a ispr) (25),(25), gdje je P(bj/ a ispr) vjerojatnost da je znak agdje je P(bj/ a ispr) vjerojatnost da je znak a isprispr bio uzrok bio uzrok

dobivanja bj na prijamniku. Tada iz našeg primjera imamodobivanja bj na prijamniku. Tada iz našeg primjera imamo Pe = 1 - 1/3 * (0,5 + 0,3 + 0,5) = 1 - 1/3 * 1,3 = 0,56667.Pe = 1 - 1/3 * (0,5 + 0,3 + 0,5) = 1 - 1/3 * 1,3 = 0,56667. Vidimo da je iznos prosječne pogreške znatan. Tim prije se Vidimo da je iznos prosječne pogreške znatan. Tim prije se

vidi potreba uvođenja kodova koji povećanjem zalihosti vidi potreba uvođenja kodova koji povećanjem zalihosti smanjuju očekivanu pogrešku kod prijama.smanjuju očekivanu pogrešku kod prijama.

Pogreška na binarnom simetričnom Pogreška na binarnom simetričnom

kanalukanalu Binarni simetrični kanal može prenositi informaciju sa Binarni simetrični kanal može prenositi informaciju sa

smanjenom pogreškom ako se uvede zalihost. smanjenom pogreškom ako se uvede zalihost. Pretpostavimo dakle da prenosimo 0 kodom (000) a 1 Pretpostavimo dakle da prenosimo 0 kodom (000) a 1 kodom (111). Tada su preostale kombinacije kodova kodom (111). Tada su preostale kombinacije kodova neiskorištene. Pretpostavimo da je vjerojatnoast točnog neiskorištene. Pretpostavimo da je vjerojatnoast točnog prijenosa P a netočnog Q, Q<0,5. Za Q=P=0,5 imamo prijenosa P a netočnog Q, Q<0,5. Za Q=P=0,5 imamo samo šum na kanalu i kapacitet C=0.samo šum na kanalu i kapacitet C=0.

Sada je vjerojatnost prijenosa bez greške jednaka PSada je vjerojatnost prijenosa bez greške jednaka P33, , jedne pogreške je 3Pjedne pogreške je 3P22Q (ispravljivo!), dvije pogreške je Q (ispravljivo!), dvije pogreške je 3PQ3PQ22 te tri pogreške Q te tri pogreške Q33. Odatle je . Odatle je – Pe Pe Q Q22 (Q + 3P). (Q + 3P).– Za P=0,99 dobivamo Za P=0,99 dobivamo – Pe Pe 3*10 3*10 -4-4

– vidimo da je minimalni Hammingov razmak detektor s vidimo da je minimalni Hammingov razmak detektor s najvećom razlučivošću.najvećom razlučivošću.

Shannonov teoremShannonov teorem TeoremTeorem: Neka je dan binarni simetrični diskretni kanal bez : Neka je dan binarni simetrični diskretni kanal bez

memorije kapaciteta C>0. Tada postoji blok kod (n,k) i shema memorije kapaciteta C>0. Tada postoji blok kod (n,k) i shema odlučivanja g tako da vrijedi da se prosječna pogreška može odlučivanja g tako da vrijedi da se prosječna pogreška može načinit po volji malena izborom dovoljno velikog n koji je po načinit po volji malena izborom dovoljno velikog n koji je po volji blizu granice kapaciteta kanala. volji blizu granice kapaciteta kanala.

Dokaz:Dokaz: Za kanal kojim prenosimo jedan od M jednako vjerojatnih znakova, tj Za kanal kojim prenosimo jedan od M jednako vjerojatnih znakova, tj

p=1/M, informacija po prenešenom znaku ai jep=1/M, informacija po prenešenom znaku ai je I(ai)= ln (1/p)=ln MI(ai)= ln (1/p)=ln M (26).(26). No, znamo da je kapacitet bin.sim.kan. jednaka (19c) C=1-H(P)=1-No, znamo da je kapacitet bin.sim.kan. jednaka (19c) C=1-H(P)=1-

H(Q) po binarnom znaku, pa će za n znakova biti na granici H(Q) po binarnom znaku, pa će za n znakova biti na granici kapaciteta tjkapaciteta tj

I(ai)= n(C-I(ai)= n(C-1), gdje je epsilon neki mali pozitivni broj. Odatle je1), gdje je epsilon neki mali pozitivni broj. Odatle je M= 2 exp n(C-M= 2 exp n(C-1)= 2exp nC / 2 exp n1)= 2exp nC / 2 exp n11 (27)(27) (27).(27). Povećanjem n uzimamo mali dio znakova koji prolaze kanalom blizu Povećanjem n uzimamo mali dio znakova koji prolaze kanalom blizu

njegovog kapaciteta. Jesu li ti znakovi dovoljno različiti?njegovog kapaciteta. Jesu li ti znakovi dovoljno različiti?

Shannonov teorem /2Shannonov teorem /2

Slaganje n-bitnog Hammingova koda za prijenos Slaganje n-bitnog Hammingova koda za prijenos informacije daje vjerojatnost greške po prenešenom bitu informacije daje vjerojatnost greške po prenešenom bitu od Q=1-P, a očekujemo nQ pogrešaka. Dakle nalazimo od Q=1-P, a očekujemo nQ pogrešaka. Dakle nalazimo se negdje oko sfere radiusa nQ oko znaka ai:se negdje oko sfere radiusa nQ oko znaka ai:

nQ

ai

bj

n2

Radius r je broj, 2 je malen tako da u zbroju s Q ne prelazi 1/2

Shannonov teorem /3Shannonov teorem /3

Kod prijama se slika invertira:Kod prijama se slika invertira:

bj

nQ

ain2

Sada tražimo formulu za pogrešku zbog nemogućnosti ispravnog dekodiranja primljene poruke.

Shannonov teorem /4Shannonov teorem /4

Slučaji Ispravan ai uS(r)

Drugi ai usferi S(r)

Greška

1 da da da

2 da ne ne

3 ne da da

4 ne ne da

Shannonov teorem /5Shannonov teorem /5 Vjerojatnost pogreške prijama jeVjerojatnost pogreške prijama je PPEE=P{ai =P{ai S(r)}+P{ai S(r)}+P{ai S(r)}P{najmanje neki drugi kod je u S(r)}P{najmanje neki drugi kod je u

S(r)}S(r)} (28)(28) Prvi član uključuje slučajeve 3 i 4, drugi član uključuje slučaj 1.Prvi član uključuje slučajeve 3 i 4, drugi član uključuje slučaj 1. Budući da je P{aiBudući da je P{aiS(r)}S(r)}1, a drugi član u (28) možemo pisati 1, a drugi član u (28) možemo pisati

kaokao A-aiA-ai P PaaS(r)} onda dobivamo:S(r)} onda dobivamo:

PPE E A-aiA-ai P PaaS(r)S(r) (29),(29), gdje gdje ==((2,n) možemo načiniti po volji malenim ako n 2,n) možemo načiniti po volji malenim ako n

dovoljno povećamo, tako da sfera radijusa r= n(Q+dovoljno povećamo, tako da sfera radijusa r= n(Q+2) pokriva 2) pokriva sve razmake osim za po volji mali broj slučajeva.sve razmake osim za po volji mali broj slučajeva.

Dakle prvi član odgovoran je za grešku za određeni poslani Dakle prvi član odgovoran je za grešku za određeni poslani znak, a drugi član odgovara za brzinu prijenosa jer sadržava znak, a drugi član odgovara za brzinu prijenosa jer sadržava sve ostale M-1 članove, osim koda za ispravni znak. sve ostale M-1 članove, osim koda za ispravni znak.

Shannonov teorem /6Shannonov teorem /6 Slučajni kod bira M n-bitnih riječi kao poruke. Sada je Slučajni kod bira M n-bitnih riječi kao poruke. Sada je

očekivana pogreška očekivana pogreška Pe Pe )Po )Po a a S(r) S(r) MPo MPoaaS(r)S(r) a aaiai

(30).(30). Za jednoliku vjerojatnost raspršenja svih kodova, osim ai, Za jednoliku vjerojatnost raspršenja svih kodova, osim ai,

svuda po prostoru koda, vjerojatnost nalaženja u sferi S(r) svuda po prostoru koda, vjerojatnost nalaženja u sferi S(r) jednaka je omjeru volumena sfere i ukupnog volumena, 2 exp jednaka je omjeru volumena sfere i ukupnog volumena, 2 exp n, daklen, dakle

Po= N(r) / 2 exp nPo= N(r) / 2 exp n (31),(31), N(r) je broj kodnih točaka u sferi S(r). Taj je broj za binarni N(r) je broj kodnih točaka u sferi S(r). Taj je broj za binarni

simetrični kanal jednaksimetrični kanal jednak N(r)=1 + C(n,1) + C(n,2) + …+ C(n,r) = N(r)=1 + C(n,1) + C(n,2) + …+ C(n,r) = C(n,k), k=0,…,r C(n,k), k=0,…,r

(32).(32). Iz poznatih r=(Q+Iz poznatih r=(Q+)n, Q+)n, Q+<1/2, te Q+<1/2, te Q+ = = dobivamo dobivamo N(r)N(r)2 exp (n H(2 exp (n H()), odnosno Po)), odnosno Po2exp(-n(1-H(2exp(-n(1-H()))) (33)(33)..

Shannonov teorem /7Shannonov teorem /7

Dakle, Pe Dakle, Pe exp (-n(1-H(exp (-n(1-H()))))) (34).(34). Eksponent u (34) (1-H(Eksponent u (34) (1-H())= C - (H(Q+))= C - (H(Q+2) - H(Q)) 2) - H(Q)) Zbog konveksnosti se entropijska funkcija može u bilo Zbog konveksnosti se entropijska funkcija može u bilo

kojoj točki ograničiti s tangentom na krivulju u toj točki tjkojoj točki ograničiti s tangentom na krivulju u toj točki tj H(Q+H(Q+2) 2) H(Q)+ H(Q)+ 2 dH/dQ, gdje zbog 0<Q<1/2 vrijedi2 dH/dQ, gdje zbog 0<Q<1/2 vrijedi dH/dQ = log (1-Q)/Q > 0. Odatle je dH/dQ = log (1-Q)/Q > 0. Odatle je 1-H(1-H() ) C - C - 2 log (1-Q)/Q = C - 2 log (1-Q)/Q = C - 3.3. Odatle je Pe Odatle je Pe exp (-n(C-exp (-n(C-3)), odnosno3)), odnosno Pe Pe + 2 exp(n(C- + 2 exp(n(C-1)) 2 exp(-n(C-1)) 2 exp(-n(C-3))=3))=+2exp(-n(+2exp(-n(1-1-

3)) 3)) (35).(35). Dakle uz izbor Dakle uz izbor 2 takvog da je 2 takvog da je 1-1-3>0 prosječna 3>0 prosječna

pogreška Pe može biti po volji malena uz n dovoljno pogreška Pe može biti po volji malena uz n dovoljno velik.velik.

Shannonov teorem /8Shannonov teorem /8 Vidimo da postoje teorijski pogodni kodovi za optimalan Vidimo da postoje teorijski pogodni kodovi za optimalan

prijenos na kanalu sa šumom, sa zanemarivom prijenos na kanalu sa šumom, sa zanemarivom pogreškom.Nadalje: kodovi mogu biti prilično dugi. Duge pogreškom.Nadalje: kodovi mogu biti prilično dugi. Duge poruke zahtijevaju dugo prikupljanje podataka prije slanja, tj poruke zahtijevaju dugo prikupljanje podataka prije slanja, tj ništa se neće slati prije nego se dovoljno ne prikupi (čekanje!).ništa se neće slati prije nego se dovoljno ne prikupi (čekanje!).

Nadalje: kod nekog izvora ne znamo u kojoj je fazi kodiranja.Nadalje: kod nekog izvora ne znamo u kojoj je fazi kodiranja. Nadalje: knjiga kodova je jako velika, njezin je opis velik.Nadalje: knjiga kodova je jako velika, njezin je opis velik. Nadalje: nitko ne zna koji je od tih dugačkih kodova koja se Nadalje: nitko ne zna koji je od tih dugačkih kodova koja se

moraju mučno ispravljati zapravo onaj najbolji. O tome u moraju mučno ispravljati zapravo onaj najbolji. O tome u Shannona nema ni riječi! Očito je da za otkrivanje prave Shannona nema ni riječi! Očito je da za otkrivanje prave informacije treba jako puno vremena i čekanja: čak i uz naoko informacije treba jako puno vremena i čekanja: čak i uz naoko relativno povoljan kapacitet kanala.relativno povoljan kapacitet kanala.

U ekspanziji koda se možda krije i neka druga zakonitost?U ekspanziji koda se možda krije i neka druga zakonitost? Lema(F.J): ako vam neka informacija izgleda nejasna, a ne možete Lema(F.J): ako vam neka informacija izgleda nejasna, a ne možete

povećati brzinu kanala, onda vam preostaje strpljenje. Danas se svi povećati brzinu kanala, onda vam preostaje strpljenje. Danas se svi bave povećanjem brzina kanala. Sama informacija pritom nije važna! bave povećanjem brzina kanala. Sama informacija pritom nije važna!

8. Železnikarove teze8. Železnikarove teze

1. Informacija je kružna spontana pojava informacije.1. Informacija je kružna spontana pojava informacije.– Kad izgovaramo rečenicu: “Iva pije vodu” gdje je tu Kad izgovaramo rečenicu: “Iva pije vodu” gdje je tu

kružnost, kamo spontanost?kružnost, kamo spontanost?

2. Informacija posjeduje sposobnost samokontrole.- je li samokontrola osnovno svojstvo izvora informacije?- možemo li samokontrolu izvesti bez kružnosti?

3. Informacija unutar informacije iskazuje se kao protuinformacija - pitanje

- može li se samokontrola izvesti bez pitanja? 4. Uključenje informacije znači njeno ubacivanje, ugnježdenje,

smještavanje u neko tijelo koje je razumije.- informacija bestjelesnog / neenergetskog je nepristupačna, ulazom u tjelesno - energetsko ona se postvaruje / manifestira- da bi tijelo razumjelo informaciju ono mora kao prvo razumjeti okoliš - no okoliš nije informacija - okoliš je zamagljenje informacije!

Železnikarove teze /2Železnikarove teze /2

5. Informacijski paralelizam je informacija po sebi5. Informacijski paralelizam je informacija po sebi– paralelizam je inherentan informacijiparalelizam je inherentan informaciji– informacija je i paralelna i trenutnainformacija je i paralelna i trenutna

6. Informacijska slijednost je spontana kružnost informacijske prirode6. Informacijska slijednost je spontana kružnost informacijske prirode– serijska priroda informacije teži svom izvoru, odatle i njezina serijska priroda informacije teži svom izvoru, odatle i njezina

kružnostkružnost 7. Ukupna fenomenologija živog i neživog je fenomenologija 7. Ukupna fenomenologija živog i neživog je fenomenologija

informacijskog oblika i informacijskog procesainformacijskog oblika i informacijskog procesa– informacijski oblik i proces su dijalektička cjelinainformacijski oblik i proces su dijalektička cjelina

8. Informacijski oblik je statička a informacijski proces dinamička 8. Informacijski oblik je statička a informacijski proces dinamička informacijska slika fenomena informacijska slika fenomena – fenomeni se pojavljuju u statičkom (forma) i dinamičkom (sadržaj) fenomeni se pojavljuju u statičkom (forma) i dinamičkom (sadržaj)

obliku; u ovom potonjem su neopisivi - dok se ne oblikuju u obliku; u ovom potonjem su neopisivi - dok se ne oblikuju u statičkom statičkom

– u računala je forma primarna veličina - ono je bez informatičkog u računala je forma primarna veličina - ono je bez informatičkog sadržajasadržaja

9. Estimacija i interpretacija signala9. Estimacija i interpretacija signala Trenutna frekvencija signalaTrenutna frekvencija signala Pojam trenutne frekvencije vezan je za npr harmonijsko Pojam trenutne frekvencije vezan je za npr harmonijsko

gibanje tijela, ili općenito vibraciju, tj broj titraja u jedinici gibanje tijela, ili općenito vibraciju, tj broj titraja u jedinici vremena. Signal s(t), kada ga promatramo kao zbroj vremena. Signal s(t), kada ga promatramo kao zbroj harmoničkih vibracija, možemo predočiti vlastitim harmoničkih vibracija, možemo predočiti vlastitim spektromspektrom pomoću Fourierove transformacije tj pomoću Fourierove transformacije tj

S(f) = S(f) = s(t) e s(t) e -j2-j2ftft dt, dt, --< t << t < (36).(36). Slično tome se signal može sintetizirati iz svojeg spektra kaoSlično tome se signal može sintetizirati iz svojeg spektra kao s(t) = s(t) = S(f) e S(f) e j2j2ftft df, df, --< f < < f < (37).(37). Postupci su opravdani za signale sa stalnim spektrima u Postupci su opravdani za signale sa stalnim spektrima u

vremenu!vremenu! No u praksi nastupaju slučajevi s vremenski promjenjivim No u praksi nastupaju slučajevi s vremenski promjenjivim

spektrima.spektrima.

Estimacija i interpretacija signala /2Estimacija i interpretacija signala /2

Poopćenje pojma frekvencije na nestacionarne Poopćenje pojma frekvencije na nestacionarne signalesignale

Van der Pol je 1947. razmatrao pojam trenutne Van der Pol je 1947. razmatrao pojam trenutne frekvencije na signalu:frekvencije na signalu:

s(t) = a cos (2s(t) = a cos (2ft + ft + ) ) (38)(38) a je amplituda, f je frekvencija a a je amplituda, f je frekvencija a je fazna konstanta, je fazna konstanta,

odnosno argument kosinus funkcije je faza odnosno argument kosinus funkcije je faza (t) = 2 (t) = 2 ft + ft + . Dakle definirao je amplitudnu modulaciju kao . Dakle definirao je amplitudnu modulaciju kao

a(t) = a0(1+a(t) = a0(1+g(t))g(t)) (39).(39). Faznu modulaciju je definirao kaoFaznu modulaciju je definirao kao = = (1 + (1 + g(t))g(t)) (40),(40), a faza je argument kosinus funkcije u (38) postajea faza je argument kosinus funkcije u (38) postaje (t) = 2(t) = 2ft + ft + (t)(t) (41). (41).

Estimacija i interpretacija signala /3Estimacija i interpretacija signala /3 Frekvencijska modulacija se ne može izraziti poput (39) jer Frekvencijska modulacija se ne može izraziti poput (39) jer

ne dobivamo (41) već je potrebno rabiti izrazne dobivamo (41) već je potrebno rabiti izraz s(t) = a cos s(t) = a cos 2 2fi(t) dt + fi(t) dt + (42),(42), gdje je argument kosinus funkcije faza. Dakle imamo gdje je argument kosinus funkcije faza. Dakle imamo

definiciju trenutne frekvencije fi kaodefiniciju trenutne frekvencije fi kao fi(t) = 1/2fi(t) = 1/2 * d( * d()/dt)/dt (43).(43). Gabor je predložio nalaženje trenutne frekvencije iz FT Gabor je predložio nalaženje trenutne frekvencije iz FT

stvarnog signala pa modifikacijom spektra tako da se potisnu stvarnog signala pa modifikacijom spektra tako da se potisnu negativne a dvostruko pojačaju pozitivne frekvencije spektra negativne a dvostruko pojačaju pozitivne frekvencije spektra signala, daklesignala, dakle

z(t) = s(t) + jH(s(t))z(t) = s(t) + jH(s(t)) (44),(44), z(t) je Gaborov složeni signal, s(t) je stvarni signal a H je z(t) je Gaborov složeni signal, s(t) je stvarni signal a H je

Hilbertova transformacija koja se definira kao:Hilbertova transformacija koja se definira kao: H(s(t)) = p.v. H(s(t)) = p.v. s(t- s(t-) / ) / d d --<<<< (45).(45). P.v. je Cauchy-jeva principijelna vrijednost integrala (45). P.v. je Cauchy-jeva principijelna vrijednost integrala (45).

Estimacija i interpretacija signala /4Estimacija i interpretacija signala /4

Opravdanje za svoj postupak Gabor je vidio kod Opravdanje za svoj postupak Gabor je vidio kod izračunavanja izračunavanja centralnih momenatacentralnih momenata frekvencije frekvencije signala, jer bi se svi neparni momenti spektara bili signala, jer bi se svi neparni momenti spektara bili jednaki nuli, a to ne bi išlo u stvarnosti. jednaki nuli, a to ne bi išlo u stvarnosti. Gaborov složeni Gaborov složeni signal naziva se analitički signal.signal naziva se analitički signal.

Ville je izrazio trenutnu frekvenciju signala s(t)= a(t) cos Ville je izrazio trenutnu frekvenciju signala s(t)= a(t) cos (t) kao(t) kao fi(t) = 1/2fi(t) = 1/2 d/dt(arg(z)) d/dt(arg(z)) (46),(46), gdje je z(t) analitički signal dat u (44). Ville veli nadalje da, ako gdje je z(t) analitički signal dat u (44). Ville veli nadalje da, ako

je t.f. vremenski varira onda (intuitivno) i postoji neki trenutni je t.f. vremenski varira onda (intuitivno) i postoji neki trenutni spektar koji mu se pridružuje, gdje su srednje vrijednosti spektar koji mu se pridružuje, gdje su srednje vrijednosti frekvencija u tom spektru te t.f. Uporabom Gaborovih prosječnih frekvencija u tom spektru te t.f. Uporabom Gaborovih prosječnih mjera dokazao je tu vezu prosječnih frekvencija i vremenskih mjera dokazao je tu vezu prosječnih frekvencija i vremenskih prosjeka, odnosnoprosjeka, odnosno

f*f*Z(f)Z(f)22 df / df / z(f)z(f)22 df = df = fi*fi*z(t)z(t)22dt / dt / z(t)z(t)22 dt dt (47),(47), a granice integrala su preko područja -a granice integrala su preko područja -<f<<f<, -, -<t<<t<..

Estimacija i interpretacija Estimacija i interpretacija signala/5signala/5

Odatle su Ville i Wigner definirali Odatle su Ville i Wigner definirali raspodjelu signala po raspodjelu signala po vremenu i frekvencijivremenu i frekvenciji (42cit), označenu kao W(t,f), koja svojim (42cit), označenu kao W(t,f), koja svojim prvim momentom određuje trenutnu frekvenciju složenog prvim momentom određuje trenutnu frekvenciju složenog signala. Ostali autori, poput Rihaczeka i Ackroyda ukazali su na signala. Ostali autori, poput Rihaczeka i Ackroyda ukazali su na točke u vremensko-frekvencijskoj ravnini gdje se koncentrira točke u vremensko-frekvencijskoj ravnini gdje se koncentrira energija! energija!

Osnovni problem je u tome što mi jednu jedinstvenu pojavu u Osnovni problem je u tome što mi jednu jedinstvenu pojavu u vremenu naime s(t) želimo prikazati dvjema funkcijama vremena, vremenu naime s(t) želimo prikazati dvjema funkcijama vremena, poput para ovojnica-faza ili realni-imaginarni dio. Ovo koji puta poput para ovojnica-faza ili realni-imaginarni dio. Ovo koji puta ide bez pogreške kao u slučaju kad razmatramo vrijedi liide bez pogreške kao u slučaju kad razmatramo vrijedi li

a(t)cosa(t)cos(t) + jH(a(t)cos(t) + jH(a(t)cos(t)) = a(t)e (t)) = a(t)e jj(t) (t) (48).(48). Rješenje (48) , prema Bedrosianu, je valjano ako spektar A(f) = Rješenje (48) , prema Bedrosianu, je valjano ako spektar A(f) =

FFa(t)a(t) leži potpuno u području leži potpuno u području ff< f0 a spektar F< f0 a spektar Fcoscos(t)(t) postoji postoji potpuno izvan tog područja. Dakle amplituda a(t) i faza potpuno izvan tog područja. Dakle amplituda a(t) i faza (t) mogu (t) mogu se smatrati neovisnima samo ako spektar a(t) i cosse smatrati neovisnima samo ako spektar a(t) i cos(t) imaju (t) imaju odvojena frekvencijska područja.odvojena frekvencijska područja.

Estimacija i interpretacija signala /6Estimacija i interpretacija signala /6 Trenutna frekvencija i grupno kašnjenjeTrenutna frekvencija i grupno kašnjenje (GK) (GK) Složeni signal z(t) =a(t) exp(jSloženi signal z(t) =a(t) exp(j(f)) ima složeni spektar oblika(f)) ima složeni spektar oblika Z(f) = A(f) exp(jZ(f) = A(f) exp(j(f)) (f)) (49), (49), gdje su a(t) i A(f) pozitivno definitne funkcije.gdje su a(t) i A(f) pozitivno definitne funkcije. Veličina zanimljiva za opis signala je grupno kašnjenje:Veličina zanimljiva za opis signala je grupno kašnjenje: g(f) = -1/2 g(f) = -1/2 * d/df * d/df (f)(f) (50).(50). Grupno kašnjenje može se predstaviti kao da je promjena Grupno kašnjenje može se predstaviti kao da je promjena

vremena propagacije funkcija frekvencije impulsa koji putuje vremena propagacije funkcija frekvencije impulsa koji putuje kroz linearni filter s impulsnim odzivom h(t) = s(t). Jasno je da kroz linearni filter s impulsnim odzivom h(t) = s(t). Jasno je da fazni spektar fazni spektar (f) i GK ovise i o fazi i amplitudi vremenskog (f) i GK ovise i o fazi i amplitudi vremenskog signala. Isto tako faza signala signala. Isto tako faza signala (t) i TF također ovise i o faznom (t) i TF također ovise i o faznom i amplitudnom spektru.i amplitudnom spektru.

Za signal s(t), ako je vrijednost t= Za signal s(t), ako je vrijednost t= g jedinstvena, smatramo g jedinstvena, smatramo da opisuje položaj signala u vremenskoj domeni. Ako je da opisuje položaj signala u vremenskoj domeni. Ako je g g funkcija f tada opisuje lokalizaciju različitih komponenti funkcija f tada opisuje lokalizaciju različitih komponenti spektra u vremenskoj domeni. spektra u vremenskoj domeni.

Estimacija i interpretacija signala/7Estimacija i interpretacija signala/7 Utjecaj umnoška BT na TF I GKUtjecaj umnoška BT na TF I GK Vrijeme trajanjaVrijeme trajanja T i T i širina pojasaširina pojasa B su značajke signala B su značajke signala

koje opisuju “epohu” pojave signala i njegova spektra. koje opisuju “epohu” pojave signala i njegova spektra. Smanjnjem trajanja signala u vremenu dolazimo do Smanjnjem trajanja signala u vremenu dolazimo do nestanka signala u šumu. No signal se katkada, iako manji nestanka signala u šumu. No signal se katkada, iako manji od šuma može smatrati signalom u smislu njegove od šuma može smatrati signalom u smislu njegove detekcije. To se naravno odnosi na ponavljajuće pojave. detekcije. To se naravno odnosi na ponavljajuće pojave. Djelatno trajanje signala je po dogovoru Djelatno trajanje signala je po dogovoru

TTss22= = tt22s(t)s(t)22 dt / dt / s(t)s(t)22 dt dt (51)(51)

a djelatna širina pojasa a djelatna širina pojasa BBss

22 = = ff22S(f)S(f)22 df / df / S(f)S(f)22 df df (52).(52). Odnos između B i T možemo lako razmotriti ako signal s(t) Odnos između B i T možemo lako razmotriti ako signal s(t)

usporimo ili ubrzamo. Razvučeni signal sr = s(rt), gdje je r usporimo ili ubrzamo. Razvučeni signal sr = s(rt), gdje je r faktor razvlačenja. Tada je pripadni spektarfaktor razvlačenja. Tada je pripadni spektar

Sr(f) = 1/r S(f/r) , r>0Sr(f) = 1/r S(f/r) , r>0 (53).(53).

Estimacija i interpretacija signala /8Estimacija i interpretacija signala /8 Dakle rastezanje signala dovodi do sažimanja spektra. Odatle je Dakle rastezanje signala dovodi do sažimanja spektra. Odatle je

odnos B i T vezan, odnosno umnožak odnos B i T vezan, odnosno umnožak BT= constBT= const za svaki signal. za svaki signal. Dapače iz (51) i (52) slijedi da je minimalni BT= 1/4Dapače iz (51) i (52) slijedi da je minimalni BT= 1/4 za za gaussovski oblik signala. Signale s konačnim trajanjemgaussovski oblik signala. Signale s konačnim trajanjem spektrom spektrom i energijom ako imaju BT>10 smatraju se “i energijom ako imaju BT>10 smatraju se “asimptotskim asimptotskim signalimasignalima”. Landau i Pollak su pronašli da signali s BT>5 imaju ”. Landau i Pollak su pronašli da signali s BT>5 imaju 99% energije u području definiranom unutar B i T. Dakako signali 99% energije u području definiranom unutar B i T. Dakako signali s malim BT u informatičkom smislu nisu dovoljno “bogati”. s malim BT u informatičkom smislu nisu dovoljno “bogati”. Njihove estimacije su slabe.Njihove estimacije su slabe.

Neke korisne definicije i svojstva asimptotskih signala s(t):Neke korisne definicije i svojstva asimptotskih signala s(t): Neki asimptotski signal s(t) je Neki asimptotski signal s(t) je monokomponentanmonokomponentan ako njegova ako njegova

trenutna frekvencija fi(t) točno predstavlja modulacijski zakon trenutna frekvencija fi(t) točno predstavlja modulacijski zakon signala, jednoznačna je i postoji njen invers fisignala, jednoznačna je i postoji njen invers fi -1-1(t)(t)

Neki je asimptotski signal s(t) Neki je asimptotski signal s(t) višekomponentanvišekomponentan ako postoji ako postoji konačan broj N monokomponentnih signala sj(t) takvih da u konačan broj N monokomponentnih signala sj(t) takvih da u zbroju daju s(t). Samo jedna od njenih komponenata mora biti zbroju daju s(t). Samo jedna od njenih komponenata mora biti asimptotska. Dekompozicija je ovisna o primjeni! asimptotska. Dekompozicija je ovisna o primjeni!

Estimacija i interpretacija signala/9Estimacija i interpretacija signala/9 MonokomponentniMonokomponentni signalsignal Višekomponentni signaliVišekomponentni signali

t

f

t

f

t

f

Estimacija i interpretacija signala /10Estimacija i interpretacija signala /10 Svojstva asimptotskih signalaSvojstva asimptotskih signala 1. Energijska razdioba asimptotskog signala s(t) usredotočena je 1. Energijska razdioba asimptotskog signala s(t) usredotočena je

u konačnom vremensko-frekvencijskom području oko TF, a u konačnom vremensko-frekvencijskom području oko TF, a stupanj koncentracije je ovisan o umnošku BT.stupanj koncentracije je ovisan o umnošku BT.

2. Za jednokomponentni asimptotski signal s velikim BT i 2. Za jednokomponentni asimptotski signal s velikim BT i monotonim zakonom promjene može se pokazati da se fi(t) monotonim zakonom promjene može se pokazati da se fi(t) približava prema približava prema gg

-1-1, tj ove su dvije funkcije međusobno , tj ove su dvije funkcije međusobno inverzne. Tada fi(t) opisuje zakonitost frekvencijske modulacije inverzne. Tada fi(t) opisuje zakonitost frekvencijske modulacije signala s(t), a signala s(t), a gg(f) predstavlja vremensko kašnjenje signala.(f) predstavlja vremensko kašnjenje signala.

3. Za jednokomponentni asimptotski signal s malim BT ne vrijedi 3. Za jednokomponentni asimptotski signal s malim BT ne vrijedi jednakost fi(t) = jednakost fi(t) = gg

-1. -1. Ne postoji niti fizikalno značenje koje se Ne postoji niti fizikalno značenje koje se može pripisati ponašanju u t-f ravnini, iako je matematički dobro može pripisati ponašanju u t-f ravnini, iako je matematički dobro definirano.definirano.

Dakle traži se monotonost ponašanja TF i veliki iznos BT-a. Monotonost Dakle traži se monotonost ponašanja TF i veliki iznos BT-a. Monotonost osigurava jednu prasliku u području T, a veliki iznos BT osigurava da se osigurava jednu prasliku u području T, a veliki iznos BT osigurava da se svaki element u T preslikava na jednu sliku u B, dakle da postoji svaki element u T preslikava na jednu sliku u B, dakle da postoji dominantnost jedne frekvencije npr. f0.dominantnost jedne frekvencije npr. f0.

10. Pretraživanje podataka10. Pretraživanje podataka Pretraživanje podatakaPretraživanje podataka (data mining) je analitička tehnika (data mining) je analitička tehnika

kojom se grade modeli za obilježavanje podatka u cilju kojom se grade modeli za obilježavanje podatka u cilju nalaženja informacije. Procjena uspješnosti skupe marketinške nalaženja informacije. Procjena uspješnosti skupe marketinške kampanje, otkrivanje bitnih uzroka kvarenja energetskih kampanje, otkrivanje bitnih uzroka kvarenja energetskih transformatora ili postizanje veće odzivnosti na potrebe kupca transformatora ili postizanje veće odzivnosti na potrebe kupca telefonske usluge - važan je motiv za opsežnu, skupu i često telefonske usluge - važan je motiv za opsežnu, skupu i često dugotrajnu analizu velike količine podataka. Tehnike kojima se dugotrajnu analizu velike količine podataka. Tehnike kojima se služimo možemo grubo grupirati na:služimo možemo grubo grupirati na:

- pomoć pri - pomoć pri boljem razumijevanjuboljem razumijevanju podataka podataka - - ugradnja značajkiugradnja značajki u podatke za njihovu kasniju analizu u podatke za njihovu kasniju analizu - omogućavanje - omogućavanje mjerenja uspješnostimjerenja uspješnosti ugrađenih značajki ugrađenih značajki Opisuje se niz postupaka od predobrade sirovih podataka do Opisuje se niz postupaka od predobrade sirovih podataka do

korisnih postupaka njihovih odvajanja i obilježavanja. korisnih postupaka njihovih odvajanja i obilježavanja. Naglasak je na razumijevanju podataka već prije početka Naglasak je na razumijevanju podataka već prije početka postupka obrade. postupka obrade.

Važnost podat(a)kaVažnost podat(a)ka Iznosi podataka penju se brzo na milijarde jedinica. Ako želimo Iznosi podataka penju se brzo na milijarde jedinica. Ako želimo

obilježiti živi svijet na nekom području tada za 2000 vrsta, u obilježiti živi svijet na nekom području tada za 2000 vrsta, u 2000 različitih lokaliteta te sa 2000 bajtova po lokalitetu 2000 različitih lokaliteta te sa 2000 bajtova po lokalitetu imamo 8GBy podataka. Ipak zaključci koje možemo izvesti iz imamo 8GBy podataka. Ipak zaključci koje možemo izvesti iz sintaksnih okvira računarskih podataka i semantička sintaksnih okvira računarskih podataka i semantička interpretacija njezinih vrijednosti je ograničena. Sve ovisi jako interpretacija njezinih vrijednosti je ograničena. Sve ovisi jako o kvaliteti podataka s kojima raspolažemo. Tehnike rijetko o kvaliteti podataka s kojima raspolažemo. Tehnike rijetko kada imaju sposobnost uporabe znanja iz date domene a kada imaju sposobnost uporabe znanja iz date domene a zasigurno nemaju pristup obilju infromacije koja je na zasigurno nemaju pristup obilju infromacije koja je na raspolaganju analitičaru. Stoga analitičar mora osigurati da se raspolaganju analitičaru. Stoga analitičar mora osigurati da se donose najbolji mogući podaci koji daju i najviše moguće donose najbolji mogući podaci koji daju i najviše moguće iznose informacije.iznose informacije.

Kvaliteta podatakaKvaliteta podataka odnosi se na njihovu potpunost, odnosi se na njihovu potpunost, odvojivost i razumljivost za analitičara. odvojivost i razumljivost za analitičara.

Potpunost Potpunost ovisi o tome ne posjeduje li zapis sve podatke. ovisi o tome ne posjeduje li zapis sve podatke. Nedostatak podataka obezvređuje osobine sustava. Postoje Nedostatak podataka obezvređuje osobine sustava. Postoje neki načini da se nadiđe i takav slučaj. neki načini da se nadiđe i takav slučaj.

Važnost podat(a)ka /2Važnost podat(a)ka /2 Odvojivost podatakaOdvojivost podataka odnosi se na lakoću kojom se odnosi se na lakoću kojom se

mogu obilježavati klase podataka u datom skupu. mogu obilježavati klase podataka u datom skupu. Obilježavanje mora moći ići u smislu postizanja cilja Obilježavanje mora moći ići u smislu postizanja cilja obrade. Tako se obilježavanje podataka puta ne smije obrade. Tako se obilježavanje podataka puta ne smije izbjeći kod analize problema trgovačkog putnika i sl. izbjeći kod analize problema trgovačkog putnika i sl. Često je to kombinacija obilježja koja igra ulogu u Često je to kombinacija obilježja koja igra ulogu u nalaženju informacije. No analitičar koji ne razumije nalaženju informacije. No analitičar koji ne razumije područje rada teško će otkrivati svojstva obilježavanja!područje rada teško će otkrivati svojstva obilježavanja!

Razumljivost podatakaRazumljivost podataka može se kretati od može se kretati od poznavanja vrste podataka atributa (obilježnika) do poznavanja vrste podataka atributa (obilježnika) do razumijevnja stohastičkih modela koji se koriste i pravog razumijevnja stohastičkih modela koji se koriste i pravog sadržaja informacije. Semantičko razumijevanje sadržaja informacije. Semantičko razumijevanje značenja atributa bila bi poželjna osobina, no malo značenja atributa bila bi poželjna osobina, no malo sustava za pretraživanje podataka posjeduje svojstvo sustava za pretraživanje podataka posjeduje svojstvo uporabe domenskog znanja.uporabe domenskog znanja.

Važnost podat(a)ka /3Važnost podat(a)ka /3 Vrste podatakaVrste podataka U biti postoje dvije vrste podataka: U biti postoje dvije vrste podataka: brojčani brojčani (kvantitativni) i (kvantitativni) i

simboličkisimbolički (kvalitativni). (kvalitativni). Brojčani podaci (cjelobrojnici ili realni brojevi) donose Brojčani podaci (cjelobrojnici ili realni brojevi) donose

svojstvo razlikovanja značajnosti dvaju podataka iz razlike svojstvo razlikovanja značajnosti dvaju podataka iz razlike njihovih brojčanih iznosa. njihovih brojčanih iznosa.

Simbolički podaci ( brojke ili znakovi) donose svojstvo da im Simbolički podaci ( brojke ili znakovi) donose svojstvo da im je za istu jedinicu različito značenje. Dakle za neko svojstvo je za istu jedinicu različito značenje. Dakle za neko svojstvo obrade mora postojati neka obrade mora postojati neka skala obilježavanjaskala obilježavanja simbola simbola koja je primjerena datom cilju obrade. Često je već postizanje koja je primjerena datom cilju obrade. Često je već postizanje skale obilježavanja veliki doprinos pretraživanu podatka. skale obilježavanja veliki doprinos pretraživanu podatka. Skale obilježja dakle moraju izrađivati eksperti iz područja Skale obilježja dakle moraju izrađivati eksperti iz područja problema koji se rješava datom obradom pretraživanja.problema koji se rješava datom obradom pretraživanja.

Zadatak: poredajte po skali obilježja vaše informatičke Zadatak: poredajte po skali obilježja vaše informatičke uređaje: računalo, telefon (mobilni?), TV prijamnik, kućno uređaje: računalo, telefon (mobilni?), TV prijamnik, kućno zvonce. Ovisi li to i o okolnosti uporabe? zvonce. Ovisi li to i o okolnosti uporabe?

Važnost podat(a)ka /4Važnost podat(a)ka /4

Predočavanje podatakaPredočavanje podataka Kada skup podataka prelazi tri atributa ili 1000 jedinki Kada skup podataka prelazi tri atributa ili 1000 jedinki

teško ga je predstaviti s dovoljnom jasnoćom. Porast teško ga je predstaviti s dovoljnom jasnoćom. Porast broja i složenosti podataka u računalima taj je problem broja i složenosti podataka u računalima taj je problem samo povećao. Jako je teško stvarne podatke “vidjeti” samo povećao. Jako je teško stvarne podatke “vidjeti” kao nakupine, grozdove. Svakako da je dobro kao nakupine, grozdove. Svakako da je dobro predočavanje podataka uvjet za njihovo bolje predočavanje podataka uvjet za njihovo bolje razumijevanje.Uz sve isto podatke ćemo najbolje razumijevanje.Uz sve isto podatke ćemo najbolje predočavati tako da istaknemo one atribute, dimnezije predočavati tako da istaknemo one atribute, dimnezije gdje se najviše razlikuju. Isto tako možemo one gdje se najviše razlikuju. Isto tako možemo one dimenzije gdje se ne razlikuju naprosto zanemariti u dimenzije gdje se ne razlikuju naprosto zanemariti u predočavanju. Tako možemo prikaz smanjiti na onaj broj predočavanju. Tako možemo prikaz smanjiti na onaj broj dimenzija 2,3 koji je najprimjereniji za predočavanje dimenzija 2,3 koji je najprimjereniji za predočavanje čovjeku. Nadalje, dovoljno je izabrati do stotinu oglednih čovjeku. Nadalje, dovoljno je izabrati do stotinu oglednih podataka za prikaz od više od tisuću njih, da bi se dobio podataka za prikaz od više od tisuću njih, da bi se dobio uvid u osnovna svojstva skupa podataka.uvid u osnovna svojstva skupa podataka.

Tehnika predobradeTehnika predobrade

Predobrada podataka je važan korak u njihovom boljem Predobrada podataka je važan korak u njihovom boljem prikazu korisniku, otkrivanju skrivenih svojstava i prikazu korisniku, otkrivanju skrivenih svojstava i svođenju na oblik u kojem se mogu uspoređivati podaci iz svođenju na oblik u kojem se mogu uspoređivati podaci iz različitih izvora.različitih izvora.

Postupci predobrade svode se na filtraciju, skaliranje, Postupci predobrade svode se na filtraciju, skaliranje, normalizaciju te regresiju dimenzije. No, bez obzira koji normalizaciju te regresiju dimenzije. No, bez obzira koji se postupak uvodi podaci nakon predobrade nisu više se postupak uvodi podaci nakon predobrade nisu više jednaki onim sirovim podacima. jednaki onim sirovim podacima.

Budući da se radi o tome da ne znamo informacijski Budući da se radi o tome da ne znamo informacijski model na izvoru, niti mu možemo pristupiti, ne možemo model na izvoru, niti mu možemo pristupiti, ne možemo doći do čistog informacijskog signala, a ne znamo ni doći do čistog informacijskog signala, a ne znamo ni model šuma niti mu možemo pristupiti a znamo samo model šuma niti mu možemo pristupiti a znamo samo mjerni signal, to je problem pristupu informaciji daleko mjerni signal, to je problem pristupu informaciji daleko teži nego izgleda.teži nego izgleda.

Naravno da predobradom samo smanjujemo neke od Naravno da predobradom samo smanjujemo neke od nepoznatih veličina, nikako sve. nepoznatih veličina, nikako sve.

Tehnika predobrade /2Tehnika predobrade /2 Opća shema predobradeOpća shema predobrade

Model=?

Model=? * Filter

Nedostupni model šuma

Nedostupniinf. izvor

Nedostupniinf. signal

Nedostupni šum

Mjerenje, podatak

Predobrađenipodatak

Tehnika predobrade /3Tehnika predobrade /3 FiltriranjeFiltriranje se može izraziti iz osnovne formule (Graupe, 176) se može izraziti iz osnovne formule (Graupe, 176) yykk = x = xkk + n + nkk (54),(54),

gdje je ygdje je ykk mjerenje, sirovi podatak, x mjerenje, sirovi podatak, xkk je signal a n je signal a nkk je aditivno je aditivno dodani šum, k je k-ti vremenski interval. Filter daje procjenu, dodani šum, k je k-ti vremenski interval. Filter daje procjenu, estimaciju xestimaciju xkeke signala x signala xk k samo na osnovici ysamo na osnovici ykk. Pri tome optimalni . Pri tome optimalni linearni filterlinearni filter zahtijeva poznavanje parametara modela signala zahtijeva poznavanje parametara modela signala i šuma. Linearni Wienerov filter u smislu minimuma kvadratnih i šuma. Linearni Wienerov filter u smislu minimuma kvadratnih odstupanja estimacije daje linearnu estimaciju odstupanja estimacije daje linearnu estimaciju xxkeke informacijskog signala s obzirom na mjerenja tjinformacijskog signala s obzirom na mjerenja tj

xxkeke = = i* yk-i sumiranje od 0<i<Mi* yk-i sumiranje od 0<i<M (55),(55), gdje su gdje su i parametri filtera koji se izračunavaju prema i parametri filtera koji se izračunavaju prema

minimumu kvadrata odstupanja od estimacije, a M je dubina minimumu kvadrata odstupanja od estimacije, a M je dubina utjecaja na estimaciju. Kada doprinos estimaciji s porastom M utjecaja na estimaciju. Kada doprinos estimaciji s porastom M padne ispod nekog iznosa onda se daljnje računanje po dubini padne ispod nekog iznosa onda se daljnje računanje po dubini više ne uzima u obzir.više ne uzima u obzir.

Možemo li za niz podataka 4,6,3,7 izračunati Možemo li za niz podataka 4,6,3,7 izračunati 0 i 0 i 1?1?

Tehnika predobrade /4Tehnika predobrade /4 NormNormiranjeiranje i skaliranje podataka i skaliranje podataka Skaliranje je promjena mjerila podataka u smislu povećanja Skaliranje je promjena mjerila podataka u smislu povećanja

njihove razdvojivosti. Nakon skaliranja potrebno je često njihove razdvojivosti. Nakon skaliranja potrebno je često podatke podvrgnuti zajedničkopodatke podvrgnuti zajedničkomm norm normiranjuiranju. Teorijski . Teorijski promatrano klasifikatori se mogu podučiti kako primijeniti promatrano klasifikatori se mogu podučiti kako primijeniti odgovarajuće linearno ili nelinearno skaliranje podataka na odgovarajuće linearno ili nelinearno skaliranje podataka na svojim ulazima, što je vrlo složen postupak.svojim ulazima, što je vrlo složen postupak.

Uobičajeni postupci preobrade je pretvorba podataka u Uobičajeni postupci preobrade je pretvorba podataka u podatke sa srednjom vrijednosti jednakoj ništici te podatke sa srednjom vrijednosti jednakoj ništici te normnormiranjeiranje varijance ulaznih atributa. varijance ulaznih atributa.

Uzmimo da posjedujemo dva niza podataka: m1 = 3, 4, 6, 4 Uzmimo da posjedujemo dva niza podataka: m1 = 3, 4, 6, 4 te m2 = 11,14, 15, 12. te m2 = 11,14, 15, 12. Postavimo ih linearnom Postavimo ih linearnom pretvorbom u skalu1 - 10 Normpretvorbom u skalu1 - 10 Normiramoiramo tako pretvorene tako pretvorene podatke u nizove sa srednjom vrijednosti ništa. Pokušajmo podatke u nizove sa srednjom vrijednosti ništa. Pokušajmo ih pretvoriti u podatke s istom varijancom. Što opažamo? ih pretvoriti u podatke s istom varijancom. Što opažamo? Kuda su nestale izvorne veličine? Možemo li ih obnoviti? Kuda su nestale izvorne veličine? Možemo li ih obnoviti?

Tehnika predobrade /5Tehnika predobrade /5 Regresija Regresija Regresija je zajednički naziv za raznorodnu grupu postupaka Regresija je zajednički naziv za raznorodnu grupu postupaka

kojima se smanjuje broj opisnih atributa promatranog skupa kojima se smanjuje broj opisnih atributa promatranog skupa podataka.podataka.

Uobičajeno je odrediti kolika je međusobna statistička Uobičajeno je odrediti kolika je međusobna statistička ovisnost parametara, pa onda izostaviti one parametre koji su ovisnost parametara, pa onda izostaviti one parametre koji su već dovoljno dobro predstavljeni drugim veličinama. Takvi već dovoljno dobro predstavljeni drugim veličinama. Takvi međusobno neovisni parametri nazivaju se glavni parametri ili međusobno neovisni parametri nazivaju se glavni parametri ili glavne analitičke komponente, GAK. Daljnja se obrada onda glavne analitičke komponente, GAK. Daljnja se obrada onda odvija na puno manjem broju GAK-a što pojednostavljuje odvija na puno manjem broju GAK-a što pojednostavljuje prikaz i smanjuje broj pretraga. No, ostaje osnovni problem - prikaz i smanjuje broj pretraga. No, ostaje osnovni problem - kojom metodom to postići! Odnosno kakav model regresije kojom metodom to postići! Odnosno kakav model regresije rabiti. Linearna regresija tako svodi opis neke mjerne pojave y rabiti. Linearna regresija tako svodi opis neke mjerne pojave y kao linearne kombinacije GAK-a x1 , x2 ... Sljedećom shemom:kao linearne kombinacije GAK-a x1 , x2 ... Sljedećom shemom:

Y = a1 X1 + a2 X2 + a3 X3 + oY = a1 X1 + a2 X2 + a3 X3 + o (56),(56), gdje je o oznaka za ostatak aproksimacije pojave. X1, X2 i X3 gdje je o oznaka za ostatak aproksimacije pojave. X1, X2 i X3

su tada GAK-e. su tada GAK-e.

Primjer regresije podatakaPrimjer regresije podataka

Y X1 X2 X3 X4

5 1 4 -3 2

8 0.2 6 -2 3

12 2 7 -1 2

15 0,6 10 1 1

-6 2 -3 2 0,6

Tehnika predobrade /6Tehnika predobrade /6

Koeficijent korelacije niza y i x računa se prema izrazuKoeficijent korelacije niza y i x računa se prema izrazu r = 1/n *r = 1/n * (xi- xsr)(yi - ysr) / ( 1/n * (xi- xsr)(yi - ysr) / ( 1/n * (xi- xsr) (xi- xsr)22 ) )1/21/2) * ) * ( 1/n *( 1/n * (yi - ysr) (yi - ysr)22) ) 1/21/2)) (57),(57), gdje je n broj parova događaja, xi i yi su podaci i-tog događaja gdje je n broj parova događaja, xi i yi su podaci i-tog događaja

xsr i ysr su srednje vrijednosti svakog niza. xsr i ysr su srednje vrijednosti svakog niza. Koeficijent korelacije rangiranih nizova y i x računa se prema Koeficijent korelacije rangiranih nizova y i x računa se prema

izrazuizrazu rrqq = 1- 6 = 1- 6 22/ n/ n22 (n-1) (n-1) (58),(58), gdje je gdje je 2 2 kvadrat razlike rankvadrat razlike ranggova dvaju nizova. Izraz (58) ova dvaju nizova. Izraz (58)

vrijedi za nizove sa svim različitim rangovima u pojedinom nizu.vrijedi za nizove sa svim različitim rangovima u pojedinom nizu. Što možemo dobiti ispitujući podatke iz Primjera ovim Što možemo dobiti ispitujući podatke iz Primjera ovim

relacijama?relacijama? Možemo li možda postaviti regresijski izraz?Možemo li možda postaviti regresijski izraz? Kako se ponašaju nizovi na rang korelaciju?Kako se ponašaju nizovi na rang korelaciju?

Tehnika klasifikacijeTehnika klasifikacije

Klasifikacija je postupak podjele ulaznih podataka prema krajnjem Klasifikacija je postupak podjele ulaznih podataka prema krajnjem ishodu događaja. Moguća je postupcima samoorganizacije ishodu događaja. Moguća je postupcima samoorganizacije podatka - dakle postupcima umjetne inteligencije poput umjetnih podatka - dakle postupcima umjetne inteligencije poput umjetnih neuronskih (živčevnih) mreža, genetičkih algoritama, ili neuronskih (živčevnih) mreža, genetičkih algoritama, ili polukvalitativnih postupaka (Quacol algebra)- ili induktivnim polukvalitativnih postupaka (Quacol algebra)- ili induktivnim postupcima - stablom ili pravilom odlučivanja, te statističke - postupcima - stablom ili pravilom odlučivanja, te statističke - CART metoda, statistička klasifikacija ili entropijska klasifikacija.CART metoda, statistička klasifikacija ili entropijska klasifikacija.

Obradit ćemo samo neke od navedenih postupaka. Zajednička Obradit ćemo samo neke od navedenih postupaka. Zajednička osobina svim metodama je unošenje jakih elemenata osobina svim metodama je unošenje jakih elemenata kvalitativnog u postupku donošenja odluke, pa ćemo na sklopu kvalitativnog u postupku donošenja odluke, pa ćemo na sklopu diskriminatora objasniti postupak pretvorbe kvantitativne u diskriminatora objasniti postupak pretvorbe kvantitativne u kvalitativnu veličinu.kvalitativnu veličinu.

Drugi vrlo značajan element je pojačanje. Bilo da se radi o Drugi vrlo značajan element je pojačanje. Bilo da se radi o skaliranju ili normalizaciji, podaci su, kada uđu u postupak ili skaliranju ili normalizaciji, podaci su, kada uđu u postupak ili uređaj za klasifikaciju, izloženi značajnim pretvorbama.uređaj za klasifikaciju, izloženi značajnim pretvorbama.

Takve pretvorbe vrlo je teško do kraja razumjeti, obrazložiti i Takve pretvorbe vrlo je teško do kraja razumjeti, obrazložiti i interpretirati. Osobito kada se radi o samoorganiziranim interpretirati. Osobito kada se radi o samoorganiziranim postupcima.postupcima.

Sklop za diskriminacijuSklop za diskriminaciju Sklop kojem se ulaz mijenja od -5V do 5V i koji ima prag Sklop kojem se ulaz mijenja od -5V do 5V i koji ima prag

okidanja smješten na 0V prikazan je shemom:okidanja smješten na 0V prikazan je shemom:

Uul

Uul

Uiz

UiztUul Uiz

Sklop pretvara ulazni niz koji je u rasponu +/- 5V u izlazni niz koji imasamo dva stanja + ili - . Na ovaj način na izlazu ne znamo koliko točno iznosi ulazni niz, ali znamo da li je veći ili manji od ništice.Dakle podatakje iz kvantitativnog prešao u kvalitativno područje: veće / manje.

Sklop za zbrajanje i skaliranjeSklop za zbrajanje i skaliranje

Sklop za zrajanje s postupkom skaliranja dat je na Sklop za zrajanje s postupkom skaliranja dat je na shemi:shemi:

X - ulaz, Y - izlaz, W - težinski udio, S - zbrajaloX - ulaz, Y - izlaz, W - težinski udio, S - zbrajalo Koliki je Y ako su X1=5, X2=7, W1=1, W2=10? Tko Koliki je Y ako su X1=5, X2=7, W1=1, W2=10? Tko

dominira?dominira? Kako možemo ovu shemu izvesti elektronički, Kako možemo ovu shemu izvesti elektronički,

elektromehanički?elektromehanički?S

W1

W2

X1

X2

Y=X1W1+X2W2

Kako možemo na elektroničkom sklopu promijeniti W, X?

SamoorganizacijaSamoorganizacija

Promotrimo sklop na slici (strjelice označavaju Promotrimo sklop na slici (strjelice označavaju podešavanja ulaznih struja u sumatore npr promjenom podešavanja ulaznih struja u sumatore npr promjenom otpora):otpora):

Za svaku ulaznu pobudu može se podešavanjem dobiti Za svaku ulaznu pobudu može se podešavanjem dobiti odgovarajući izlazni odziv. Ovo podešavanje naziva se odgovarajući izlazni odziv. Ovo podešavanje naziva se samoorganizacija.samoorganizacija.

D

D

D

D

Ds

s

s

s

sX1

X2

X3

YDs

s

Klasifikacija podataka /5Klasifikacija podataka /5 Klasifikacija samoorganizacijomKlasifikacija samoorganizacijom Svaka samoorganizacija sastoji se od strukture, mogućnosti Svaka samoorganizacija sastoji se od strukture, mogućnosti

njene promjene i kriterija prilagodbe.njene promjene i kriterija prilagodbe. Opisujemo tri takve klasifikacije: neuralnom mrežom, Opisujemo tri takve klasifikacije: neuralnom mrežom,

genetičkim algoritmom i Quacol algoritmom(Medusa). genetičkim algoritmom i Quacol algoritmom(Medusa). Neuralnoj mreži se ne mijenje struktura, promjena je na Neuralnoj mreži se ne mijenje struktura, promjena je na

razini težinskih udjela a kriterij prilagodbe je minimum razini težinskih udjela a kriterij prilagodbe je minimum odstupanja izlaza za dati skup ulaza. Ta se samoorganizacija odstupanja izlaza za dati skup ulaza. Ta se samoorganizacija izvodi u etapi učenja. U etapi klasifikacije se dati obrazac izvodi u etapi učenja. U etapi klasifikacije se dati obrazac propušta kroz mrežu i opaža njen učin - tj kamo uzorak propušta kroz mrežu i opaža njen učin - tj kamo uzorak pripada po svojim atributima. pripada po svojim atributima.

Genetički algoritam polazi od skupa različitih struktura, Genetički algoritam polazi od skupa različitih struktura, ispituje prikladnost rješanja, uzima one najbolje, kombinira ih ispituje prikladnost rješanja, uzima one najbolje, kombinira ih u nove strukture tako da u kombinaciji slučajnim izborom u nove strukture tako da u kombinaciji slučajnim izborom promijeni strukturu npr svakom stotom rješenju, pa dobivene promijeni strukturu npr svakom stotom rješenju, pa dobivene strukture opet ispituje na prilagođenost…. strukture opet ispituje na prilagođenost….

Klasifikacija podataka /6Klasifikacija podataka /6 Quacol (algebra kvalitativne korelacije) rangira ulazne Quacol (algebra kvalitativne korelacije) rangira ulazne

podatke, normpodatke, normiraira i rangira njihove algebarske i rangira njihove algebarske kombinacije čime generira različite algebarske strukture, kombinacije čime generira različite algebarske strukture, pa one koje su kvalitativno najsličnije ciljnoj funkciji bira pa one koje su kvalitativno najsličnije ciljnoj funkciji bira za nove algebarske strukture.za nove algebarske strukture.

Što je zajedničko svim samoorganiziranim postupcima?Što je zajedničko svim samoorganiziranim postupcima? Pretvorba kvantitativno u kvalitativno odvija se u više Pretvorba kvantitativno u kvalitativno odvija se u više

uzastopnih koraka (cikličnost informacije!): uzastopnih koraka (cikličnost informacije!): – kod neuronske mreže se na diskriminatoru izvodi pretvorba kod neuronske mreže se na diskriminatoru izvodi pretvorba

kvantitativno - kvalitativno a na ulazu u sumator obrnuto.kvantitativno - kvalitativno a na ulazu u sumator obrnuto.– Kod genetičkog algoritma su rekombinacija i mutacija Kod genetičkog algoritma su rekombinacija i mutacija

kvalitativni koraci, a određivanje rezultata i biranje kvalitativni koraci, a određivanje rezultata i biranje potomaka je kvalitativne prirode potomaka je kvalitativne prirode

– kod Quacol algebre je rangiranje kvalitativni postupak, a kod Quacol algebre je rangiranje kvalitativni postupak, a određivanje rezultata i biranje najpovoljnijih algebarskih određivanje rezultata i biranje najpovoljnijih algebarskih struktura je kvantitativan postupak. struktura je kvantitativan postupak.

Klasifikacija podataka /7Klasifikacija podataka /7 Induktivne metode Induktivne metode Dvije su induktivne metode: stablo indukcije i indukcijsko praviloDvije su induktivne metode: stablo indukcije i indukcijsko pravilo Kod indukcijskog stabla računa se grananje na stablu u grupi Kod indukcijskog stabla računa se grananje na stablu u grupi

podataka po principu podjele u dvije grupe. Podaci se ispituju podataka po principu podjele u dvije grupe. Podaci se ispituju prema nekoj vrijednosti atributa npr X1prema nekoj vrijednosti atributa npr X13 u ovisnosti o ishodu 3 u ovisnosti o ishodu npr Y=7. Ispituju se svi podaci. Ide se sve prema finijoj podjeli npr Y=7. Ispituju se svi podaci. Ide se sve prema finijoj podjeli podataka sve dok se ne dosegnu kriteriji zaustavljanja. Često se podataka sve dok se ne dosegnu kriteriji zaustavljanja. Često se računa informacijska dobit, kao kod ID3 postupka, pa kada je računa informacijska dobit, kao kod ID3 postupka, pa kada je više nema onda se klasifikacija zaustavlja.više nema onda se klasifikacija zaustavlja.

Indukcijsko pravilo rabi mali skup prostornih i logičkih Indukcijsko pravilo rabi mali skup prostornih i logičkih konstrukata, poput “NA”, “I”, “U DOTICAJU”, “ILI” koji tvore konstrukata, poput “NA”, “I”, “U DOTICAJU”, “ILI” koji tvore početni skup pravila zasnovan na nekom početnom kriteriju. Tim početni skup pravila zasnovan na nekom početnom kriteriju. Tim se pravilima klasificiraju podaci - uzorci I mjeri učinak se pravilima klasificiraju podaci - uzorci I mjeri učinak klasifikacije. Nova se pravila dobivaju poopćenjima, klasifikacije. Nova se pravila dobivaju poopćenjima, specijalizacijama i opet ispituju…Poznat je sustav AQ-11 za specijalizacijama i opet ispituju…Poznat je sustav AQ-11 za klasifikaciju bolesti soje. klasifikaciju bolesti soje.

Klasifikacija podataka /8Klasifikacija podataka /8 Statistička klasifikacija podatakaStatistička klasifikacija podataka Statistička parametarska klasifikacija: Statistička parametarska klasifikacija: Podaci se dijele linijom Podaci se dijele linijom

u 2D prostoru (ravninom u 3D), tako da ona prolazi područjem gdje je u 2D prostoru (ravninom u 3D), tako da ona prolazi područjem gdje je u oba podijeljena skupa minimum kvadrata razlike od njegovog centra u oba podijeljena skupa minimum kvadrata razlike od njegovog centra a maksimum razlike između podataka različitih grupa. Ako je potrebno a maksimum razlike između podataka različitih grupa. Ako je potrebno jedan se od parametara skalira da bi se dobili traženi maksimumi, jedan se od parametara skalira da bi se dobili traženi maksimumi, odnosno minimumi. Vodi se računa o tipu funkcije razdiobe odnosno minimumi. Vodi se računa o tipu funkcije razdiobe vjerojatnostivjerojatnosti

Neparametarska statistička klasifikacija: Neparametarska statistička klasifikacija: izvodi se na sličan izvodi se na sličan način kao parametarska, ali ne vodi računa o tipu raspodjele, već način kao parametarska, ali ne vodi računa o tipu raspodjele, već računa centre okupljanja (K-najbliži susjed) tako da postižu minimume računa centre okupljanja (K-najbliži susjed) tako da postižu minimume razmaka untar grupe i maksimum između članova različitih grupa.razmaka untar grupe i maksimum između članova različitih grupa.

CART(Classification And Regression Tree) metoda: CART(Classification And Regression Tree) metoda: dijeli dijeli skup podataka prema sve homogenijem sastavu do ispunjenja skup podataka prema sve homogenijem sastavu do ispunjenja određenog kriterija. Svaka dioba ovisi samo o jdnoj vrijednosti jednog određenog kriterija. Svaka dioba ovisi samo o jdnoj vrijednosti jednog atributa i binarnog je tipa.Kada su parametri opisni onda se podjela atributa i binarnog je tipa.Kada su parametri opisni onda se podjela izvodi po njima a kada su numerički određuju se regresijska pravila. izvodi po njima a kada su numerički određuju se regresijska pravila.

Klasifikacija podataka /9Klasifikacija podataka /9 Entropijska klasifikacijaEntropijska klasifikacija Metoda se zasniva na grupiranju podataka prema parametru Metoda se zasniva na grupiranju podataka prema parametru

koji posjeduje maksimum informacije, odnosno minimum koji posjeduje maksimum informacije, odnosno minimum entropije. entropije.

Računaju se udio entropije uvjetne vjerojatnosti p(cj/ai) da Računaju se udio entropije uvjetne vjerojatnosti p(cj/ai) da ishod bude cj ako je ulazni parametar a ima iznos ai, tjishod bude cj ako je ulazni parametar a ima iznos ai, tj

HH**(cj/ai) = - (cj/ai) = - p(cj/ai) log p(cj/ai), za sve ai od 1 do n p(cj/ai) log p(cj/ai), za sve ai od 1 do n (59),(59), gdje je n ukupan broj kombinacija ishoda cj i klasa atributa A.gdje je n ukupan broj kombinacija ishoda cj i klasa atributa A. Taj se udio množi težinskim udjelom svakog iznosa ai Taj se udio množi težinskim udjelom svakog iznosa ai

ukupnom parametru A tjukupnom parametru A tj H(A) = H(A) = p(ai) H p(ai) H**(cj/ai)(cj/ai) 1<ai<k1<ai<k (60),(60), k je broj klasa atributa A.k je broj klasa atributa A. Odabiranjem najinformativnijeg atributa otvara se stablo Odabiranjem najinformativnijeg atributa otvara se stablo

klasifikacije za ostale atribute.klasifikacije za ostale atribute.

Klasifikacija podataka /10Klasifikacija podataka /10 Kriteriji odrezivanja na stablu odlučivanjaKriteriji odrezivanja na stablu odlučivanja Dva su kriterija odrezivanja: kada broj slučajeva padne ispod Dva su kriterija odrezivanja: kada broj slučajeva padne ispod

nekog iznosa koji je značajan za donošenje odluke ili kada padne nekog iznosa koji je značajan za donošenje odluke ili kada padne do iznosa kada se događa da u neku klasu više ne dospijeva do iznosa kada se događa da u neku klasu više ne dospijeva nijedan slučaj. nijedan slučaj.

Nedogađanje slučaja izaziva umjetni pad entropije i “ruši” Nedogađanje slučaja izaziva umjetni pad entropije i “ruši” metodu, jer pad entropije tada ne predstavlja smanjenje nereda metodu, jer pad entropije tada ne predstavlja smanjenje nereda već nedostatak pojave!već nedostatak pojave!

Ako imamo c slučaja u datoj klasi a g ishoda ( npr. porast snage, Ako imamo c slučaja u datoj klasi a g ishoda ( npr. porast snage, pad snage motora) te jednoliku raspodjelu gustoće vjerojatnosti pad snage motora) te jednoliku raspodjelu gustoće vjerojatnosti ishoda tada je vjerojatnost dobivanja jedne ništice unutar nekog ishoda tada je vjerojatnost dobivanja jedne ništice unutar nekog od ishoda jednakaod ishoda jednaka

P( jedan ishod =0) = ((g-1)/g)P( jedan ishod =0) = ((g-1)/g)cc ( 61).( 61). Za slučaj c=15, g=4 vjerojatnost u (61) jednaka je 0,01336.Za slučaj c=15, g=4 vjerojatnost u (61) jednaka je 0,01336. Računamo li pad entropije za slučaj g=4, c=15 npr iz obrascaRačunamo li pad entropije za slučaj g=4, c=15 npr iz obrasca H(5,5,4,1)=0,54956 na H(5,5,5,0)=0,47712 on iznosi H=0,07244 H(5,5,4,1)=0,54956 na H(5,5,5,0)=0,47712 on iznosi H=0,07244

ili 15,8%, što je zamjetno.ili 15,8%, što je zamjetno.

Klasifikacija podataka /11Klasifikacija podataka /11 Ako kao razumnu granicu za odrezivanje stabla uzmemo Ako kao razumnu granicu za odrezivanje stabla uzmemo

klase s 2% ili manje slučajeva od ukupnog broja, tada npr klase s 2% ili manje slučajeva od ukupnog broja, tada npr za se sve klase s manje od 740*0,02 za se sve klase s manje od 740*0,02 15 slučajeva dalje 15 slučajeva dalje ne klasificiramo. Ovo može biti drugi kriterij - potpuno ne klasificiramo. Ovo može biti drugi kriterij - potpuno pragmatički.pragmatički.

Analiza klasifikacijskih postupakaAnaliza klasifikacijskih postupaka Nema “najbolje “ klasifikacijske tehnike. Prema svakom Nema “najbolje “ klasifikacijske tehnike. Prema svakom

slučaju se mora posebno postupiti, prilagoditi. Ipak slučaju se mora posebno postupiti, prilagoditi. Ipak klasificiranje po maksimumu sličnosti i potpuno odvajanje klasificiranje po maksimumu sličnosti i potpuno odvajanje klasa kakvo je u entropijskoj klasifikaciji daje joj prednost. klasa kakvo je u entropijskoj klasifikaciji daje joj prednost. No za veliki broj parametara i ova klasifikacija gubi No za veliki broj parametara i ova klasifikacija gubi uvjerljivost.uvjerljivost.

Izračunajte koliko klasa ima u skupini podataka obilježenih Izračunajte koliko klasa ima u skupini podataka obilježenih s 10 parametara ako svaki ima dvije veličine!(1024 klasa)s 10 parametara ako svaki ima dvije veličine!(1024 klasa)

Koja najvrjednije informatičko svojstvo krije u sebi Koja najvrjednije informatičko svojstvo krije u sebi postupak klasifikacije? (selekcija)postupak klasifikacije? (selekcija)

Postklasifikacijska analizaPostklasifikacijska analiza

Klasifikacija je samo jedan dio posla. Drugi je odgovarajući Klasifikacija je samo jedan dio posla. Drugi je odgovarajući prikaz rezultata klasifikacije i njegovo opravdanje.prikaz rezultata klasifikacije i njegovo opravdanje.

Analiza dobrote klasifikatoraAnaliza dobrote klasifikatora 1. Analiza postupka učenja1. Analiza postupka učenja 1.1 Uzima se samo jedan dio podataka i klasificira. Kada se klasifikator 1.1 Uzima se samo jedan dio podataka i klasificira. Kada se klasifikator

“uvježba” onda se njime klasificira pokusna skupina podataka (od 9:1 do “uvježba” onda se njime klasificira pokusna skupina podataka (od 9:1 do 1:1). Pretrenirani klasifikator nema svojstvo generalizacije.1:1). Pretrenirani klasifikator nema svojstvo generalizacije.

1.2 Uzima se n skupina uzoraka za učenje i testiranje. Računa se križna 1.2 Uzima se n skupina uzoraka za učenje i testiranje. Računa se križna validacija s nasumce izabranim parovima uzoraka. Ispituje se statistička validacija s nasumce izabranim parovima uzoraka. Ispituje se statistička značajnost razlike postignutih rezultata.značajnost razlike postignutih rezultata.

1.3 Stvaraju se nove skupine uzoraka iz starih odgovarajućim 1.3 Stvaraju se nove skupine uzoraka iz starih odgovarajućim zamjenama - nešto slično slučaju 1.2. Tada se izvodi validacija zamjenama - nešto slično slučaju 1.2. Tada se izvodi validacija postignutog i računaju odstupanja. Ova metoda ima nedostatak u pojavi postignutog i računaju odstupanja. Ova metoda ima nedostatak u pojavi predrasudnih ocjena.predrasudnih ocjena.

2. Ubacivanje funkcije troška2. Ubacivanje funkcije troška Procjenjuje se cijena neispravne klasifikacije - ovo je dosta teško Procjenjuje se cijena neispravne klasifikacije - ovo je dosta teško

vrednovati.vrednovati.

Postklasifikacijska analiza /2Postklasifikacijska analiza /2

3. Analiza statističke značajnosti rezultata klasifikacije3. Analiza statističke značajnosti rezultata klasifikacije Matrica smušenostiMatrica smušenosti

Massy-jevamatrica

A klas. Bklas.

Apredv. N11 N12

Bpredv. N21 N22

Postklasifikacijska analiza /3Postklasifikacijska analiza /3 N11 - broj primjera klase A ispravno klasificiranihN11 - broj primjera klase A ispravno klasificiranih N12 - broj primjeraka klase B neispravno klasificiranihN12 - broj primjeraka klase B neispravno klasificiranih N21 - broj primjeraka klase A neispravno klasificiranihN21 - broj primjeraka klase A neispravno klasificiranih N22 - broj primjeraka klase B ispravno klasificiranihN22 - broj primjeraka klase B ispravno klasificiranih

vrijedi N = N11+N12+N21+N22vrijedi N = N11+N12+N21+N22 Hi-kvadrat test se rabi za testiranje statističke Hi-kvadrat test se rabi za testiranje statističke

značajnosti rezultata klasifikacije. Zasniva se na razlici značajnosti rezultata klasifikacije. Zasniva se na razlici između opaženih (O) i očekivanih (E) frekvencija pojava:između opaženih (O) i očekivanih (E) frekvencija pojava:

22 = = (O-E) (O-E)22 / E za svih N slučajeva. / E za svih N slučajeva. (62). (62). Za veliki Za veliki 22 odbacuje s tzv nulta hipoteza da je razlika odbacuje s tzv nulta hipoteza da je razlika

slučajna, pa je i klasifikacija statistički značajna.slučajna, pa je i klasifikacija statistički značajna.

11. Govorna informacija - mrežni 11. Govorna informacija - mrežni agentiagenti

Govorna informacija razmatrat će se sa stajališta:Govorna informacija razmatrat će se sa stajališta:– 1. Postignuća automatskog prepoznavanja govora od strane 1. Postignuća automatskog prepoznavanja govora od strane

strojevastrojeva– 2. Mogućnost automatskog čitanja pisanog teksta2. Mogućnost automatskog čitanja pisanog teksta– 3. Mogućnost prikupljanja podataka u otvorenom sustavu - 3. Mogućnost prikupljanja podataka u otvorenom sustavu -

mrežnim agentima mrežnim agentima – 4. Načini izgradnje konverzacijskog mrežnog agenta4. Načini izgradnje konverzacijskog mrežnog agenta– Slični postupci mogu se primijeniti i na području automatskog Slični postupci mogu se primijeniti i na području automatskog

prepoznavanja slike, automatskog crtanja, prikupljanja prepoznavanja slike, automatskog crtanja, prikupljanja slikovnog materijala i izrade umjetnog agenta za prikupljanje slikovnog materijala i izrade umjetnog agenta za prikupljanje slikovnih obrazaca, njihovu analizu i prepoznavanje.slikovnih obrazaca, njihovu analizu i prepoznavanje.

– Sva navedena svojstva strojeva svode se na pitanje kako natjerati Sva navedena svojstva strojeva svode se na pitanje kako natjerati stroj da prepozna govor, tekst ili slikovni obrazac, te kako ga stroj da prepozna govor, tekst ili slikovni obrazac, te kako ga isprogramirati da sintetizira komunikaciju sve iz određene baze isprogramirati da sintetizira komunikaciju sve iz određene baze podataka - znanja prema određenom obrascu. podataka - znanja prema određenom obrascu.

– Dakle kako stroj naučiti značenju, semantici!Dakle kako stroj naučiti značenju, semantici! Stroj dakako ne može Stroj dakako ne može naučiti semantiku, ali se može dobro isprogramirati za tu funkciju.naučiti semantiku, ali se može dobro isprogramirati za tu funkciju.

Agent - komunikacijski posrednikAgent - komunikacijski posrednik Nedruštveni agent (Poole)Nedruštveni agent (Poole) Agent je nešto što djeluje u svijetu, poput osobe, robota, Agent je nešto što djeluje u svijetu, poput osobe, robota,

crva, vjetra, gravitacije, svjetiljke. Ciljni agenti djeluju prema crva, vjetra, gravitacije, svjetiljke. Ciljni agenti djeluju prema preferencijama, vole neka stanja više od drugih, dok (naoko) preferencijama, vole neka stanja više od drugih, dok (naoko) besciljne agente zovemo “prirodom”. Uloga nekog agenta je besciljne agente zovemo “prirodom”. Uloga nekog agenta je stvar modelskih pretpostavki. Pas može u jednom scenariju stvar modelskih pretpostavki. Pas može u jednom scenariju biti ciljni, a u drugom prirodni agent.biti ciljni, a u drugom prirodni agent.

Agenti mogu imati osjetila, memoriju, aktore; oni zaključuju i Agenti mogu imati osjetila, memoriju, aktore; oni zaključuju i djeluju u vremenu. Agent osjetilima ne mora odražavati djeluju u vremenu. Agent osjetilima ne mora odražavati pravu sliku svijeta u kojem djeluje. Agent može kontrolirati pravu sliku svijeta u kojem djeluje. Agent može kontrolirati jedino svoju akciju, poruku u datom okolišu. Agent prevodi jedino svoju akciju, poruku u datom okolišu. Agent prevodi ulazni signal u izlaz u svakom trenutku vremena. To je ulazni signal u izlaz u svakom trenutku vremena. To je ponašanje kauzalno jer ulazno-izlazni odziv može ovisiti ponašanje kauzalno jer ulazno-izlazni odziv može ovisiti samo o datom i prijašnjim ulazima i datom i prijašnjim samo o datom i prijašnjim ulazima i datom i prijašnjim izlazima. Nema govora o predviđanju ili inkurziji (sadašnje izlazima. Nema govora o predviđanju ili inkurziji (sadašnje ponašanje ne ovisi o budućim stanjima).ponašanje ne ovisi o budućim stanjima). O Ovakvo vakvo predstavljanje modelira svijet, agente i ciljeve njihovog predstavljanje modelira svijet, agente i ciljeve njihovog ponašanja na neki projektirani (sub)optimalni način. ponašanja na neki projektirani (sub)optimalni način.

Konverzacijski agentKonverzacijski agent Konverzacijski agent (AllenKonverzacijski agent (Allen, /6/, /6/) može potpuno sudjelovati u ) može potpuno sudjelovati u

razmjeni informacijerazmjeni informacije Kakav je to stroj? Zašto bi trebao komunicirati? Zašto bi Kakav je to stroj? Zašto bi trebao komunicirati? Zašto bi

trebao razumijevati ono što mu je preneseno?trebao razumijevati ono što mu je preneseno? Možda zato što je jednostavno programiran za nešto takvo. Možda zato što je jednostavno programiran za nešto takvo.

Agent koji razgovara s bazom podataka naprostoAgent koji razgovara s bazom podataka naprosto 1. Prepoznaje i interpretira ulazno pitanje u logički oblik koji 1. Prepoznaje i interpretira ulazno pitanje u logički oblik koji

predstavlja upit za bazu podatakapredstavlja upit za bazu podataka 2. Izvodi upit u bazi podataka i generira izlaz zasnovan na 2. Izvodi upit u bazi podataka i generira izlaz zasnovan na

dobivenom odgovorudobivenom odgovoru Ovo nije inteligentan agent, a ne može prepoznati ništa Ovo nije inteligentan agent, a ne može prepoznati ništa

osim onoga što stoji u bazi podataka. Nema nezavisnosti u osim onoga što stoji u bazi podataka. Nema nezavisnosti u njeovom ponašanju, što bi dovelo do primisli da je agent njeovom ponašanju, što bi dovelo do primisli da je agent inteligentan. Nešto više inteligencije dobili bismo inteligentan. Nešto više inteligencije dobili bismo predstavljanjem na način koji više odražava stvari koje predstavljanjem na način koji više odražava stvari koje motiviraju ljudsko ponašanje.motiviraju ljudsko ponašanje.

Društveni agentDruštveni agent Društveni agentDruštveni agent (Castelfranchi) ne živi sam u svijetu njegove (Castelfranchi) ne živi sam u svijetu njegove

se se osobine tvore na socijalnoj interakciji, koja nije reducirana na osobine tvore na socijalnoj interakciji, koja nije reducirana na komunikaciju već je komunikacija zbog potrebe društvenosti, djeluju komunikaciju već je komunikacija zbog potrebe društvenosti, djeluju u zajedničkom svijetu, sučeljavaju se, utječu međusobno i ovise jedan u zajedničkom svijetu, sučeljavaju se, utječu međusobno i ovise jedan o drugome. Ta je akcija zasnovana na ispoljavanju moći, o drugome. Ta je akcija zasnovana na ispoljavanju moći, uni(bi)lateralnom pokušaju utjecaja na drugog tako da mu mijenja uni(bi)lateralnom pokušaju utjecaja na drugog tako da mu mijenja pamćenje, memoriju i nakanu. Društvena akcija nije nužno i pamćenje, memoriju i nakanu. Društvena akcija nije nužno i kooperativna akcija. Agenti i njihove akcije vođeni su ciljnom kooperativna akcija. Agenti i njihove akcije vođeni su ciljnom funkcijom. Često ponašanja agenta nisu praćena nekom internom funkcijom. Često ponašanja agenta nisu praćena nekom internom (mentalnom) predstavom učina tog istog ponašanja. Cilj je interna (mentalnom) predstavom učina tog istog ponašanja. Cilj je interna predstava stanja svijeta koji je kandidat za: upravljačku i vodeću predstava stanja svijeta koji je kandidat za: upravljačku i vodeću akciju s pomoću ponavljanja ispitivanja učina akcije ili suprotne akciju s pomoću ponavljanja ispitivanja učina akcije ili suprotne predstavljanju, određivanje akcije pretraživanja i izabiranja, te predstavljanju, određivanje akcije pretraživanja i izabiranja, te kvalifikacije uspjeha ili neuspjeha. Cilj razlikuje društvenu od kvalifikacije uspjeha ili neuspjeha. Cilj razlikuje društvenu od nedruštvene akcije. Akcija je moguća I na podspoznajnoj razini npr u nedruštvene akcije. Akcija je moguća I na podspoznajnoj razini npr u umjetnim samoorganiziranim strukturama,ANN. Ovdje se razmatraju umjetnim samoorganiziranim strukturama,ANN. Ovdje se razmatraju samo ciljno usmjerene akcije interno zasnovane na spoznajno samo ciljno usmjerene akcije interno zasnovane na spoznajno vođenim agentima čije se akcije interno reguliraju ciljevima vođenim agentima čije se akcije interno reguliraju ciljevima zasnovanim na uvjerenjima. zasnovanim na uvjerenjima.

Međudjelovanje agenata i ciljevaMeđudjelovanje agenata i ciljeva

Prilagodba Uvođenje

Negativnodjelovanje

Modifikacija plana ucilju izbjegavanjaprepreke

Navođenje drugog danapusti svoj prijetećicilj

Pozitivnodjelovanje

Prilagodba planaubacivanjemiskorištenja akcijedrugog

Navođenje drugog daslijedi cilj koji je namanužan

Stupnjevi interakcije društvenih Stupnjevi interakcije društvenih agenataagenata

Prvi stupanj: smetnja i ovisnost (vidjeti tablicu ranije datu)Prvi stupanj: smetnja i ovisnost (vidjeti tablicu ranije datu) Drugi stupanj: slaba društvena akcija - uvjerenje u mišljenje drugog - tj Drugi stupanj: slaba društvena akcija - uvjerenje u mišljenje drugog - tj

traži se mogućnost predstavljanje mišljenja drugog agenta. traži se mogućnost predstavljanje mišljenja drugog agenta. Kooerdinacija je tada moguća na reaktivni način tj da se uoči porble ili Kooerdinacija je tada moguća na reaktivni način tj da se uoči porble ili na proaktivni način tj da se anticipiraju mogući ishodi akcije drugogna proaktivni način tj da se anticipiraju mogući ishodi akcije drugog

Treći stupanj: delegiranje akcije drugog, gdje prvi agent treba ili želi Treći stupanj: delegiranje akcije drugog, gdje prvi agent treba ili želi akciju drugog agenta i uključuje je u svoj plan. Prvi agent ima akciju drugog agenta i uključuje je u svoj plan. Prvi agent ima povjerenje u drugog.povjerenje u drugog.

Četvrti stupanj: jaka društena akcija - stvaranje ciljeva o akcijama i Četvrti stupanj: jaka društena akcija - stvaranje ciljeva o akcijama i ciljevima drugog agenta.ciljevima drugog agenta.

Peti stupanj: društveno prekrajanje cilja - agent dolazi do stupnja Peti stupanj: društveno prekrajanje cilja - agent dolazi do stupnja prihvaćanja novog cilja ili razloga za prihvaćanje ciljeva drugog prihvaćanja novog cilja ili razloga za prihvaćanje ciljeva drugog agenta, dakle društveni agent je sposoban prihvatiti ciljeve izvana od agenta, dakle društveni agent je sposoban prihvatiti ciljeve izvana od drugih agenata drugih frupa poput zahtjeva, potreba, naredbi, normi.drugih agenata drugih frupa poput zahtjeva, potreba, naredbi, normi.

Razine kolaboracije: x prihvaća točno ono što mu je delegirao y, x Razine kolaboracije: x prihvaća točno ono što mu je delegirao y, x prelazi tu razinu, no cilj y-a se ne mijenja, x zadovoljava rezultete prelazi tu razinu, no cilj y-a se ne mijenja, x zadovoljava rezultete traženog plana/akcije ali ih pritom mijenja (kritično!), x shvaća da je traženog plana/akcije ali ih pritom mijenja (kritično!), x shvaća da je pretjerao i mijenja akciju ...pretjerao i mijenja akciju ...

Struktura komunikacije agenataStruktura komunikacije agenata Osnovna struktura komunikacije int. agenata sastoji se u Osnovna struktura komunikacije int. agenata sastoji se u

potrebi definiranja dosega konteksta. Razgovor agenata potrebi definiranja dosega konteksta. Razgovor agenata možemo promatrati kao linearni segment sve dok se na počne možemo promatrati kao linearni segment sve dok se na počne pozivati na kontekst iskazan jednom ranije. U tom smislu pozivati na kontekst iskazan jednom ranije. U tom smislu možemo razlikovati događajni i komunikacijski od možemo razlikovati događajni i komunikacijski od informatičkog dijela razgovora. Intuitivno je jasno kada se neki informatičkog dijela razgovora. Intuitivno je jasno kada se neki dio razgovora može izdvojiti. No ne postoji konsenzus o tome dio razgovora može izdvojiti. No ne postoji konsenzus o tome što je to segment razgovora. Osnovno je uvidjeti da: postoji što je to segment razgovora. Osnovno je uvidjeti da: postoji tehnika analize rečenica unutar segmenta i postoji suodnos tehnika analize rečenica unutar segmenta i postoji suodnos segmenata razgovora. Iz praktičnih razloga segment segmenata razgovora. Iz praktičnih razloga segment razgovora se sastoji od iskaza koji očitavaju lokalnu razgovora se sastoji od iskaza koji očitavaju lokalnu neproturječnost. Segement bi trebao imati sljedeća svojstva:neproturječnost. Segement bi trebao imati sljedeća svojstva:– upotrebljivost neke tehnike za vremensko referiranje za postupak upotrebljivost neke tehnike za vremensko referiranje za postupak

s kratkim izrazima (elipse)s kratkim izrazima (elipse)– čvrsto vrijeme i mjesto obilježava iskaze ili je napredovanje čvrsto vrijeme i mjesto obilježava iskaze ili je napredovanje

vremena i mjesta jednostavnovremena i mjesta jednostavno– čvrsto određeni skup govornika i slušatelja sudjeluje u razgovoručvrsto određeni skup govornika i slušatelja sudjeluje u razgovoru– čvrsti skup pozadinskih pretpostavki je relevantančvrsti skup pozadinskih pretpostavki je relevantan

Opis događaja, informatički odnos, Opis događaja, informatički odnos, komunikacijski ciljkomunikacijski cilj

Analizira se linearni niz događaja koji čini segment -u Analizira se linearni niz događaja koji čini segment -u segmentu ne smije doći do promjene situacije - npr segmentu ne smije doći do promjene situacije - npr promjene broja konverzanata, skok u vremenu.promjene broja konverzanata, skok u vremenu.

Strukture segmenata mogu biti linearne, uklopljene. Strukture segmenata mogu biti linearne, uklopljene. Ključne riječi odrđuju promjenu strukture događaja.Ključne riječi odrđuju promjenu strukture događaja.

Konverzanti se određuju svojim informatičkim Konverzanti se određuju svojim informatičkim (semantičkim) i komunikacijskim (volja, moć, apobetika, (semantičkim) i komunikacijskim (volja, moć, apobetika, pragmatika) vidom.pragmatika) vidom.

Informatički odnos uključuje pretpostavke o ponašanju Informatički odnos uključuje pretpostavke o ponašanju okoliša.okoliša.

Komunikacijski cilj se u osnovici sastoji od Komunikacijski cilj se u osnovici sastoji od prepoznavanja cilja sugovornika.prepoznavanja cilja sugovornika.

Što je nužno za izgradnju konverzacijskog Što je nužno za izgradnju konverzacijskog agentaagenta

Ljudi djeluju zato što imaju ciljeve, zbog svjesnosti Ljudi djeluju zato što imaju ciljeve, zbog svjesnosti situacije u kojoj se nalaze, a imaju pozitivne i negativne situacije u kojoj se nalaze, a imaju pozitivne i negativne osjećaje prema datoj situaciji. osjećaje prema datoj situaciji.

Recimo da želite prijeći prometnu cestu na Recimo da želite prijeći prometnu cestu na neoznačenom prijelazu. Tada morate:neoznačenom prijelazu. Tada morate:– promotriti cestu - promotriti cestu - opažajopažaj– imati predstavu o tome što se događa - imati predstavu o tome što se događa - uvjerenjeuvjerenje– moći stvoriti pozitivne / negativne osjećaje prema datoj moći stvoriti pozitivne / negativne osjećaje prema datoj

situaciji - situaciji - želja / potrebaželja / potreba– biti u stanju izvoditi zaključke - biti u stanju izvoditi zaključke - planiranje / zaključivanjeplaniranje / zaključivanje– biti u stanju stvaranje odluke djelovanja - biti u stanju stvaranje odluke djelovanja - odlučnostodlučnost– biti u stanju održati namjeraveni tijek akcije - biti u stanju održati namjeraveni tijek akcije - nakananakana– moći djelovati i time promijeniti stanje - moći djelovati i time promijeniti stanje - djelovanjedjelovanje

Dakle, morate posjedovati četiri procesne (opažaj, planiranje, odlučnost i djelovanje) te tri spoznajne ( uvjerenje, želje i nakane) osobine.

Što je nužno za izgradnju konverzacijskog Što je nužno za izgradnju konverzacijskog agenta/2agenta/2

Dijagram: uvjerenje - želje - nakaneDijagram: uvjerenje - želje - nakane

Uvjerenja

Želje

Nakane

Planiranje

Opažaj

Odlučnost

Djelovanje

Razgovor Razgovor Razgovor kao linearni niz iskazaRazgovor kao linearni niz iskaza Pojam segmenta razgovora i ključnih fraza koji ukazuju Pojam segmenta razgovora i ključnih fraza koji ukazuju

na strukturu segmentacijena strukturu segmentacije Utjecaj strukture segmenta na interpretaciju pojedinih Utjecaj strukture segmenta na interpretaciju pojedinih

izraza posebno pridjevaizraza posebno pridjeva Utjecaj međudjelovanja segmenta i zaključivanja za Utjecaj međudjelovanja segmenta i zaključivanja za

razumijevanje sadržaja razgovorarazumijevanje sadržaja razgovora Utjecaj vremenski ovisnih pojava i uzročno - posljedičnih Utjecaj vremenski ovisnih pojava i uzročno - posljedičnih

pojava na segmentiranje razgovorapojava na segmentiranje razgovora Konačni model razumijevanja razgovoraKonačni model razumijevanja razgovora PrimjerPrimjer

Komunikacija kao djelovanje među Komunikacija kao djelovanje među agentimaagentima

Govor (slika, riječ, simbol, signal) nužno uključuje više agenata. Cilj Govor (slika, riječ, simbol, signal) nužno uključuje više agenata. Cilj govora je djelovanje jedne osobe na spoznajno stanje druge.govora je djelovanje jedne osobe na spoznajno stanje druge.

Situacije:Situacije:– Agent A signalizira znak X - Agent B to prepozna i koristiAgent A signalizira znak X - Agent B to prepozna i koristi– Agent A signalizira znak X - ali iz drugog razloga - B prepozna i griješiAgent A signalizira znak X - ali iz drugog razloga - B prepozna i griješi– Agent A signalizira znak X - Agent B misli da je to neki drugi razlog i Agent A signalizira znak X - Agent B misli da je to neki drugi razlog i

ne reagira ne reagira – Dakle komunikacija se događa kada jedan agent namjerava Dakle komunikacija se događa kada jedan agent namjerava

komunicirati a drugi prepozna tu njegovu nakanu. Druga strana komunicirati a drugi prepozna tu njegovu nakanu. Druga strana komunikacije je dogovoreni skup konvencija s unaprijed komunikacije je dogovoreni skup konvencija s unaprijed dogovorenim značenjem.dogovorenim značenjem.

– Postoji dakle važna razlika između fizičkog čina i komunikacijskog Postoji dakle važna razlika između fizičkog čina i komunikacijskog čina.čina.

– Austin je (1962) ustvrdio da postoje:Austin je (1962) ustvrdio da postoje: čin lokucije (recimo: izgovaranje riječi)čin lokucije (recimo: izgovaranje riječi) čin ilokucije ( čin izričaja značenja)čin ilokucije ( čin izričaja značenja) čin perlokucije (stvarni učin, rezultat izgovorenog) čin perlokucije (stvarni učin, rezultat izgovorenog)

Predstavljanje spoznajnih stanjaPredstavljanje spoznajnih stanja Podaci su ono što postoji u bazama podataka. Ako međutim Podaci su ono što postoji u bazama podataka. Ako međutim

skupljamo znanje onda možemo oblikovati bazu znanja. skupljamo znanje onda možemo oblikovati bazu znanja. Znanje se predstavlja u obliku općepoznatog znanja i znanja Znanje se predstavlja u obliku općepoznatog znanja i znanja svojstvenog nekoj datoj situaciji. Opće znanje služi za svojstvenog nekoj datoj situaciji. Opće znanje služi za razlučivanje značenja u dvosmislenim iskazima i razlučivanje značenja u dvosmislenim iskazima i situacijama. Specifično znanje služi za opis date situacije te situacijama. Specifično znanje služi za opis date situacije te za razlučivanje značenja riječi, signala u konkretnoj situaciji.za razlučivanje značenja riječi, signala u konkretnoj situaciji.

Sustav za predstavljanje znanja sastoji se od baze znanja i Sustav za predstavljanje znanja sastoji se od baze znanja i pravila zaključivanja. Pravila zaključivanja izvode iz baze pravila zaključivanja. Pravila zaključivanja izvode iz baze znanja nove iskaze, zaključke. Mnogi zaključci su sadržani u znanja nove iskaze, zaključke. Mnogi zaključci su sadržani u bazi znanja, ili se izvode iz baze znanja, tzv implikacijama.bazi znanja, ili se izvode iz baze znanja, tzv implikacijama.

Tehnike zaključivanja su deduktivne ili nededuktivne. Tehnike zaključivanja su deduktivne ili nededuktivne. Deduktivno zaključivanje je logički opravdano. Deduktivno zaključivanje je logički opravdano. Nededuktivno zaključivanje može biti: učenje općeg iz Nededuktivno zaključivanje može biti: učenje općeg iz posebnog (induktivno zaključivanje) ili zaključivanje na posebnog (induktivno zaključivanje) ili zaključivanje na odziv iz pobude (abduktivno zaključivanje). odziv iz pobude (abduktivno zaključivanje).

Tehnika zaključivanjaTehnika zaključivanja Zaključivanje tipa A Zaključivanje tipa A B (glasi: ako A onda B) je deduktivno. B (glasi: ako A onda B) je deduktivno.

Abduktivno je zaključivanje na A ako znamo da postoji B.Abduktivno je zaključivanje na A ako znamo da postoji B. Težinsko zaključivanje dozvoljava iznimke. Označava se s Težinsko zaključivanje dozvoljava iznimke. Označava se s A A B i glasi: ako vrijedi AB i glasi: ako vrijedi AB a B a B ne možemo dokazati tada B ne možemo dokazati tada

zaključujemo da je B istinito. Tako rečenicu “Ptice lete” zaključujemo da je B istinito. Tako rečenicu “Ptice lete” možemo predstaviti kao možemo predstaviti kao

x PTICA(x)x PTICA(x)LETI(x)LETI(x) (63).(63). Ovakvo zaključivanje naziva se nemonotono.Ovakvo zaključivanje naziva se nemonotono. Postoji nemonotono zaključivanje drugog tipa zasnovanog na Postoji nemonotono zaključivanje drugog tipa zasnovanog na

zamisli zatvorenog svijeta. Tada se za sve što ne možemo zamisli zatvorenog svijeta. Tada se za sve što ne možemo dokazati da je ispravno uzima da je neispravno (jezik Prolog).dokazati da je ispravno uzima da je neispravno (jezik Prolog).

Za zaključivanje se rabi predikatska logika prvog reda (s Za zaključivanje se rabi predikatska logika prvog reda (s proširenjima), tzv modalna logika, tako da se sheme proširenjima), tzv modalna logika, tako da se sheme predstavljanja znanja poput semantičke mreže ili okvira predstavljanja znanja poput semantičke mreže ili okvira mogu relativno jednostavno obraditi.mogu relativno jednostavno obraditi.

Predstavljanje znanjaPredstavljanje znanja

Obradimo djelovanje tipa “KUPNJA” sljedećim okvirom:Obradimo djelovanje tipa “KUPNJA” sljedećim okvirom:

Klasa akcije: KUPNJA(k)Uloge: Kupac, Prodavač, Predmet, Novac

Ograničenja: Čovjek(Kupac), AgentProdaje(Prodavač), JestPredmet(Predmet)Vrijednost(Novac), Cijena(Predmet)

Preduvjeti: POSJEDUJE(Kupac, Novac), POSJEDUJE(Prodavač, Predmet)Učini: POSJEDUJE(Kupac,Novac),POSJEDUJE(Prodavač,Predmet)

POSJEDUJE(Kupac,Predmet), POSJEDUJE(Prodavač,Novac)Opis: DAJE(Kupac,Prodavač,Novac), DAJE(Prodavač, Kupac, Predmet)

Koherentno znanjeKoherentno znanje Znanje o djelovanju uzročnosti i svakodnevnosti bitno je Znanje o djelovanju uzročnosti i svakodnevnosti bitno je

za razumijevanje informacijskog konteksta i za razumijevanje informacijskog konteksta i jednoznačno djelovanje. Ovo je znanja osnovica za jednoznačno djelovanje. Ovo je znanja osnovica za stvaranje očekivanja i usporedbe mogućih interpretacija stvaranje očekivanja i usporedbe mogućih interpretacija ulazne pobude. Značajna je tu kontrola generiranja ulazne pobude. Značajna je tu kontrola generiranja očekivanja. Koriste se postupci poput: referentnih očekivanja. Koriste se postupci poput: referentnih znanja, očekivanja, razumijevanja stereotipičnih znanja, očekivanja, razumijevanja stereotipičnih situacija, hijerarhijskih planova i zaključivanje tipa situacija, hijerarhijskih planova i zaključivanje tipa pobude-učina.pobude-učina.

Inteligentan agent ponaša se u krugovima postupaka:Inteligentan agent ponaša se u krugovima postupaka:– 1. Promatra tekuću situaciju, uključivo i nadzor nad 1. Promatra tekuću situaciju, uključivo i nadzor nad

uspjehom neposredno poduzete akcije uspjehom neposredno poduzete akcije – 2. Odabire cilj, skup ciljeva, na koje se usredotočuje2. Odabire cilj, skup ciljeva, na koje se usredotočuje– 3. Započinje razvijati plan kako postići te ciljeve3. Započinje razvijati plan kako postići te ciljeve– 4. Izvodi akcije u planu kada ih smatra primjerenim4. Izvodi akcije u planu kada ih smatra primjerenim

Prostori uvjerenjaProstori uvjerenja

Razmjena informacije je ograničena ako agent posjeduje Razmjena informacije je ograničena ako agent posjeduje samo jednu bazu znanja - svoju! Tada ne može npr samo jednu bazu znanja - svoju! Tada ne može npr predstaviti informaciju o uvjerenju drugog agenta. predstaviti informaciju o uvjerenju drugog agenta. Nadalje, nema nikakve svijesti o sebi jer ne može Nadalje, nema nikakve svijesti o sebi jer ne može razlikovati između onog što on vjeruje i onog što vidi u razlikovati između onog što on vjeruje i onog što vidi u svijetu oko sebe. Dakle, nema osnovice ni za uporabu svijetu oko sebe. Dakle, nema osnovice ni za uporabu opažaja.opažaja.

Najjednostavnije rješenje jest podjela baze znanja na Najjednostavnije rješenje jest podjela baze znanja na dva područja uvjerenja. Takav prostor je naprosto skup dva područja uvjerenja. Takav prostor je naprosto skup iskaza i sam po sebi je baza znanja. Svaka se može iskaza i sam po sebi je baza znanja. Svaka se može koristiti za predstavljanje nekog agentovog uvjerenja. koristiti za predstavljanje nekog agentovog uvjerenja. Za razgovor dviju strana tada trebamo dva prostora:Za razgovor dviju strana tada trebamo dva prostora: jedan za predstavljanje znanja jednog a drugi za jedan za predstavljanje znanja jednog a drugi za predstavljanje znanja drugog agentapredstavljanje znanja drugog agenta

Ovo nije realističan model znanja jednog agenta, jer mu daje izravan uvid u znanje drugog agenta. Bolje je sve postaviti relativno na stranu agenta čije ponašanje modeliramo. Uvodimo predikat: UVJ(erenje).

Predstavljanje agentovog uvjerenjaPredstavljanje agentovog uvjerenja UVJ(Ivo1,Pas(Fido1))UVJ(Ivo1,Pas(Fido1)) UVJ(Ivo1, UVJ(Ivo1, x:Pas(x), x:Pas(x),

Laje(x))Laje(x)) UVJ(Ivo1,UVJ(Ana1, UVJ(Ivo1,UVJ(Ana1,

Pas(Fido1))Pas(Fido1)) UVJ(Ivo1,UVJ(Ana1,UVJ(Ivo1,UVJ(Ana1,xx

: Pas (x). Laje(x))): Pas (x). Laje(x))) UVJ(Ivo1, UVJ(Ana1, UVJ(Ivo1, UVJ(Ana1,

x: Pas(x), Laje(x) x: Pas(x), Laje(x) Oštar(x))Oštar(x))

Prostor 1: Ivino uvjerenjePas(Fido1)

x: Pas(x), Laje(x)UVJ(Ana, Prostor 2)

Prostor 2: Ivino uvjerenje o Aninom uvjerenjuPas(Fido1)

x: Pas(x), Laje(x)x: Pas(x), Laje(x) Oštar(x)

Iskazi u prostorima uvjerenjaIskazi u modalnoj logici

Predstavljanje spoznajnih stanja: Predstavljanje spoznajnih stanja: želja, nakana i planovaželja, nakana i planova

Želje i nakane se razlikuju po stupnju unutrašnje Želje i nakane se razlikuju po stupnju unutrašnje konfliktnosti. Želje su konfliktne i traže kompromise. konfliktnosti. Želje su konfliktne i traže kompromise. Nakane su povezane s ponašanjem: može se Nakane su povezane s ponašanjem: može se namjeravati izvršiti samo jedna akcija u jednom namjeravati izvršiti samo jedna akcija u jednom vremenu. Nakane koje imaju usmjerenje k budućnosti vremenu. Nakane koje imaju usmjerenje k budućnosti odražavaju odluke o akcijama. Racionalni agent u odražavaju odluke o akcijama. Racionalni agent u budućim akcijama:budućim akcijama:– Ograničenje 1: Ne može namjeravati izvesti dvije akcije Ograničenje 1: Ne može namjeravati izvesti dvije akcije

koje su međusobno isključivekoje su međusobno isključive– Ograničenje 2: Ne može namjeravati izvesti akciju za koju Ograničenje 2: Ne može namjeravati izvesti akciju za koju

je uvjeren da je ne može izvestije uvjeren da je ne može izvestiOvo je teško izraziti logički, pa se pribjegava procesu planiranja koji garantira proceduralnu ispravnost agentovog ponašanja te tako ne dolazi u položaj preuzimanja nakana koje ne može ostvariti.

Mehanizam nalaženja Mehanizam nalaženja informacije iz provokacijeinformacije iz provokacije

Slučajnosti:Slučajnosti:– - Ključna provokacija (slučajni upad)- Ključna provokacija (slučajni upad)– - Smetnja provokacije (nedostatak ure, poziv, … čudna - Smetnja provokacije (nedostatak ure, poziv, … čudna

situacija )situacija )– - Smetnja ključne provokacije (rad na nečem drugom…) - Smetnja ključne provokacije (rad na nečem drugom…)

Osoba kojoj se poručujeOsoba kojoj se poručuje Osoba koja poručujeOsoba koja poručuje Scenarij - pomoćni igračiScenarij - pomoćni igrači Prethodna poruka(tjedan ranije,obično ne reagiramo)Prethodna poruka(tjedan ranije,obično ne reagiramo) Pozadinski radnici - koji aranžiraju informacijuPozadinski radnici - koji aranžiraju informaciju

Pažnja prema osobi koja poručujePažnja prema osobi koja poručuje

LiteraturaLiteratura 1. Jaspers K.Was ist Philosophie, Piper Muenchen Zuerich 1997.1. Jaspers K.Was ist Philosophie, Piper Muenchen Zuerich 1997. 22. de Sausure, F. Opšta lingvistika, Naučna knjiga, Beograd 1977.. de Sausure, F. Opšta lingvistika, Naučna knjiga, Beograd 1977. 33. deBono E., Five days course in thinking, Bantam Books, NY 1975.. deBono E., Five days course in thinking, Bantam Books, NY 1975. 4. 4. Sinković / Matković: Teorija informacije, Školska knjiga, Zagreb 1980Sinković / Matković: Teorija informacije, Školska knjiga, Zagreb 1980 5. 5. Željko Pauše: Uvod u teoriju informacije, Školska knjiga, Zagreb, Željko Pauše: Uvod u teoriju informacije, Školska knjiga, Zagreb,

1989. II izdanje1989. II izdanje 6. 6. James Allen: Natural Language Understanding, The Benjamin / James Allen: Natural Language Understanding, The Benjamin /

Cummings Publ. Comp. Inc., Redwood City, 1995.Cummings Publ. Comp. Inc., Redwood City, 1995. 7. 7. A.M. Rosie: Information and Communication Theory, Blackie & Son A.M. Rosie: Information and Communication Theory, Blackie & Son

Ltd, London, 1966.Ltd, London, 1966. 8. 8. A.P. Železnikar: On the Way to Information, Ljubljana 1990, izdanje A.P. Železnikar: On the Way to Information, Ljubljana 1990, izdanje

autora.autora. 9. 9. J.L. Pollock: Goal Regression Planning in Autonomous Agents, J.L. Pollock: Goal Regression Planning in Autonomous Agents,

Artificial Intelligence 106 (1998) 267-334.Artificial Intelligence 106 (1998) 267-334. 10. 10. De Castro E.: Fondamenti di comunicazioni elettriche, Zanichelli, De Castro E.: Fondamenti di comunicazioni elettriche, Zanichelli,

Bologna, 1967.Bologna, 1967.

11. Hamming: Coding and information theory11. Hamming: Coding and information theory