TEORIA E INFORMACIONIT - · PDF fileGjeneza dhe nocioni i teorisë së informacionit Teoria e informacionit synon analizimin e komunikimit ndërmjet dhënësit dhe marrësit përmes

TEORIA E INFORMACIONIT

Literature

1. ESSENTIALS OF ERROR-CONTROL CODING, Jorge Castiñeira Moreira, Patrick Guy Farrell, 2006 John Wiley & Sons Ltd.

2. Telecommunications Demystified, Carl Nassar, by LLH Technology Publishing, 2001.

3. Uvod u teoriju informacije i kodiranje, Alen Bažant ..., 2007 Zagreb.

4. DATA COMMUNICATIONS AND NETWORKING, FOURTH EDITION, Published by McGraw-Hill, 2007

Gjeneza dhe nocioni i teorisë së informacionit • Marrë në përgjithësi ekzistojnë tri tipare të informacionit: Sintaksor që tregon ndërlidhjen ndërmjet simboleve që formojnë mesazhin (lajmin), Semantik që tregon domethënien e mesazhit, Pragmatik që ndërlidhet me përdorimin e mesazhit. • Tipari sintaksor kryesisht trajton formën e informacionit, ndërsa ai semantik dhe pragmatik ndërlidhen me përmbajtjen që e mbartë vetë informacioni. Shembulli 1: Le ti marrim në shqyrtim fjalitë e mëposhtme: (1) Bujari ka ardhur me taksi në teatër. (2) Bujarin në teatër e ka sjellë taksi. (3) Në rrugën Ferizaj – Prishtinë u shkaktua bllokim trafiku. (4) Rruga Ferizaj – Prishtinë është rrugë me trafik të lartë në Kosovë. Shihet që fjalitë 1) dhe (2) në pikëpamje sintaksore janë të ndryshme, por në pikëpamje semantike dhe pragmatike të njëjta: kanë rëndësi të njëjtë dhe të dyja janë njësojë informative. Fjalitë (3) dhe (4) nuk dallohen vetëm në pikëpamje sintaksore, por edhe për nga semantika e tyre. Fjalia (3) është shumë më informative se fjalia (4). Tipari pragmatik i informacionit kryesisht varet nga konteksti. Informacionet që ndodhen në fjalitë (3) dhe (4) janë relevante për dikë në Kosovë por jo edhe për dikë p. sh. në Angli.

Gjeneza dhe nocioni i teorisë së informacionit

• Claude Shannon i pari e ka ndërlidh nocionin e informacionit me nocionin e gjasës ose pasigurisë (ang. uncertainty).

• Lidhja e tillë në esencë nuk është jologjike. Nëse marrim në shqyrtim bashkësinë e të gjitha ngjarjeve që paraqiten me gjasë të njëjtë, në atë rast ekziston pasiguri e madhe se cila ngjarje do të ndodhë, kështu që kur ndodh ndonjëra prej tyre ajo na sjellë shumë më tepër informacion në krahasim me rastin kur hapësira e ngjarjeve strukturohet ashtu që ndonjë ngjarje ka gjasë të madhe të probabilitetit. Pra, informacioni ndërlidhet me nocionin e gjasës përmes pasigurisë ose shkallës së befasisë.

• Nga këndvështrimi i teorisë së informacionit, informacioni nuk është njohuri, siç e konsiderojmë zakonisht, por ai ndërlidhet me gjasën ose probabilitetin e simboleve të shfrytëzuar për dërgimin e mesazheve ndërmjet burimit dhe destinacionit (cakut) përmes një kanali me zhurmë.

• Sasia kuantitative e informacionit të simboleve ndërlidhet me gjasën e paraqitjes së tyre, qoftë duke buruar nga burimi ose kur ato mbërrijnë në cakun e tyre.

• Me paraqitjen e simbolit të cilin si të tillë e shohim, pasiguria jonë zvogëlohet, dhe themi se kemi pranuar ca informacione. Pra, siç shihet, informacioni është zvogëlim i pasigurisë.


• Teoria e informacionit synon analizimin e komunikimit ndërmjet dhënësit dhe marrësit përmes një kanali me zhurmë, dhe qasja e tillë, nga njëra anë, merret me analizën e burimit, në veçanti me sasinë e informacionit të gjeneruar nga ai burim, dhe, nga ana tjetër, vendos kushtet për kryerjen e transmetimit të sigurt (me besnikëri sa më të madhe) nëpër një kanal me zhurmë.

• Ekzistojnë tri koncepte kryesore të kësaj teorie: 1. I pari është përkufizimi i sasisë që mund të jetë masë valide e

informacionit, dhe që do të ishte konsistente me kuptimin fizik të vetive të tij. 2. I dyti ka të bëjë me ndërlidhjen e informacionit dhe burimit që e gjeneron

atë informacion, dhe konceptit të tillë do t’i referohemi si burimit i informacion. Teknikat e njohura të teorisë së informacionit si komprimimi (compression) dhe shifrimi (encryption) ndërlidhen me këtë koncept.

3. Koncepti i tretë ka të bëjë me ndërlidhjen ndërmjet informacionit dhe kanalit me zhurmë nëpër të cili transmetohet informacioni. Koncepti i tillë na shpie deri te përkufizimi i një parametri shumë të rëndësishëm të quajtur kapacitet i kanalit. Një teknikë e njohur e teorisë së informacionit e quajtur kodim për korrigjim ose kontrollim të gabimeve është ngushtë e lidhur me konceptin e tillë.

• Kodimi është njëra prej teknikave më të shfrytëzuara në teorinë e informacionit, dhe si i tillë synon optimizimin e transmetimit dhe shfrytëzimin në mënyrë efikase të kapacitetit të një kanali të dhënë.


Teoria e informacionit jep përgjigje në tri pyetjet e më poshtme:

• Sa bita janë të nevojshëm për paraqitjen e burimit të informacionit?

• Cila është shpejtësia më e madhe e transmetimit me të cilën kanali transmetues mund të transmetojë me besnikëri të dhënat digjitale?

• Me çfarë sigurie ose besnikërie mund të transmetojmë informacionin nëpër kanalin komunikues me zhurmë?

Çka është në të vërtetë informacioni?

• Informacioni është madhësi fondamentale që nuk është as materie as energji, dhe për të do të japim dy përkufizime:

• Në kuptimin më të përgjithshëm: – informacioni paraqet lajm që e japin gazetat, radiot dhe televizionet, si dhe

mesazhet e ndryshme në telekomunikime. • Në lëmin e kibernetikësis (shkencë për studim interdisiplinar të strukturës së

sistemit rregullues): – informacioni është faktor kualitativ i cili përcakton gjendjen e ndonjë

sistemi dhe ndikimin që sistemi i tillë ka në ndonjë sistem tjetër. • Informacioni është bazë për shumë shkenca si: kibernetika, linguistika,

biologjia, historia etj. • Teorema themelore e Shannon-it vendos një ndërlidhje të ngushtë me

gjasën e paraqitjes së simboleve me të cilat paraqiten mesazhet. • Kur kemi parasysh se informacioni mund të memorizohet në procese

materiale, p.sh. në CD, DVD, disqe magnetike etj., edhe pse me origjinë jometariale, ai kalon në botën materiale në formë të të dhënave dhe të komunikimit.

Burimet pa memorie dhe të Markovit

Burimet mund të ndahen në dy grupe: • (1) Burimet pa memorie, te të cilët nuk ka varshmëri ndërmjet simboleve, që

dmth. se çdo simbol i njëpasnjëshëm është një zgjidhje e rastit nga alfabeti – p.sh. “bpdign cusvgm”

• (2) Burime të Markovit – simbolet janë të korreluar ose të bashkëlidhur– p.sh.“na prift e mbara”. Çështja nuk konsiston në atë se vargu i tillë i kompozuar i simboleve ka kuptim, por në atë se mund të parashikojmë deri në një masë çdo simbol duke u bazuar në njohuritë paraprake dhe duke shfrytëzuar rregullat e shqipes (në shembullin konkret). I njëjti informacion përmbahet edhe në “n prft e mbra”, përderisa marrësi merr parasysh se burimi ka shprehinë e heqjes së zanoreve.

• Burimet e Markovit i hasim më shpesh në praktikë se sa ato pa memorie.

Matja e sasisë së informacionit

• Duke pas parasysh se, siç u tha, informacioni është zvogëlim i pasigurisë, shtrohet pyetja se si do të matet kjo pasiguri. Mënyra më e thjeshtë është që, p. sh., për burimin që gjeneron tre simbole (A, B, dhe C) të themi se kemi një “pasiguri prej tre simbolesh”. Kjo do të vlente për këtë rast, por nëse një burim tjetër në të njëjtën kohë gjeneron dy simbole, p.sh. 1 dhe 2, burimi i tillë na jep një “pasiguri prej dy simbolesh”. Nëse i kombinojmë burimet e tilla në një burim, në atë rast fitojmë gjashtë kombinime, A1, A2, B1, B2, C1, C2, dhe burim i tillë ka një “pasiguri prej 6 simbolesh”. Kjo nuk përputhet me atë që ne zakonisht mendojmë për informacion, sepse nëse marrim dy libra, do të preferonim të themi se kemi marrë dy herë më tepër informacione se sa nga një libër. Pra do të dëshironim që matja jonë të jetë aditive.

• Kjo është lehtë të bëhet nëse marrim së pari logaritmin e numrit të simboleve sepse në atë rast në vend të shumëzimit të numrit të simboleve do të kemi mbledhjen e tyre. Në shembullin tonë, burimi i parë na bënë të pasigurt për log3, i dyti për log2 dhe ai i kombinuar për log3 + log2 = log6. Baza e logaritmit përcakton njësinë. Kur e përdorim bazën 2 njësia është bit (baza 10 jep njësinë digit (ose hartley ose dit nga decimal unit ose ban) dhe baza e logaritmit natyror, e, jep njësinë nat ose nit.

• Prandaj nëse një burim gjeneron një simbol, kemi pasigurinë prej log2 1 = 0 bit, dhe nuk jemi të pasigurt për atë se çka do të gjenerojë burimi në vazhdim. Nëse burimi gjeneron dy simbole me gjasë të barabartë, pasiguria do të jetë log2 2 = 1 bit, ndërsa për katër simbole me gjasë të barabartë, pasiguria është 2 bite.


• Shndërrimi prej njërës në njësinë tjetër bëhet thjeshtë duke shfrytëzuar shprehjen:

• Nga se u tha më lartë, del se shprehja për pasiguria është log2M, ku M

paraqet numrin e simboleve. Hapi i ardhshëm është që të zgjerojmë shprehjen në mënyrë që të përfshijmë edhe rastet kur simbolet nuk kanë

gjasë të barabartë të paraqitjes. Për shembull, nëse kemi 3 simbole të mundshme, dhe nëse njëri prej tyre paraqitet shumë më rrallë në krahasim me dy të tjerët, pasiguria jonë do të jetë më e madhe se 1 bit, por jo edhe aq e lartë sa log23 bite. Të fillojmë me shtruarjen e shprehjes në formë tjetër, pra:

pM

MM 22

1

22 log1

logloglog

• Ku p =1/M është gjasa e paraqitjes së cilit do simbol. Nëse e përgjithësojmë këtë për gjasa të ndryshme të simboleve, pi, të tilla që shuma e tyre të jetë:

M

i

ip1

1

2log

log

2ln

lnlog 2

aaa


• Shkalla e befasisë me rastin e vërejtjes së simbolit të tipit i quhet sasi e informacionit (ang. surprisal sipas Myron Tribus), dhe në analogji me - log2p përkufizohet si:

ii pu 2log• Nga shprehja e fundit shihet se nëse pi i afrohet 0, në atë rast do të jemi shumë të befasuar që shohin simbolin e i-të (sepse ai gati se nuk paraqitet kurrë), kështu që ui i afrohet . Nga ana tjetër, nëse pi = 1, atëherë nuk do të befasohemi aspak nëse shohim simbolin e i-të (sepse ai paraqitet gjithmonë) dhe ui = 0.

• Pasiguria është sasia mesatare e informacionit (average surprisal) për vargun pambarim të simboleve të gjeneruar nga burimi. Le të njehsojmë tash mesataren për vargun me gjatësi N që ka një alfabet me M simbole.


• Të supozojmë se simboli i tipit i paraqitet Ni herë, ashtu që

• Në atë rast do të kemi Ni raste kur sasia e informacionit është ui. Prandaj sasia mesatare e informacionit për N simbole është:

• Duke zëvendësua N në emërues dhe duke shënuar atë brenda shumë së epërme, kemi:


• Nëse e bëjmë këtë matje për një varg pambarim të madh të simboleve, atëherë frekuenca Ni /N paraqet gjasën pi të simbolit të tipit i. Duke bërë këtë zëvendësim shihet se sasia mesatare e informacionit ose entropia (H) do të jetë:

simb

biteppH

M

i ii1 2log

• Shembulli 2: Të supozojmë se kemi M = 4 simbole A, C, G, T me gjasat përkatëse: 1/2, 1/4, 1/8, 1/8. Të njehsohet sasia e informacionit dhe entropia.

Nga shprehja për sasinë e informacionit fitojmë respektivisht: uA= 1 bit, uc=

2 bite, uG= 3 bite, dhe uT= 3 bite, kështu që entropia, duke shfrytëzuar shprehjen e fundit entropia është H = 1.75 bite/simb.

Nëse simbolet kodohet me fjalë të koduara me gjatësi sa sasia e fituar e informacionit, pra A = 1, C = 01, G = 000, dhe T = 001, vargu ACATGAAC, që ka frekuencë të simboleve të barabartë me gjasat përkatëse, kodohet si 10110010001101. Pra kemi shfrytëzuar 14 shifra binare (“0” ose “1”) për kodimin e 8 simboleve të vargut, kështu që 14/8 = 1.75 bite/simb, paraqet entropinë e llogaritur paraprakisht.

Matja e sasisë së informacionit • Do të caktojmë dhe do të paraqesim në vazhdim entropinë e burimit binar

në rastin kur gjasa e paraqitjes së zeros është p(0) = p. Është e qartë se gjasa e paraqitjes së njëshit është p(1) = 1-p, ndërsa entropia në funksion të gjasës jepet me shprehjen

dhe është treguar në figurë. Nga figura, ku në absisë kemi gjasën e një simboli ndërsa në ordinatë entropinë, lehtë mund të shihet (por edhe të vërtetohet) se entropia ka vlerën maksimale për p = 0.5 (pra për ngjarje me gjasë të barabartë), dhe ka vlerën Hmax= 1bit/simb.

• Në rastin e përgjithshëm, për një burim me alfabet prej M simboleve, entropia maksimale fitohet kur gjasat e simboleve janë të barabarta, pra kur p1= p2=….= pM = 1/M, dhe është e barabartë me Hmax = log2M bite/simb.

pppppH 1log1log 22


• Shihet se kur ndonjë ngjarje është e sigurt, pra kur p = 1, entropia (informacioni) është 0. Kjo përputhet me përvojën tonë se ngjarjet e sigurta nuk sjellin informacion. I njëjtë është rezultati për p = 0, kur gjasa e paraqitjes së ngjarjes tjetër është 1. Kur p = 1/2 të dy ngjarjet janë njësoj të mundshme, kështu që pasiguria është maksimale (shembull për këtë është hedhja e monedhës).

• Te burimi ternar entropia është funksion i dy variblave ose ndryshoreve, sepse variabla e tretë varet nga dy të tjerat. Pra kemi gjasat p1, p2 dhe p3= 1 −(p1+ p2) dhe entropinë përkatëse H3(P) = H(p1, p2, 1 −p1−p2). Entropia maksimale fitohet kur p1= p2= p3= 1/3 dhe është e barabartë me log23 = 1.585 bita. Nëse njëra prej gjasave është zero (p.sh. p2= 0), burimi ternar shndërrohet në burim binar.

• Nëse simbolet emitohen nga burimi me shpejtësi ose debit prej rs simb/sek, në këtë rast mund të shfrytëzojmë këtë element kohor dhe të përcaktojmë shpejtësinë ose debitin mesatar të informacionit (R) si produkt i sasisë mesatare të informacionit ose entropisë dhe debitit të burimit, pra

R = rsH bite/sec

Modeli i sistemit komunikues

• Modeli themelor i komunikimit përbëhet nga burimi i informacionit i cili gjeneron informacionet të cilat duhet transmetuar deri në cak ose destinacion. Tek komunikimet theksi vihet në transmetimin e informacionit prej burimi deri në cak. Problemi themelor i komunikimeve është reproduktimi në një pikë në formë ekzakte ose përafërsisht ekzakte i një mesazhi të zgjedhur në një pikë tjetër.

• Edhe pse memorizimi i informacionit në një medium memorizues nuk është problem klasik i transmetimit të informacionit edhe ky mund të shqyrtohet duke u bazuar në modelin komunikues.

• Komunikimi realizohet ndërmjet dhënësit në anën e burimit dhe marrësit në anën e destinacionit (fig). Gjatë transmetimit të informacionit mund të shkaktohen gabime ose deformime si rezultat i ndikimit të pengesave (p.sh. zhurmave) në kanalin komunikues. Natyrisht, gjithmonë synohet që transmetimi të bëhet me një shkallë të caktuar të kualitetit të bartjes varësisht nga kërkesat e vendosura në marrës. Kështu për shembull, marrësi mund të korrigjojë gabimet serioze, ndërsa mund të tolerojë disa gabime tjera.

Burimi Dhënësi Kanali Marrësi Caku

Zhurmat


• Deri sa dhënësi ka për detyrë që informacionin nga burimi ta shndërrojë në një formë të përshtatshme për transmetim nëpër kanalin komunikues, detyra e marrësit është që të tentojë të heq deformimet dhe gabimet e shkaktuara gjatë transmetimit nëpër kanal, si dhe vazhdimisht të transformojë informacionin në një formë të përshtatshme për destinacion.

• Funksionin e dhënësit mund ta ndajmë në disa nënfunkcione. Në vazhdim do të përshkruhet katër funksionet më kryesoret.

• Duke ditur se të gjitha informacionet që gjeneron burimi nuk janë të rëndësishme për cakun, ato si të tilla duhet hequr menjëherë. Forma e tillë rëndom quhet reduktim i të dhënave, ndërsa pjesa tjetër e mbetur e informacionit quhet informacion efektiv.

• Informacioni efektiv shpesh përpunohet duke u shndërruar në një formë tjetër (p.sh. binar) që ka strukturë përkatëse interne të sajë. Me përdorimin e kodimit të burimit, që ndryshe quhet edhe komprimim i të dhënave, informacioni efektiv paraqitet në formë sa të jetë e mundur më kompakte.


• Shpesh është shumë me rëndësi mbrojtja e informacionit nga përdorimi i paautorizuar, kështu që është e nevojshme mbrojtja shifrore (kriptimi ose shifrimi), përmes kodeve për shifrim.

• Informacioni i mbrojtur nuk është imun ndaj gabimeve që mund të ndodhin në kanal. Prandaj dhënësi duhet të fusë informacion shtesë e cila do të shfrytëzohet me rastin e rikonstruktimit të informacionit burimor kur gjatë transmetimit ndodhin gabime. Për këtë kujdeset kodimi i kanalit ose kodimi për kontroll të gabimeve (error control coding) që shfrytëzon kode me mundësi detektimi dhe/ose korrigjimi të gabimeve.

• Informacionin e tillë të përgatitur dhënësi e dërgon në kanal. Vetitë fizike të kanalit përshkruhen me kanalin e vazhdueshëm ose analog nëpër të cilin transmetohen sinjalet përkatëse (p.sh. elektrike). Kanal diskret konsiderojmë sistemin i cili në nivel simbolesh paraqet transmetimin e tyre nga hyrja deri në dalje të kanalit, shih fig. Shndërrimi i simboleve në sinjale përkatëse quhet modulim. Sinjalet e fituar me modulim i ekspozohen pengesave përkatësisht zhurmave të kanalit. “Përzierja” sinjal zhurmë shndërrohet përsëri në simbole gjatë demodulimit. Zhurma që është prezentë mund të shkaktojë që pas demodulimit simbolet e fituar të ndryshojnë nga ata të dërguar, pra të shkaktohen gabime në transmetim. Në marrës së pari kontrollohet saktësia e informacionit të pranuar në procesin e dekodimit të kanalit. Informacioni i fituar pas deshifrimet dekodohet, dhe mandej në rikonstruktimin e të dhënave shndërrohet në formë të përshtatshme për destinacion.


Caku i infor. Rikon. i të dh. Dekodimi i bu. Deshifrimi Dekodimi i kan.

Hyrja në kanalin diskret

Dalja nga kanali diskret

Hyrja në kanalin diskret

Modulimi Kanali i vazhd. Demodulimi

Zhurma

KANALI DISKRET

Dalja nga kanali diskret

MARRËSI

Burimi Shifrimi Kodimi i kanal. Komprimimi Kodimi i b.

DHËNËSI

Mesazhet, simbolet dhe sinjalet

• Burimi zgjedh ose selekton mesazhet nga një grup i mesazheve të mundshme, p.sh,. ju (në cilësi të burimit) nga përgjigjet e mundshme {po, jo, ndoshta} zgjidhni përgjigjen “po” .

• Mesazhi përbëhet nga një sekuencë ose varg i simboleve (n-d-o-s-h-t-a) që i takojnë një alfabeti (a,b,….zh). Mund të ketë një ose më tepër simbole për mesazh, ndërsa alfabeti mund të konsiderohet si grup i simboleve.

• Burimi mund të jetë diskret: p.sh. kur simbole janë shkronjat e alfabetit, kodi Morse, sekuenca DNA, bitët ose bajtët, ose i vazhdueshëm: p.sh. zëri, tensioni, intensiteti i dritës

• Do të shqyrtojmë kryesisht burimet diskrete, duke pas parasysh shndërrimin e burimeve të vazhdueshme në burime diskrete.

• Sekuenca e mesazheve transformohet ose kodohet në sinjal për të transmetuar atë nëpër kanal si një seri e simboleve.

Roli themelor i sistemit komunikues – llojet e informacioneve

• Roli themelor i çdo sistemi komunikues është transmetimi efikas i informacioneve të ndryshme nga një objekt ose pjesëmarrës deri te tjetri.

• Efikasiteti i transmetimit i referohet transmetimit sa më të saktë të të dhënave në një interval të caktuar kohe.

• Informacionet sipas formës së tyre kryesisht ndahen në: informacione diskrete dhe të vazhdueshme, ndërsa ngandonjëherë hasim edhe në kombinimin e tyre.

• Informacionet diskrete paraqitet me vargun që përbëhet nga numri i kufizuar i simboleve elementare – shenjave alfanumerike siç është rasti i telegrafisë (dy ose me tepër impulse elementare), telemetrisë (të dhënave numerike), paraqitjes binare ose digjitale etj.

• Informacionet e vazhdueshme paraqiten me funksione kohore që marrin numër pambarim të vlerave, siç është rasti i transmetimit të të folurit, muzikës, video sinjalit, telemetrisë (kur transmetohen të dhëna vlerat e të cilave ndryshojnë në mënyrë të vazhdueshme ose analoge).

• Shndërrimi i informacioneve analoge në ato digjitale bëhet përmes mostrimit, kuantizimit dhe kodimit (shembull: transmetimi i të folurit me anë të sistemit PCM).

Disa veti të gjasës

Le të jetë:

• p(A) – gjasa e paraqitjes së ngjarjes A,

• 1-p(A) – gjasa që ngjarja A të mos paraqitet (gjasa e komplementit),

• p(A,B) – gjasa e paraqitjes së dy ngjarjeve (gjasa e unionit),

• p(A/B) – gjasa e paraqitjes së ngjarjes A, nëse është paraqitur ngjarja B (gjasa me kusht e ngjarjes B në lidhje me ngjarjen A),

Duke u nis nga rregulla e njohur e Bajesit në teorinë e probabilitetit, vlejnë

këto barazime:

Ngjarjet e rastit dhe sasia e informacionit

• Informacionin e pranojmë nëse njoftohemi për ngjarjen e cila nuk ka qenë paraprakisht e përcaktuar.

• Përcaktueshmëria e ndonjë ngjarjeje mund të matet me gjasën e paraqitjes; sa më e madhe të jetë gjasa e paraqitjes së ngjarjes aq më e vogël është sasia e informacionit të pranuar pasi të ketë ndodhur ngjarja.

Le të jetë dhënë sistemi i informacionit me numër të fundmë të mesazheve të mundshëm në hyrje dhe në dalje të sistemit.

• Paraqitja e cilitdo mesazhi konsiderohet si ngjarje e rastit e cila paraqitet me një gjasë të caktuar.

• Bashkësinë e të gjitha mesazheve të ndryshme elementare në hyrje të ndonjë sistemi diskret të informacionit do ta shënojmë me X, xi, i = 1,2,…,n, ndërsa bashkësinë e të gjitha mesazheve elementare në dalje të sistemit të njëjtë me Y, yj, j = 1,2,…,m. , ku xi, yj – mesazhet elementare në hyrje/dalje.

Modeli i sistemit

Zhurma

Dalja Hyrja

SISTEMI DISKRET KOMUNIK.

X Y

Modeli i sistemit

• Në bazë të simbolit të pranuar yj është e nevojshme të caktohet cili simbol xi është dërguar në hyrje të sistemit

• Shumica e informacioneve që shfrytëzohet shprehen me ndonjë gjuhë në të cilën ekziston një varshmëri e caktuar statistikore

• Do të shqyrtojmë informacionin e shprehur përmes n simboleve xi,

frekuencat relative të paraqitjes së të cilëve janë statistikisht të pavarur dhe plotësisht të përcaktuar me bashkësinë e gjasave në hyrje ose gjasave apriore p(xi), ose gjasave të paraqitjes së simboleve të një bashkësie pavarësisht nga paraqitja e simboleve të bashkësisë tjetër.

• Është evidente se bashkësia e të gjitha simboleve është e plotë – pra shuma e gjasave hyrëse duhet të plotësojë barazimin:

Modeli i sistemit

• Tek sistemet reale kemi ndikimin e zhurmës që është prezente në kanal, kështu që nuk kemi pasqyrim të njëvlershëm të të gjithë simboleve xi, yj

• Për këtë arsye mund të shqyrtojmë paraqitjen e njëkohshme të çiftit (xi, yj),

duke shfrytëzuar gjasën e përbashkët (joint probability) p(xi,yj), e cila sipas rregullës së Bajesit ose e shumëzimit të probabiliteteve është

Modeli i sistemit

• Sistemi informativ jep lidhjen ndërmjet paraqitjes së simboleve në hyrje dhe atyre në dalje, dhe nëse dihet mekanizmi fizik i transformimit/transmetimit të simboleve xi në yj, mund të njehsohen gjasat me kusht p(yj/xi) dhe mund t’i paraqesim në formë të matricës me dimensione n x m. Matrica e tillë quhet matricë e gjasave të kalimit.

• Në këtë mënyrë, duke i njohur gjasat e përbashkëta p(xi,yj), do të jetë e mundur të caktohet gjasat apriore p(xi), sepse gjasa e paraqitjes së simboleve është shumë e gjasave të paraqitjes së të gjitha çifteve në të cilat paraqitet simboli i tillë.

Modeli i sistemit

• Nga pikëvështrimi i subjektit që vështron ngjarjet Y në dalje, paraqitja e rezultatit konkret yj, rezulton me atë që pasiguria paraprake në lidhje me paraqitjen e ngjarjes xi, e cila karakterizohet me gjasën apriore p(xj)

zëvendësohet me pasigurinë e cila mbetet pas paraqitje së ngjarjes yj – e

që paraqet gjasën aposteriore (gjasa kur dihet se cili simbol yj pranohet)

• Gjasat aposteriore p(xi/yj) fitohen nga shprehjet (2) dhe (3)

• Gjasat e tilla aposteriore quhen ndryshe edhe gjasa të kalimit xi në yj ose gjasa me kusht, dhe mund t’i paraqesim në formë të matricës së kalimit me dimensione m x n.

Informacioni reciprok

• Tash kemi mjaftë elemente që nga pikëvështrimi i teorisë së informacionit të tregohet se si transmetohet informacioni nëpër kanal, dhe kuantitativisht të caktohet sasia e informacionit që transmetohet.

• Mund të supozohet se ekziston vrojtuesi ideal i cili ka mundësi të vështrimit të hyrjes, daljes, si dhe hyrjes dhe daljes së kanalit njëkohësisht.

• Në këtë rast ai le të vështrojë vetëm daljen e kanalit për një simbol të caktuar xi.

• Sasia e informacionit që do të pranojë vrojtuesi nga pranimi i këtij simboli siç dihet është log(1/p(xi).


• Le të jetë pranuar simboli yj. Masa e pasigurisë së vrojtuesit për simbolin xi

tash ka ndryshuar dhe është: log(1/p(xi/yj).

• Prandaj, sasia e informacionit e transmetuar me këtë çift të simboleve është e barabartë me ndryshimin e pasigurisë fillestare dhe përfundimtare, pra:

• Me zgjedhjen e bazës së logaritmit caktohet njësia e sasisë së informacionit – Më i përshtatshëm është përdorimi i logaritmit me bazë 2 (sistemet binare ose digjitale) ose logoaritmi dual (ld), dhe në këtë rast njësia është bit (binary

digit).


• Nëse shprehjen (5) e shumëzojmë dhe pjesëtojmë me p(yj), kemi:

• Është funksion simetrik ndaj listës së simboleve X dhe Y, pra nuk ndryshon kur X dhe Y ndryshojnë vendet: I(xi;yj)= I(yj;xi) – pra njëra variabël për

variablën tjetër sjellë informacion të njëjtë (informacioni i cili është rezultat i paraqitjes së ngjarjes yj, e që bënë fjalë për ngjarjen xi, është i barabartë me informacionin të cilin e sjellë paraqitja e ngjarjes xi, kundrejt ngjarjes yj). Kjo është edhe arsyeja që ky informacion quhet informacion reciprok. • Nëse xi dhe yj janë statistikisht të pavarura ndërmjet veti Prej nga del se: • Pra nuk ka kurrfarë varshmërie statistikore ndërmjet dy ngjarjeve xi dhe yj


• Për vlerë fikse të p(xi) informacioni reciprok I(xi;yj) do të ketë vlerë maksimale kur është p(xi/yj) = 1, pra kur yj me siguri të plotë dhe njëvlerësisht përcakton xi.

)();();();( jjiiji yIyxIxIyxI

• Informacioni vetjak është gjithmonë madhësi pozitive, sepse:

1)(0 ixp

• Madhësia I(xi) quhet informacion vetjak për të cilën vlen:


• Nga shprehja (6) shihet se informacioni reciprok mund të ketë edhe vlera pozitive edhe vlera negative.

• Ka vlera pozitive kur gjasa e paraqitjes së përbashkët e çiftit të ngjarjeve xi

dhe yj, p(xi,yj) është më e madhe se produkti i gjasave pa kusht p(xi)·p(yj),

dhe e kundërta, për vlera negative të informacionit reciprok

• Duke u nis nga shprehja (5), informacioni reciprok paraqitet përmes informacionit vetjak me shprehjen

• Ndërsa nga shprehja (6) kemi:

• I(xi,yj) është informacioni vetjak i paraqitjes së përbashkët të çiftit të ngjarjeve xi dhe yj


• Informacioni vetjak i paraqitjes së përbashkët të çiftit të ngjarjeve I(xi,yj)

është:

ose nga shprehja (10) kemi:


• Shuma mesatare e informacionit reciprok I(xi;yj), që i përket bashkësisë së të gjitha ngjarjeve X = {xi} i = 1,2,…,n, dhe që e sjellë paraqitja e ndonjë ngjarje yj është I(X;yj) është:

njësoj fitohet:


• Shuma e tërësishme e informacionit reciprok në bashkësinë e ngjarjeve Y që ndërlidhet me bashkësinë e ngjarjeve X është

Entropia dhe vetitë e entropisë

• Informacioni vetjak i ngjarjes xi është ajo sasi e informacionit, që është e nevojshme për përcaktimin e njëvlershëm të asaj ngjarjeje

• Në analogji me informacionin reciprok mesatar mund të caktojmë edhe informacionin vetjak mesatar në formën:

(17)

• Informacioni vetjak mesatar I(X) është mesatarisht ajo sasi e informacionit, e cila është e nevojshme për të caktuar cilin do mesazh nga bashkësia X nga mesazhet e mundshme që dërgohen me ndonjë sistem • Madhësinë I(X) rëndom e quajmë entropi e madhësisë diskrete të rastit X dhe, siç kemi thënë, e shënojmë me H(X)

• Entropinë mund ta konsiderojmë si masë kuantitative të pasigurisë së

ndonjë mesazhi para se ai të pranohet, që në fakt paraqet sasinë e informacionit mesatar e cila dërgohet për të njohur cilin do mesazh nga bashkësia X

Entropia dhe vetitë e entropisë

• Entropia nuk mund të jetë madhësi negative sepse informacioni vetjak

(18)

(19)

• Entropia H(X) do të jetë e barabartë me 0 vetëm në rastin kur njëra prej gjasave p(xi), i = 1,2,…,n, është e barabartë me një, ndërsa të gjitha gjasat tjera janë të barabarta me zero.

Entropia – masë e pasigurisë

• Kur gjasa e ndonjë ngjarjeje është e barabartë me 1, ndërsa të gjitha gjasat tjera janë të barabarta me 0, atëherë mund të dërgohet vetëm ai mesazh (i cili është sigurisht i njohur që më parë)

• Pas pranimit të mesazhit të tillë (të sigurt) nuk pranohet kurrfarë sasie e re e

informacionit

• Entropia H(X) plotëson pabarazimin:

(20)

ku n është numri i të gjitha ngjarjeve të mundshme xi (mesazheve, shenjave, simboleve…)

Entropia maksimale

• Shenja e barazimit vlen nëse të gjitha ngjarjet janë njësoj të mundshëm (pra janë me gjasë të barabartë të paraqitjes).

i = 1,2,….n (21)

Entropia në këtë rast do të ketë vlerë maksimale të barabartë me

ku xi janë simbolet elementare të alfabetit. • Pra nga barazimi i fundit shihet se sasia mesatare e informacionit që e sjellë një simbol nga një alfabet i dhënë do të jetë maksimale dhe e barabartë me logaritmin dual të numrit të simboleve të alfabetit, dhe për rastin më të thjeshtë të alfabetit me dy simbole, sasia mesatare e informacionit, siç kemi thënë, është 1 bit.

Entropia me kusht

• Vlera mesatare e informacionit vetjak me kusht është:

• Madhësinë I(Y/X) mund ta quajmë entropi me kusht të bashkësisë së ngjarjeve Y nga bashkësia e ngjarjeve të dhëna X

• Entropia e bashkësisë së çifteve të ngjarjeve X,Y është

(22)

(23) H(X,Y)

Entropia me kusht

• Duke përdorë shprehjen për gjasë të përbërë p(x,y)= p(x)p(y/x), kemi:

H(X,Y)= H(X) + H(Y/X) (24)

• Për entropinë me kusht vlen pabarazimi:

(25)

• Shenja e barazimit vlen vetëm në rastin kur ngjarjet yj dhe xi janë statistikisht të pavarura, pra kur p(yj/xi) = p(yj), për të gjitha indekset e mundshëm i dhe j.

Entropia me kusht

• Në transmetimin e informacionit rëndësi të madhe ka informacioni reciprok

mesatar të cilin e shprehim në formë të përshtatshme përmes entropisë në formën:

(26)

(27)

(28)

• Një formë e përshtatshme mnemoteknike (mbajtjes në mend) për relacionet e tilla është paraqitja përmes diagramit të Venit

Formalisht I(X;Y) mund të shprehet edhe në formën I(X;X) = H(X) – H(X/X) =

H(X). Pra, informacioni reciprok i ndryshores së rastit me vetveten është në të vërtetë entropia e ndryshores së rastit, së këndejmi entropia disa herë quhet vetinformacion.

Entropia me kusht – Diagrami i Venit

(29)

H(X/Y) H(Y/X) I(X;Y)

= I(Y;X)

H(X,Y)

H(X) H(Y)

Interpretimet e diagramit të Venit

• Mund të bëhen tri interpretime të informacionit reciprok mesatar: 1. Nga (26) del se informacioni reciprok mesatar është i barabartë me

ndryshimin ndërmjet informacionit mesatar të nevojshëm për përcaktimin e bashkësisë së ngjarjeve X dhe Y veç e veç (si të ishin statistikisht të pavarura) dhe informacionit mesatar të nevojshëm për përcaktimin e bashkësisë së çiftit të ngjarjeve X,Y.

• Nga (24) del se për ngjarje të pavarura: H(X,Y) = H(X) + H(Y), ndërsa kjo nënkupton që I(X;Y) = 0.

• Prandaj madhësia I(X;Y) e karakterizon masën e varësisë së lidhjes statistikore ndërmjet bashkësive X dhe Y.

• Duke u bazuar në shprehjet (27) dhe (28), nëse xi dhe yj i vështrojmë si simbole elementare në dërgim dhe në pranim, në sistemin në të cilin veprojnë pengesat, është e dukshme natyra fizike e transmetimit të informacionit.

• Madhësia I(X;Y) është e qartë se merr kuptimin e transinformacionit HT, sepse pikërisht kjo është pjesë e sasisë së informacionit që e gjeneron burimi (entropia e burimit), dhe e cila arrin në pranim – pjesa e transmetuar.

• Transmetimin e informacionit mund ta vështrojmë nga ana e dhënësit dhe nga ana e marrësit:

Interpretimet e diagramit të Venit

2. Nëse e vështrojmë nga ana e marrësit – I(X;Y) = HT (transinformacioni) është i barabartë me ndryshimin ndërmjet sasisë së informacionit të nevojshëm për të përcaktuar bashkësinë e simboleve X para pranimit të simboleve Y dhe sasisë së nevojshme pas pranimit të simboleve Y. Është evidente se entropia H(X) karakterizon sasinë mesatare të informacionit të dërguar, madhësia I(X;Y) = HT karakterizon sasinë mesatare të informacionit të pranuar që ndërlidhet me mesazhin e dërguar, ndërsa entropia me kusht H(X/Y), karakterizon sasinë mesatare të informacionit të humbur (të larguar nga kanali – shih fig. në vazhdim) për shkak të ndikimit të pengesave. H(X/Y) karakterizon pasigurinë në lidhje me bashkësinë X, e cila mbetet pas pranimit të bashkësisë Y, dhe quhet “ekuivokacion” (shumëkuptueshmëri).

3. Nëse e vështrojmë nga ana e dhënësit – për shkak të ndikimit të zhurmave marrësi nuk mundet të përcaktojë me siguri të plotë se cili simbol në pranim i referohet simbolit në dërgim. Shprehja (28) jep sasinë mesatare të informacionit të transmetuar I(X;Y) = HT si ndryshim të sasisë mesatare të cilën marrësi vërtetë e pranon dhe të sasisë mesatare të informacionit që ndodhet në simbolet e pranuar, me kusht që informacionet e dërguara të jenë të njohura paraprakisht. Madhësia H(Y/X), e cila shpesh quhet edhe entropi e zhurmës, përcaktohet nga struktura e pengesave dhe nga karakteri i interakcionit të tyre me sinjal.

Kanali komunikues

Shembulli 3: Kanali binar simetrik

• Në dalje të sistemit komunikues të treguar në fig. mund të paraqiten dy vlera të ndryshores së rastit Y: y1=0 i y2=1


• Sistemi sipas të cilit informacioni transmetohet sipas këtij modeli quhet kanal binar simetrik (binary symmetric channel - BSC)

• Për të njehsuar transinformacionin duhet njehsuar gjasat p(y1) dhe p(y2):

• Nga fig. shihet se gjasa e pranimit të gabuar është e njëjtë për të dy simbolet dhe e barabartë me Pg, kështu që:


• Së këndejmi fitohet:

• Entropia do të arrijë vlerën maksimale për p = 1/2, dhe do të jetë 1

bit/simbol, pa marrë parasysh madhësinë e Pg. Entropia me kusht është


• Me zëvendësimin e vlerave fitojmë:

• Prej nga shihet se entropia me kusht e kanalit BSC nuk varet nga gjasa apriore p

gggg ldPPPldPXYH )1()1()/(

• Transinformacioni është

• Nëse është p = 0.5, H(Y) = 1 bit/simbol

[bite/simbol]

ggggggggggggT ldPPPldPPpPpldPpPpPpPpldPpPpHYXI )1()1()21()21()2()2();(

Paraqitja grafike e HT=f(Pg)

Kapaciteti i kanalit

• Kapaciteti i kanalit është njëri prej nocioneve themelore të teorisë së informacionit, dhe përkufizimin së bashku me rëndësinë e tij do ta bëjmë duke u nis nga teorema themelore e kanalit me zhurmë.

• Do të marrim në shqyrtim transmetimin e informacionit përmes kanalit komunikues në hyrje të të cilit paraqiten simbolet xi, me gjasat përkatëse p(xi).

• Nga shqyrtimet paraprake dihet se sasia mesatare e informacionit të transmetuar është e barabartë me transinformacionin I(X;Y) (bit/simbol), i cili varet nga karakteristikat e kanalit dhe nga shpërndarja e gjasave në hyrje p(xi), siç mund të shihet nga shprehja (15).

• Kapaciteti i kanalit përkufizohet si vlerë maksimale e transinformacion, në ç’rast maksimalizimi bëhet me ndryshimin e të gjitha shpërndarjeve të

mundshme të gjasave të paraqitjes së simboleve në hyrje:

.]/[);(max)(

simbolbitYXICixp

Kapaciteti i kanalit - teorema themelore e kanalit me zhurmë

• Pra kapaciteti i kanalit i përgjigjet transinformacionit, i cili do të arrihej në rastin e shpërndarjes ideale të gjasave të paraqitjes së simboleve në hyrje të kanalit.

• Nga përkufizimi i tillë shihet se është e pamundur të arrihet transinformacion më i madh për kanalin e dhënë, prandaj thënë ndryshe kapaciteti i kanalit është sasia maksimale e informacionit për simbol e cila mesatarisht mund të transmetohet nëpër kanal.

• Do të supozojmë kapacitetin e kanalit C [bit/simbol] dhe burimin që karakterizohet me entropi H [bit/simbol]. Nëse H C, atëherë ekziston sistem i tillë i kodimit që mesazhet nga burimi mund të transmetohen ndërmjet të kanalit me shpeshtësi ose me gjasë arbitrarisht të vogël të gabimeve (pra me ekuivokacion arbitrarisht të vogël).

• Nëse është H > C, atëherë mund të kodojmë mesazhin ashtu që ekuivokacioni të jetë më i vogël se H - C + ε [bit/simbol], ku ε është madhësi arbitrarisht e vogël.

• Nuk ekziston metodë e kodimit me të cilën do të arrihej ekuivokacion më i vogël se H – C [bit/simbol].


• Kjo teoremë është ilustruar me grafikun në fig. i cili tregon vlerat e mundshme të ekuivokacionit (humbjeve në kanal të shkaktuara për shkak të pengesave) në bit/simbol, në funksion të entropisë së burimit ose sasisë mesatare të informacionit që e gjeneron burimi.

• Deri sa entropia H është më e vogël ose e barabartë me kapacitetin e kanalit, humbjet mund të jenë arbitrarisht të vogla (afër zeros).

• Por kur entropia e burimit është me e madhe se kapaciteti i kanalit, humbjet nuk mund të zvogëlohen në zero, dhe kufiri i poshtëm në këtë regjion është drejtëza H(X/Y) = H – C.

Regjioni i

mundshëm

H(X/Y)

H C


• Teorema e tillë është njëra prej teoremave më të rëndësishme të teorisë së informacionit.

• Edhe para paraqitjes së teorisë së informacionit ka qenë e qartë se pengesat shkaktojnë humbje, por nuk ka qenë e qartë se në çfarë mënyre ato ndikojnë në mundësinë e transmetimit të informacionit.

• Teoria e informacionit ka treguar se me rritjen e shpeshtësisë ose të gjasës së gabimeve në kanal, kapaciteti i kanalit bie gradualisht, kështu që teoritikisht është i mundur transmetimi i sasisë së informacionit të barabartë me kapacitetin e kanalit me gjasë arbitrarisht të vogël të gabimit.

• Në esencë, teoria e informacionit nuk bënë fjalë për mënyrën se si duhet arritur kjo praktikisht, por ajo ka hapur shtigjet drejtë zgjidhjeve ose metodave praktike që shërbejnë për kodimin e informacionit ashtu që të jetë e mundur detektimi dhe/ose korrigjimi i gabimeve të shkaktuara për shkak të pengesave.

• Metodat e tilla janë teknika të njohura të kodimit për kontroll të gabimeve (error-control coding).

Shembulli 4: Kapaciteti i kanalit binar simetrik

• Duke shfrytëzuar përkufizimin e dhënë me shprehjen (15) dhe të kapacitetit të kanalit në formë të përgjithshme, kapaciteti i kanalit binar simetrik me zhurmë është:

)]./()([max);(max)()(

XYHYHYXICii xpxp

• Pasi që vlera maksimale e transinformacionit ose e kapacitetit të kanalit arrihet për p(0) = p(1) = 0.5, në ç’rast H(Y) = 1 bit/simbol, duke shfrytëzuar rezultatet nga shembulli 3, fitojmë shprehjen e njëjtë për kapacitetin e kanalit të këtillë, që është e njëjtë me shprehjen përfundimtare nga shembulli 3 për HT. Nga shprehja e tillë shihet se identike është edhe lakorja e varshmërisë së kapacitetit të kanalit në funksion të gjasës me lakoren nga shembulli 3, HT =

f(Pg).

Shembulli 4: Kapaciteti i kanalit binar simetrik

• Kapaciteti i kanalit bie në zero kur gjasa e gabimit është 0.5, sepse në atë rast për ndonjë vlerë në hyrje, mund të fitojmë 0 dhe 1 në dalje me gjasë të njëjtë, kështu që në bazë të simboleve në dalje, nuk mund të nxjerrim përfundim se cili simbol ka qenë në hyrje.

• Kapaciteti maksimal i kanalit, siç do të pritnim, arrihet kur nuk ka gabime, por edhe kur gjasa e gabimit është 1, pra kur gabimi ndodh gjithmonë, që do të thotë se kanali është “invertuar” – zeroja në hyrje jep njësh në dalje dhe e kundërta, kështu që nga simbolet në dalje me siguri të plotë edhe më tutje mund të caktohen simbolet në hyrje.

Kodimi dhe entropia

• Kodimi është njëri prej nocioneve më themelore si në teorinë ashtu edhe në praktikën e teknologjive informative dhe komunikuese.

• Për të dhënë përkufizimin e thjeshtë dhe të përgjithshëm për kodim të përkujtojmë se mesazhin në sistemin komunikues e kemi përkufizuar si një varg simbolesh të zgjedhur nga alfabeti, i cili është bashkësi e fundme e simboleve elementare.

• Kodimi është veprim ose proces i caktimit të fjalëve të koduara (kodeve) për simbolet e mesazhit, duke shndërruar mesazhet (vargun e simboleve nga një alfabet) në një formë tjetër, dhe të paraqitura me vargun e simboleve të një alfabeti tjetër.

• Çdo fjalë e koduar përbëhet nga një ose më tepër simbole të një alfabeti tjetër, kështu që me kodim mesazhet (vargu i simboleve) shndërrohet në varg të fjalëve të koduara.

• Arsyeja e kodimit është shndërrimi i mesazhit në formë e cila ka disa veti më të mira për transmetim, kontrollim nga gabimet ose për memorizim.

Kodimi dhe entropia

• Kështu për shembull, komprimimi është formë e kodimit ku mesazhi i koduar është më i shkurtër se mesazhi burimor; kriptografia është kodim ku mesazhi i koduar ka disa veti të caktuara të sigurisë; kodimi për kontrollim i jep mesazhit veti të cilat lehtësojnë detektimin dhe/ose korrigjimin e gabimeve të shkaktuara nga pengesat gjatë transmetimit.

• Në përdorimet praktike në lëmin e teknologjive informative dhe atyre komunikuese, alfabeti për ndërtimin e fjalëve të koduara është gati

gjithmonë binar, kështu që çdo fjalë e koduar është varg i një ose më tepër shifrave binare, duke paraqitur kështu mesazhin e koduar në formë të vargut të shifrave binare (0 dhe 1).

• Kur bëhet kodimi me qëllim të komprimimit të të dhënave, është e qartë se duhet të ekzistojë një kufi i ngjeshjes pa humbje, dhe ky kufi është në të vërtetë entropia, sipas të cilës përdoret edhe emri (kodim entropik).

Shembulli 5: Kodimi

• Të supozojmë burimin i cili gjeneron simbole nga bashkësia X = {1, 2, 3,

4}, me gjasat e paraqitjes të dhëna në tabelë.

Simboli (xi) Gjasa e paraqitjes (p(xi)= pi)

Fjala e koduar (Ci)

Gjatësia e fjalës së

koduar (li)

1 1/2 0 1

2 1/4 10 2

3 1/8 110 3

4 1/8 111 3

• Me zëvendësimin e vlerave të pi në shprehjen për entropi, llogaritet vlera e saj: H(X) = 1.75 [bit/simbol].

Shembulli 5: Kodimi

n

i

ii simbolbitlpL1

/75.13125.03125.0225.015.0

• Në kolonën e tretë të tabelës paraprake është dhënë një kod i mundshëm për këtë burim, duke shoqëruar simbolet (1,2,3,4) me fjalët përkatëse të koduara.

• Kështu për shembull, vargut të simboleve 134213 i përgjigjet kodi 0110111100110.

• Pasi që dihen gjasat e paraqitjes së simboleve, lehtë mund të njehsojmë gjatësinë mesatare të fjalëve të koduara (duke supozuar se mesazhi është i gjatë, ose gjatësia e mesazhit tenton në pambarim)

• Pra, në mënyrë që të kodojmë informacionin nga ky burim, për këtë kod janë të nevojshëm mesatarisht 1.75 bita (shifra binare) për simbol, dhe kjo vlerë është e barabartë me entropinë e burimit.

Shembulli 5: Kodimi

• Nuk është e mundur të gjendet ndonjë bashkësi e fjalëve të koduara me të cilat simbolet nga burimi mund të paraqiteshin njëvlersisht, dhe gjatësia mesatare e fjalëve të koduara do të ishte më e vogël se 1.75 bita për simbol.

• Kështu për shembull, nëse do të tentonim (pa sukses) të shkurtonim fjalën e koduar C4, dhe do të shfrytëzonim 11, në vend të 111, kodimi nuk do të ishte më tutje i njëvlershëm sepse vargu i koduar 110 do të mund të dekodohej ose si simbol “3” ose si dy simbole “41”.

• Në rastin e përgjithshëm, mund të vërtetohet se është e pamundur të

kodohen njëvlersisht simbolet e ndonjë burimi me gjatësi mesatare të

kodit më të vogël se entropia e burimit.

• Së këndejmi del konkludimi se entropia është kufiri i komprimimit pa

humbje, fakt ky i rëndësishëm i cili tregon për rëndësinë praktike të

entropisë.

KODIMI ENTROPIK

• Kodimi entropik përfshin një numër metodash të kodimit me të cilat kryhet komprimimi i mesazheve pa humbje, kështu që kur konteksti është i qartë, nocionet kodim dhe komprimim shpesh shfrytëzohen si sinonime.

Burimi Kod. i inform. Kod. i kanalit Kanali

Zhurma

Dek. i kanalit Dek. i infor. Caku

Dhënësi Marrësi

• Në modelin e përgjithshëm të sistemit komunikues komrimimi bëhet në koduesin e informacionit (fig.), i cili mund të jetë shumë kompleks dhe të përfshijë më tepër metoda të komprimimit.

• Karakteristikat themelore të cilës do metode të komprimimit ndërlidhen me atë se a kemi të bëjmë me komprimim me humbje apo pa humbje, si dhe me herësin e komprimimit.

Metodat e komprimimit

• Te komprimimi pa humbje pas dekodimit fitohet simbole të mesazhit plotësisht të njëjtë me ata para kodimit, pa u dalluar madje edhe në një bit.

• Si e tillë kjo metodë e kodimit është reverzibile dhe përdoret p.sh. në incizimet medicinale radiologjike ku kërkohet kualitet i lartë (sepse mund të ndodhë që të nevojitet zmadhimi i ndonjë detaji), në incizimet satelitore të cilat mund të përpunohen dhe hulumtohen me metoda të përpunimit të figurës (dhe kjo nuk do të ishte e mundur nëse figura paraprakisht i është përshtatur syrit të njeriut). Përveç këtyre dy përdorimeve, shembuj të përditshëm janë komprimimi i teksteve dhe dokumenteve.

• Por, te disa lloje tjera të të dhënave (p.sh. figura, video, zëri) mund të jetë e pranueshme madje edhe shmangie qenësore nga sinjali origjinal, qoftë për shkak se organi perceptues i njeriut deri në një kufi nuk mund të vërejë ndryshimet, ose për shkak se shfrytëzuesit në disa raste janë të gatshëm të pranojnë kualitet më të ulët të sinjalit të dekoduar (p.sh. videokonferenca pa pagesë nëpërmjet Internetit).

• Metodat e komprimimit te të cilat mesazhi i dekoduar nuk është plotësisht i njëjtë me mesazhin e burimit janë metoda të komprimimit me humbje.


• Parametri i rëndësishëm i komprimimit është herësi i komprimimit, i cili paraqet raportin ndërmjet numrit të bitëve të mesazhit të komprimuar dhe atij origjinal (p.sh. 1:10).

• Metodat e komprimimit ndahen në dy grupe kryesore: kodimi entropik dhe kodimi burimor.

• Bllok diagrami i mëposhtëm tregon një klasifikim të mundshëm të metodave të kodimit.

• Metodat e kodimit entropik bëjnë komprimimin pa humbje dhe mbështeten vetëm në vetitë statistikore të burimit të informacionit, kështu që nga ndonjë herë quhen edhe metoda statistikore.

• Metodat e kodimit burimor më shpesh bëjnë komprimimin me humbje, që do të thotë se në procesin e dekodimit nuk mund të bëhet rikonstruktimi i saktë i mesazhit burimor.

• Si të tilla këto metoda mbështeten në njohjen e karakteristikave të medieve që kodohen (p.sh., figura, zëri), si dhe perceptimet e tyre nga njeriu.

• Në praktikë rëndom shfrytëzohet kodimi hibrid, me të cilin në fillim një medium i caktuar kodohet duke shfrytëzuar një ose më tepër metoda të kodimit burimor, dhe pastaj në rezultatet nga hapi i tillë i parë, përdoret kodimi entropik (p.sh. JPEG, MPEG, MP3, dhe të gjitha metodat tjera të kodimit të figurës dhe të zërit punojnë duke u bazuar në këtë princip themelor).


Kodimi

K. burimor K. hibrid Kodimi entropik

K. i Hafmanit

K. aritmetikor

Metodat e fjalorit

Shkurtimi i vargut

LZ77

LZ78

LZW

Ngjeshja e zerove

Kodimi vargor

Nënmostrimi

Kuantizimi

Skalar

Vektorial

Kodimi i bazuar në model

Kodimi me transformim

K. diferencial (prediktiv)

Kodimi në nënbrez

Vetitë e metodave të kodimit entropik

• Parimi themelor e cilës do metode të kodimit entropik është paraqitja e shkurtuar e simboleve të shumëfishtë (simboleve që përsëriten) ose e vargut të simboleve nga mesazhi burimor.

• Të gjitha metodat e kodimit entropik kanë këto veti të përbashkëta: – mbështeten drejtpërdrejtë në teorinë e informacionit; – bëjnë kodim pa humbje; – herësi i komprimimit varet vetëm nga vetitë statistikore të burimit të

informacionit; – mesazhi konsiderohet vetëm si varg i vlerave të rastit; – nuk merren parasysh vetitë e medieve (për dallim nga kodimi burimor),

kështu që metodat e tilla nuk marrin parasysh se a kodohet figura, zëri ose teksti, duke konsideruar mesazhin si varg të vlerave të rastit të cilat i gjeneron burimi, ndërsa paraqitja e tyre përcaktohet me vetitë statistikore të burimit, përkatësisht me gjasat e paraqitjes së simboleve veç e veç.

Karakteristikat e burimit të informacionit

• Në teorinë e informacionit burimi i informacionit modelohet si proces stohastik ose i rastit në formë të ndryshoreve ose të variablave të rastit X1, X2 , …, Xi , …, Xn, prej të cilave secila mund të merr vlera nga alfabeti i fundmë {x1, x2, .., xm}.

• Procesi i tillë karakterizohet me shpërndarjen e gjasave të përbashkëta të paraqitjes së ndonjë vargu të variablave të rastit: P{(X1, X2, …, Xn) = (x1,

x2, …, xn)} = p(x1, x2, …, xi, …, xn), për çfarëdo vargu të vlerave (x1, x2, …, xi, …, xn), dhe për çfarëdo n N.

• Duke u nisur nga përshkrimi i tillë i burimit të informacionit, do të përkufizojmë dy burime të rëndësishme të informacionit: burimet stacionare dhe burimet ergodike.

Burimi stacionar

• Burimi është stacionar nëse vetitë e tij statistikore nuk ndryshojnë me kohën, dhe kjo veti e stacionaritetit të burimit matematikisht paraqitet si:

P{(X1, X2, …, Xn) = (x1, x2, …, xn)} = P {(X1+l, X2+l, …, Xn+l) = (x1, x2, …, xn)},

l N, (x1, x2, …, xn) Xn, n N.

• Pra, marrim në shqyrtim burimin si varg i variablave të rastit, dhe brenda këtij vargu shqyrtojmë dy nënvargje me gjatësi të njëjtë n, të larguar njëri nga tjetri për l vende të vargut.

• Burimi është stacionar nëse cilët do prej dy nënvargjeve të tilla kanë shpërndarje të njëjtë të gjasave të paraqitjes së variablave të rastit.

• Shembulli 6: Do të shqyrtojmë burimin stacionar, i cili gjeneron alternativisht simbole A dhe E, pra: AEAEAEAEAEAR…

Nëse në çdo hap burimi shton nga një simbol më tepër, do të fitohet: AEAAEEAAAEEEAAAAEEEEAAAAAEEEEE…. Shihet se vetitë statistikore të burimit të këtillë gjithmonë ndryshojnë,

kështu që burimi i tillë nuk është stacionar.

Burimi stacionar

• Shihet se burimin mund ta konsiderojmë si bashkësi e të gjitha vargjeve të simboleve që ai mund t’i gjenerojë, dhe nëse burimi është stacionar, shpërndarja e simboleve në cilindo vend në këto vargje do të jetë e njëjtë.

• Do të shqyrtojmë këtë në shembullin e burimit i cili gjeneron alternativisht simbolet A dhe E, dhe mund të fillojë vargun me A ose me E me gjasë të barabartë.

• Pra, bashkësia e vargjeve të cilat ky burim mund ti gjenerojë është: AEAEAEAEAEAEAE….. EAEAEAEAEAEAEA….. Pa marrë parasysh se cilin vend shqyrtojmë në këto vargje, në njërin varg

është simboli A, ndërsa në të njëjtin vend në vargun e dytë simboli E. • Nëse shqyrtojmë çiftin e simboleve të njëpasnjëshme, në cilin do vend në

njërin varg gjejmë AE, ndërsa në tjetrin EA. Njësoj vlen edhe për nënvargjet prej tre, katër dhe n simbolesh.

Burimi ergodik

• Në shembullin paraprak u pa se për burim stacionar shpërndarja e simboleve ndër ato vargje është e barabartë për cilin do vend në vargje, dhe shpërndarja e tillë quhet mesatare sipas bashkësisë.

• Prandaj, pasi që burimi është stacionar mund të konstatojmë se mesatarja sipas bashkësisë është 0.5 (pra shpeshtia e paraqitjes së A, AE, AEA në cilin do vend të vargjeve është e njëjtë dhe e barabartë me 50%).

• Përveç kësaj mesatareje ekziston edhe mesatarja sipas kohës për cilin do varg të simboleve nga bashkësia e vargjeve të mundshme, kështu që kjo mesatare për ndonjë simbol është shpeshtia e paraqitjes së atij simboli në një varg të caktuar.

• Njësoj mund të përkufizohet mesatarja sipas kohës edhe për çiftin e simboleve, si dhe për nëvargun prej tre, katër ose n simboleve.

• Burimi është ergodik nëse është stacionar dhe nëse për çdo simbol, si dhe për çdo nënvarg prej n simbolesh, mesatarja sipas bashkësisë është e

barabartë me mesataren sipas kohës.

Burimi ergodik

• Shembulli 7: Të shqyrtojmë burimin i cili në 1/3 e rasteve fillon vargun me simbolin A, në 1/3 e rasteve me simbolin B dhe në 1/3 e rasteve me simbolin E, ashtu që nëse fillon me A ose B, kemi përsëritjen alternative të pafund të këtyre dy simboleve, ndërsa nëse fillon me E, kemi përsëritjen e pafund të E-së.

• Prandaj, bashkësie e vargjeve të cilat ky burim mund t’i gjenerojë duket: – Vargu 1: ABABABABABAB.… – Vargu 2: BABABABABABA…. – Vargu 3: EEEEEEEEEE....

Mesataret sipas bashkësisë dhe sipas kohës për këtë burim janë në Tab.

Simbolet Mes. sipas kohës për vargun 1

Mes. sipas kohës për vargun 2

Mes. sipas kohës për vargun 3

Mes. sipas bashkësisë

A 1/2 1/2 0 1/3

B 1/2 1/2 0 1/3

E 0 0 1 1/3

Burimi ergodik

• Nga tab. shihet se ky burim është stacionar, pra vetitë e tij nuk ndryshojnë në funksion të kohës, por nuk është ergodik sepse mesataret sipas bashkësisë dhe sipas kohës janë të ndryshme.

• Nëse bëhet tabelë e ngjashme për burimin nga shembulli paraprak (që fillon me A ose E me gjasë të njëjtë, dhe vazhdon alternativisht), lehtë mund të shihet se burimi i tillë bëhet burim ergodik.

• Ergodiciteti është veti e rëndësishme sepse ajo dmth. se cili do varg, të cilin e prodhon burimi, do të ketë veti të njëjta statistikore, dhe vetitë e tilla nuk ndryshojnë në kohë (pra brenda vargut).

• Kjo veti në masë të madhe thjeshton shqyrtimet mbi kodimin e mesazheve që gjenerohen nga burimet e tilla.

• Metodat e kodimit entropik supozojnë që burimi të jetë ergodik.

Burimi ergodik

• Mund të vërejmë menjëherë se burimet e vërteta të informacionit (p.sh. njeriu si burim i sinjaleve të të folurit ose i tekstit, kamera e cila gjeneron figura…), nuk përmbushin përkufizimin e ergodicitetit dhe të stacionaritetit.

• Kështu, te sinjali i të folurit ndryshojnë dukshëm vetitë statistikore si në kohë (për shkak të karakteristikave të tingujve të zëshëm dhe të pazëshëm) ashtu edhe ndërmjet folësve të ndryshëm (për shkak të karakteristikave të ndryshme të zërit)

• Por, me disa përafrime të caktuara burimet e vërteta të informacionit janë mjaftë afër këtyre vetive, kështu që për ato të mund të përdoren metoda ose modele përkatëse matematikore, që janë rezultat i shqyrtimit të burimeve ideale ergodike.

Burimet me memorie

• Për dallim nga burimet pa memorie, te burimet me memorie gjasa e paraqitjes së simboleve varet nga një ose më tepër simbole që janë paraqitur paraprakisht, dhe së këndejmi ka vargje të simboleve që janë me gjasë më të madhe të paraqitjes se vargjet tjera.

• Kështu për shembull, nëse tekstin në ndonjë gjuhë e konsiderojmë si varg (sekuencë) e shkronjave (simboleve), atëherë për disa fjalë – vargjet e simboleve – paraqiten me shpesh, tjetërkund më rrallë, por ka edhe vargje të simboleve që nuk u përgjigjen fjalëve në atë gjuhë, kështu që gjasa e paraqitjes së atyre fjalëve është e neglizhueshme.

• Nëse e marrim në konsiderim të folurit si varg i mostrave të digjitalizuara të amplitudave të sinjalit të zërit, (p.sh. me 8000 mostra në sekondë), do të hasim në vargje të gjata të vlerave të vogla të amplitudave të cilat u përkasin pauzave ndërmjet fjalëve ose fjalive.

• Nëse figurën e digjitalizuar e vështrojmë si varg të pikave, ndërsa ngjyrën e çdo pike e konsiderojmë si një simbol, përsëri vërejmë vargje relativisht të gjata të simboleve të njëjta ose të ngjashëm të cilat u takojnë sipërfaqeve të ndonjë objekti njëngjyrësh në figurë.

• Në tehet e objektit në figurë kemi kërcim të vlerës së ngjyrës, por kërcimet e tilla janë relativisht të rralla në krahasim me gjithë sipërfaqen e figurës, kështu që mund të thuhet se gjasa e ndryshimeve të mëdha të vlerave të ngjyrës ndërmjet pikave fqinje është e vogël.

Burimet e Markovit

• Burimet me memorie shpesh mund të përshkruhen me anë të proceseve të Markovit, dhe si të tilla i quajmë burime të Markovit, të cilat i paraqesim përmes gjendjeve dhe të gjasave të kalimit nga një gjendje në tjetrën.

• Gjatë kalimit nga një gjendje në tjetrën mund të gjenerohet simboli, dhe në këtë mënyrë burimi i Markovit gjeneron vargun e simboleve.

• Rëndom proceset e Markovit paraqiten me grafin e gjendjeve dhe të gjasave të kalimit.

• Shembulli 8: Në fig. është treguar një proces i Markovit në formë të grafit të gjendjeve dhe të gjasave të kalimit, në nyjat e të cilit janë paraqitur gjendjet: A, B, C dhe D, ndërsa me shigjeta janë treguar kalimet e mundshme ndërmjet gjendjeve dhe simbolet (x,y,z,u,…) që ky burim gjeneron gjatë kalimit me gjasat përkatëse.

X;0.9

Z;0.5

A B

C D

U;0.5

V;0.5

W;0.5

t;0.9

Y;0.1

S;0.1

Burimet e Markovit

• Aty ku nuk ka shigjetë ndërmjet dy gjendjeve, gjasa e kalimit është zero (p.sh. nuk ka kalim nga B në A).

• Procesi fillon nga ndonjë gjendje, p.sh. gjendja A, dhe në çdo hap të procesit kalohet në gjendjen tjetër sipas gjasave të kalimit, në ç’rast gjenerohet simboli përkatës, p.sh. nëse procesi ka filluar nga gjendja A, në hapin e parë gjasa e kalimit në gjendjen B është 0.1, ndërsa kalimi përsëri në gjendjen A me gjasë 0.9.

• Të konsiderojmë se procesi përsëri ka kaluar në gjendjen A, në ç’rast është gjeneruar simboli x, duke vazhduar kështu më tutje në të njëjtën mënyrë.

X;0.9

Z;0.5

A B

C D

U;0.5

V;0.5

W;0.5

t;0.9

Y;0.1

S;0.1

Shembulli 9: Burimi binar i Markovit me memorie prej dy simbolesh

• Në fig. është treguar procesi i Makovit i ngjashëm me shembullin paraprak, me dallim që në këtë rast çdo gjendje tregon dy simbole paraprake, dhe simbolet që gjenerohen janë 0 dhe 1 (burimi është binar).

• Nëse gjendja 11 (dy simbolet paraprake janë 11), kalon në gjendjen 10 gjeneron simbolin 0, ashtu që gjendja momentale përsëri paraqet me dy simbolet e fundit, tash 10, por nëse mbetet në të njëjtën gjendje (fig. poshtë), gjendja e ardhshme është përsëri 11.

• Në këtë shembull gjasat janë të mëdha që të gjenerohet i njëjti simbol, kështu që sekuenca tipike do të ishte: 00000000011111111000111111000000.

00 01

10 11

1;0.5

0;0.5

1;0.5

1;0.9

1;0.1

0;0.1

0;0.9

0;0.5

Simboli i ri Gjendja e ardhshme

Simbolet paraprake që gjithashtu paraqiten edhe në rrathë të gjendjeve

Llojet e kodeve: kodet josingular, të njëvlershëm dhe kodet parashtesorë (momentalë)

• Kodimi do të mund të përkufizohej edhe si pasqyrim nga bashkësia e simboleve X në bashkësi të fjalëve të koduara D*, ku çdo fjalë e koduar përbëhet prej një numri të caktuar të simboleve nga alfabeti prej d simbolesh.

• Pra, kodimi është proces me të cilin çdo simboli xi i caktohet fjala e koduar C(xi), në ç’rast çdo fjalë e koduar C(xi), është bashkësi e kufizuar e simboleve nga alfabeti prej d simbolesh: ni xxxxX ,...,,....,, 21

)( i

KODIMI

i xCXx ,,,...,,,)( 21

*

di aaaDDxC ku D është alfabeti prej d simbolesh.

• Në përdorimet praktike në lëmin e teknologjive komunikuese dhe informative, alfabeti D është gati gjithmonë binar, pra d =2, ndërsa D = {0,1}.

Gjatësia mesatare e fjalëve të koduara

• Gjatësia e fjalëve të koduara C(xi) është numri i simboleve që e përbëjnë atë fjalë të koduar dhe shënohet me l(xi) ose shkurt li.

• Gjatësia mesatare e fjalëve të koduara, L, për ndonjë kod është:

n

i

iii

n

i

i simbolbitlpxlxpL11

./

• Në rastin e ndonjë mesazhi prej N simbolesh, për mesazhe të gjata, kur N është i madh, numri i pritur i paraqitjes së simboleve xi, e me te edhe i fjalës përkatëse të koduar C(xi), është proporcional me gjasën e paraqitjes pi, pra Npi.

• Kur numri i pritur i paraqitjeve të çdo fjale të koduar shumëzohet me gjatësinë e fjalës së koduar, dhe këto mblidhen sipas të gjitha fjalëve të koduara, numri i pritur i simboleve në mesazhin e koduar është NL, pra sa gjatësia e mesazhit të koduar.

• Prandaj, gjatësia mesatare e fjalëve të koduara ose, më shkurtë, gjatësia mesatare e kodit është masë e mirë e efikasitetit të kodit.

Shembulli 10

• Do të marrim përsëri në shqyrtim shembullin 5 ku burimi gjeneron simbole nga bashkësia X = {1, 2, 3, 4} me gjasat përkatëse: 1/2, 1/4, 1/8, 1/8.

Për kodin e përdorur (0, 10, 110, 111) në shembullin 5 kemi njehsuar gjatësinë mesatare të fjalëve të koduara L = 1.75 bit/simbol, e cila ka qenë e barabartë me entropinë e këtij burimi, kështu që konstatojmë se nuk ekziston kod me gjatësi mesatare më të vogël të fjalëve të koduara.

• Shembulli i tillë qartë tregon përdorimin e drejtë të fjalëve të koduara me gjatësi të ndryshme, sepse nëse do të përdornim mënyrën më të thjeshtë të kodimit të fjalëve duke përdorur dy bite për simbol, në formën: 00, 01, 10, 11, do të fitonim gjatësi mesatare të fjalës së koduar (të barabartë me 2) më të madhe se 1.75 bit/simbol.

Shembulli 11

• Të marrim burimin që gjeneron simbole nga bashkësia X = {1, 2, 3},

me gjasë të njëjta të paraqitjes, të barabartë me 1/3, dhe me fjalë të koduara: 0, 10, 11.

Mund të llogarisim entropinë e këtij burimi, si dhe gjatësinë mesatare për kodin e dhënë:

,]/[58.13/1)(1

n

i

ii simbolbitldldppXH

}./[66.123

12

3

11

3

1

1

simbolbitlpLn

i

ii • Shihet se në këtë rast gjatësia mesatare e fjalëve të koduara është më e madhe se entropia, por akoma është mjaftë më e vogël se në rastin e përdorimit të fjalëve të koduara me gjatësi të njëjtë, sepse në atë rast do të ishte e nevojshme të përdoren 2 bite për simbol.

Llojet e kodeve

• Përkufizimi i kodimit nuk vendos kufizime për mënyrën e fjalëve të koduara. • Kështu p.sh., caktimi i një fjale të njëjtë (p.sh. “1”) për çdo simbol të

mesazhit, me çka për cilën do mesazh të burimit fitojmë mesazhin e koduar të formës së njëjtë (“1111…”), është një formë e mundshme e kodimit, e cila si e tillë është e papërdorshme në praktikë.

• Prandaj do të përkufizojmë disa veti të cilat kodet i bëjnë të përdorshëm në praktikë.

• Me shtimin e vetive shtesë kodet klasifikohen në lloje të kodeve që janë nënbashkësi gjithnjë e më të ngushta të të gjitha kodeve (fig.).

• Kështu kodet josingulare janë nënbashkësi e të gjitha kodeve; kodet njëvlerësisht të dekodueshëm janë nënbashkësi e kodeve josingular me disa veti shtesë, ndërsa kodet parashtesorë (momentalë) janë nënbashkësi e kodeve njëvlerësisht të dekodueshëm.

Kodet josingular

• Kodi është josingular nëse çdo simboli i caktohet fjalë e ndryshme e koduar:

).()( jiji xCxCxx • Josingulariteti i kodit nuk është garanci që ai të jetë njëvlerësisht i dekodueshëm, pra që çdo varg i fjalëve të koduara të mundet të dekodohet njëvlerësisht.

• Shembulli 12: Të marrim në konsiderim alfabetin prej tre simbolesh, A, B, C, të koduar me fjalët: C(A) = 0, C(B) = 01 dhe C(C) = 1.

Këto tri fjalë të koduara janë të ndryshme, pra kodi është josingular, por vargun e koduar me kodin e këtillë nuk mund ta dekodojmë njëvlerësisht. Kështu p.sh., vargun e simboleve “ABC” do ta kodonim me mesazhin e koduar “0011”, por gjatë dekodimit do të ishte e pamundur të caktohet se a ka qenë mesazhi i burimit “ABC” ose “AACC”. Problemi konsiston në atë se nuk dihet se si të ndahen fjalët e koduar pa ndonjë simbol të veçantë që ndan ato. Simboli i tillë pas çdo fjale të koduar do të ishte shumë joefektiv, por fatmirësisht ekzistojnë lloje të kodeve të cilat këtë problem e zgjidhin në mënyrë elegante.

Kodet njëvlerësisht të dekodueshëm

• Duke u nisur nga fakti se kodi paraqet pasqyrimin e simboleve në fjalë të koduara, kodim i zgjeruar është pasqyrim nga vargu i simboleve në varg të fjalëve të koduara, ashtu që çdo simbol i vargut kodohet në një fjalë të koduar, pra: )(xCx

KODI ).()...()()....(... 21212 nn

ZGJERUARIKODIM

ni xCxCxCxxxCxxx

• Kodimin e zgjeruar mund ta kuptojmë si kod të përkufizuar në alfabetin e zgjeruar, ku elementet e alfabetit të zgjeruar janë të gjitha vargjet e mundshëm të simboleve bazë.

• Përkufizimi i kodit të zgjeruar është i nevojshëm për të përkufizuar kodet njëvlerësisht të dekodueshëm.

• Kodi është njëvlerësisht i dekodueshëm nëse zgjerimi i tij është josingular.

• Pra, kodi është njëvlerësisht i dekodueshëm nëse për cilat do dy mesazhe të ndryshme gjeneron dy mesazhe të ndryshme të koduara, dhe kodin e tillë gjithmonë është e mundur t’a dekodojmë njëvlerësisht.

Shembulli 13: Kodi njëvlerësisht i dekodueshëm

• Do ta marrim përsëri në shqyrtim shembullin e mëparshëm të alfabetit me tre simbole, A, B, C, por tash me fjalët e koduara C(A) =0, C(B) = 01 dhe C(C) = 011.

• Vargjet e koduar me kodin e këtillë gjithmonë mund t’i dekodojmë njëvlerësisht. Për shembull, vargu i simboleve “ABC” do të kodohej me mesazhin e koduar “001011”. Ky mesazh është i njëvlershëm, pra nuk mund të dekodohet kurrsesi ndryshe por vetëm si “ABC”.

• Por, është e rëndësishme të thuhet se është e domosdoshme të kemi mesazhin e tërë në mënyrë që ai të mund të dekodohet njëvlerësisht, sepse në momentin e pranimit të tre simboleve të para “001”, nuk mund të jemi të sigurt se mund t’a dekodojmë si “AB”, për arsye se nëse simboli i ardhshëm është 1, do të kemi “0011”, pra “AC”.

• Pra kodet e këtilla nuk mundet gjithmonë të dekodohen momentalisht, para pranimit të fjalëve të koduara që pasojnë (prandaj kodet e tilla quhen edhe kode jomomentale).

Kodet parashtesorë (momentalë)

• Kodi parashtesor është kod te i cili asnjë fjalë e koduar nuk është parashtesë (prefiks) e ndonjë fjale tjetër të koduar. Në këtë mënyrë zgjidhet problemi nga shembulli paraprak dhe arrihet vetia që çdo fjalë e koduar të mund të dekodohet momentalisht pa pritur ardhjen e fjalëve të koduara që pasojnë. Prandaj kodet e këtilla quhen edhe kode momentale. Kjo veti e dobishme është rezultat i drejtpërdrejtë i përkufizimit të kodit parashtesor.

• Në momentin kur e dallojmë një fjalë të koduar, e dimë se ajo nuk është parashtesë e asnjë fjale tjetër, kështu që është e pamundur që cili do simbol i ardhshëm së bashku me fjalën e dekoduar të formojnë ndonjë fjalë tjetër të koduar.

• Prandaj, dekodimi i fjalëve të koduara është i menjëhershëm (momental) dhe përfundimtar.

• Nëse përsëri marrim në shqyrtim shembullin paraprak, shohim që fakti se fjalët e koduara janë parashtesë e njëra tjetrës (0 është prefiks i 01, ndërsa 01 i 011) është pikërisht shkak i pamundësisë së kodimit momental.

• Në momentin kur pranojmë “01” nuk dihet a është fjala e koduar 01 ose tek fillimi i fjalës së koduar 011.

• Te kodet parashtesorë kjo nuk mund të ndodh, sepse nga vetë përkufizimi, fjala e koduar nuk mund të jetë fillim i ndonjë fjale tjetër.

SIMBOLI

(xi) LLOJI I KODIT

Singular Josingular Njëvlerësisht i

dekodueshëm

Parashtesor

1 0 0 10 0

2 0 010 00 10

3 0 01 11 110

4 0 10 110 111

“1234” 0000 00100110 100011110 010110111

I dekoduar pas pranimit të

të gjithë simboleve ? ? 1234 1234


6 simboleve të para ? ? ?(123 ose 124) 123

Shembulli 14: Llojet e kodeve

• Tabela e mëposhtme jep shembuj të të gjitha llojeve të kodeve për alfabetin prej katër simbolesh. Tri rreshtat e fundit në tabelë tregojnë se si e kodon çdo kod vargun “1234”, si dekodohet mesazhi i koduar, dhe se si do të dekodoheshin 6 simbolet e para të mesazhit të koduar. Shembulli i kodit singular jep të njëjtat fjalë të koduara për të katër simbolet, duke koduar “1234” si “0000” kështu që si i tillë nuk është njëvlerësisht i dekodueshëm.

SIMBOLI

(xi) LLOJI I KODIT

Singular Josingular Njëvlerësisht i

dekodueshëm

Parashtesor

1 0 0 10 0

2 0 010 00 10

3 0 01 11 110

4 0 10 110 111

“1234” 0000 00100110 100011110 010110111


të gjithë simboleve ? ? 1234 1234


6 simboleve të para ? ? ?(123 ose 124) 123

Shembulli 14: Llojet e kodeve

• Te kodi josingular çdo fjale të koduar i caktojmë fjalë të ndryshme të koduar, por kjo akoma është e pamjaftueshme për dekodim të njëvlershëm – mesazhi i koduar “00100110” mund të dekodohet në disa mënyra të ndryshme, p.sh., “12434”, “13134”, etj. Kodi i njëvlershëm mund të dekodohet njëvlerësisht kur është në dispozicion mesazhi i plotë, por gjatë dekodimit të 6 simboleve të para nuk dihet se a është fjala për vargun 123 ose 124 deri në momentin kur të arrijë simboli i ardhshëm. Vetëm kodin parashtesor mund ta dekodojmë njëvlerësisht pas çdo fjale të koduar.

Kodimi optimal

• Nga ajo që u tha deri tash shihet se për përdorim praktik më të

përshtatshëm janë kodet parashtesorë (momentalë).

• Do të shqyrtojmë gjatësinë minimale të fjalëve të koduara të nevojshme për realizimin e kodit parashtesor, dhe do të gjejmë sa duhet të jenë gjatësitë e tilla për t’u realizuar kodim optimal për ndonjë burim, pra të tillë që mesazhet e burimit të tillë të kodohen me numrin më të vogël të mundshëm.

• Për t’u përgjigjur në pyetjet e tilla së pari do të njihemi me teoremën për

gjatësinë minimale të fjalëve të koduara të nevojshme për realizimin e kodit parashtesor, të njohur si jobarazim i Kraftit, për të shtruar pastaj kushtin e

përgjithshëm për optimalizim të kodit, nga i cili del gjatësia mesatare e fjalëve të koduara që mund të arrihet me kodin optimal.

Jobarazimi i Kraftit

• Për çdo kod parashtesor me alfabet prej d simbolesh (baza e kodit) dhe

gjatësi të fjalëve të koduara l1, l2,…, ln vlen:

11

n

i

lid

• Vlen edhe e kundërta, për çfarëdo bashkësie të gjatësive të fjalëve të koduara li, të cilat e përmbushin këtë jobarazim, ekziston kodi parashtesor me gjatësi të tilla të fjalëve të koduara.

• Kjo teoremë, vërtetimi i të cilës është i lehtë, dhe është bërë në shumë referenca, quhet jobarazim i Kraftit dhe përcakton gjatësinë minimale të fjalëve të koduara të nevojshme për realizimin e kodit parashtesor.

Shembulli 15: Jobarazimi i Kraftit

• Do të shqyrtojmë shembullin paraprak të kodit parashtesor për katër simbole. Fjalët e koduara janë {0, 10, 110, 111}, pra gjatësitë e tyre janë 1, 2, 3, 3. Alfabeti me të cilin i realizojmë fjalët e koduara është binar, pra d = 2. Shihet se është plotësuar jobarazimi i Kraftit:

n

i

li

1

,12

• Pasi që në këtë rast shuma është e barabartë pikërisht me 1, çdo tentim i shkurtimit të kodit, pra i shkurtimit të njërës prej fjalëve të koduara, do të rriste shumën mbi 1, me çka jobarazimi i Kraftit nuk do të përmbushej, kështu që është e pamundur të gjendet kod parashtesor me gjatësi më të shkurtër të fjalëve.

.12222 3321

Shembulli 16: Jobarazimi i Kraftit

• Si shembull tjetër, do të supozojmë se kërkojmë kodin për tre simbole, pra kodin për të cilin duhen tri fjalë të koduara.

• Përsëri shfrytëzojmë alfabetin binar për fjalët e koduara, kështu që jobarazimin e Kraftit mund ta përmbushim në këtë mënyrë:

.1222 221

• Prej nga del se duhet të ekzistojë kodi parashtesor me gjatësi të fjalëve të koduara 1, 2, 2, dhe në shembullin e këtillë gjejmë se kodet e këtilla janë: {0,

10, 11} dhe {1, 01, 00}.

• Sikurse në shembullin paraprak, nuk mund të gjendet kod më i shkurtër, sepse çdo tentim i shkurtimit rezulton me mospërmbushjen e jobarazimit të Kraftit, dhe si i tillë nuk është parashtesor, p.sh. kodi {0, 1, 11}, i cili nuk është kod parashtesor sepse fjala e dytë e koduar (1) është parashtesë e fjalës së tretë (11), kështu që kodi i tillë nuk mund të dekodohet njëvlerësisht.

Kodet optimale

• Jobarazimi i Kraftit vendos kushtin për gjatësinë e fjalëve të koduara që janë të nevojshme për realizimin e kodit parashtesor, i cili mund të dekodohet momentalisht dhe njëvlerësisht.

• Por, për një bashkësi të caktuar të simboleve mund të ekzistojnë numër më i madh i kodeve të cilat përmbushin jobarazimin e Kraftit.

• Në shembullin 15 koduam katër simbole me fjalët e koduara {0, 10, 110, 111}; mundësia tjetër për caktimin e fjalëve të koduara do të ishte p.sh. {111, 0, 10, 110}.

• Dy kodet e tilla, si dhe disa të tjerë, janë kode të rregullt parashtesorë, kështu që shtrohet pyetja si të gjendet kodi optimal.

• Pra, është qartë se dëshirojmë që kodi të jetë sa më i shkurtër, kështu që kod

optimal është kodi parashtesor me gjatësi të fjalëve të koduara mesatare më të vogël të mundshme.

• Pra, gjatësitë optimale të fjalëve të koduara li* janë të tilla që minimizojnë gjatësinë mesatare të fjalëve të koduara, në ç’rast përmbushin jobarazimin e Kraftit:

n

i

ln

i

iiidkushtmelpL

11

.1min

Kodet optimale

• Principi i zgjidhjes së problemit të optimizimit jepet në referenca të ndryshme, ndërsa këtu do të japim vetëm zgjidhjen për gjatësinë optimale të fjalëve të koduara li*:

).(loglog1

XHppLpl i

n

i

diidi

• Por, kjo zgjidhje nuk përfillë kufizimin që li duhet të jenë numra të plotë, kështu që me përdorimin e drejtpërdrejtë të kësaj zgjidhjeje në rastin e përgjithshëm fitojmë gjatësi të fjalëve të cilat nuk janë numra të plotë, dhe si të tilla nuk mund t’i përdorim.

• Vetëm në rastin ideal të “shpërndarjes së mirë” të gjasave, të gjitha vlerat log

pi do të jenë numra të plotë, kështu që do të jetë e mundur të realizohet kod me gjatësi mesatare të fjalëve të koduara të barabartë me entropinë.

• Në rastin e përgjithshëm, gjatësia mesatare e fjalëve të koduara mund të jetë më e madhe ose e barabartë me entropinë, dhe së këndejmi shihet rëndësia e entropisë si kufi i komprimimit pa humbje, siç është thënë paraprakisht.

Kodet optimale

• Është e pamundur të kodohet informacioni me numër më të vogël se entropia e tij, pra

).(XHL • Kur gjatësitë e fjalëve të koduara nuk do të duhej të ishin numra të plotë, do të mund të arrihej gjithmonë L = H, por për shkak të kufizimit në gjatësi të plota të fjalëve të koduara, nuk mundet gjithmonë të arrihet ai minimum, por mund të arrihet gjatësia mesatare brenda entropisë prej një biti.

• Për kodet optimale gjatësia mesatare e fjalëve të koduara është më e madhe se entropia vetëm për një bit maksimalisht, dhe në këtë mënyrë fitojmë kriterin ose kushtin sipas të cilit caktohet që një kod të jetë optimal:

H(X) ≤ L < H(X) + 1.

• Efikasiteti i kodit përkufizohet si herës i entropisë dhe i gjatësisë mesatare të fjalëve të koduara:

.1)(

L

XH

(30)

Metodat e kodimit entropik

• Metodat themelore të kodimit entropik janë:

– Kodimi i Shanon-Fanos;

– Kodimi i Hafmanit;

– Kodimi aritmetikor;

– Medotat e fjalorit (LZ77, LZ78, LZW);

– Metodat e shkurtimit të vargut (ngjeshja e zerove dhe kodimi vargor).

• Metodat e tilla shfrytëzohen brenda algoritmeve dhe të normave të përbëra, dhe lista e tillë nuk është definitive, sepse këtu janë zgjedhur ato metoda të kodimit entropik të cilat përdoren më tepër në përdorimet praktike. • Përjashtim bënë metoda e Shanon-Fanos, e cila kryesisht nuk përdoret në praktikë, por paraqet një prej hapave në zhvillimin e metodave të kodimit dhe thjeshtësia e sajë lehtëson përvetësimin e principeve themelore të kodimit. • Kodimi i Hafmanit është metodë relativisht e thjeshtë dhe shpesh përdoret për gjetjen e kodit optimal kur dihen vlerat e e gjasave të paraqitjes së simboleve.

Metodat e kodimit entropik

• Kodimi aritmetikor e shndërron mesazhin e tërë në një fjalë të koduar; është dukshëm më i komplikuar, por në përgjithësi mund të japi rezultate më të mira se kodi i Hafmanit.

• Metodat e fjalorit kanë përparësi sepse gjasat e paraqitjes së simboleve nuk duhet të jenë të njohura paraprakisht, dhe janë të përshtatshme për burimet me memorie.

• Metodat e shkurtimit të vargut janë metodat më të thjeshta se të gjitha metodat tjera të përmendura paraprakisht, dhe shfrytëzohen kur brenda mesazhit paraqiten vargje të gjata të simboleve të njëjta.

Kodimi i Shanon-Fanos

• Kodimi i Shanon -Fanos është njëri prej algoritmeve të parë të kodimit i bazuar në teorinë e informacionit, i cili, pasi që nuk jep gjithmonë kod optimal, përdoret shumë rrallë në praktikë, por është i dobishëm si hyrje në kodim për shkak se është i thjeshtë.

• Kodimi i Shanon -Fanos bazohet në këto karakteristika të dëshirueshme të kodit:

(1) Asnjë fjalë e koduar nuk mund të jetë prefiks (parashtesë) i ndonjë fjale tjetër të koduar.

(2) Në mesazhin e koduar synojmë që shifrat binare 0 dhe 1 të paraqiten me gjasa të barabarta.

• Kërkesa (1) në të vërtetë është përkufizimi i kodit parashtesor, ndërsa nëse plotësohet kërkesa (2), atëherë entropia e mesazhit të koduar në atë mënyrë do të jetë afër maksimumit, sepse, siç dihet, entropia maksimale arrihet me shpërndarjen e njëtrajtshme të gjasave të simboleve.

Kodimi i Shanon-Fanos

• Nëse zerot dhe njëshat në mesazh paraqiten me gjasë të njëjtë, atëherë çdo shifër binare e mesazhit bartë mesatarisht një bit të informacionit, gjë që teoritikisht paraqet maksimumin që mund të arrihet.

• Me metodën e Shanon-Fanos për kodim plotësohen kërkesat (1) dhe (2) në këtë mënyrë:

• Simbolet e alfabetit renditen sipas gjasave në rënie të paraqitjes, për tu ndarë pastaj në dy grupe, ashtu që shuma e gjasave të paraqitjes së simboleve të njërit dhe të grupit tjetër të jenë të njëjta.

• Simboleve të njërit grup, si fillim i fjalës së koduar, u caktohet shifra binare 0, ndërsa simboleve të grupit të dytë shifra binare 1.

• Procedura më tutje përsëritet brenda çdo grupi, deri sa grupet nuk mbesin me një simbol, shih shembullin e mëposhtëm.

Shembulli 17: Kodimi i Shanon-Fanos

xi p(xi) Hapi 1 Hapi 2 Hapi 3 Hapi 4 Fjala e koduar

Gjatësia e fjalës së koduar

x1 0.25 0 0 00 2

x2 0.25 0 1 01 2

x3 0.125 1 0 0 100 3

x4 0.125 1 0 1 101 3

x5 0.0625 1 1 0 0 1100 4

x6 0.0625 1 1 0 1 1101 4

x7 0.0625 1 1 1 0 1110 4

x8 0.0625 1 1 1 1 1111 4

Gjatësia mesatare e fjalëve të koduara 2.75

• Kodohen simbolet xi, gjasat e paraqitjes p(xi) e të cilëve janë dhënë në tabelë, ku janë treguar hapat e kodimit dhe fjalët përfundimtare për çdo simbol.

• Në hapin e parë simbolet janë ndarë, me vijë të trashë në tabelë, në dy grupe – dy simbolet e parë në njërën, ndërsa gjashtë të tjerët në grupin e dytë.

• Simboleve të grupit të parë u caktohet shifra binare 0, ndërsa të dytës 1.

Shembulli 17: Kodimi i Shanon-Fanos

• Në hapin e dytë procedura përsëritet për çdo nëngrup të formuar si në hapin e parë, kështu që pas këtij hapi simbolet x1 dhe x2 formojnë grupin prej një simboli, dhe si të tillë nuk mund të ndahen më tutje, prandaj procedura për simbolet e tilla përfundon, ndërsa për të tjerët përsëritet.

• Të marrim në shqyrtim përsëri hapin 2, pas të cilit simbolet x1 dhe x2 kanë fjalë përfundimtare të koduara prej dy shifrash binare, ndërsa simbolet tjerë në hapat e ardhshëm fitojnë shifra shtesë binare.

• Pasi që simbolet x1 dhe x2 në hapin e parë kanë marrë shifrën 0, ndërsa të gjithë të tjerët shifrën 1, fjalët e koduara të simboleve x1 dhe x2 nuk mund të jenë parashtesë e asnjë fjale tjetër të koduar, kështu që plotësohet kushti (1). Kushti (2) plotësohet duke ndarë simbolet në grupe me gjasë të barabartë të paraqitjes.

• Në këtë shembull mund të llogaritet entropia e burimit, e cila është H = 2.75 bit/simbol, e që është e barabartë me gjatësinë mesatare për kodin e tillë L = 2.75 bit/simbol, prandaj kodi i tillë sipas kriterit (30) është kod optimal dhe ka efikasitet të barabartë me 1 – pra nuk mund të ketë kod më efikas se ky.

• Shembulli i tillë është rast ideal për kodimin e Shanon-Fanos, ku në çdo hap është e mundur ndarja e simboleve në grupe me gjasa të barabarta të paraqitjes, që në situata reale ky rast nuk haset shpesh, prandaj kjo metodë nuk jep rezultate aq të mira, por as kodi i fituar nuk është gjithmonë kod optimal.

Kodimi i Hafmanit

• Ky algoritëm i njohur e ka marrë emrin sipas autorit të tij D. A. Huffman, sipas të cilit simbolet kodohen me fjalë të koduara me gjatësi të ndryshueshme, varësisht nga gjasat e paraqitjes së tyre.

• Është me rëndësi të theksohet se gjasat duhet të dihen paraprakisht për të realizuar kodin e Hafmanit, i cili është kod optimal, pra kod me gjatësi mesatare më të vogël të mundshme të gjatësisë së fjalës, brenda entropisë prej një biti.

• Kodimi i Hafmanit bazohet në këto dy teorema:

(1) Te kodi optimal, simbolet me gjasë më të madhe të paraqitjes nuk

mund të kenë fjalë më të gjata të koduara në krahasim me simbolet me

gjasë më të vogël të paraqitjes.

(2) Te kodi optimal, dy simbole me gjasa më të vogla të paraqitjes kanë

fjalë të koduara me gjatësi të barabartë (vlen për kodin parashtesor).

Vërtetësia e teoremës (1) është evidente: nëse do të ishte e kundërta, gjatësia mesatare e fjalëve të koduara do të ishte më e madhe, kështu që kodi nuk do të ishte optimal.

Kodimi i Hafmanit

• Teorema (2) mund të vërtetohet thjeshtë duke supozuar të kundërtën, pra duke supozuar se ekziston kodi optimal parashtesor ku dy fjalë të koduara me gjasë më të vogël të paraqitjes nuk kanë gjatësi të njëjtë, p.sh., fjala e koduar A le të ketë k bita më tepër se fjala e koduar B.

• Pasi bëhet fjalë për kod parashtesor, B sigurisht nuk është parashtesë e A, kështu që nëse nga fjala e koduar A i heqim k bitët e fundit, A dhe B do të jenë edhe më tutje të ndryshme. Gjithashtu, pasi që fjalët tjera të koduara nuk mund të jenë më të gjata se sa fjala e shkurtuar A, sepse kanë gjasë më të madhe të paraqitjes (pra në kodin optimal duhet të jenë më të shkurtra), nuk ka rrezik që fjala e shkurtuar A të jetë parashtesë e ndonjë fjale tjetër.

• Prandaj, kodi i ri me fjalën e shkurtuar A është kod i vërtetë parashtesor, gjatësia mesatare e të cilit është më e vogël se te kodi fillestar me gjatësi të ndryshme të fjalëve të koduara A dhe B.

• Nga një shqyrtim i tillë shihet se nuk ekziston kod optimal te i cili dy fjalët e koduara me gjasë më të vogël nuk kanë gjatësi të barabartë, kështu që vlen pohimi ose teorema (2).

• Rezultat i caktimit të fjalëve më të shkurtra të koduara për simbolet me gjasë më të madhe është paraqitja ose regjistrimi më e ngjeshur (p.sh., teksti tipik ngjishet ose komprimohet për 45%).

Kodimi i Hafmanit

• Procedura e kodimit të Hafmanit është rezultat i vetive të përmendura (1) dhe (2) për kodet optimale.

• Gjejmë dy simbole me gjasa më të vogla, të cilat pasi që duhet të kenë fjalë të koduara me gjatësi të njëjtë mund t’i realizojmë ashtu që njëri të përfundojë me 0 ndërsa tjetri me 1. Këtë e përshkruajmë, dhe kombinojmë këto dy simbole në një simbol të ri (duke mbledhur gjasat përkatëse) dhe përsërisim procedurën.

• Me këtë procedurë të degëzimit fitojmë pemën; ashtu që duke u kthyer nëpër pemë lexojmë kodet për të gjitha simbolet.

• Për dekodim, dekoduesit i shërben e njëjta tabelë e fjalëve të koduara, të cilën e ndërtojmë në procedurë të njëjtë sikurse te koduesi, me ç’rast është e nevojshme që edhe te dekoduesi të dihen gjasat e paraqitjes së simboleve.

Kodimi i Hafmanit

• Procedura e kodimit të Hafmanit është treguar në gjashtë hapat e mëposhtëm.

1. Simbolet renditen sipas gjasave në rënie (duke filluar nga më e madhja);

2. Gjenden dy simbole me gjasa më të vogla;

3. Njërit prej tyre i caktohet shifra “0”, tjetrit shifra “1”; 4. Kombinohen dy simbolet e tilla në një simbol të ri, gjasa e të cilit është

e barabartë me shumën e gjasave të paraqitjes së dy simboleve prej të cilëve është fituar, dhe shënohen si dy degë të pemës binare, ndërsa simbolin e ri si degëzim mbi ato degë;

5. Përsëriten hapat (1) deri në (4) deri sa nuk fitohet vetëm një simbol i ri;

6. Duke u kthyer nëpër pemë lexohen kodet.

Kodimi i Hafmanit

Kodimi i Hafmanit

Kodimi i Hafmanit

Shembulli 18: Kodimi i Hafmanit

• Për burimin i cili gjeneron simbolet nga bashkësia {A, B, C, D, E}, me gjasat e paraqitjes p(A) = 0.16, p(B) = 0.51, p(C) = 0.09, p(D) = 0.13, p(E) = 0.11, nëse shfrytëzojmë kodin me gjatësi të njëjtë të fjalëve të koduara, do të duhej shfrytëzuar tre bita, sepse me 2 bita mund të formojmë vetëm 22=4 fjalë të koduara, ndërsa në këtë shembull janë pesë simbole, kështu që gjatësia mesatare e fjalëve të koduara do të ishte 3 bita për simbol.

• Me zëvendësimin e gjasave të paraqitjes në shprehjen për entropi, fitohet vlera e entropisë së burimit të këtillë e barabartë me 1.96 bita për simbol, e cila siç dihet është edhe kufiri i poshtëm i gjatësisë mesatare të kodit.

• Është e qartë se kodimi me gjatësi të fjalës së koduar të barabartë për të gjitha simbolet do të ishte relativisht joefikas, kështu që do të përdorim algoritmin e Hafmanit për të gjetur kodin optimal.

• Simbolet së pari renditen sipas gjasave në rënie, dhe dy simbole me gjasa më të vogla të paraqitjes E dhe C u caktojmë shifrat 1 dhe 0, për ti kombinuar në vazhdim në një simbol të ri.

• Simbolet E dhe C paraqesin dy degë të pemës së ardhshme ku shënojmë shifrat e caktuara 1 dhe 0, dhe në ndarje të degëve të tilla shënojmë shumën e gjasave të simboleve E dhe C, 0.20, që paraqet simbolin e ri.


• Të gjitha këto hapa janë treguar në fig. lartë.

• Procedura pastaj vazhdon me grupin e zvogëluar, që përbëhet prej tre simboleve fillestare dhe simbolit të ri.

• Vlerat më të vogla të gjasave të paraqitjes tash i kanë simbolet A dhe D, të cilëve u caktojmë shifrat 1 dhe 0 dhe degët përkatëse, duke fituar simbolin e ri me gjasën përkatëse prej 0.29, që është shumë e gjasave të simbolit A dhe D, shih fig poshtë.

p(B) = 0.51

p(A) = 0.16

p(D) = 0.13

p(E) = 0.11

p(C) = 0.09 0

1 0.20

p(B) = 0.51

p(A) = 0.16

p(D) = 0.13

p(E) = 0.11

p(C) = 0.09

0.51

0

0.16

0.13

1 0.20

0.29 1

0


• Ka mbetur simboli B dhe dy simbolet e rinj të fituar, të cilët gjithashtu kanë edhe vlerat më të vogla të gjasave, kështu që për ato përsërisim procedurën, shih fig.

p(B) = 0.51

p(A) = 0.16

p(D) = 0.13

p(E) = 0.11

p(C) = 0.09

0.20

0.13

0.16

0.51

0.20

0

1 0.51

0.29 1

0

0.49


• Përfundimisht, kemi grupin prej vetëm dy simbolesh, të cilëve duke u caktuar shifrat 1 dhe 0, i bashkojmë në një simbol të ri me shumën e gjasave të barabartë me 1.00, me çka përsëritja përfundon.

• Mbetet të lexojmë fjalët e koduara, të shënuara në anën e majtë të fig, duke filluar nga maja e pemës, pra nga e djathta në të majtë, prej nga shihet se simboli B, ashtu siç është pritur, është koduar me fjalë më të shkurtër të koduar, sepse ka gjasë më të madhe të paraqitjes.

B….1 p(B) = 0.51

A….011 p(A) = 0.16

D….010 p(D) = 0.13

E….001 p(E) = 0.11

C….000 p(C) = 0.09

0

1 0.20

0.51

0.16

0.13 0

1 0.29

0.20

0.51

0

1

0.49

0.51

0

1

1.00


• Me shprehjen e njohur për gjatësi, njehsojmë gjatësinë mesatare të fjalëve të koduara për kodin e fituar të Hafmanit:

,]/[98.1151.03)16.013.011.009.0( Xx

xx simbolbitlpL

ku x janë simbolet, px është gjasa e paraqitjes së simbolit x, ndërsa lx gjatësia e fjalës së koduar x.

• Shihet se gjatësia mesatare e fjalëve të koduara për këtë kod është shumë afër vlerës së njehsuar paraprakisht për entropi H = 1.96 bit/simbol.

• Kur dihet se entropia është kufiri absolut i komprimimit pa humbje, përfundojmë se ky kod është i mirë.

• Gjithashtu pasi që plotësohet kushti (30), pra: 1.96 < 1.98 < 1.96 + 1, kodi i tillë është kod optimal.

Vetitë e kodimit të Hafmanit

• Kodimi i Hafmanit jep rezultate ideale në rastin kur gjasat e paraqitjes së simboleve shpërndahen në formën 1/2, 1/4,…, 1/2n, 1/2n (p.sh. {1/2, 1/4, 1/4} ose {1/2, 1/4, 1/8, 1/8}), për të cilën gjatësia mesatare e kodit të Hafmanit është e barabartë me entropinë.

• Është e qartë sa në përdorimet praktike kjo rëndom nuk ndodh, kështu që rezultati varet nga gjasat e paraqitjes së simboleve.

• Përparësia e kodimit të Hafmanit qëndron në atë se përveç realizimit të thjeshtë, jep rezultate të mira të kodimit, sidomos kur shpërndarja e gjasave të paraqitjes së simboleve është e përshtatshme.

• E metë e këtij algoritmi është se në këtë rast gjasat duhet të njihen paraprakisht, si dhe se për shpërndarje të gjasave që shmangen shumë nga shpërndarja ideale fitohen kode që janë larg kodeve optimale.

Shembulli 19: Kodimi i Hafmanit për shpërndarje të

papërshtatshme

• Në tab. është dhënë grupi i simboleve që kanë shpërndarje jo të përshtatshme për kodim të Hafmanit.

• Njëra prej gjasave është relativisht e madhe, kështu që entropia është shumë e vogël (0.335 bit/simbol), sepse, siç dihet, gjasa shumë e madhe e një simboli do të thotë që nuk ka pasiguri të madhe dhe kemi paraqitje të vargjeve të gjata të simboleve a1.

• Por, me përdorimin e kodimit të Hafmanit nuk ka mënyrë që ata të ngjishen, sepse për çdo simbol duhet harxhuar së paku një bit, kështu që nuk mund të fitojmë më pak se 1 bit/simbol.

• Në këtë rast me kodimin e Hafmanit fitojmë 0.92·1+0.02·2+0.03·2 = 1.05 bit/simbol, gjë që është për 0.715 bit/simbol (1.05 - 0.335 = 0.715), ose për ~ 213% më tepër se entropia, pra larg optimales, përkundër faktit se gjatësia e fjalëve të koduara është brenda 1 bit/simbol të entropisë, sepse entropia është larg nën 1 bit/simbol, kështu që rritja prej 0.715 bit/simbol është relativisht e lartë.

Simboli Gjasa Fjala e koduar

a1 0.95 1

a2 0.02 01

a3 0.03 00

Kodi i zgjeruar i Hafmanit

• Në shembullin paraprak mesazhi tipik do të ketë përsëritje të plotë të të njëjtit simbol a1 në formën: 111111111111111111111111111011111 11111111

111110111111111111101111111111111011111111111111111 • Intuitivisht, mund të pritet se duhet të ekzistojë mundësi e kodimit të mesazhit

të këtillë me më pak se një bit për simbol. • Nga ana tjetër, kodimi i Hafmanit është optimal, që do të thotë se nuk ka kod

me gjatësi më të vogël mesatare të fjalëve të koduara, pra nuk ekziston kod më i mirë sa kodi i Hafmanit.

• Kjo është vërtet e saktë nëse i përmbahemi rregullës që çdo simbol të paraqitet si një fjalë e koduar, por nëse më tepër simbole i kodojmë së bashku si një fjalë e koduar, mund të fitojmë rezultate më të mira.

• Kodin e zgjeruar të Hafmanit e fitojmë duke formuar grupin e simboleve si një bashkësi të të gjitha kombinacioneve të mundshme prej m simboleve bazë, dhe për çdo kombinacion të simboleve bazë fitojmë gjasa të paraqitjes duke shumëzuar gjasat e simboleve bazë.

• Në këtë mënyrë fitojmë bashkësinë e re të simboleve dhe të gjasave të tyre të paraqitjes, ashtu që nëse bashkësia bazë ka pas n simbole, bashkësia e re ka nm simbole.

Shembulli 20: Kodi i zgjeruar i Hafmanit

• Për simbolet nga shembulli paraprak formojmë tabelë të re të simboleve duke kombinuar simbolet bazë, që në këtë rast janë të gjitha kombinacionet e mundshme prej dy simbolesh bazë (m=2), dhe pasi që kemi pas tre simbole bazë, fitojmë 32 = 9 simbole të reja: a1a1, a1a2,…,a3a3, me gjasat përkatëse të treguara në tab.

• Në këtë mënyrë shpërndarja e gjasave është përmirësuar dhe kodimi i Hafmanit jep rezultate më të mira.

• Gjatësia mesatare e fjalëve të koduara, e fituar me algoritmin e Hafmanit për simbolet e zgjeruar, është 1.222 bit/simbol, por me çdo simbol të ri kemi koduar dy simbole bazë, kështu që këtë gjasë e pjesëtojmë me dy, për të fituar numrin e bitëve për simbolet bazë, që mund t’i krahasojmë me rezultatin paraprak.

• Shihet se gjatësia e tillë mesatare e fituar e kodit prej 0.611 bit/simbol, është dukshëm më e vogël se gjatësia mesatare për kodin themelor të Hafmanit (që ishte 1.05 bit/simbol).

Simboli Gjasa Fjala e koduar

a1a1 0.9025 1

a1a3 0.0285 011

a3a1 0.0285 010

a1a2 0.0190 000

a2a1 0.0190 0011

a3a3 0.0009 001011

a2a3 0.0006 001010

a3a2 0.0006 001001

a2a2 0.0004 001000

Shembulli 20: Kodi i zgjeruar i Hafmanit

• Shembulli i tillë na shpie në një përfundim shumë të rëndësishëm sipas të cilit është më efikas kodimi i mesazhit si bllok i simboleve.

• Nëse marrim blloqe më të mëdha, prej, p.sh., tre, katër ose më tepër simbolesh, do të fitojmë rezultate edhe më të mira.

• Por, për të gjeneruar kodin e Hafmanit për blloqet me gjatësi m, është e nevojshme të gjenerohen të gjitha vargjet me gjatësi m dhe fjalët e tyre të koduara, e që siç dihet janë nm.

• Pra, numri i kodeve të gjeneruar rritet eksponencialisht, kështu që shumë shpejtë arrijmë deri te kufijtë e përdorimit praktik të këtij algoritmi.

Përdorimi i kodimit të Hafmanit

• Kodimi i Hafmanit përdoret shpesh si komponent brenda algoritmeve komplekse të komprimimit, siç janë p.sh., disa norma për transmetimin e të dhënave me telefaks, si dhe norma për kodimin e figurës së palëvizshme JPEG.

Kodimi aritmetikor

• Kodimi i zgjeruar i Hafmanit u the paraprakisht se është efikas nëse simbolet kombinohen në blloqe, dhe secili bllok kodohet me një fjalë të koduar. Sa ma të gjatë të jenë blloqet, aq me efikas është kodimi.

• Rast kufitar dhe teoritikisht më efikas është ai që tërë mesazhin që duhet koduar e shndërrojmë në një fjalë të koduar.

• Por, nëse këtë do të provonim ta realizojmë me kodimin e Hafmanit, do të duhej gjeneruar edhe të gjitha kombinacionet tjera të simboleve me gjatësi të njëjtë, që praktikisht është shumë vështirë.

• Problemi zgjidhet me përdorimin e kodimit aritmetikor (i zbuluar më 1976), sipas të cilit i tërë mesazhi kodohet me një fjalë të gjatë të koduar, e cila është në të vërtetë numër real nga intervali [0, 1).

• Procedura teoritike e kodimit aritmetikor është treguar në fig, duke supozuar se kodojmë mesazhin i cili përbëhet nga simbolet e alfabetit bazë prej n simbolesh, për të cilët dihen gjasat e paraqitjes së tyre.

L H 1 0

Nëninteravali [L, H)

Interv. fillestar [0, 1)

L’ H’

L” H”

L H

L’ H’ Nëninterv. i ri [L’, H)

Kodimi aritmetikor • Hapat në procedurën e kodimit janë:

1. Ndahet intervali [0, 1) në n nënintervale që u përkasin simboleve të alfabetit; gjatësia e çdo nënintervali është proporcionale me gjasat e paraqitjes së simboleve përkatëse.

2. Nga grupi i tillë i nënintervaleve, merret në shqyrtim nënintervali i cili i përgjigjet simbolit të ardhshëm të mesazhit.

3. Ndahet ai nëninterval në n nënintervale të reja, me gjatësi proporcionale me gjasat e paraqitjes së simboleve nga alfabeti; kështu fitohet grupi i ri i nënintervaleve që i shqyrtojmë. Nënitervali në shqyrtim zvogëlohen, por gjithmonë është i përcaktuar njëvlerësisht me simbolet paraprake të vargut.

4. I përsërisim hapat 2 dhe 3 deri sa të kodohet mesazhi i tërë. 5. Kodi përfundimtar për tërë mesazhin është një numër nga nënintervalet, i

cili paraqitet në formë binare.

L H 1 0

Nëninteravali [L, H)

Interv. fillestar [0, 1)

L’ H’

L” H”

L H

L’ H’ Nëninterv. i ri [L’, H)

Shembulli 21: Kodimi Aritmetikor

• Do të nisemi nga shembulli më i thjeshtë i mesazhit, i cili përbëhet vetëm prej dy simboleve X dhe Y, me gjasat përkatëse të paraqitjes 2/3 dhe 1/3, shih fig.

• Mesazhet e mundshëm të këtyre dy simboleve janë XX, XY, YX dhe YY, dhe le të marrim kodimin e p.sh. mesazhit XX.

• Në hapin e parë e ndajmë intervalin [0, 1) sipas gjasave të dhëna të alfabetit: 2/3 dhe 1/3, dhe pasi që simboli i parë i mesazhit që kodojmë është X, nënintervalin i cili i takon këtij simboli [0, 2/3) e ndajmë përsëri sipas gjasave të alfabetit dhe fitojmë grupin e ri të nënintervaleve [0, 4/9) dhe [4/9, 6/9).

0.01

0.1111

Fjala e koduar (binare)

X

2/3

Y

1/3

0

1

0

4/9

6/9

8/9

1

XX

XY

YX

YY

1/4

2/4

3/4

15/16

0.1

0.11

Cili do

numër nga

intervali

mund të

jetë fjalë e

koduar

Mesazhi me gjatësi 2


• Pasi që edhe simboli i dytë është X, marrim në shqyrtim nënintervalin përkatës [0, 4/9) nga grupi i ri, dhe kështu kemi përfunduar kodimin e mesazhit XX, i cila është njëvlerësisht i përcaktuar me nënintervalin [0, 4/9).

• Marrim cilin do numër nga ky nëninterval në formë binare 0.01, i cili është kod për mesazhin XX.

• Në fig. janë treguar ndarjet në nënintervale edhe për mesazhet tjera të mundshme prej dy simbolesh, dhe nëse do të na duhej të kodojmë p.sh., mesazhin YY do të arrinin në nënintervalin e fundit dhe do të fitonim kodin 0.1111.

X

2/3

Y

1/3

0

1

0

4/9

6/9

8/9

1

XX

XY

YX

YY

1/4

2/4

3/4

15/16

0.1

0.11

Cili do

numër nga

intervali

mund të

jetë fjalë e

koduar


0.01

0.1111

Mesazhi me gjatësi 2


• Të njëjtin shembull do ta zgjerojmë në një varg prej tre simbolesh (shih fig.), prandaj bëhet edhe një ndarje në nënintervale, ku janë treguar të gjitha mesazhet e mundshme prej tre simbolesh, edhe pse në këtë shembull do të kodojmë vetëm një mesazh, p.sh. XYY, kështu që do të bëjmë tri ndarje të treguara me vija më të trasha.

1

0

8/27

1/4 0.01


12/27

3/8

4/8

16/27 10/16

0.11

0.100

0.1010

18/27 6/8 0.110

22/27 14/16 0.1110

24/27 15/16 0.1111

26/27 31/31 0.11111

X

Y

XX

XXX

XXY

XY

YX

YY

XYX

XYY

YXX

YXY

YYX

YYY

Procedura e dekodimit

• Procedura e dekodimit është e ngjashme me procedurën e kodimit:

1. Ndahet intervali fillestar [0, 1) në n nënintevale sipas gjasave të paraqitjes së simboleve.

2. Merret kodi i pranuar si numër real.

3. Gjendet nënintervali në të cilin ndodhet numri (kodi).

4. Shkruhet simboli i cili i përgjigjet atij nënintervali.

5. Ndahet ai nëninterval në n nënintervale të reja proporcionalisht me

gjasat e paraqitjes së simboleve nga alfabeti; kështu fitohet grup i ri i nënintervaleve të cilin e shqyrtojmë më tutje.

6. Përsëriten hapat 3-5 deri sa nuk paraqitet fundi i mesazhit.

• Shihet se hapi i 6 shtron problemin – si të caktojmë fundin e mesazhit, kur dihet se nga vet kodi kjo në të vërtetë nuk dihet, sepse hapat 3-5 mund t’i përsërisim deri në pambarim duke krijuar nëninterval gjithnjë e më të vogël rreth numrit të koduar. Ky problem mund të zgjidhet ashtu që në alfabet shtojmë simbol të veçantë që tregon fundin e mesazhit ose njofton dekoduesin për gjatësinë e mesazhit.

Shembulli 22: Dekodimi i mesazhit të koduar me

kod aritmetikor

• Marrin përsëri rastin e alfabetit me dy simbole X dhe Y me gjasat e paraqitjes 2/3 dhe 1/3, dhe konsiderojmë se gjatësia e mesazhit është tre simbole, ndërsa kodi i pranuar është 1111, që i përgjigjet numrit binar 0.1111, (nga fig. paraprake shihet se është numri 15/16). Procedura e dekodimit është dhënë në fig.

• Intervali [0, 1) në fillim ndahet në nëninteralet [0, 2/3) dhe [2/3, 1). Numri i koduar 15/16 është në nënintervalin e dytë, kështu që shkruajmë simbolin e dytë Y, ndërsa atë nëninterval e ndajmë përsëri sipas gjasave të paraqitjes në nënintervale të reja [2/3, 8/9) dhe [8/9, 1).

1

2/3

8/9

26/27 YYX

YX

YY

Y

0

X

0.1111

(15/16)

Shembulli 22: Dekodimi i mesazhit të koduar me

kod aritmetikor

• Numri i koduar është në nënintervalin [8/9, 1), pra simboli i dytë është Y, ndërsa ky nëninterval përsëri ndahet dhe fitohen nënintervalet e reja [8/9, 26/27) dhe [26/27, 1).

• Numri i koduar 15/16 ndodhet në nënintevalin e parë të nëmintervaleve të fundit, pra në [8/9, 26/27), kështu që shkruajmë simbolin e parë X.

• Kështu kemi fituar tre simbole dhe mesazhi i dekoduar është YYX.

8/9

26/27 YYX

YX

YY

Y

0

X

0.1111

2/3

1 (15/16)

Zgjedhja e kodit

• Gjatë kodimit, cila do vlerë nga nënintervali i zgjedhur plotësisht e përcakton nënintervalin dhe me këtë edhe mesazhin e koduar, por shtrohet pyetja cila vlerë nga nënintervali i fituar duhet zgjedhur si vlerë karakteristike, pra si fjalë të koduar.

• Mund të tregohet se mesazhi x mund të kodohet njëvlerësisht ashtu që të merret ndonjë vlerë nga nënintervali i fituar me procedurën e përshkruar për mesazhin x, mesazhi i tillë paraqitet në formë binare, dhe nga paraqitja e tillë merren l(x) shifrat e para binare, ku l(x) është:

],[1)(

1log)( bit

xPxl

P(x) është gjatësia e nënintervalit të shqyrtuar, ndërsa simboli numri i parë më të madh i plotë.

• Mund të tregohet gjithashtu se në këtë mënyrë fitohet kod parashtesor, pra kod i cili për çfarëdo nënintervali nuk është parashtesë e kodit për ndonjë nëninterval tjetër.

x

Implementimi i algoritmit të kodimit aritmetikor

• Algoritmi i përshkruar deri tash shërben vetëm për përshkrim teorik të principit të kodimit aritmetikor, sepse në praktikë ky algoritëm do të ishte i papërdorshëm për arsye thjeshtë praktike.

• Së pari, në të shumtën e rasteve është plotësisht e papranueshme pritja deri në fund e mesazhit në mënyrë që ai të kodohet.

• Prandaj, është e nevojshme të modifikohet procedura ashtu që të mund të bëhet kodimi i mesazhit simbol për simbol, që është parakusht për çfarëdo komunikimi në kohë reale (p.sh. në telefoni, transmetim televiziv, etj).

• Vështirësia tjetër te algoritmi i treguar është ajo që te kompjuterët numrat real paraqiten me presje të lëvizshme e cila ka saktësi të kufizuar, kështu që pas një numri relativisht të vogël të nënintervaleve shfaqet nevoja për numra real me saktësi (numër të decimaleve) më të madhe, në krahasim me atë që përkrah paraqitja në kompjuter.

• Përveç këtyre dy mangësive, operacionet me numra real (pra me numra me presje të lëvizshme), në rastin e përgjithshëm, kërkojnë më tepër kohë për procesim në krahasim me operacionet me numra të plotë.


• Prandaj, për këto arsye ka qenë e domosdoshme të gjendet algoritëm i tillë i kodimit që:

– kryen operacione me numra të plotë;

– shfrytëzon paraqitjen me numër fiks të bitëve;

– gjeneron simbole të kodit gjatë procesit të kodimit, e jo tek në fund të tij.

• Implementimi praktik i kodimit aritmetikor i cili i përmbush këto kushte bazohet në renormalizimin e intervalit, ndërsa baza e principit është plotësisht e njëjtë me algoritmin e përshkruar, sepse edhe më tutje intervali bazë ndahet në nënintervale përkatëse të simboleve të mesazhit.

• Për paraqitjen e nënintervaleve, përkatësisht të kufijve të poshtëm dhe të epërm, shfrytëzohet numri fiks i shifrave, duke paraqitur vetëm shifrat djathtas nga presja decimale.


• Por gjatë ndarjes në nënintervale, kur ndodh që në paraqitjen e kufirit të poshtëm dhe të epërm, një ose më tepër shifra të para të jenë të njëjta (pra kur n shifrat e para në paraqite të kufirit të epërm dhe të poshtëm të jenë të barabarta), nënintervali renormalizohet, pra:

– n shifrat e para dërgohen në dalje të koduesit;

– shifrat zhvendosen për një vend në të majtë;

– djathtas shtohet shifra: “0” në kufirin e poshtëm, “1” në kufirin e epërm të nënitervalit (duke supozuar se shfrytëzojmë shifrat binare; nëse shfrytëzojmë p.sh. sistemin decimal, shtohen 0 dhe 9).

• Kodimit aritmetikor përdoret shumë shpesh brenda teknikave dhe normave të ndryshme për kodim, siç është p.sh. kodimi i figurës (norma JPEG), ku kodimi i tillë mund të shfrytëzohet si pjesë e teknikës së kodimit; kodimi i dokumenteve me normën JBIG (JOINT Bi-level Image Processing Group); kodimi i animimit të fytyrës dhe të trupit të njeriut brenda normës MPEG-4 (specifikimi “Face and Body Animimation”).

Krahasimi i kodimit të Hafmanit dhe atij aritmetikor

• Dallimi themelor ndërmjet kodimit të Hafmanit dhe atij aritmetikor është në atë se kodimi aritmetikor tërë mesazhin e kodon si një fjalë të koduar, dhe kështu fitohen rezultate më të mira se sa te kodimi i Hafmanit te i cili çdo fjalë e koduar kodohet si fjalë e veçantë, shih tab.

• Dallimi në efikasitet ndërmjet tyre vie në shprehje sa më e madhe të jetë shmangia e shpërndarjes së gjasave të simboleve nga shpërndrja ideale për kodimin e Hafmanit. Por, nga ana tjetër, kodimi aritmetikor është dukshëm më i ndërlikuar dhe shton më tepër kërkesa se sa ai i Hafmanit.

Kodimi i Hafmanit Kodimi aritmetikor

Kodon çdo simbol veç e veç Kodon tërë mesazhin me një kod: numra real ndërmjet 0 dhe 1

Minimalisht 1 bit/simbol Mundet më pak se 1 bit/simbol

Gjatësia e mesazhit nuk është e rëndësishme

Teoritikisht jep rezultate më të mira për mesazhe të gjata

Kodimi i vargut të simboleve është i mundur vetëm me kodin e zgjeruar të Hafmanit

Gjithmonë kodohet mesazhi i tërë

I thjeshtë për llogaritje Më i ndërlikuar për llogaritje

Metodat e fjalorit

• Algoritmet e trajtuar deri tash nuk marrin parasysh vetitë e veçanta të burimit me memorie, te të cilët gjasa e paraqitjes së simbolit varet nga gjasat e paraqitjes së një ose më tepër simboleve paraprake të mesazhit, prandaj, disa vargje të simboleve paraqiten më shpesh se të tjerët.

• Marrim p.sh. tekstin e ndonjë libri, ku disa vargje të shkronjave do të paraqiten shumë shpesh sepse paraqesin fjalë lidhëse si: p.sh., nëse, ose..., ndërsa disa vargje tjera me gjasë nuk do të paraqiten kurrë sepse nuk paraqesin fjalë p.sh. “atrkhz” ose ngjashëm.

• Shembuj të ngjashëm të burimeve me memorie, kur disa vargje të simboleve paraqiten më shpesh se të tjerët, kemi edhe në rastin e të folurit, figurës, etj.

• Algoritmet e kodimit me metodat e fjalorit (code book) marrin si hyrje vargjet e simboleve (“fjalët”) me gjatësi të ndryshme, dhe i kodojnë me fjalë të koduar me gjatësi të pandryshueshme nga fjalori.

• Principi themelor mundet deri diku të ilustrohet me shkurtesat në tekstin e shkruar – p.sh. shkruajmë: “etj”, “psh” në vend të: “e tjerë”, “për shembull”, duke shkurtuar në këtë mënyrë tekstin.

Metodat e fjalorit

• Është e qartë që koduesi dhe dekoduesi duhet të kenë të njëjtin fjalor në mënyrë që dekoduesi të mund të interpretojë fjalët e koduara dhe t’i zëvendësojë me fjalë nga fjalori.

• Fjalori mund të jetë statik, nëse paraprakisht dihen karakteristikat e mesazhit që duhet koduar, pra nëse dihen fjalët më të shpeshta.

• Por, shumë më efikas është që fjalori të ndërtohet në mënyrë dinamike, duke shtuar simbole që arrijnë, me të cilat fjalori u përshtatet automatikisht karakteristikave të burimit.

• Gjatë kësaj gjasat e paraqitjes së simboleve nuk duhet njohur, gjë që është përparësi e madhe kundrejt kodimit të Hafmanit dhe atij aritmetikor.

• Për shkak të kësaj vetie koduesit e tillë quhen kodues universal, dhe të gjitha metodat që shfrytëzohen në praktikë punojnë me fjalor të përshtatur dinamik.

• Punimin burimor në lëmin e kodimit me metodën e fjalorit e kanë bërë Lempel dhe Ziv (algoritmet LZ77, LZ78, LZW) në vitet e shtatëdhjeta, për të pasuar më vonë një varg përmirësimesh.

• Shembuj të përdorimit: Sipas algoritmit LZW bëhet kodimi i figurës në formatin GIF, ndërsa LZ77 shfrytëzohet në metodën e përhapur të komprimimit të të dhënave PKZIP (Phil Katz ZIP) dhe në formatin për komprimim të figurës PNG (Portable Nework Graphics).

Algoritmet LZ

• Problemet paraprake te kodimi i Hafmanit dhe te ai aritmetikor kanë nxitur përpjekjet për të fituar një kod universal në kuadër të të cilit nuk ekziston model eksplicit, dhe i cili bënë komprimimin e sekuencës që transmetohet pa njohjen paraprake të vetive statistikore.

• Duhet theksuar gjithashtu se sekuenca mund të jetë edhe jostacionare. • Në kodues, në bazë të pjesës së njohur të mesazhit, e cila veç ka hy në

kodues, formohet modeli në bazë të të cilit bëhet komprimimi. Modeli i kodit të këtillë është adaptiv dhe gjithmonë i përcjellë vetitë statistikore të mesazhit që kodohet.

• Në kuadër të algoritmit LZ sekuenca hyrëse ndahet ose zbërthehet në segmente më të shkurtër, që akoma nuk janë paraqitur në pjesën e sekuencës të pranuar paraprakisht

• Segmentet që janë pranuar paraprakisht janë memorizuar nga koduesi dhe (në pranim) nga dekoduesi, ashtu që koduesi në vend të segmentit të ri të plotë dërgon vetëm adresën ose treguesin (pointer) e segmentit paraprak të memorizuar dhe bitin (në rastin e përgjithshëm simbolin) e ri ose adresën e tij, e cila mund të përcaktohet në fillim.

• Në këtë mënyrë përkufizohet segmenti i ri më i gjatë për një bit kundruall segmentit të memorizuar paraprakisht, dhe segmenti i tillë i ri tash fiton adresën e tij të re. Biti (simboli) i ri mund të quhet bit ose simbol përtëritës (innovation symbol)

Shembulli 23

• Le të jetë dhënë sekuenca 00101100001001 të cilën duhet koduar me metodën e LZ-së, dhe në kodues le të jenë memorizuar paraprakisht bitët 0 (me adresë 1) dhe 1 (me adresën 2), me ngjyrë të kuqe në tabelë.

• Segmenti i parë më i shkurtër, i cili nuk është paraqitur paraprakisht është 00 dhe ai kodohet me kombinimin 11, që mund të interpretohet ashtu që merret sekuenca që ka adresën 1 (pra biti 0 me të kuqe), dhe asaj i shtohet biti 0 (që ka adresën 1). Sekuencës 11 i caktohet adresa 3.

• Në vend të adresës së bitit përtëritës (1 ose 2) mund të shtohet vetë biti, kështu që atëherë kombinacioni 00 kodohet me 10.

Shembulli 23 • Segmenti i ardhshëm më i shkurtër, i cili nuk është paraqitur paraprakisht është 10 që kodohet me 21 (sepse 1 ka adresën 2, ndërsa 0 adresën 1) dhe i caktohet adresa 4. Por nëse shtohet vlera e bitit përtëritës, kombinimi do të kodohej me 20.

• Segmenti i ardhshëm është 11, i cili kodohet me 22 (21) dhe i caktohet adresa 5, pas të cilit pason segmenti 000, i cili kodohet me adresën e segmentit 00 (3), të cilës i shtohet 1 (ose 0), dhe i caktohet adresa 6.

• Pason segmenti 100, i cili kodohet me 41 (40) dhe i caktohet adresa 7, dhe procesi vazhdon më tutje.

• Dekoduesi, i cili në fillim ka memorizuar segmentet 0 dhe 1 në adresat 1 dhe 2 ka elemente të mjaftueshme për të rikonstruktuar vargun paraprak.

Metodat e shkurtimit të vargut

• Metodat e shkurtimit të vargut bazohen në faktin se të dhënat shpesh paraqiten në vargje të simboleve të njëjta. Kjo vlen sidomos për zerot (p.sh., heshtja në sinjalin e zërit, zonat e zeza në figura etj.).

• Metoda më e thjeshtë që shfrytëzon këtë fakt është metoda e ngjeshjes së

zerove, ku vargu i tërë i zerove zëvendësohet me një simbol të veçantë, të ashtuquajtur flamur, dhe me numrin e zerove në varg.

Shembulli 24: Ngjeshja e zerove

• Kodojmë vargun e simboleve: 7860000000000000000000000000 në formën 786f25, ku “f” është flamuri që shënon fillimin e vargut të zerove, ndërsa numri pran flamurit tregon numrin e zerove në varg, në këtë rast 25.

• Është e qartë se flamuri duhet të jetë simbol i veçantë që shërben vetëm për këtë qëllim dhe nuk mund të shfrytëzohet për kodim të simboleve tjera të mesazhit.

Metodat e shkurtimit të vargut

• Metodë më e përgjithësuar është metoda e kodimit vargor, ku kodohet vargu i cilit do simbol që paraqitet, pra jo vetëm i zerove. Simbolet e tilla në varg zëvendësohen me vetëm një simbol, i cili përsëritet në varg, dhe pastaj pason shenja speciale për përsëritje si dhe numri i përsëritjeve, pra gjithsej tri shenja.

Shembulli 25: Kodimi vargor

• Do të kodojmë mesazhin: AECCCCCCCCCEFFFABC me kodin vargor si: AEC!9EFFFABC.

• Vargu prej 9 përsëritjesh të simbolit C zëvendësohet me një simbol C, flamurin ! që paraqet përsëritjen dhe numrin e përsëritjeve, në këtë rast 9.

• Vërejmë se vargu FFF nuk është zëvendësuar me F!3 sepse me këtë nuk do të arrihej kurrfarë kursimi, dhe në këtë rast (C përsëritet si numër njëshifror, pra 9, por jo mbi 9) zëvendësimi do të arsyetohej për përsëritjen e 4 ose më tepër shenjave.

• Shihet gjithashtu se kufiri i arsyeshëm varet edhe nga ajo se sa simbole duhen për kodimin e numrit të përsëritjes.

• Përdorimi i kësaj metode paraqitet në kuadër të algoritmeve më të ndërlikuar, siç është p.sh., norma JPEG për kodimin e figurës fikse, por kodimi vargor ka qenë në përdorim edhe te gjenerata e parë e telefakseve.

KODIMI BURIMOR

• Kodimi burimor (source coding) parqet një bashkësi të gjerë të metodave të ndryshme të kodimit të cilat më shpesh bëjnë komprimimin me humbje.

• Për dallim nga metodat e kodimit entropik, këto metoda nuk shfrytëzojnë vetëm vetitë statistikore të burimit, por analizojnë edhe semantikën e burimit, përkatësisht vetitë e posaçme të secilës përmbajtje mediale që kodohen (p.sh. zëri, figura, teksti, video).

• Prandaj, nuk është njësoj a kodohet figura apo të folurit, edhe pse si njëra ashtu edhe media tjetër pas digjitalizimit mund ta vështrojmë si varg të simboleve, në njërin rast simbolet e tilla paraqesin mostrat e njëpasnjëshme të sinjalit të të folurit, ndërsa në rastin tjetër ngjyrat e njëpasnjëshme në figurë.

• Deri sa te metodat e kodimit burimor shfrytëzohet informacioni për vetitë e posaçme, dhe përdoret për përshtatjen e procedurës dhe arritja e rezultateve më të mira të komprimimit, gjatë kodimit entropik nuk shfrytëzohet ky fakt, ashtu që edhe njëri edhe vargu tjetër kodohen sipas vetive statistikore.

KODIMI BURIMOR

• Metodat e kodimit burimor shfrytëzojnë edhe njohjen e karakteristikave të perceptimit njerëzor të medieve të caktuara për realizimin e komprimimit më të mirë kundruall vërejtjes minimale të gabimeve.

• Gjatë kodimit burimor herësi i komprimimit varet nga përmbajtja, kështu që p.sh., për kodimin e videos shpesh shfrytëzohet supozimi që diferencat

ndërmjet dy figurave në sekuencat e videos nuk janë të mëdha.

• Nëse metodën e tillë e përdorim në video që është relativisht statik (p.sh., leximi i lajmeve në TV), herësi i komprimimit do të jetë shumë më i mirë se sa për videon te i cili kemi shumë ndryshime (p.sh. spoti muzikor me ndryshime të shpejta të skenës).

• Metodat e kodimit burimor shfrytëzohen në kuadër të metodave hibride për kodim të medieve të caktuara, në ç’rast së pari bëhet kodimi burimor, shpesh me kombinim të dy ose më tepër metodave, dhe rezultati i kodimit të tillë mandej kodohet me kod entropik.

Mediet analoge në sistemin diskret komunikues

• Në analizën e deritashme kemi shqyrtuar modelin e sistemi diskret të komunikimit në kuadër të të cilit mesazhi është varg i simboleve nga alfabeti i fundmë.

• Edhe metodat e kodimit burimor punojnë me mesazhe të tilla, por si shtesë ata marrin parasysh edhe faktin se vargu i simboleve të mesazhit paraqet regjistrim të ndonjë medie, p.sh. zërit ose videos, kështu që për shqyrtimin e metodave të kodimit burimor është e nevojshme të jepet një hyrje e shkurtër

e paraqitjes së medieve analoge në sistemin diskret komunikues.

• Edhe pse përmbajtjet mediale mund të jenë drejtpërdrejt edhe në formë

digjitale (p.sh., grafika kompjuterike, sinteza e të folurit dhe muzikës), shumica e tyre janë rezultat i shndërrimit analog-digjital (A/D) të sinjalit burimor analog, siç është p.sh. rasti i zërit, i cili është sinjal i vazhdueshëm analog në formë burimore që është funksion i ndryshimit të intensitetit të zërit në kohë, i cili shndërrohet në varg simbolesh që janë në të vërtetë mostra diskrete të intensitetit të zërit në intervalet diskrete kohore.


• Me pranimin e mesazhit është e nevojshme që atë me shndërrues D/A ta shndërrojmë në sinjal analog, i cili në mënyrë të përshtatshme mundet të reprodukohet, p.sh. përmes altoparlantit për zë, ekranit për figurë.

• Në fig. është treguar sistemi komunikues diskret me shndërrimin A/D dhe D/A të medies analoge.

Shndërrimi A/D Dhënësi Marrësi Shndërruesi D/A Kanali

Zhurma

Sistemi komunikues


• Në fig. është treguar rruga e sinjalit burimor analog deri në formën e tij digjitale, ashtu siç transmetohet në sistemin komunikues diskret ose digjital.

Principet e komprimimit gjatë kodimit burimor

• Komprimimi i të dhënave me metodat e kodimit burimor bazohet në heqjen e tepricës (redundancës) dhe të pjesës së të dhënave të parëndësishme. Duhet bërë dallim ndërmjet të dhënave dhe informacionit, sepse nocioni “të dhëna” është sinonim për mesazhin i cili është një varg i simboleve nga një alfabet, dhe mund të bartin informacion, sasia e të cilit varet nga vetitë e të dhënave.

• Teprica ose redundanca në fakt paraqet përsëritjen e panevojshme të të dhënave. Dallojmë tri lloje të tepricës ose të redundandancës: kohore, hapësinore dhe spektrale.

• Redundanca kohore është pasojë e korrelacionit të simboleve të njëpasnjëshme në vargun kohor, p.sh., gjatë kodimit të zërit, mostrat e njëpasnjëshme do të jenë të njëjta.

• Redundanca hapësinore ndërlidhet me ngjashmërinë e elementeve të njëpasnjëshëm në hapësirë, p.sh., ngjyra e pikave (pikselave) të njëpasnjëshëm në figurën digjitale.

• Redundanca spektrale është rezultat i korrelacionit të komponentëve spektrale të medieve, p.sh., ngjashmëria ndërmjet komponenteve të ngjyrës në figurë, të paraqitura përmes sistemit të ngjyrave themelore (p.sh. kuqe, gjelbër, kaltër - RGB - red, green, blue).


• Të dhënat e parëndësishme paraqesin pjesën e të dhënave që nuk kontribuojnë në informacionin e përgjithshëm, dhe si të tilla mund t’i heqim, në ç’rast ruhet niveli i dëshirueshëm i kualitetit të informacionit.

• Në këtë rast në fakt shtrohet pyetja çka dmth. rikonstruktim mjaftë i mirë i të dhënave me metodën e dekodimit. Duke pas parasysh se shfrytëzues i fundit i të dhënave zakonisht është njeriu, në shumicën e rasteve mjaftë i

mirë do të thotë “mjaftë i mirë që njeriu me shqisat e tij të mos mund të dallojë ndryshimet nga të dhënat origjinale”.

• Pra, është i panevojshëm kodimi i atyre pjesëve të informacionit, të cilat shqisat e njeriut nuk mund t’i vërejnë. Shembuj tipik janë brezi frekuencor i të dëgjuarit ose ndryshimi minimal i ngjyrës të cilën syri mund ta dallojë, por ekzistojnë edhe mënyra shumë më të ndërlikuara që vetitë e sistemit të shqisave të njeriut të shfrytëzohen për komprimim të të dhënave pa humbje të hetueshme të kualitetit.


• Komprimim shtesë mund të arrihet edhe me uljen e nivelit të kërkuar të

kualitetit të riprodukimit, me çka lejohen humbje më të mëdha, duke pas parasysh se për disa përdorime kjo është e pranueshme.

• Duhet theksuar se kufizimet e sistemit të shqisave të njeriut nuk mund të shfrytëzohen gjithmonë, siç është p.sh., rasti i përpunimit të të dhënave me kompjuter.

• Prandaj, te incizimet satelitore që mund të trajtohen (hulumtohen) me metoda të përpunimit digjital të figurës, rezultatet e përpunimit të figurës do të ishin të pakënaqshme, nëse figura paraprakisht i është përshtatur syrit të njeriut, në ç’rast humben detaje të caktuara.

Metodat themelore të kodimit burimor

• Metodat e kodimit burimor, principet themelore të të cilave do të shqyrtohen në vazhdim janë:

– Kuantizimi, – Nënmostrimi, – Kodimi me transformim (transform coding), – Kodimi diferencial (prediktiv), – Kodimi në nënbrez, – Kodimi i bazuar në model.

• Së bashku me metodat e kodimit entropik, këto janë metodat themelore prej të cilave ndërtohen koduesit e ndërlikuar hibrid për metoda të caktuara të përmbajtjeve mediale.

• Kështu p.sh., koduesi tipik për video shfrytëzon kodimin me transformim dhe atë diferencial, kuantizimin, nënmostrimin dhe së paku një prej metodave të kodimit entropik.

Kuantizimi

• Kuantizimi është aproksimimi i ndonjë sinjali përmes ndonjë bashkësie të fundme të fjalëve të koduara (të kodeve), në ç’rast diapazoni i vlerave të mundshme të sinjaleve hyrëse ndahet në intervale të kuantizimit, dhe të gjitha vlerat të cilat i takojnë një intervali kodohen me kodin e atij intervali, (fig).

• Gjatë dekodimit kodi i çdo intervali dekodohet si vlerë karakteristike e atij intervali dhe quhet nivel ose shkallë e

kuantizimit, kështu që mund të thuhet se çdo vlerë hyrëse paraqitet me vlerën më të përafërt të nivelit të kuantizimit.

• Në esencë, principi është i ngjashëm me rrumbullakimin e numrave të plotë. Pasi që çdo interval mund të ketë më tepër vlera të mundshme hyrëse të cilat paraqiten me një kod, është e qartë se kuantizimi nuk është proces reversibil, kështu që me dekuantizim (kuantizim inverz) nuk mund të fitohet vlera origjinale hyrëse, por një vlerë karakteristike (nivel i kuantizimit) për çdo interval.

- 2.0

-1.0

0.0

1.0

2.0

3.0

000

001

010

011

100

101

110

Hyrja

Kodet

dalëse

Kuantizimi

• Gjatë konvertimit A/D kuantizimi është i domosdoshëm sepse qarku që bënë shndërrimin domosdo ka numër të fundmë të bitëve me të cilët paraqiten vlerat digjitale të mostrave, kështu që nëse kemi në dispozicion 8 bita (një bajt), atëherë mund të kodojmë 256 nivele të kuantizimit.

• Konvertimi A/D është shembull i thjeshtë fillestar, por kuantizimi bëhet edhe në mesazhet që tani më janë të digjitalizuar, dhe është një metodë shumë e rëndësishme e komprimimit.

• Të konsiderojmë p.sh. se sinjali i zërit digjitalizohet me 16 bita për mostër, pra çdo mostër paraqitet me një prej 216 = 65536 niveleve. Me kuantizim shtesë çdo mostër mund ta paraqitet me 256 nivele, duke pjesëtuar p.sh. vlerën e mostrës me 256 dhe duke e rrumbullakuar në numrin më të afërm të plotë, dhe kështu çdo mostër paraqitet me 8 në vend të 16 bitëve.

• Në esencë kuantizimi është një veprim i thjeshtë, por variantet e ndryshme të mënyrës themelore mund të ndikojnë shumë në rezultatet e komprimimit. Hyrjet në kuantizues mund të jenë madhësi skalare dhe vektoriale, prandaj dallojmë kuantizim skalar dhe kuantizimin vektorial.

Kuantizimi vektorial

• Gjatë analizimit të metodave të kodimit entropik është vërejtur se efikasiteti është më i madh kur kodohen blloqet e simboleve në vend të simboleve veç e veç, kështu që ky fakt ka qenë motivim për kuantizim vektorial.

• Në procesin e kuantizimit vektorial simbolet e mesazhit në fillim grupohen në blloqe – vektorë – prej n simbolesh.

• Vektorët e tillë mund të jenë p.sh. vargje prej n mostrash të njëpasnjëshme të sinjalit të të folurit, ose ndriçimi i n pikave (pikselëve) fqinje të figurës, dhe vektorët n-dimenzional paraqesin hyrjen në kodues i cili kryen kuantizimin.

• Në kodues dhe dekodues ekziston tabela e njëjtë për kodim (look-up table)

si dhe listat e indekseve përkatës, ashtu që çdo vektor i kodimit ka indeksin përkatës.

Kuantizimi vektorial

• Në fig. është dhënë principi i kuantizimit vektorial, sipas të cilit çdo vektor hyrës krahasohet me vektorët e kodimit në tabelën e kodimit dhe gjendet vektori i kodimit më i afërt (i ngjashëm) me vektorin hyrës dhe indeksi përkatës i vektorit të kodimit që paraqitet në dalje të koduesit.

• Në dekodues nga tabela e kodimit merret vektori i kodimit i cili i përgjigjet indeksit të pranuar, dhe në këtë mënyrë vektori hyrës përafrohet me vektorin më të afërt të kodimit nga tabela.

Grupimi në vektorë Gjendet vek. më i afërt i kodimit

Gjendet vek. i kodimit sipas indeksit

Ndarja e vektorëve

v. për kodim indekset indekset v. për kodim

.….

Tab. për kodim Tab. për kodim

KODUESI DEKODUESI

Shembulli 26: Kuantizimi vektorial 2D

• Shqyrtojmë shembullin e kuantizimit vektorial në dy dimensione (n=2). Tabela e kodimit, ku y janë vektorët e kodimit, ndërsa i janë indekset përkatëse, duket: – i =1: y1 = (0, 0)

– i = 2: y2 = (2, 1)

– i = 3: y3 = (1, 3)

– i = 4: y4 = (1, 4)

• Sinjali zbërthehet në vektorë dydimensional, dhe çdo vektor krahasohet me vektorët e kodimit në tabelën e kodimit, në ç’rast merret vektori më i afërt (sipas distancës së euklidit), kështu që në dalje të koduesit dërgohet indeksi i tij.

• Gjatë dekodimit nuk fitohet më vargu origjinal i simboleve, por vargu i përbërë nga vektorët nga tabela e kodimit, në ç’rast fusim gabim të kuantizimit, shih fig.

0 1 2 3 2 0 Mesazhi:

I koduar:

0 0 1 3 2 1 Mes. i dekoduar:

1 3 2

Gabimi i kuantizimit: 0 -1 -1 0 0 1

Nënmostrimi

• Vetë teorema e mostrimit dhe vërtetimi i saj bazohet në supozimin që sinjali i mostruar është me brez të kufizuar të frekuencave, por në praktikë sinjalet nuk janë me brez saktë të kufizuar, kështu që kjo rezulton me nënmostrim (undersampling).

• Thënë ndryshe, pasi që sinjali përmban komponente frekuencore mbi një frekuencë kufitare B, gjatë mostrimit me frekuencë fu = 2B nuk është plotësuar kushti sipas të cilit mostrimi duhet bërë me frekuencë e cila është së paku sa dyfishi i frekuencës më të lartë të spektrit të sinjalit.

• Siç dihet nga teoria e sinjaleve, nënmostrimi në spektrin e sinjalit të mostruar reflektohet me mbivendosjen (përputhjen) e spektrit, që në anglisht quhet aliasing.

• Masat që ndërmerren për të evituar mbivendosjen e spektrit të sinjalit të mostruar konsistojnë në atë që para mostrimit duhet lëshuar sinjalin nëpër një filtër të brezit poshtlëshues (anti-aliasing filter), i cili do të shuaj komponentet e frekuencave të larta të cilat nuk janë të rëndësishme nga aspekti i informacionit që bartë sinjali. Pastaj pason mostrimi i sinjalit të filtruar me frekuencë pak më të madhe se frekuenca e Nikuistit.

Nënmostrimi

• Përdorimi i frekuencës së mostrimit që është pak më e madhe se ajo e Nikuistit ka edhe një përparësi që ndërlidhet me realizimin më të thjeshtë të filtrit për rikonstruktim të sinjalit burimor nga vargu i mostrave të pranuara.

• Filtri për rikonstruktim është filtër poshtlëshues, ndërsa shfrytëzimi i frekuencës së mostrimit që është më e madhe se frekuenca e Nikuistit mundëson që pjerrësia e përgjigjes amlitudore të filtrit të mos jetë shumë e lartë, që do të thotë realizim të thjeshtë të tij. Dihet se filtri ideal me pjerrësi pambarim të lartë në pikën e frekuencës kufitare nuk mund të realizohet fizikisht, dhe si i tillë ka rëndësi teorike.

• Në vazhdim do të trajtohet nënmostrimi si metodë e komprimimit me të cilën zvogëlojmë frekuencën e mostrimit, përkatësisht numrin e mostrave, që te zëri është numri i mostrave të zërit në sekondë; te figura bëhet fjalë për rezolucionin e figurës, përkatësisht për numrin e mostrave në drejtimin horizontal dhe vertikal.

• Frekuenca themelore e mostrimit përcaktohet nga qarku për shndërrim A/D te sinjalet burimore analoge, ndërsa për përmbajtjet burimore digjitale, frekuenca varet nga mënyra se si është krijuar përmbajtja e tillë.

Nënmostrimi

• Me zvogëlimin e frekuencës së mostrimit drejtpërdrejtë zvogëlohet numri i mostrave të sinjalit dhe me këtë realizohet komprimimi. Kështu përmes nënmostrimit me faktorin 2 drejtpërdrejtë komprimohen të dhënat për gjysmë, sepse shfrytëzohet çdo e dyta mostër.

• Kjo është metodë shumë e thjeshtë e komprimimit të të dhënave, por është e qartë se mund të fusë mjaftë gabime. Kriteri themelor për caktimin e nivelit të mundshëm të nënmostrimit pa fut gabime është teorema e Nikuistit, sipas të cilës frekuenca përfundimtare e mostrimit duhet të jetë së paku e barabartë me dyfishin e frekuencës maksimale të sinjalit burimor. Në atë rast sinjali mund të rikonstruktohet pa gabime.

• Nënmostrimi shpesh me vetëdije bëhet me frekuencë më të vogël të mostrimit se sa ajo që lejon teorema e Nikuistit, duke futur në këtë mënyrë gabime, në ç’rast merren parasysh kufizimet e sistemit shqisor (të perceptimit) të njeriut, si dhe specifikat e përdorimeve të veçanta.

• Kështu p.sh. në telefoni zëri mund të nënmostrohet me frekuencë 8000 Hz (mostra në sek.), që është mjaftueshëm për kuptimin e të folurit, por nënmostrimi i muzikës me frekuencë 8000 Hz do të shkaktonte zvogëlim të madh të kualitetit të zërit të perceptuar, i cili do të ishte i papranueshëm (për krahasim, frekuenca e mostrimit që shfrytëzohet gjatë incizimit dhe riprodukimit të CD-së është 44.2 kHz).

Nënmostrimi

• Është i njohur shembulli i nënmostrimit të komponenteve të ngjyrës në figurë me faktor më të madh (numër më të vogël të mostrave) se sa të komponenteve të ndriçimit, që bazohet në faktin se syri i njeriut më i ndjeshëm në ndriçim se sa në ngjyrë, sepse në kushte të ndriçimit të dobët vërejmë vetëm ndriçimin – kështu që në gjysmëterr gjithçka na duket gri (e përhimët).

• Nëse nënmostrimi rezulton në frekuencë më të vogël se ajo e njehsuar me kriterin e Nikuistit, duhet që para nënmostrimit, me filtër poshtlëshues, të hiqen frekuencat me të larta se f/2, ku f është frekuenca bazë e mostrimit, sepse në të kundërtën do të shkaktohet mbivendosja e brezave frekuencor (aliasingu).

Kodimi me transformim

• Gjatë kodimit me transformim mesazhi shndërrohet (transformohet – prej nga rrjedh edhe emri) në ndonjë formë tjetër që është më e përshtatshme për komprimim. P.sh., të dhënat shpesh transferohen nga domeni kohor na atë frekuencor.

• Transformimi si i tillë nuk bënë komprimim, dhe më shpesh është reverzibil, pra me transformim invers mesazhi mund të kthehet në formën burimore pa humbje.

• Komprimimi pason pas transformimit, kryesisht me kuantizim ose me heqjen e një pjese të të dhënave. Pra, transformimi i shndërron të dhënat në formë të tillë që një pjesë e konsiderueshme mund të hiqet, ose të kuantizohet me shkallë të lartë të komprimimit.

• Në këtë mënyrë transformimi mundëson komprimimin edhe pse nuk e bënë atë në mënyrë të drejtpërdrejtë.

Shembulli 27: Principi i kodimit me transformim

Pesha (x0) Lartësia (x1)

65 170

75 188

60 150

70 170

56 130

80 203

68 160

50 110

40 80

50 153

69 148

62 140

76 164

64 120

• Të shqyrtojmë bashkësinë e të dhënave hyrëse që përbëhet nga çifti i peshës dhe lartësisë së personave, të dhënë në tabelë.

• Çdo çift të peshës (x0) dhe lartësisë (x1) mund ta paraqesim si vektor:

• Në fig. në slajdin e ardhshëm të njëjtat të dhëna mund të paraqiten në sistemin koordinativ, ku në abshisë janë vlerat e peshës, ndërsa në ordinatë ato të lartësisë.

• Me paraqitjen e pikave të tilla, ato do të grupohen rreth drejtëzës x1 = 2.5·x0 për shkak të korrelacionit ndërmjet peshës dhe lartësisë (njerëzit më të lartë rëndom janë më të rëndë).

• Drejtëza e tillë, rreth të cilës grupohen të dhënat, mbyllë me abshisë këndin Φ, i cili në këtë rast është rreth 68 shkallë.

.1

0

x

xX

10 20 30 40 50 60 70 80 90

220

210

200

190

180

170

160

150

140

130

120

110

100

90

80

70

60

50

40

30

20

10

0

Ф

x1

x0



• Bëjmë transformimin ashtu që pikat e fituara rreth drejtëzës të rrotullohen për këndin Φ. Këtë mund ta bëjmë ashtu që vektorët X të shumëzohen me matricën e rotacionit A, në ç’rast fitojmë vlera të çifteve të reja të vektorit Θ:

,1

0

XA .

37139.0928476.0

928476.037139..0

cossin

sincos

A

• Në tabelë janë dhënë vlerat e fituara të çifteve të reja, prej të cilave shihet se ndryshmet e vlerave të janë shumë e vogla. 1

182 202 162 184 141 218 174 121 90 161 163 153 181 135

3 0 0 -0 -4 1 -4 -6 -7 10 -9 -6 -9 -15

01


10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200 210 220 230

20

15

10

5

0

-5

-10

Θ1

Θ0

• Në fig. janë treguar edhe grafikisht çiftet e fituara, ku siç shihet pikat do të sistemohen rreth abshisës.


• Shihet se transformimi i tillë është reverzibil, sepse nëse shumëzojmë me matricën inverse A-1

mund të rikonstruktohen të dhënat burimore pa gabim:

,cossin

sincos1

A

.1 AX

• Vërehet edhe fakti se me vet transformimin nuk është realizuar komprimimi, pra të dhënat edhe më tutje përbëhen nga numri i njëjtë i çifteve të vlerave.

• Komprimimi arrihet në hapin e ardhshëm, ashtu që të gjitha vlerat e barazohen me zero, pra hiqen, dhe në këtë mënyrë efektivisht heqim gjysmën e të dhënave dhe kemi realizuar herës të komprimimit 1:2. Kur çiftet e tilla të fituara i shumëzojmë me matricën inverse A-1, fitojmë të dhëna shumë të ngjashme me ato burimore (Tab.). Kjo për arsye se me transformim informacioni është koncentruar në ndërsa ka pak informacione dhe, me gabim relativisht të vogël, mund të hiqen.

1

Të dhënat burimore

Të dhënat e rikonstruktuara

Pesha (x0)

Gjatësia (x1)

Pesha (x0)

Gjatësia (x1)

65 170 68 169

75 188 75 188

60 150 60 150

70 170 68 171

56 130 53 131

80 203 81 203

68 160 65 162

50 110 45 112

40 80 34 84

50 153 60 150

69 148 61 151

62 140 57 142

76 164 67 168

64 120 50 125

0,0

,01

Shembulli 28: Transformimi Furie i figurës

• Principi i kodimit me transformim mund të tregohet me transformimin e figurës në domenin frekuencor me shfrytëzimin e transformimit diskret Furie (Discrete Fourier Transform - DFT), fig.

• Figura burimore (lartë majtas) me transformimin diskret dydimensional Furie (2D DFT) shndërrohet në komponente frekuencore (lartë djathtas), ashtu që figura interpretohet si funksion i dy variablave I = f(x,y), ku x dhe y janë koordinatat e pikës në figurë, ndërsa I vlera e ndriçimit në atë pikë. Në funksionin f zbatohet transformimi diskret Furie dhe hapi i tillë është transformimi.


• Shihet se transformimi është reverzibil, sepse me transformimin diskret invers Furie (IDFT) mund të fitohet përsëri figura burimore.

• Gjithashtu, shihet se me transformim nuk është realizuar komprimimi, por forma e transformuar mundëson komprimimin në hapin e ardhshëm.

• Në fig. lartë djathtas shihet se më shumë janë të shprehura komponente e frekuencave të ulëta (në mes të grafit ku kemi koncentrim të pikave të errëta – pra faktorë më të mëdhenj). Ndërsa komponentet e frekuencave të larta (ato në periferi të grafit) kanë faktorë dukshëm më të vogël.


• Dy fig. poshtë tregojnë se si manifestohet heqja e komponenteve të frekuencës së lartë.

• Figura poshtë djathtas paraqet figurën burimore në domenin frekuencor pa prezencën e komponenteve të frekuencës së lartë, të cilat janë hequr.

• Kur figura e tillë transferohet në domenin fillestar kohor me shfrytëzimin e transformimit diskret invers Furie (2D IDFT), fitohet figura poshtë majtas, e cila siç shihet është shumë e ngjashme me figurën burimore.

• Dallimi konsiston në atë që te figura e rikonstruktuar detajet janë paksa të turbullt, që është pasoj e mungesës së komponeteve të frekuencës së lartë.

• Por figura është mjaftë e qartë dhe kemi realizuar herës të madh të komprimimit, që shihet qartë nga sipërfaqja e vogël e të dhënave të shfrytëzuara në fig. poshtë djathtas.

• Kodimi me transformim është pjesë përbërëse e normave të kodimit të figurës JPEG si dhe i të gjitha metodave të rëndësishme të kodimit të videos.

Kodimi diferencial (prediktiv)

• Kodimi diferencial shfrytëzon supozimin se sinjali ndryshon relativisht pak prej mostre në mostër, pra ekziston korrelacion ndërmjet mostrave fqinje, dhe atë në kohë (p.sh. për mostrat fqinje të sinjalit të zërit), ose në hapësirë (p.sh. për pikat fqinje të figurës).

• Korrelacioni ndërmjet mostrave shfrytëzohet që vlera e çdo mostre të parashihet nga një ose më tepër mostra paraprake.

• Kodohet ndryshimi ndërmjet mostrës së vërtetë dhe asaj të parashikuar, dhe vargu i ndryshimeve të tilla quhet sinjal i ndryshimit.

• Është e qartë se vlera e parashikuar shpesh nuk do të jetë e barabartë me atë të vërtetë, por për shkak të korrelacionit të mostrave fqinje ndryshimi nuk do të jetë i madh.

• Prandaj sinjali i ndryshimit ka diapazon më të vogël të vlerave dhe ndryshon më pak kundruall sinjalit burimor, kështu që më mirë mund të kodohet.

• Për shkak të përdorimit të parashikimit (predikcionit), koduesit diferencial quhen edhe kodues prediktiv.

Shembulli 29: Sinjali i ndryshimit

• Parashikimi i mostrave momentale nga mostrat paraprake mund të bëhet më thjeshtë nëse supozohet se çdo mostër është e

barabartë me mostrën paraprake, dhe në këtë mënyrë sinjali i ndryshimit shndërrohet në ndryshim ndërmjet mostrave fqinje.

• Në figurë është treguar shembulli i sinjalit të thjeshtë sinusoidal (vija e plotë) dhe i sinjalit të ndryshimit, pra ndryshimit ndërmjet mostrave fqinje të sinjalit burimor (vija e ndërprerë).

• Është supozuar që sinjali është mostruar me frekuencë prej 30 mostrash për një periodë të sinusoidës, ndërsa sinjali burimor ndryshon ndërmjet -1 dhe 1. Supozojmë gjithashtu se kuantizimin e bëjmë me katër nivele të kuantizimit.

Shembulli 29: Sinjali i ndryshimit

• Gjerësia e intervalit të kuantizimit do të jetë 0.5, kështu që gabimi i kuantizimit do të jetë ndërmjet -0.25

dhe 0.25.

• Por, siç shihet nga fig., sinjali i ndryshimit është ndërmjet [-0.2, 0.2], kështu që nëse kodojmë sinjalin e ndryshimit me të njëjtin numër të niveleve të kuantizimit, gabimi do të jetë ndërmjet vlerave [-0.05, 0.05], dhe së këndejmi përfundojmë se më mirë është të kodohet sinjali i

ndryshimit sesa sinjali burimor.

Shembulli 30: Kodimi diferencial i figurës • Në fig. majtas kemi figurën burimore ndërsa djathtas histogramin e saj (në abshisë –

intensiteti i ndriçimit, në ordinatë – frekuenca ose shpeshtia e paraqitjes, pra numri i pikave ose pikselave me ndriçimin përkatës).

• Vlerat e intensitetit të ndriçimit janë ndërmjet 0 (e zezë e pastër, pra e pandriçuar) dhe 255 (e bardhë e pastër, pra maksimalisht e ndriçuar), gjithsej 256, pra 28, dhe ndërmjet këtyre dy vlerave janë të gjitha nivelet e të përhimëtës (grisë).

• Për çdo vlerë të ndriçimit (abshisë), është treguar numri i pikave në figurë që ka mu atë ndriçim (ordinatë). Shihet se shpeshtia ose frekuenca e paraqitjes së vlerave të ndryshme të ndriçimit është e shpërndarë mjaftë njëtrajtësisht, pra nuk ka vlera të theksuara maksimale.

• Prandaj entropia e sinjalit të tillë është relativisht e lartë, dhe me kodim entropik nuk mund të arrijmë rezultate më të mira sesa kodimi me 7 bitë për pikë.

Shembulli 30: Kodimi diferencial i figurës

• Në fig. majtas është treguar sinjali i ndryshimit me një shkallë të parashikimit, pra me ndryshim të thjeshtë të vlerave të pikave fqinje në figurë.

• Me një operacion të tillë të thjeshtë kemi fituar sinjalin në të cilin shihet qartë nga histogami i figurës së këtillë (fig. djathtas) se disa vlera (sipërfaqet e mëdha gri në figurë) paraqiten shumë shpesh, ndërsa të tjerat rrallë.

• Gati të gjitha vlerat ndodhen në intervalin [-50, 50], me përqendrim më të madh rreth zeros, kështu që një shpërndarje e tillë e paraqitjes zvogëlon entropinë, dhe fitojmë 2.6 bita për pikë (pikselë).

• Me zbritjen e thjeshtë të vlerave fqinje dukshëm është zvogëluar entropia, dhe kështu është mundësuar komprimimi i kësaj figure me kodim entropik, pra me kodim pa humbje.

Procesi themelor i kodimit diferencial

• Për të kuptuar më të lehtë të teknikës së kodimit diferencial, në fillim do të paraqitet mënyra konvencionale e kodimit diferencial, për të parë më pastaj procesin themelor të kodimit diferencial.

• Mënyra konvencionale e kodimit diferencial konsiston në atë se nga çdo mostër zbritet vlera e mostrës paraprake, dhe në dalje të koduesit kemi sinjalin e ndryshimit.

• Në dekodues sinjali i ndryshimit i shtohet mostrës paraprake, dhe kështu fitohet mostra e dekoduar.

• Në fig. janë treguar koduesi dhe dekoduesi konvencional diferencial. Blloku është blloku i vonimit për një hap – kur në hyrje të këtij blloku është xn, në dalje të tij është xn-1.

+

X’n-1

-

KODUESI

xn dn

DEKODUESI

dn +

X’n

Xn-1


• Koduesi nga secila mostër zbret mostrën paraprake për të fituar në dalje sinjalin e ndryshimit:

.1 nnn xxd

• Dekoduesi ia shton vlerës nga hapi paraprak sinjalin e pranuar të ndryshimit, kështu që rikonstruktohet mostra burimore:

.'

11

'

1

'

nnnnnnn xxxxxdx

• Shihet se kjo fitohet vetëm nën supozim që gjatë transmetimit nga koduesi në dekodues nuk ka pas pengesa, pra nëse .'

11 nn xx


• Të shohim se çka ndodh në kodues dhe dekodues, nëse vargu i simboleve hyrëse është: 6.2, 9.7, 13.2, 5.9, 8, 7.4, 4.2, 1.8.

• Sinjali i ndryshimit në atë rast është: 6.2, 3.5, 3.5, -7.3, 2.1, -0.6, -3.2, -2.4, ndërsa vargu i rikonstruktuar është: 6.2, 9.7, 13.2, 5.9, 8, 7.4, 4.2, 1.8. Shihet se vargu burimor është rikonstruktuar pa gabime.

• Që të realizohet komprimimi, sinjali i ndryshimit kuantizohet, dhe ky veprim është treguar në fig., ku në kodues është shtuar kuantizimi, ndërsa në dekodues kuantizimi invers ose dekuantizimi.

• Të supozojmë se shfrytëzohet kuantizuesi me shtatë nivele të kuantizimit, dhe atë: -6, -4, -2, 0, 2, 4, 6. Pas kuantizimit dhe dekuantizimit, sinjali i rikostruktuar i ndryshimit është: 6, 4, 4, -6, 2, 0, -4, -2.

nd

KODUESI DEKODUESI

+ -

xn dn

Xn-1

Q dn

q

X’n-1

d’n +

X’n Q-1

dnq

'

nx

'

nd

nx


• Sinjali i rikonstruktuar fitohet me mbledhjen e sinjalit të rikonstruktuar të ndryshimit dhe të mostrës paraprake të sinjalit të rikonstruktuar, dhe është: 6, 10, 14, 8, 10, 10, 6, 4.

• Shihet se është shkaktuar ndryshim ndërmjet sinjalit burimor dhe atij të rikonstruktuar, dhe gabimi është: 0.2, -0.3, -0.8, -2.1, -2, -2.6, -1.8, -2.2.

• Gabimi në fillim ka vlera relativisht të vogla, ndërsa pastaj gjithnjë e më të mëdha. Kjo është pasojë e faktit se pas kuantizimit (Q), dhe dekuantizimit (Q-1) në dekodues, sinjali i rikonstruktuar i ndryshimit është shumë e sinjalit burimor të ndryshimit dhe gabimit të kuantizimit qn:

• Dy hapat e parë të dekodimit duken kështu:

'

nx

.'

nnn qdd

011 xxd 11

'

1 qdd 1101010110

'

1

'

1 qxxqxxxqdxdx 122 xxd 22

'

2 qdd .212112121122

'

1

'

2

'

2 qqxqxqxxqxqdxdx


• Kështu që në hapin e n-të të dekodimit kemi:

KODUESI DEKODUESI

dnq

X’n-1

d’n +

X’n Q-1

dnq dn +

-

X’n-1

Q

Q-1

+

d’n

X’n

n

k

knn qxx1

' .

• Shihet se gabimet e kuantizimit mblidhen, dhe sa më larg që jemi në vargun të cilin e kodojmë, aq më i madh është gabimi i tërë. Arsyeja e sjelljes së këtillë të padëshirueshme është në atë se koduesi formon sinjalin e ndryshimit me zbritjen e vlerës së vërtetë të mostrës xn-1, ndërsa dekoduesi shfrytëzon vlerën e rikonstruktuar të gabuar të mostrës paraprake x’

n-1.

• Problemi i tillë zgjidhet ashtu që në kuadër të koduesit kryhet procesi i dekodimit, ashtu që në llogaritjen e sinjalit të ndryshimit shfrytëzohet vlera e rikonstruktuar e mostrës paraprake x’

n-1. Në fig. është treguar koduesi dhe dekoduesi kështu i konstruktuar.


• Brenda koduesit me vija të ndërprera është rrethuar pjesa e cila është kopje e plotë e dekoduesin, kështu që: .'

1 nnn xxd

KODUESI DEKODUESI dn

q d’n X’n

X’n-1

+ Q-1 dn

q dn +

-

X’n-1

Q

Q-1

+

d’n

X’n

• Të shohim se si sillet tash dekoduesi, duke paraqitur rezultatet që fitohen në dy hapat e parë të dekodimit, të cilat paraqiten si:

011 xxd 11

'

1 qdd 1101010110

'

1

'

1 qxxqxxxqdxdx '

122 xxd 22

'

2 qdd .22

'

12

'

12

'

122

'

1

'

2

'

2 qxxqxxxqdxdx


• Kështu që në hapin e n-të të dekodimit kemi: .'

nnn qxx • Shihet se gabimi i kuantizimit nuk akumulohet më tutje, dhe kjo mund të vërtetohet nga rezultatet numerike të kodimit të vargut nga shembulli:

• Sinjali i ndryshimit është: 6, 4, 4, -6, 0, 0, -4, -2.

• Sinjali i rikonstruktuar është: 6, 10, 14, 8, 8, 8, 4, 2.

• Gabimi është: 0.2, -0.3, -0.8, -2.1, 0, -0.6, 0.2, -0.2.

'

nd '

nx KODUESI DEKODUESI

+

-

X’n-1

dnq

X’n-1

d’n +

X’n Q-1

dnq

Q dn

Q-1

+

d’n

X’n


• Procesi themelor i kodimit diferencial dallohet nga ai që përshkruam deri tash me shtimin e prediktuesit në vend të bllokut të vonimit (fig.), duke e përgjithësuar në këtë mënyrë procesin.

• Prediktuesi është funksion i cili nga një ose më tepër mostra synon sa më mirë të parashoh mostrën momentale, përkatësisht të njehsojë vlerën e saj të parashikuar :p

nx

KODUESI DEKODUESI

+

-

xn dnq

Xpn

d’n +

X’n Q-1

dnq

Q dn

Q-1

+

d’n

X’n

P

P Xp

n

.,....,, 21 knnn

p

n xxxPx


• Prediktori më shpesh është funksion linear i mostrave paraprake, i cili quhet predikcion linear:

• Qëllimi i kodimit diferencial është që sinjali i ndryshimit të jetë sa më i vogël, dhe pikërisht ky është edhe kuptimi i predikcionit: sa më i mirë të jetë predikcioni, aq më afër vlerës së vërtetë është vlera e parashikuar, e me këtë edhe sinjali i ndryshimit është më i vogël.

• Shihet se mënyra e përshkruar paraprakisht me bllokun për vonim, është thjeshtë rast special i predikcionin linear kur është k = 1 dhe a1 = 1.

• Të theksojmë se parametrat e prediktorit dhe të kuantizuesit mund të akordohet edhe gjatë kodimit, në mënyrë që më mirë t’i përshtaten të dhënave në ardhje. Në atë rast kemi të bëjmë me predikcionin përkatësisht kuantizimin adaptiv.

KODUESI DEKODUESI

+

-

xn dnq

Xpn

d’n +

X’n Q-1

dnq

Q dn

Q-1

+

d’n

X’n

P

P Xp

n

....2211 knknn

p

n xaxaxax

Kodimi në nënbrez

• Kodimi në nënbrez bazohet në ndarjen e sinjalit në koponente frekuencore. Kështu për shembull, në sinjalin i cili është treguar në fig., përveç oscilimeve të frekuencës së lartë mund të shihet edhe komponenta e ndryshimeve të ngadalshme, përkatësisht e frekuencës së ulët (me vijë të ndërprerë).

• Ndarja në nënbreza frekuencorë bëhet me përdorimin e grupit të filtrave (filter bank), me të cilët në vend të një sinjali fitohet një varg sinjalesh, dhe secili prej tyre i përgjigjet një brezi frekuencor.

• Çdo sinjal nga vargu i tillë i sinjaleve ka karakteristika të ndryshme, por ndryshon dhe rëndësia kundruall perceptimit njerëzor.

• Sinjalet e tilla kodohen secili veç e veç, dhe pas dekodimit, përsëri me grupin e filtrave, kthehen sërish në sinjalin e përbashkët.

Kodimi në nënbrez

• Duke pas parasysh rëndësinë relative të brezave frekuencor, ato kodohen me më pak ose më shumë bita, duke fut në këtë mënyrë më pak ose më shumë humbje.

• Përcaktimi i rëndësisë relative për të vendosur se cilit brez frekuencor t’i caktohen më tepër bita mund të jetë problem i ndërlikuar, sepse bazohet në modelin e perceptimit njerëzor të sinjalit përfundimtar, në ç’rast për breza të

veçantë frekuencor mund të përdoren edhe metoda të ndryshme të kodimit.

• Prandaj, për çdo brez frekuencor zgjidhet metoda që më së miri u përgjigjet

karakteristikave të sinjalit në atë brez.

• Sipas principit të kodimit në nënbrez punojnë koduesit e zërit, siç është norma e përhapur MP3, si dhe koduesit e figurës JPEG 2000.

Shembulli 31: Kodimi në nënbrez

• Të kodojmë vargun ose sekuencën {xn} me vlerat: 10, 14, 10, 12, 14, 8, 14, 12, 10, 8, 10, 12.

• Shihet se në këtë varg ekziston korrelacion relativisht i lartë ndërmjet vlerave fqinje, kështu që përfundomë se kodimi diferencial do të jepte rezultate të mira. Sinjali i ndryshimit ndërmjet vlerave fqinje është: 10, 4, -4, 2, 2, -6, 6, -2, -2, -2, 2, 2.

• Nëse nuk marrim parasysh ndryshimin e parë në varg, sepse në rastin e kodimit real presim vargje shumë më të gjata, kështu që ndikimi i vlerës fillestare në efikasitetin e kodimit mund të mos e marrim parasysh, vlerat minimale dhe maksimale janë -6 dhe 6. Prandaj diapazoni i tërë dinamik (distanca nga vlera minimale dhe maksimale) është 12.

• Nëse supozojmë se çdo simbol në varg kodohet me m bita, kemi në dispozicion M = 2m nivele të kuantizimit. Diapazoni dinamik ndahet në M intervale, kështu që gjerësia e intervalit të kuantizimit është Δ = 12/M.

• Prandaj, rezulton se gabimi maksimal i mundshëm i kuantizimit, që është i barabartë me gjysmën e intervalit të kuantizimit, është Δ/2 = 6/M.

• Vlera e tillë do të shërbejë për krahasim me rezultatet e fituara në vazhdim me mënyrën e thjeshtë të kodimit në nënbrez.


• Ndajmë vargun {xn} në dy nënvargje të reja {yn} dhe {zn}, ku vargu {yn} është shumë e vlerave fqinje, përkatësisht të komponenteve të frekuencës së ulët:

.2

1 nn

n

xxy

ndërsa vargu {zn} është ndryshim i vlerave fqinje, përkatësisht i komponenteve

të frekuencës së lartë:

.2

1 nn

n

xxz

• Shprehjet për yn dhe xn paraqesin filtra të thjeshtë të frekuencës së ulët (yn) dhe të lartë (zn).

• Shihet qartë se nga vargjet {yn} dhe {zn} mund të rikonstruktohet pa humbje vargu {xn}:

.nnn zyx


• Në fig. janë treguar grafikisht vargjet {xn}, {yn} dhe {zn}, prej nga shihet se vargu {yn} është “më i lëmuar” se vargu {xn}, pra ndryshon më ngadalë, dhe kjo dmth. se korrelacioni ndërmjet vlerave fqinje në këtë varg është më i madh, kështu që presim që vargu i tillë të jetë më i përshtatshëm për kodim diferencial sesa vargu fillestar {xn}.

• Të shohim se si do të kryhet kodimi diferencial i vargut {yn}: 10, 12, 12, 11, 13, 11, 11, 13, 11, 10, 9, 11. Sinjali i ndryshimit për këtë varg është: 10, 2, 0, -1, 2, -2, 0, 2, -2, -1, -1, 2.


• Nëse përsëri nuk e marrim parasysh ndryshimin e parë në varg, vlerat minimale dhe maksimale janë -2 dhe 2, kështu që diapazoni i tërë dinamik është 4.

• Për M nivele të kuantizimit, gjerësia e intervalit të kuantizimit është Δ = 4/M, kështu që gabimi maksimal i mundshëm i kuantizimit është Δ/2 = 2/M.

• Të shqyrtojmë edhe vargun {zn}, i cili është: 0, 2, -2, 1, 1, -3, 3. -1, -1, -1, 1, 1. • Sinjali i ndryshimit do të kishte variacione më të mëdha se vet vargu, kështu

që në këtë rast nuk shfrytëzojmë kodimin diferencial por kuantizojmë drejtpërdrejt. Vlerat minimale dhe maksimale në varg janë -3 dhe 3, kështu që diapazoni i tërë dinamik është 6.

• Për M nivele të kuantizimit, gjerësia e intervalit të kuantizimit është Δ = 6/M, kështu që gabimi maksimal i mundshëm i kuantizimit është Δ/2 = 3/M.

• Shohim se për numër të njëjtë të bitëve, këto tre vargje mund të kodohen me gabime maksimale të kuantizimit mjaftë të ndryshme:

• për vargun {xn} → 6/M;

• për vargun {yn} → 2/M;

• për vargun {zn} → 3/M.


• Gabimi maksimal i kuantizimit është mjaftë më i vogël për vargjet e reja {yn} dhe {zn} sesa për vargun fillestar {xn}, kështu që mund të përfundojmë se me ndarjen e vargut në komponente frekuencore arrihet kodim më i mirë.

• Problem i vetëm është se në vështrim të parë duhet koduar numër dyfish më të madh të simboleve, sepse në vend të një vargu, kodojmë dy.

• Por, lehtë mund të tregohet se në të vërtetë nuk është e nevojshme të kodohen tërë vargjet {yn} dhe {zn}, por vetëm çdo të dytin anëtar të njërit dhe të vargut tjetër. Kjo është e mundur sepse nga një çift i vlerave të {yn} dhe {zn}, mund të rikonstruktohen dy vlera fqinje nga vargu {xn}:

• Pra, me kodimin e çdo të dytit anëtar të {yn} dhe {zn}, mundet të rikonstruktohet plotësisht vargu {xn}. Lehtë vërtetohet se vargjet e përbërë nga çdo i dyti anëtar i vargjeve {yn} dhe {zn}, gjatë kodimit japin të njëjtat gabime maksimale të kuantizimit sikurse edhe vargjet e plota.

• Me këtë mënyrë të kodimin kemi koduar vargun fillestar me numër të njëjtë të bitëve sikurse te kodi i kodimit diferencial, por kemi arritur gabim mjaft më të vogël.

., 1 nnnnnn zyxzyx


• Metodat klasike të komprimimit të prezantuara deri tash kanë koduar në mënyra të ndryshme mostrat e sinjalit burimor, duke u bazuar në teori të informacionit dhe në metodat optimale të kuantizimit dhe të kodimit të sinjalit.

• Metodat moderne të komprimimit (gjenerata e dytë e metodave), siç është kodimi i bazuar në model (model-based coding), bazohet në analizën dhe sintezën e figurës, pra në një qasje krejtësisht tjetër nga metodat klasike.

• Këto metoda paraqesin figurën përmes modelit strukturor dydimensional (2-D) dhe tridimensional (3-D), dhe komprimimi realizohet duke koduar modelin.

• Prandaj, në vend të transmetimit të mostrave të sinjalit, koduesi dhe dekoduesi kanë të njëjtin model për gjenerimin e sinjalit nga parametrat e modelit ose funksionit, kështu që transmetohen vetëm parametrat e tillë.

• Pra, është me rëndësi të vendoset model i përshtatshëm i burimit të të dhënave, dhe modelin e tillë e përshkruajmë me numër kompakt dhe për disa herë më të vogël të parametrave, ashtu që ai të simulojë mirë gjenerimin natyror të sinjaleve.

• Pastaj është e mjaftueshme të kodohen parametrat e tillë dhe, përmes tyre dhe të modelit të burimit, në dekodues sintetizohen të dhënat që janë shumë të ngjashme me të dhënat burimore.

• Përfaqësues tipik dhe mjaftë i përhapur është koduesi i të folurit i bazuar në model, i cili ka përdorim të gjerë në telefoni mobile (GSM – Global System for Mobile Communications).


• Arsyeja e përhapjes të këtyre koduesve pikërisht për të folur konsiston në atë se modeli i gjenerimit të të folurit, përkatësisht të traktit të të folurit të njeriut është i njohur dhe i përpunuar mirë.

• Koduesit e tillë analizojë sinjalin e të folurit, dhe nga një analizë e tillë fitojnë parametrat e modelit të traktit të të folurit.

• Në dekodues këto parametra përdoren në modelin e traktit të të folurit, dhe në këtë mënyrë sintetizohet të folurit.

• Në kategorinë e koduesve të bazuar në model mund të vendoset edhe kodimi fraktal i figurës, sipas të cilit figura paraqitet me model, dhe shfrytëzohet principi i analizës dhe i sintezës.

• Nëse parametrat e modelit, që fitohen gjatë procesit të analizës së figurës, mund të paraqiten me numër më të vogël të bitëve se sa vetë figura, atëherë arrihet komprimimi përkatësisht kodimi fraktal i saj.

• Vështirësia konsiston në atë se nuk është lehtë të gjendet model për figurë të përgjithshme, përkatësisht funksion që e përshkruan atë.


• Prandaj, për këtë qëllim shfrytëzohet ideja që kodimin fraktal të figurës t’a bazojmë në vetëngjashmëri, pra në supozimin se pjesë të ndryshme të figurës kanë ngjashmëri ndërmjet tyre, dhe se dallohen vetëm në përdorimin e transformimit relativisht të thjeshtë (p.sh. rotacioni, pasqyrimi, translacioni, zmadhimi).

• Për shembull, në figurën e ndonjë ndërtese përsëriten dritare shumë të ngjashme; në figurën e pyllit format e lisave janë të ngjashme ndërmjet veti, etj. Prandaj supozohet se kjo veti mund të shfrytëzohet për paraqitjen e figurës përmes fraktaleve, të cilat tregojnë veti të ngjashme.

• Fjalën fraktal (fractal) i pari e ka përdorur matematikani Benoît Mandelbrot në vitin 1975. Fraktalet janë të njohura sidomos për faktin se përmes tyre mund të gjenerohen figura fantastike.

• Edhe pse është shumë vështirë të gjendet përkufizim i përpiktë për fraktalet, mund të thuhet se ato janë objekte të fragmentuara me formë të parregullt që tregojnë veti të vetëngjashmërisë, të cilat shpesh fitohen me përsëritjen rekursive të ndonjë funksioni, dhe me përsëritje iterative fitohet nivel sipas dëshirës i detajeve.

• Për shkak të vetisë së vetëngjashmërisë ka lindur ideja e përdorimit të fraktaleve edhe në kodimin e figurës.

Shembulli 32: Videoparaqitja e fytyrës së njeriut

• Si shembull që ilustron shumë mirë principin e kodimit të bazuar në model do të marrim kodimin e videos së fytyrës së njeriut të bazuar në këtë princip.

• Le të supozojmë se duhet të kodojmë videon (vargun e figurave), përmbajtja kryesore e të cilave është fytyra e njeriut në lëvizje, si p.sh, folësi në TV.

• Me analizën e fytyrës natyrore në video mund të arrihet deri te lëvizja e pjesëve të fytyrës, dhe lëvizjet e tilla t’i përdorim në modelin e figurës.

• Pikërisht kjo është ideja e kodimit të bazuar në model, ku në vend të mostrave të videos, kodohen parametrat për animimin e modelit të fytyrës, dhe modeli i tillë në dekodues shfrytëzohet për sintezën e videos. Nga vargu i figurave, me anë të analizës, fitohen parametrat e animimit dhe ato pastaj kodohen, shih fig.

Shembulli 32: Videoparaqitja e fytyrës së njeriut • Parametrat e animimit paraqesin lëvizjet e të gjitha pjesëve të fytyrës –

p.sh., ngritjen e vetullave (veçmas asaj të majtë dhe të djathtë), hapjen dhe lëvizjen e syve, hapjen dhe formën e buzëve, hapjen e nofullave etj.

• Norma ndërkombëtare MPEG-4 standardizon 68 parametra me të cilët mund të përshkruhet lëvizja e fytyrës. Në mënyrë që fytyra të jetë e dallueshme, në fillim të procesit merret forma themelore e saj dhe e ashtuquajtura teksturë (figura e fytyrës), dhe ato në princip transmetohen vetëm një herë.

• Në dekodues ekziston modeli tredimensional i figurës, i cili i përshtatet formës dhe teksturës së pranuar nga koduesi, ashtu që figura të jetë e ngjashme më fytyrën burimore.

• Pastaj parametrat e animacionit shfrytëzohen në atë model ashtu që lëvizin pjesët e modelit (vetullat, sytë, buzët etj.), dhe në këtë mënyrë sintetizohen lëvizjet e fytyrës, shih fig.


• Në këtë mënyrë fitohet videosinjali i fytyrës në lëvizje, duke transmetuar shumë më pak sasi të të dhënave kundrejt rastit të transmetimit të mostrave të figurës.

• Për të pas një pasqyrë për shkallën e komprimimit, le të marrim videon origjinale me rezolucion 640 x 480 piksela, pra gjithsej 307200 piksela, dhe secila prej këtyre pikselave le të jetë e paraqitur me 24 bita.

• Gjatë kodimit të bazuar në model, me supozim se shfrytëzojmë parametrat e përmendur të animacionit të fytyrës, të përcaktuar me normën MPEG-4, punojmë me gjithsej 68 parametra.

• Për thjeshtësi, konsiderojmë se çdo parametër i tillë kodohet me 24 bita, sa edhe pikselat e figurës, edhe pse në të vërtetë për parametra është i nevojshëm numër dukshëm më i vogël i bitëve.

• Me një llogaritje të tillë të vrazhdë rezulton një komprimim prej 1 : 307200/68, që është rreth 1 : 4500. Për krahasim, koduesit që janë në përdorim arrijnë herës të komprimimit 1 : 100.


• Është e qartë se një herës i tillë i komprimimit përcillet me të meta të konsiderueshme. Më e theksuar është e meta e dedikimit të ngushtë të kësaj procedure për video që përmban fytyrën e njeriut. Kjo dmth. se kjo mënyrë është e dobishme vetëm për përdorime në të cilat fytyra është element që dominon, p.sh. në videokonferenca.

• E metë tjetër edhe më e madhe, dhe sigurisht edhe arsye që metoda e këtillë të mos jetë e përhapur në praktik për video, është fakti se akoma është e pamundur të bëhet analizë e videos që do të jepte parametra të animacionit të kualitetit të kënaqshëm në kushte të vërteta të përdorimit.

• Pra, analiza e lëvizjes së fytyrës si tërësi (forma të ndryshme të fytyrës, ngjyra të ndryshme të lëkurës, flokëve dhe syve, syza eventuale, mjekër, mustaqe, etj.), në kushte të përdorimit të vërtetë (kamera e kualitetit të mesëm, ndriçim i çfarëdoshëm), është detyrë shumë e vështirë, dhe algoritmet aktual akoma fusin shumë gabime.

• Nga ky shembull mund të pritet se algoritmet për kodim të bazuar në model janë kompleks për t‘u implementuar, kështu që kërkohet më tepër kohë për procesim në krahasim me algoritmet paraprak për kodim burimor.

Kanali me zhurmë të gausit

• Një zbatim i konceptit të kapacitetit në kanalin me brez të kufizuar nëpër të cilin transmetohet mesazhi në prani të zhurmës së bardhë të Gausit është teorema e Shanon-Harleit, me të cilën fitohet kapaciteti i kanalit në bit/sek, nëse baza e log. merret 2, dhe nat/sek, nëse baza merret log. natyror:

C = B log2 (1+s); ku s është herësi sinjal/zhurmë, ku fuqia e sinjalit dhe e zhurmës maten në

W ose V2, pra herës është raport i fuqive (jo në dB) kështu qe nëse jepet në dB duhet konvertuar, ndërsa B gjerësia e brezit në herc.

• Shprehja paraprake është intuitivisht e qartë sepse: - Me rritjen e gjerësisë së brezit, rritet edhe mundësia e dërgimit më të

shpejtë të mesazheve, prandaj edhe kapaciteti i kanalit është më i madh. - Nëse nuk ka zhurmë, atëherë herësi sinjal/zhurmë është pambarim i madh,

kështu që fitohet kapacitet pakufi i madh, pavarësisht nga gjerësia e brezit. • Por kur është e pranishme zhurma, rritja e gjerësisë së brezit nuk shkakton

automatikisht edhe rritje pambarim të madh të kapacitet të kanalit, sepse për gjerësi më të madhe të brezit, rritet edhe fuqia e zhurmës, kështu që zvogëlohet herësi sinjal/zhurmë, dhe mund të tregohet se kapaciteti i kanalit mbërrin një vlerë të epërme të kufizuar me rritjen e brezit frekuencor nëse fuqia e sinjalit fiksohet.

Kodimi linear i blloqeve

• Te kodimi linear i blloqeve mesazhet grupohen në blloqe me numër të caktuar të simboleve të cilat i dërgon burimi i informacionit.

• Çdo blloku i caktohet kodi përkatës.

Shembull (a) Tek burimi binar i informacionit, dy simbole të mundshëm janë: “0” dhe “1”.

• Nëse formojmë grupe (blloqe) prej tre simbolesh, mund të formojmë

tetë mesazhe të mundshme 000, 001, 010, 011, 100, 101, 110, 111, dhe, siç shihet, çdo njërit prej këtyre mesazheve mund t’i dedikojmë një kod.

• Kodi i dedikuar mund të ketë gjatësi të njëjtë me atë të mesazhit, por mund të jetë edhe më i gjatë; në atë rast kemi tepricë (kodi me tepricë). Kodet që kontrollojnë gabimet janë kode me tepricë.

Kodimi linear i blloqeve • Gjatë analizës së bllok kodeve me rëndësi është e ashtuquajtura distancë

ndërmjet dy kodeve.

• Kodi është varg i bitëve, kështu që për distancën e dy kodeve mund të shfrytëzohet cili do përkufizim i distancës së dy kodeve.

• Distanca e Hamingut për dy fjalë të koduara të të njëjtës gjatësi përkufizohet si numër i bitëve të ndryshëm, kështu që distanca e Hamingut në mes të, p.sh., kodeve 000 dhe 111, është 3.

• Distanca minimale është distanca më e vogël ndërmjet të gjitha çifteve të mundshëm në një bashkësi të fjalëve. Për të detektuar n bite të gabuar duhet distancë d = n+1.

• Problemi nga shembulli (a): 000, 001, 010, 011, 100, 101, 110, 111. qëndron në faktin se nëse ndryshon një bit për shkak të zhurmës, në pranim nuk mund të detektohet gabimi sepse distanca minimale është 1.

• Por, pasi që për shembull, te fjalët e koduara: 0000, 0011, 0101, 0110, 1001, 1010, 1100, 1111 distanca minimale siç shihet është dy, dhe nëse gabimi bëhet në një bit, në marrës mund të detektohet ai gabim, por i njëjti nuk mund të korrigjohet.

• Për kodet: 01111, 10011, 01000, distanca në mes të dy kodeve është 3, kështu që nëse ndodh gabimi në një bit, marrësi mund të detektojë dhe të korrigjojë atë. Marrë në përgjithësi për të korrigjuar n bite të gabuar duhet distancë d=2n+1

• Prandaj, përmes kodimit çdo mesazhi i dedikojmë kodin përkatës ashtu që të optimizojmë gjatësinë e tij, si dhe gjasën e gabimit ose sigurinë e mesazhit.

Gjetja e gabimit me metodën e kontrollimit të paritetit

• Është metodë më e thjeshtë e sigurisë, e cila gjen përdorim të madh, sidomos në përpunimin e të dhënave në kompjuterikë.

• Bazohet në supozimin e arsyeshëm që paraqitja e gabimit është e mundur në pozicione të ndryshme, me gjasë të barabartë të paraqitjes, dhe gabimet janë statistikisht të pavarur.

• Gjasa e gabimit (Pe) në sistemet bashkëkohore është ndërmjet 10-5 deri 10-12.

• Gjasa që në një fjalë të koduar të shkaktohen dy ose më tepër gabime është e vogël.

• Prandaj, gjithmonë supozohet se paraqitet vetëm një gabim në

fjalën e koduar.


• Kode më të shpeshta për gjetjen e gabimit janë të ashtuquajturit kode të njësheve ose të zerove çifte.

• Formohen ashtu që bëhet zgjerimi i kodit ekzistues për një shifër binare, duke i shtuar çdo fjale të koduar 0 ose 1, në mënyrë që në fjalën e re të koduar numri i zerove (ose njëshave) të jetë çift (kode të zerove ose të njësheve çift), ose në rastin e kodeve të kontrollimit të joparitetit numri i zerove (njëshave) duhet të jetë tek.

• Nëse përdoret kodi i paritetit, paraqitja e fjalës së koduar me numër tek të njëshave (zerove) tregon se në atë fjalë të koduar është paraqitur gabimi.

• Nëse përdoret kodi i joparitetit, paraqitja e fjalës së koduar me numër çift të njëshave (zerove) tregon se në atë fjalë të koduar është paraqitur gabimi.

• Pra, në të dy rastet, zbulohet gabimi, por nuk dihet se në cilin pozicion është ai, ose nuk dihet saktë se çfarë kombinimi është dërguar.

• Gjithashtu ky sistem është joefikas për rastet kur në fjalën e koduar kemi më tepër se dy gabime.


• Në tabelën mëposhtme është treguar kodi “8421” i siguruar me shifrën e paritetit të njëshave (përkatësisht të joparitetit të zerove), si dhe të kodit “plus tre” me shifrën e paritetit të zerove (përkatësisht të joparitetit të njëshave).

Shifra decimale NBCD kodi Kodi ”plus tre”

0 0000 0 0011 1

1 0001 1 0100 0

2 0010 1 0101 1

3 0011 0 0110 1

4 0100 1 0111 0

5 0101 0 1000 0

6 0110 0 1001 1

7 0111 1 1010 1

8 1000 1 1011 0

9 1001 0 1100 1


• Sigurimi i paritetit shfrytëzohet edhe në rastin e kodeve alfanumrike. • Shkronja “z” p.sh. në kodin ASCII (American Standard Code for

Information Interchange) paraqitet si 5A = 101 1010, ndërsa shenja “&” si 26 = 010 0110.

• Në rastin e sigurimit të paritetit të njëshave, me kusht që shifra për

sigurim të vendoset në vendin më të rëndësishëm (në fillim), shkronja “z” dhe shenja “&” paraqiten me kombinimet:

z 0 101 1010, & 1 010 0110.

Documents

TEORIA E INFORMACIONIT - · PDF fileGjeneza dhe nocioni i teorisë së informacionit Teoria e informacionit synon analizimin e komunikimit ndërmjet dhënësit dhe marrësit përmes