233

US - Osnovi Teorije Informacija i Kodovanje

Embed Size (px)

DESCRIPTION

US - Osnovi Teorije Informacija i Kodovanje

Citation preview

Page 1: US - Osnovi Teorije Informacija i Kodovanje
Page 2: US - Osnovi Teorije Informacija i Kodovanje
Page 3: US - Osnovi Teorije Informacija i Kodovanje

UNIVERZITET SINGIDUNUM

����������� �������������������

������������������������������

OSNOVI TEORIJE INFORMACIJA I

KODOVANJA

����������

Beograd, 2013.

Page 4: US - Osnovi Teorije Informacija i Kodovanje

OSNOVI TEORIJE INFORMACIJA I KODOVANJA

Autori:����������������������������������

���������������������������������������������!����"�������

���� �UNIVERZITET SINGIDUNUM���#���$!���������%&'''(���#������(�)(��

�������� �������������������

����� ���������������������

��������������������������*�������

Godina izdanja:2013.

������370 primeraka

Štampa:�������+��-/���)�

4��5689;<;=<98>&<?@=<A

C�-F��#*�6H&@>%(J������������#������4��������K������-����(L�-�����)���-�������*���������)��������-�O����)����������������(

Page 5: US - Osnovi Teorije Informacija i Kodovanje

„Dobar nau�nik je onaj ko misli kao i svi

drugi, a vidi nešto što niko drugi nije

video. Genije je onaj ko vidi isto što i svi

drugi, a misli nešto što niko drugi nije

pomislio"

��4��.����.5 ������

Page 6: US - Osnovi Teorije Informacija i Kodovanje
Page 7: US - Osnovi Teorije Informacija i Kodovanje

SADRŽAJ

�� '"6 ���������������������������������������������������������������������������������������������������������������������������������

1.1. Pojam informacije ................................................................................................. 11

1.2. Informacijska hijerarhija ................................................................................... 12

1.3. Informaciono društvo .......................................................................................... 14

1.4. Teorija informacija kao akademska disciplina .......................................... 16

�� )(,*6��7�����(86*��9�7������������������������������������������������������������������������������������:

2.1. Entropija – izbori mogu�nosti sa poznatim verovatno�ama ................. 27 ������ ���.����.��0������������������������������������������������������������������������������������������������������������: ������ "�;�����.����.��0������������������������������������������������������������������������������������������������ ������ $���#.�����!������.��0����������������������������������������������������������������������������������������������� ����<� ��1%��������%����5�0���.��#������������������������������������������������������������������������������������ ����=� '�������.��0������������������������������������������������������������������������������������������������������������= ����>� '����������.��0���������������������������������������������������������������������������������������������������������>

2.2. Informacija i njena mera .................................................................................... 44 ������ 60���!����������?���������������������������������������������������������������������������������������������������<< ������ '���������������!���������������������������������������������������������������������������������������������������<> ������ -����%#��0�����.�!�����������!����5.�����#�/����%���������������������������������<@ ����<� *���.������.��0���������������������������������������������������������������������������������������������������������=�

2.3. Šenonova matemati�ka teorija informacije ................................................ 53 ������ ��������������������������������������������������������������������������������������������������������������������=< ������ A���������������0��#���!��������������������������������������������������������������������������������=< ������ )�.��0����������1�����1�����0��#���!��1������������������������������������������=> ����<� A�������.����������#��������4����14�.�#������������������������������������������������=B

2.4. Laboratorijski rad ................................................................................................. 60

III

Page 8: US - Osnovi Teorije Informacija i Kodovanje

�� )8�$��(6�$6 6"�(7)��(86*��9�7������������������������������������������������������������B�

3.1. Kodovanje jedne slu�ajne veli�ine .................................................................. 73 ������ N5�����.�4���#�����������������������������������������������������������������������������������������������������BB ������ $���.����������#�.�������������������������������������������������������������������������������������������������@�

3.2. Efikasno Kodovanje .............................................................................................. 83 ������ "����.�����(5������.�4�����������������������������������������������������������������������������������@� ������ A�������.���������#������1�4���0��1.���1�������������������������������������@B ������ C�������#�����������������������������������������������������������������������������������������������������������������:� ����<� 60.������.�C���������#��������������������������������������������������������������������������������:<

3.3. Laboratorijski rad ................................................................................................. 96

<� $�(�2��+���*)(6���(86*��9�7�������������������������������������������������������������������::

4.1. Komunikacioni kanali ...................................................................................... 100 <����� $�0�!�.�.�#����������������������������������������������������������������������������������������������������������������< <����� $�����������.��%����1�������������������������������������������������������������������������������������= <����� $�����������.��%������������������������������������������������������������������������������������������> <���<� �������0�������������������������������������������������������������������������������������������������������������������B

4.2. Kodovanje u prisustvu šuma .......................................................................... 109 <����� $���0���������������������������������������������������������������������������������������������������������������������: <����� ,���������#������1�1�0��1.1��1��������������������������������������������������������������

=� +�A,�,(��$6 6"��D�$6 6"��+�����*�"27�(7)�-*)A�$�������������������<

5.1. Osnove kodova za ispravljanje grešaka ..................................................... 115 =����� C����������.���������.�;����#����/���%��������������������������������������������������������> =����� �#���������������������.�����������#������������.����.������@ =����� �.�#!�������0��������������#������������������������������������������������������������������������������:

5.2. Linearni kodovi ................................................................................................... 122 =����� $������������������#��������������������������������������������������������������������������������������<

IV

Page 9: US - Osnovi Teorije Informacija i Kodovanje

=����� ��.��#����������������/�#���������������������������������������������������������������������������> =����� �#�������3������#�!�������.��!���������������������������������������������������������������������B =���<� 1�����#��������������������������������������������������������������������������������������������������������������������� =���=� ����������������������������������������������������������������������������������������������������������������������������������� =���>� ������������.��������������#�!�������.��!���������������������������������������������������< =���B� ��������C��������#�������������������������������������������������������������������������������������������<

5.3. Cikli�ni kodovi ..................................................................................................... 138 =����� 9�#��%���#�������0�����������������������������������������������������������������������������������������������: =����� �#��������!�#��%��/�#����������������������������������������������������������������������������������<�

5.4. Konvolucioni kodovi ......................................................................................... 147 =�<��� $��������#����1!������#�����������������������������������������������������������������������<@ =�<��� 60�.��������!����#����1!����/�#�����������������������������������������������������������������=� =�<��� ����.���0��#������.#��������������������������������������������������������������������������������������������=� =�<�<� �#������������������������������������������������������������������������������������������������������������������������==

5.5. Prakti�na primena zaštitnih kodova ........................................................... 161 =�=��� �*E�����������������������������������������������������������������������������������������������������������������������������������>� =�=��� 8)9������������������������������������������������������������������������������������������������������������������������������������>� =�=��� C�4�������*E����������������������������������������������������������������������������������������������������������������>< =�=�<� ��.������������������������������������������������������������������������������������������������������������������������������>= =�=�=� �#����������4���������������������������������������������������������������������������������������������>B =�=�>� $��#�.���!������������������������������������������������������������������������������������������������������������������>@ =�=�B� 7�����0������#��������1�9 ��������������������������������������������������������������������������������>:

5.6. Laboratorijski rad .............................................................................................. 172

>� $*��,6-*�8�7��D��(86*��9�6(6�,)6*�7�$��'"6 ���������������������������@@

6.1. Perfektna tajnost ................................................................................................ 190 >����� �����#.��������3�������!�������������������������������������������������������������������������������������������:� >����� -����%#��0�����.�!����0����#.�������������������������������������������������������������������������:� >����� �#���A�������.���������0����#.����.����.��5�6,���������������������������������:<

V

Page 10: US - Osnovi Teorije Informacija i Kodovanje

6.2. Neperfektna tajnost i ta�ka jedinstvenosti ............................................... 195 >����� )#��#�!����#��1%����.�%#�������.���.���������������������������������������������������������:= >����� ��� �����.�%#�������.���.������������������������������������������������������������������������������:@

6.3. Autentifikacija ..................................................................................................... 199

B� ���2�6-*�8�7�����������������������������������������������������������������������������������������������������������

6 �,�$���D�'"6 �'���,2���6$*'&)(7)����������������������������������������������������������

6 �,�$���D�7) (���*��)(��$6 6"��+�����*�"27�(7)�-*)A�$��'�$*��,6-*�8�7����������������������������������������������������������������������������������������������������������������������<

*)F(�$��67�6"������������������������������������������������������������������������������������������������������������������

VI

Page 11: US - Osnovi Teorije Informacija i Kodovanje

Predgovor

���� .������� �������!���� �� #�������� D� ��� 1�;4���#� #���� ��� ���������.1���.���� 8�#1�.�.�� ��� �������.�#1� �� ��%1���.�� '������.�.��������1�1�����0��0���1��0�.�����0�����.��G6����.��������������!������#�������H�� ����;�� �� #���.�.�� �� ��� ���������� ������� ��� 0�����.�� 1� #��������������!���� �����#��1%�1�1���1��#����.��1�$��0.�����������$��0.����������"��.�%#����.������!�������1�0�.��1���������.�1%����0�����.����1�#������������������0����� �� �4����� 0���.�#�� ��/.��� #��.�.�.���� ����������� �� ������1��������!����/�.�#�����'����������1��4��.��0�����1�����.�������������.�%������#�����#��#�����1;���������.�%#��� .�/�����������1�!���1��4����������������� ��0�������/�������������!����/� ���;���� 1� �#��1� �������/� ��%1���#�� #��1��#�!����/��.����� "� � 1� ����� ������!���� �������.�%���� 1�� ���� .��� 0����� D� �4�������������������0������������!����I�������!����/����;���J��+�������� ��� .�� 0��� ���� ��� 0��1� 1� ��������� ������ ���#�� #��0������� ����� .����4���� ��#��� ������ ��0���� �� ������� .�� ��� ��.�� �� ��� �4��� A��� ��� ����������� �� ����.�#3� (�0���.�� 0������� ��� ���������� �����/� ���1�.�.�� 0����������������������.��.������.���!��.�����#��0������1��.��#�� �����#1��Zadatak br. 1: �������0�������� �#��;���������.������;���1.��#�����0������������4�.�����4��������.�����%�����#���#.����������������0���.�������#�� �����1 ��I������#�����J��Zadatak br. 2: 64�����0���.�#�� �#�� ;�������� �.���� ��;���1.��#�������4�/� ��� �����#���� 0���!�� 1� 4�.��� ����4�.��������������%1�����#������;���1�0�.����1�4�.����,����4�/�1#�����#��0�����������0�.��4���0��#10���������#�/�0���.�#���Zadatak br. 3: �������0���.�#��1�!��.���1�#��0������

6�

VII

Page 12: US - Osnovi Teorije Informacija i Kodovanje

�#��;���������.������;���1.��#�������4�/���������#�������������#��������%�����.���� ������� #�#�� ��� 1� �.�� #�� ��� ��#1� 0�������� 0���.#�� #���� �� 4�.��0���������4�������#��������4����0���!������������1%�.�����#��4�/���������#�;������ ��� 0���.#�� .��4�� ���.�.�� �� �#�� .��4��� #�������.������ ��� #10�� 4��4������/�������+���1����4�/�0�.���������#��0�������#��4�/������/.�������1�������0���.#��0���������0��1.���.�����I��#������0��������1�����1���#�������;�������#�#��� ��%1���#��� ��1����� ��#���� ���4�.�J� �� ��� 0��� .���� �����.1�����0��1.�1�.����.�������!���� 4�� ��� 4���� ���1����� �#�� 4�/� ����� ��� ���������� ���#1� #���%��1������#�/�#��1%��������0���.����0����������.����������/�1���1��1���.��41!��1��(��������.��������0/����������������4�/����������.#��10������4���3�

� Šta je informacija, kako se meri? � Šta je algoritamska složenost i kako se meri? � Šta su granice kompresije jednog skupa podataka ispod koje se ne može i�i

bez gubitka dela informacije? � Šta je uzajamna informacija izme�u dva skupa podataka, odnosno koliko

jedan skup podataka sadrži u sebi informacije o onom drugom? � Šta je redundansa (suvišnost) jednog izvora informacija i kako se ona može

iskoristiti? � Kako mogu da konstruišem transformaciju podataka koje šaljem ili

memorišem, tako da na prijemu ili prilikom iš�itavanja mogu da ispravljam greške u prenosu ili prilikom memorisanja?

(�#��� ��1%������ ���� 1�;4���#��� %�.���!� �� ��4�.�� ������ �������� #���� �1�����1 ���1� ��� �� ���1�������� ����� ��� ����.#��� �.���� ��.������� ����;��� 1��#��1� 6���� .������� �������!���� �� #��������� ��� �41/�.�� ���� .�����#�����1������� �������!����/� 0��!��� #���� 1�� ���� 1� �#��� ��%1���#��#��1��#�!������ �.��1�� � � 0���.����� �� ��;��� 0��#.�%��� �0���.� #������������� �������.�%��1� ���#���� ��������� 0��4����� #���� �1� ���� �� ����;����������/.������0��#������

VIII

Page 13: US - Osnovi Teorije Informacija i Kodovanje

'�;4���#� �� �.���� ��� B� 0�������� 1#��1%1�1 �� 1��� �� 4�4���������1� #���� ������.���.1����6��� .���� ����� #��0��.��.��� ��� #���1� 1� �� �������.#�� �� ��%��#��������/� 0������� ���� ����.�#� �� ������ ��� #��.�#� 1��� 1� ��,2���� #���0������#�� �#�1;����� 1� �#��1� #���� �� ����� �;4�� ��� �#�� ��� ��1%����/�.���.#�/� !������� �1��� ����.�#� �� ������ ��� 0�����1� .������� �������!���� 1����������1����������������#�/��.�����F�.���!� ��#������������.�#�.� ��1.��#����� �� �� ���#�.��.�� .������� �������!���� 1� �0�����1� �� �������� �/� #��1%��/����������4�.��/�������1�������4��4������/������������������#����.�����6�� 0��4��� �;��.�� ��� �����.��!���� ���#���.�� ��� .������� 1� ����1����1�#��.����1����0��1.���.����.��������#����.������.��������#��1%����;��.��#�#��������1���������/�����������.�.��1�0�.���.�#���������4�����������/�101..���0����#�����.������/��.�����0.������/�0�������������������� ������ 4��4������/� ����� ��� ��.����.1�� 0�#��1��� ��� ����������!����� .�����#�� 0��.10�� ����;��� 1� ���� 1�;4���#1�� 10���� ��� ����.1���������/� 0���!�� �������� #���� � � ����� ���1� �4��4���.�� �.���� ���.�.���#��.�������� �� ���������� ������ ,���� ��� 0�.01��� ���1���� 4��4����� �������� ���#�� 41�1 �� ������ ��.����.��� #��� �0�.�� ��%1���#�� #��1��#�!����������.�1#.1���� #��1%��� ��� ������ ����.����� �#�������� �� ���� ���4����� ����.�����!������!�����(��#���1�� ��/���1������� ��!�����.�������#�������1��.������ ��0�����4����#�������1�;��������#��0��������1�1�;4���#������������������������� � � � � � � � � � � � � � � � � ����1.���

IX

Page 14: US - Osnovi Teorije Informacija i Kodovanje

1. UVOD

'� .������� �������!���� !��.������ 0�������1�����0����� �������!���� #��� �������� ��#��1��#�!����#���0��!�����.1�.��K�0���.KK�0���K��������!���������.������������4��#���K����K1%�K��K��K��.�����.��0��.K!��K��������!����1.������������.�#�0��������0��������#����?������������1%�����!�0�����,��������������!������������K!��K����0�.K�K�����K�.K��0��K����K����K1#��#������4K����4���%#���#��1��#K!�����1��K0��1�����K.��K.�#������K%1�K�#���K1#��� ������� ����#����������.�#��� ������� ��� ���#.����#�� ��� 4�4���.�#K�.K�� #K�� �� ��� /1�K��.�%#�/��K1#K� ��1��.��.�������#1���.K��.�#���K��� �������1�.���/��K1#K��������!���� ������,�����������K!�����K�����.����!�0���K��1���������1���������K#K��K1#K�0�#1�K�K������� 0�#1�KK� �K� 0��.1�K%�� .K�� #��0��#K�� 0��K��� ��� ��� 1#K�1��� �K� 0��K��������K!��K� ����� �K#�� /K.�.�� ��.�� �����.K��� 0��.1�K%�.��� ������K!��K� ��� ��%��K.��#���0���#�K� Gin formare“� �� ������� ��� ��K%��K� .K��K���� 1� ����?��1� ����1���������� �KK���� �4��#K� ��%��1�� K��� ��� .�#��� �����K� ���14��K� 0��4�.�����K%������

10

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 15: US - Osnovi Teorije Informacija i Kodovanje

���� �67����(86*��9�7)� K�K� ���K� �����.����� 0��.10K� �������1� ������K!����� K� ���� �K�����������K%��� �� �0�.�� 0��/K ���� ������!���� ������K!����� (��� ���� ��#���#��������!�����������!���3�

� G2�1���1�.��!��������!��������K!��KL��� G������K!��K� ���K�� 0��� ��K�� �K� ��K� ����?���� ��K��� ��K� ���K� 4�.������K!���K%���KL��� G������K!��K�����������.���K�������0��K.#���������K��4K��.���K�����#���%������!��������#������K?K�1��#������1�4�����K�����0���K.�L��� G������K!����1������������.��#�����K�0���K�!K���K�1������.����.����#�����1�����1 KK�1��K�4����������������K�K.#�L��� G������K!���� 1� K��K��K� #��K� 0�.K�1� ��.10�K� 0��� 1� ���.KK�#��1��#K!��K��K�0���1�1��4K��.K��1������.�L��� G���� K��;K�� ����� �.�� �K�����1����� K� 0������� �.��� ��#� �1� ��0���K��?KK�������#�1.�%�����K�����KL��� G������K�����!����K����K����K��.�0��K.K#KL�����

'�1������.�.#�����.��K.1����K�%�� ��������!����0���K�������K!��K�1�3�� G������K!��K� ��� ��#�����.� ��K��KL�� �������0�.��K����� ��� �K��� ��K���� ����%��1�1� K���� G������K!��K������K%�����#����������1�����0��K.#1L�� G������K!��K����#10�0��K.K#K�1���#���#��.�#.1G�� G�������!�������0�����������/� ����0��1#�M�

"K;��� ��� �K0�K�.�� �K���#1� ����?1� 0��K.#K� �� ������K!����� 0����K� #���� �� %�.��0��.�� 1�1�� (K� 0������ 4���� �B� ��� 0��K.K#� �� ��� #K�� .K#K� ���K� 0��4�����K%������ GK�K� ��� �B� %K�KL� ��� ������K!��K� ���� ��� 0��K.#1� ���������� ��#����K%������ ,K#����;����1���.�� �K� �� ������K!��K� K.���� ���0��K.#K� �� ��K%���K�#�����1���������������

11

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 16: US - Osnovi Teorije Informacija i Kodovanje

���� �(86*��9�7�$��C�7)*�*C�7����+��D�����!����������!�����+��������1���.�I������Data, Information, Knowledge, WisdomJ� ��� 0������� .�1#.1�������� 0���.�#��� �������!����� ������� �� �1���.�� 1�����1� �������!��#1�/������/��1������#�����������������?������.�� ������ ���0��������0��./��������

� ����.�#���������������������� �������!�����������#��.�#.���� +�������������#�#�����10�.��4�.���� �1���.��������#���������.�����10�.��4�.���

(����!��I���#�����J�0��#���������/������/��#��0����������

����#������C������/��#����������+��

��+����������.�������������1�0�.10�#�3�� podatak��������1��4��#1����4��?���/���0�;������������������� informacija����4��#1���������������������������������?1�0���.�#����� znanje����4��#1���#���.� ���������!��1��������������

12

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 17: US - Osnovi Teorije Informacija i Kodovanje

� mudrost����4��#1���#����10�.��41���������#����#��1��#�!��1�#�����#��������� �� #���� �������������� 60�.�0��/� ���� ��� ���������� ��� ��� 0���.�#�����������������!��������������!�����������������������������������4����#���������������!����0�.��4������0���.�#�������#����0�.�����������!�������������;����� ����������������;��� ��1�#��� 1��� 0����� *���1� �#��1� I*1���1� �!#���1J� %���3� 0���.�#���������!����� �������� ���1������� I�������� �� �����.�%#�� 0��!�� #���� �������� ���0�.��������.�J����1���.������%�.����#�.�����������������0�����.���4�����������.�����4��������������.�����0����.����������0�.��#�.����������1���.��4���41�1 ������������������;�����.��.�.��0����!����.���#���.���.��� ���1���.��������������4�����������.����������������10�����0�� ��#������0��./�����#�.������������� 1����1���������������1�0�.��� �/����������;��.���.�����������������1���#��������1���1����1�0���1����.��#�������#.���.����.�� �.�����1� �.��.�� ���� ������� ���� 4����� ���� �������!���� ��� ���1� � �0�.��� �����������*����#������?1�������������1����������#���������?1�1%�������������������

13

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 18: US - Osnovi Teorije Informacija i Kodovanje

���� �(86*��9�6(6� *'A,"6�+������ ��� ���1�.�.� 1%������ ��� ���������� ����������������4���������1%�������(����������!�����.�/������������������14������������ �/�#���%����0���.�#�����������!�������0��1.��.� �������!���� ������ ��� ��� .���� ��� �������� ��1�.�� � �����%����� #��� �������!����� ��1�.��� *������ ��� .�� ��� ��;�� ���� 1��0��1.��.��� � � �� #��1%�������%��1� �������!����1� �1�#!�������1���.��� �/���1�#�/�����.��.���� ����� ��������������!���1�.�����1��.������������!���1�.�����1����1%��������������!���1� �#������1�� �������!���1� ���������1�� �������!���1� .�����1� ���� 1��#��1�.�����#������#����������!���1�����!��1���.�#���������)#0������.����� ��� 0�.�?��� ����1!�������� ���� 0��.10� ��%���1�� 0�� #���� ��1���%��!���� 4���.��� �0��� ��1���� ������ �������!���� ��� ������ �0.�������1���.������*����� .�/��%#�/� �.���� ��� 0����� ������������� �������!����/� ���;����� #����.��1���%1��������.����.���������������.�����.���#��1��#�!������.�������1�������#�.��� ��%��� 0�� ���� .�����#��� ���1�.�.���� �� ������.���� .1���������������� �������!����� #��� �� �.���� ��� ������ ���#���� #��������� 0����������������������.�.1����������� �#�������� 0������ ���� .�;��.�� #�� �������!������ �#��������� A.�� .����0���� ���%�N� '� #���%���� �#�������� !��1� ��4�� %���� #��0����.�� #��� �.�� 1�1.�������������� ������������ ��1�#�����������.���!�������.������0��������1� ��0����.���*��������.������0��������1�����#��.������� ������1�#��0����.1�1�����!���� � �� ���� ��� 0��1����� �������!���� #�#�� ���.�� ��0���.��� �� ��� ��0���������.��������������0��������I���������������������J���������� �1�����/� ���#.���� 1� #������ ����;�� ��.�.����.�� 4���� #���� ������� 1��1.����#��������������������������������!��������������1������������������

14

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 19: US - Osnovi Teorije Informacija i Kodovanje

!������� 0�� #���� �� !���� ������� 0�������� 4�.�� �����#�� !���� �������!����0�.��4������0���������0��������#����10��������.�����1��1����������#.��1���6�� ������� ������0������#����0�.�?1���� �0�.��� ��.�����.����0��#���� ����������!���� ��4������ .�.1� ��1���� �.��� #��� �.�� ��� 1� #���%���� 0�������������.��.��.��������������������������1�#��������#�� �������!���� 0�.���� �������.��� ��1�� 0�������� ����.��.��� ����� �� .�����1���������0�;������1#��.�����.���� 0������ ����������� �� ���.�.�� �������!���� ������� ��� 0��� ��.��� #���#��.�%��� .�/��������� #������ �� �4��4�?1��� .�4����� ������ �� 1� #�������� ��������0.���#���������1�.�����������!����'0���� .������� �������!���� ����� .�����#�� �� 0��#.�%��� �#���� ��� ��.��1� �.����#���� �4��4�?1�1� ���#���.� �� ��0���;��.� �������!����/� ��1���� /� ���/� ��������0����1.����%����,������� �������!���� 1� .�/��%#��� ���1�� #�#�� �� ����� ���1��� �� .1��%��� ����0���#������������$�����A�������4�������/���0���������#�����1�����.#�����.����A����� ��� ��������� �1� ��!�0���1� #��� .�����1� ��� ��������� 0��4����� 0�������������0��#��#��1��#�!����/�#���������#�� �����#��0��.10������ 1����1��#��0���.�1� �#�� �� ����1���1����������������!������ I����.�%#��J� ���;���� 0��1#�� #���� �� �������1� ���� 0�������A������0��.10�0���.�������������!��.����������������.���������

15

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 20: US - Osnovi Teorije Informacija i Kodovanje

��<� ,)6*�7���(86*��9�7��$�6��$� )��$�� ��9��2�(��,�����1� �������!���� ��� ������� $���� A����� IClaude ShannonJ� I�:�>5����J��A��������������1��.��;��%#���!��.�1�Bell Laboratories�I�:<�5�:=>J����#������1�Massachusetts Institute of Technology�I�:=>5�:B@J��

����#������$����A�����I�:�>5����J�

A��������.��;�����������������1������.�����0�.�����.�������#��1��#�!���3��� ��#�������������#��#10�0���.�#����;��#��0�����.��I������3���.��0����������CJN��� A.�����#�������4������#��1��!��������������.��#��1��#�!�����#�����I������3�#�0�!�.�.�#������9JN�

Odnos teorije informacija i telekomunikacija - )��#.��.�/��#��I,���#��1��#�!���J�� �� A������/� ������ ��.����� �� ��� ��� �����1 �� ��.���������!����0���.�����4��������������������������.�� �������#���A�������� 1� ��� �1������.������ ���1� ��� �:<@�� ������� ���������� !���#10�1� ��1%�1��������!1� ��� ������� .���#��1��#�!���� 0�#������ ��� ��� ����#1� 0���������1 �������.��0���������������4������0�������0���#�0�!�.�.��#�������16

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 21: US - Osnovi Teorije Informacija i Kodovanje

A�����������1������.����������13�• $���� A����� IC. E. ShannonJ�� GA mathematical theory of communication”,�

Bell System Technical Journal�������B��00���B:D<�������>��D>=>��71�O�����6!.�4�����:<@��• $���� A����� I�:<:J�� GCommunication Theory of Secrecy SystemsL�� Bell�

System Technical Journal,��@�I<J3�>=>DB�=��A����� ��� ������ 0�#����� ��� �������!����� ������ #��� �.�� 1� �1��#�� ���� �����0���1�1� #��0��#��.� �0��� #���� �� ������� ��/� ������ ��� ���1� ������#��0�����.��4����14�.�#���61�#��0��#��.������������.��0�����������#����������0�������.��0����1��������������������1��4��.��.����������#��� �#�����#����� ��.��0���� ������ ������ ��� #�0�!�.�.�� #������� ���1 �� ��� ���������.��#��1��#�!���1����1�#����������0.�.#��4�������#��0������������� .1�4�� #����� 0��4��;��� ��� A�������� �����!�� I��#��� #��1��#�!���� ����#����������1 ��� 4������51� 4������� #�0�!�.�.�� #������� �� �1�.��� ����#���0�����J��8���.��4��.�� ���������������.���.���I������Network coding)����;���#��������� ������� .������� ��1�.����� #��1��!������� ���� %����� 1� ����������;�������%�.���4��������1�0��1.1��1��������.�������!�����Odnos teorije informacija i ra�unarske nauke - $���������� F��.��� ����������� 1� ������� ����1� ��� ��� #��0��#��.� ������� ����� �����#�� �1;�������#�� ��� ��%1���#��� 0�������� #���� ��������� ��.�� 0���.#��� $��0��#��.� �����#��� �����#���1;����������������0��� I��#��0.����#��0��#��.J�� � ��#�������� ��� ��� ������ $������������� #��0��#��.�� 1���������� �� �������� ���#��#��.������%1������$������������� #��0��#��.� $� ��� 0��4��;��� �����#�� A�������� ��.��0���� C��1#���#�����0���.������#��!�����#��1���������%1�����1%�����1%�����1�#���1��� ��#��� ��0������� ����.�� �� #���� ���� ��.��0��1�C�� �.���� ��� ���� ����?1�A�������.��������������!������$�������������#��0��#��.����.���0����#.����Odnos teorije informacija i fizike - �.�.�.�%#�� ��/���#�� ��� ��.�� ��?�������.��0���� �� ��1���� ��#���� .����������#��� � )�.��0���� 1�#� ��.��� �1��� ��#���.����������#�������.�����#1����1������4�!�������#��.�������������.��!����0��0�.1��4�����

17

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 22: US - Osnovi Teorije Informacija i Kodovanje

Odnos teorije informacija i matematike - 81������.����� ���%���� .��������������!���3� ��.��0����� ����.���� ��.��0����� 1�������� �������!���� 1� ����������#����1�#!���������0����������.�� ����������.�����������%������4����0�1�1�0��������� �1��%#�/� �#��!�� �1%����/� ���%���� �� ����1 ���1� ���� 0��!��1�����.�� ����.#�/�����?����I.����������#�/������!���J��#����� ��!�����#0����.������#��I������error exponentJ�0���.�.�.�%#���.�.�����1�/�0�.�����Odnos teorije informacija i filozofskih nauka - 6#���� �#�%3�(�������.�������4���������� ������4������ �������� ��F��.��� 1�14�������1���#��1���� ��� 1���������� ���4����� 0��!��1��� 0����#!���� ���� #���� 1����� .�;��#1� 1�1�0����#!���� �/� 0�������� #���� ��4��� �4��������1� 0���.#��� (������ ��� ��� ���1����������0��!��1�����0��#.�%����41�1 ��������0������;������/�0��������#�������1�����4�������.��0���.#�������#����/.����0�.10�#��Odnos teorije informacija i ekonomije - *�0�.�.���� ���.�!���� 1� .�!��������4�����#�� .�;��.�� ���1�.1��� 1� �#0����!�������� ��.1� ��4�.#��� *�.� ��4�.#�� ����1����� ��.��0���� 4�����#��� .�;��.��� ��.���� ��������%��� ���� ����?1� .��������0.�����������.�������1�4�����#��.�;��.����.��������������!�����Odnos teorije informacija, ra�unarstva i komunikacija - ����������� ���#�/���%1����� ��� ���1� ����/� #��0����.�� ������ ��� �� ��� ��%1���#�/� �� ���#��1��#�!����/� ����.��� *�%1���.�� ��� ����.������ #��1��#�!������ ��#� 1�#��1��#�!���� ��%1���#�� ����.������� �.���� 1� �� ���1�.�.�� .������� �������!���� 1������1�#��1��#�!�����������#.����1.�!�����������%1���.���

18

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 23: US - Osnovi Teorije Informacija i Kodovanje

2. ENTROPIJA I INFORMACIJA

(�#1��.1�!��1� ��������%�.��#���������?���.�1#���#��0�.�����������1 ��.���0���%��1������0����.��#���� ��������/�4�.��������������������4������+�0������������.1�!����0�.01�������?���.��1�#���������/�������1�0����?�.������1���� 1�1�������1��.�#������0�������'����������������������%���0�����������?���/��.1�!�����#�������0�%�.�����������4��#� �������� .������� �������!����� ���.0�.����� ��#1� �.1�!��1�P�1� #����� ������1 ��Q������%�.�/� �/����� 6���%���� ��� ���1 ��.�� ��RS�� RS��T � RSQ�� 6���#10� ���1 ��.�� ���� ����%�.�� ��PURS�� RS�� T � RSQV�� �� ����.�� #���%������������4����������#�����/�����1�����������1���#���0��!��� ����������1���%���� ����� ���� �� ��4��� ������ ��� ��/� ���1 ��.��� (�����?���.� ��!����������.��� ����� ��4����P�� ��.���� 1������������������� ���� �����1 ��.�� ��� ������#���� �����Q���.����.���4�.�����4������

Na koji na�in možemo izmeriti koli�inu neodre�enosti u datoj šemi izbora P?

��.1�.���� 0����� ���� ��� �.�� ��� � �� #���������.�WPW�#10��P�� ������� 4����������.������#10���� �������������?���.��+��.����������4����������.����1�����WPW�#��� ���1� ������?���.�N� ��#�� ��� .�� 1� 0���!�01� ���1 ��� ������ ��1���0��.10� ����0�#���.������.��������������.����� �4�� ���� 1� ���13� ������� �� ������ ��� ���1 ��.�� ��� #10��PURS�� RS�� T � RSQV������.�����������1�0�.�����#����1�.�#������1�����������������/���������������daXne��0�#1����0�����.������������������.�����1 ��.�� 1�#� ��;���� ����%�.�� ������ 4���������� ��� T �Q Y WPW�� .�#�� ���0�.��������1�4�.��.�0�%������� ����4��#�3�

Da li je zamišljeni broj paran?

Da li je zamišljeni broj manji od 20?

Da li je zamišljeni broj ve�i od 12?

i td��

19

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 24: US - Osnovi Teorije Informacija i Kodovanje

6���/� ��0�;�������1#���#������ ���0�.��4�������0�.������ ������?���.� �������4����P���� � ��� �.���� ��� ������� ��.��.�� ��� ��� 4���� 0�.����� .�0�� daXne����0/����/� ��� ����?��������0����.�� ��������������1 ��.�� ��� #10��P����4��������������?���.���������4����P��6���;��.�������#�#��0�.�����0�.���������#��1�0�.�����.�0����������������������4���������#����0���#���������������������#����0���#���������������������#������������������ .�� ���� #��0�.������1� �/�Q����1 �/�0�.������6�� ��1��������� �0.���������%��� ��4������� .�%���� �������� 1� ���������� 4���1� #���#��� ��?1.���� �#�� ���0���0�.�������������������������4�������������QX���1����������0�.���1�1;�����0��.���1� ��� 0�����1� 0�%�.��/� ���1 ��.��� �#�� �� 1� ��������� #���!������.����� ��� 0�.������� 0�.����� ��� ���� ��%���� 0�#��� �� �� ��� ��� ���4�����.��.�������������#�����'� !���1� ��.��������� 10��������� �� ���� 0�.10#���� 0��.0�.����� 0��� ��� ���1#10���4����0�%�.��/����1 ��.��.�0���4�������������������;��� Y �Z��,������;���� 0�����.��P�0�.��������� 0���� 0�.����� I��� ��� ��� ����������� 4���� � �� �����Z[\�NJ� ��� ��� #10�� �.�� ���%���3�]���� T � �Z[\^���]�Z[\ _ ��T � �Z^�� ��#�� �����/�0������� ��4�.�0���������������0����������������0�.��������#�� ��� ������� ��� 0��� 0�.����� ne�� .���� ���� �� 0�.����� ���������#10���]���� T � �Z[`^���]�Z[` _ ��T � �Z[\^�� �#�� ��� ������� ��� 0��� 0�.����� da��.���� �������� 0�.����� 0���� �����#1� ����?1� #10���]�Z[\ _ ��T � �Z[\ _ �Z[`^���]�Z[\ _ �Z[` _ ��T � �Z^ �� ���#������ 0��!�� 0�.�������� 0�.����� �� ��4���������������0��#����������������1 �������#���.�1#.1����������#�������

����#�������.�4���0�.��������������.����.�#���4�������0��.����������0����.������1 ��� 1����1#10���Q Y �a����1 ��.���

20

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 25: US - Osnovi Teorije Informacija i Kodovanje

��#��� 0�.���1� �������� ������ %���� ����%��� #10��� ���1 ��.������.���#����/� ��� .��� �����.��� ���� %��� ��� .���� ����%��� #10��� �/����1 ��.��P�� F����� 1� 0���� ���1� 1� ����%���� �� ��� #10�� 10���� ����������������� ��1��� ���� %����� ��� ����%��� �� %�.���� #10�� ���������� %�.���� 01.�������/����0�%�.����#10��P���.���6�������������%���1����������6������D�ne�����%������������#��������D�da�����%���������������!��1#!���������������0�%�.����#10�����1 ��.�����0�������������������#���b�#���#�� �� 1#��������� ��� .�%��� �������� �����b������ ���.�� ��1��� ���������.��� ���� Y �Z���� ���1� ��� �������� Y ���` ��� 6��� 4���� ��� ���%����������� ���Q�� �.���� �������� ���1���� 0���.��.�� #���%��1� ������?���.�� 1� �������4����P�0��� 1� ������.��� ��� ���1� ��� 4����� �/� ���1 ��.��W�W Y �Z�.����.������#�� ���1� ������?���.�� ����� ��4����P�����%���� ��/UW�WV�� .���� ��� � ��4���/UW�WV Y ��� W�W����4�����4���4�����#�������W�W�.�0�������Šta �e se desiti u opštem slu�aju kada je kardinalnost skupa P proizvoljan prirodan

broj?

��;���� 0������.�� �.1� ���1� 0�.�������� 0�.������ � .��� �����#��� �.�� �� ��#������������ #10��� ���.�� ��0����� 4���� �������.�� � �4��#���c _ ��� 0�� �� ���/���0��������������������.��0��#10������.�������%�.��#���������.��c���c _ ������#�������������.1�!����������#�������

����#�������.�4���0�.����5���������.����.�#���4�������0��.����������0����.������1 ��� 1�1��0�.����1%��1�

21

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 26: US - Osnovi Teorije Informacija i Kodovanje

'#���#�� ��� 4���� ���1 ��.�� 1� ����� ��4����P�� ����?1� ��� .�0���� 4����� ���.����Z d W�W e �Zf\��.������;����������4�!�.����#�����1 ��.�������1#��.�����/��4���������Z���������.����#�����1 ��.��1�!���1���4���������Zf\����1 ��.����'�0�����1%��1��������0�.��4���b�0�.��������1���1����b _ �����4�����0��������.�%��� �������� ������ .���� #���%���� ������?���.�� 1�P���� ������ ����?1� ��/������.���.���� d ���W�W e b _ ����.��������0�.���;����1��.���/UW�WV Y ��� W�W�#������1�������?���.��1��0�.����1%��1��0���%��1���������.���������0/�����!���4������#���%���1���������� 1�������!��13�DEFINICIJA 2.1 Koli�ina neodre�enosti šeme izbora.� +�� ���1� ��4����P���W�W����1 ��.���#���%����������?���.��/UW�WV����������������/UW�WV Y ��� W�W��PRIMER 2.1�IA�/�#��.�4��J�(�#�������.��0��������/�#��.�4������.����1#10���� Y >< Y �g����1 ��.�����0�.��������0������1�����.��������������1 ���������4������;��0��#���.����� Y ]���� T �><^������������%������#���4�����������0����������/�#���.�4����$���%����������?���.��1�0�.������1����������1������0����1���/�#1�.�4�1����/UW�WV Y ���W><W Y >��$��� �� �#�� ��1��� ������!����� �� ����� ������!���� ����� ������?���.�� ��� ����#���0�����������60����������4��/�������!������.�%1����/������.����#�����.����������!����1�0��#.�%����0��������������#�����1�.�����#�/����?�������1�1 �������� ��� ������!��������� ������?���.�� 0��;����� 0��� .��� �� .������� �������!������%��������������������������4�����#��.����1����(�0�����������0�.�������;����0�.����.����.�#�����0�.�����������������1 ����������� ���.0�.����� ��� 0�.����� ����1�# h �����1 �/� ��������� '� .����1%��1� �#�� 0�.����� ���� 0����1� #10�� ���Q ����1 ��.�� 1�c ����1�#.��/�0��#10��� �� 0��4��;���ij ��������.��� �#�� ���W�W Y #Z�� .���� ���� ��� 0�.��4���.�%���� Y ���jW�W�0�.�������#������01.��1������������.����������1�#��.�������/UW�WV Y ���jW�W������1 �� 1� ��1� ��� ������jW�W Y ���j � k ���`W�W�� "������ ��� ��� 0������� �����������.��� 0�� ���#.���� �#�����.��� 0������� ������!�� �������� �� .���� ����� ���1�.��#������%�����

22

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 27: US - Osnovi Teorije Informacija i Kodovanje

�����!����� �.���� ��4����P��� ��������1 ��� .�4��� 0�.������ #��� �.�� ��� ���� ���I���#�����J�� �.�������� �������?������.���#���������/����1 ��.���.������4����� $��� ������ ���1 ��.�� ��4������ 0�������� ��4���� �� �� �� ��� 01.1� ���#������ .�4��� ��� ��.�� ���1 ��.��� �#�� 1� 101 ���� 4������� 0�.������ .������4������ 4������� #��� ��� ��.�� �.������1 ��.��� �����.���� ��� ��� �1;���� #�����#�����1 ��.�� �����#�� ���� ���� ������������� ���� ���� ������� ���!�����4���1����/UW�WV Y ���UW�WV���6�����0���01.�1�� ������4��#������������?1������������?���.����#���������PRIMER 2.2� �������� .�4��� 0�.������ (�#�� ��� �.��� ���1 ��.�� ��.� ��� Y ]�� �� �� <� =^���(������#���%����������?���.�����/UW�WV Y ��� = l �����:�4�.��7����� ���1 �� .�4��� 0�.����� ��� ��.�� ��� I���#�� ���J�� "������ ��� #��� � ������0�����.1��� ���1 ��.�]�^�� 0��� %��1� ��� ������� �1;���� �� �����#�� ������������� ��� !����� 4���1� ���/UW�WV�� ���1 ��.�]�^����� #��� �1;���� ���]<^���� #����1;��������.���

����#�������.�4���0�.����5���������.����������1�4������/�0�.�����1��.��1���=����1 ��.���

(�4���� ����������#����������.��������4���������������?���.��/UW�WV3��� �#�� 1�P����P����� �.���� ���1 ��.�� ��WP\W Y WP`W�� .���� ��� ��mUWP\WV YmUWP`WV��������.����1.�!�������������?���.���������4�������1 ��.������������/���0��������

23

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 28: US - Osnovi Teorije Informacija i Kodovanje

�� �#�� 1�P����P����� �.���� ���1 ��.�� ��WP\W e WP`W�� .���� ��� ��mUWP\WV emUWP`WV�� 41�1 �� ��� ��� ������.��� ���0����1 �� �1�#!����� 6�� ��4���� ��� 1�#���1� �� ������ ��.1�.����� �%�#�������3� ������?���.� ��.�� ��0���.���4��������1 ��.����4������� �#��1�P����P������.�������1 ��.���P���������01.���������1 ��.�����P��UWP`W Y � k WP\WV�.���� 1�����1 �� ������.��� ��� ���1� ��� ��4������mUWP`WV Y mUWP\WV _ ����6������������.�����.���.���1�#!����������.�����%������!�� ��� ��� ���` � Y �� �mUWP`WV Y ���`WP`W Y ���`U� k WP\WV Y���` � _ ���`WP\W Y � _ mUWP\WV��<� �#�� ���P��.��� ���� �� ������1 ��.��� .���� �#�� ��� ���1� ������.���1������ ���1� ��� .���� ���mUWPWV Y ���` � Y ��� 6�� ������!�� ����� �������� 4�.� I������!�� 4������� �������!���J�� "������ ��� ��� ������?���.�.���� 0������� �� �������!����� �� ��� �� ���1� ������.�� 1� �.��� �������������!����� �1�1 �� ��� ��� 1� ��%1������� �������!���� 0�������� ��0�����0��� 1����.���������0�01��������.�0�0�.��������4��������=� �#�� 1� ���� ����.�� ��� �.���� ���1 ��.�� �P\nR\�\� �R\�`� T � �R\�ao��� P`UR`�\� �R`�`� T � �R`�pV �� .���� �� ��� �.���� ���1� �#��4����.�� 1������.���� �.��� ���1 ��.��� %���� 1� ���1 ��.�� �/� �b q Q�0�����rnR\�\� R`�\o� nR\�\�� R`�`�o� T � nR\�`� R`�\o� T � UR\�a� R`�pVs �� 6�#�� #10� �/�0����� �� � ������ ��#��.�� 0������� ��� #10�� �� ��0�1��� �� 1� �����3�P\ t P`� Y rnR\�\� R`�\o� nR\�\�� R`�`�o� T � nR\�`� R`�\o� T � UR\�a� R`�pVs���(��� ���� ���� ���� �.��� ��4����� �.����� �������/� ��4����� 6��� ������;��� ������ ��� �� ��4������1 ��.�� 1� �#��� ��� �.���� ���� �������� �����1���� �.����� 6�#��� ��������� ��4������ �� ��4����1� #��4����������1 ��.��� $�#�� �� #���%���� ������?���.�� #��4�������� �.���� ������0�����#���%������������?���.�� 0�������%��/� �.�������1 ��.�N�6������ �������1�����1����� ���.�1��TEOREMA 2.1� ���.���.� ������?���.��� (�����?���.� �.���� �������/���4���� �����#�� ��� 1��� ������?���.�� �.���� #��.�.1���.��� .���/UW�\ t �`WV Y/UW�\WV _ /UW�`WV��� �#��3� �#��� �� ���� ��� #���� ����� ��.�� ���.���.�� �1�#!���� ������.����������

24

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 29: US - Osnovi Teorije Informacija i Kodovanje

/UW�\ t �`WV Y ���W�\ t �`W Y ���UW�\W k W�`WV Y ���W�\W _ ���W�`W Y/UW�\WV _/UW�`WV�����.��������?���.�� ����;����,������������1�0�.01��.��0���;��� ��.1�!��1���� �� ������?���.�� 1� ��� �������� �.1�!���� �4����1�� 1#���#�� 1� .�� �.1�!������?1�4������������#�����������.���1���������"��.���� �� ������1� ���� �� ��/�#��� .�4����� 1� #���� ��� ������ ��� ���������?���.����������1������!���#10������/�#���.�4���mUWPWV Y uvw� >< Y >���(�� �.����%������;�������.����� ���������?���.�0���!���� ������ ���1���1� ����������1� ���� ������� #������ �����#��uvw� @ Y ��� ��� ��� %������!�� ��;���� ���.��������?���.� 0���!���� ��� !���#10���� .�4���� 1��1;������� 1� �������� �.�����4�����.������4����0��#�������������������.���> Y uvw� >< Y uvw� @ _ uvw� @��'�0�.���������;������#.��� �����.������1%���Q��������/��.���� ��4�����,���������#��.��0��������1;����Q�

�\ t �` tkkkt �i Y rn�\�\� �`�\� T � �i�\o� T � s���������1 ���.����������/���4�����,�����������������#.���0�����1�����������0�.���1%�����1��;��.��������������������?���.����1;������.�������1 ��.��/UW�\ t �` tkkkt �iWV Y /UW�\WV _ /UW�`WV _ x_ /UW�iWV��I���J�(�#����#�!#��4�!��Q�01.������#����0�����1�������1�4�!��������������6���0��!�� ����;���������.�� 0��� 1�Q��������/� �.���� ��4�����\� T � � �i�� 0���%��1��#���.�������>����1 ��.���������I���J��1#10���������?���.��/����0����#��� 4�!����� #�!#��Q�1��.�0��/� 01.�� ��3�/UW�\ t �` tkkkt �iWV Y /UW�\WV _/UW�`WV _ x_ /UW�iWV Y � k ��� >��8����������������.1�!����������?���.��1�?�������.����P��1�#������4����������������1 ��.����������������#�����(�����?���.�0����1;�����.��1����1 ��.�������������������4������0�.�����#����.��4��0�.��.��1�!���1�����;�����.��������4�����(��������%�������������������� ������?���.�� ����;���� ��uvw� WPW�� �#�� 1� 10�.��4������ 4������� 0�.������������!�������������?���.�����4�.��

25

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 30: US - Osnovi Teorije Informacija i Kodovanje

��.����� 0�.�������� 0�.����� 1� ���� ����?������ ��.�� ��0����.�� ���1 ��.������1#1��� �� .�4���������1�#���� ����;�� ��������%���������.��#����#��������1 ��.�� �.����P�� 1;���� #����� 1� 0��4��;��� �����#������� ������?���.��uvw� WPW���#��1�#���� ����4�������0�.��������4������4�������#����(����������.���.�����������/����1 ��.������?1�4����4����1���

26

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 31: US - Osnovi Teorije Informacija i Kodovanje

����� )(,*6��7�� D� �+�6*�� �6-'y(6�,�� ��� �6+(�,���")*6"�,(6y������.���� �.1�!���� 1� #������ 1� ���� 0����.�� ����.�� �� �� #������ �� 0�����������1 ��.�� 0�����1�1� 1� ��#��� 0���.������ �.��1� ���1 ��.��P�� (0��� �#����#�� #1!�� .�#.� ��� �0#��� ����#1�� 0�������� ���!�� �� 0�����1�1� %�� �� ��� ��#�/���1��/��'������ �������������.�� ��1��.������1 ��.��� Y r�\� ��`� T � ��is��������� ����.�� �� 0z ����1 ��.���� �z ���� � Y ���� T ��� �6�� ����.�� �������1����������������� ��1���3����������������������������� d 0z d �� ����� Y ���� T ��� �� { 0ziz|\ ���������������������������������I���J���.��� ��4����P��������� �� #10��� ����.�� ���� Y ]0\� 0`� T � 0i^��4���1�������.������.�����4�����8������������������������������ ����%����DEFINICIJA 2.2� �#�� ���P ��.��� ��4���� ��} �#10� ����.�� �� ����P �� #�������������� 1��� I���J�� .���� �� 0���UP� }V������� ����.����� �.��� ��4�����'#���#�� ���)� ~ ���� .������1� .���������.�����������.�� ���������������?���� �������������.�� �������.����0U)V Y { 0z������ ��

Kolika je koli�ina neodre�enosti u verovatnosnom sistemu izbora?

��;���� 0��.10�.�� ��� �.�� ��%��� 0�.��������� ����� ��������1 �/� 0�.��������?1.��������4��0���������#10��������#�/����%����4�������0.�������.��.��������������������4��4�����41/� ��������.�� ��#��������0���;���������.0�.����� �0��� ��� ��� ������ ���1 ��.�� ��!���� �RS�������� ����.����� ����/���1��/��*��1�����������/�0���0�.�.�������������1 ��.�RS�����������������������#�������.�� ���0�.���������������0������������������1��������0�.������������#�������������HneM����.���������0�.��������PRIMER�2.3�(�#�������.�����.������.�����4����UP� }V���� Y r�\� ��`� T � ���s���� Y r���� ����� ����� ����=� ����=� ����� ����=� ����=s �� 6�������1 �� 4������� .�4���0��#������ ��� ��� I���#�� ��<J�� ��#� ��� ��.����.���� .�4��� #���� 1����� 1� �4��������.�� ��� 0��#������ ��� ��� I���#�� ��=J�� 7����.����� ��%1���� ��������� ���

27

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 32: US - Osnovi Teorije Informacija i Kodovanje

0���.#���������%�#�����4����0�.�����1��1%��1�4��������.�4��������1��1%��1�.�4���#����1�����1��4��������.�� ����B=��

����#����<���������.�4������0��������������%�#������4������0�.��������

����#����=���.����.����.�4������0�����������#����1�1��4����1��.������.�� ��0������������/����1 ��.���6%�#�����4����0�.����������B=��

��������!���� �%�#����� �����.�� 4����� 0�.������/� 0�.����� ����� .�������������.�#��*�����������0��4��������0����.�����������#���.��1�.�������#���������$��1%�������������0�.10#����������#10��/����1 ��.�������������0��#10���28

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 33: US - Osnovi Teorije Informacija i Kodovanje

�����#��#���������.���� ������#�/�����.�� ������.�������#�����������0����.���������%�#�����4����0�.������0��#���.������������{ 0ziz|\ ��� 0z��6�� ���%���� �� ������ ��.��0����� �� 0���.����� ���1� ������?���.�� #���%����������?���.�� ����.����/� �.���� ���1 ��.��� '#���#�� ��� ��#�� �������.�� ��0z Y ����1������#����!����������� k ��� � Y ����.����������%������!�������������� � ��� � Y ���DEFINICIJA 2.3�(�#�� ���UP� }V�����.����� �.������1 ��.���,���� ���#���%����������?���.��1�����1�������������.��0�����

CU�V Y ��0ziz|\ ��� 0z ���

'�������!����I���J�0�.��������?����.�0���0���������.���41�1 ������������������������� ������.���� ����� c �������.��� �������� 4���1� ���1 �/� �������� 1��#0������.1� 0�.�������� 0�.����� �� ��4������� ��������� �������� 4���� ����������������!1����������������1%���������0�01��������������1���������������!��4�.��PRIMER 2.4� ����%1������ #���%��1� ������?���.�� ��� ����.����� �.���������?���.�����0�������������CU�V Y ��0z�

z|\ ��� 0zY ���� k ��� ��� � ��� k ������� � � ��� k ������� � ���= k �������=� ���= k �������= l ��B�@B��

4�.����U}V���� ������ ��� �%�#����� �����.�� �1;���� #���� 1� 4������ .�4�1� 0�.����� ���I���#����=J��������� �"67�,"��)(,*6��7)��1�1 �� ��� ��� ��.��0���� �1������.����� 0����� .������� �������!����� ���� ���������� ������ #���#.���.�#��� '� 41�1 �� ���� ��� �.��� ���1 ��.�� ����

29

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 34: US - Osnovi Teorije Informacija i Kodovanje

����.�� ���� � Y r0\� ��0`� T � 0is �����%��.�� ��.��0��1� .��� �.���� ��CU�V Y Cn0\� ��0`� T � 0io������ ���� 0����.�� �0�.�� 0����� ��.��0���� �� 0������ ����� ������?���.�� ����.�������1 ��.��1�#��������1���������������.�� ��0�������/� ��4������#�����}�1�����������0���������0���/�b����1 ��.���.�������

C �\Z � � \Z � T � \Z� Y �{ \ZZz|\ k ��� \Z Y � ��� \Z Y ��� � Y /U�V���OSOBINA 2.1�)�.��0����1�����������0����������.�� ��b����1 ��.�������#����� ����� ������?���.�� ��������1 ��� �.���� ���1 ��.�� 4��� ���������/�����.�� �� ���1 �/� �/����� 6��� ���1�.�.� ��� 1� .����� ���� �� 0����.���2�0������0���!�0�����������������������#����.�������1#���#��������������.������?��������#���0���������1�������0��.0�.��.�������#������.�� �����1 �/��/�����'�.���0�����1���.��0�������0����������#��������������?���.������������.�������1 ��.��1�#������������1�0����.������.�� ��0�������/��/�����+�� ����.�� �.��� ���1 ��.�� P �1� #���� ��� W�W Y � �� ������ ��#�����1�������?���.� 1#���#�� ��� 0��������� ����.�� �� �/���� ���� �#�� 1� ������?1�4��� �����#��� ������� �;��CU�V d /U�V Y ��� ��� 6��� .�� ��;���� �������������#���.���'�.1��/1�0�.��4�������������� ��������LEMA 2.1� (�#�� 1�0\� ��0`� T � 0i����\� ���`� T � �i���� ��0������ ����.�� �� �����.���4���������1 ��.��Q��,�����;�3�

�0z k ��� �z diz|\ �0z k ��� 0zi

z|\ �0���%��1������#�.��;���#���������#�����0z Y �z�� �#���� �1�1 �� ��� ������ � Y ��� � k �� ��� ������ ������%��� 0�������� ������.��� ������1�R�� �� 41�1 �� ��� ����� ��#���#��� �1�#!����� �;�� ��� ����� � d � � ��� 61��������%��1���4���������%������!�����1���#���#��.�����%���������.���1�#!����1�#�������� �0��������� .�����.��1�4����#����� .�%#��� ���#����� .1� .�%#1� ���4������� Y ���10���� ������4�.�������1��������#�.�����.�����I���#����>J��

30

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 35: US - Osnovi Teorije Informacija i Kodovanje

����#����>�$���#��.��1�#!������ ����.�����.��1�.�%#�������

�.������3��� �z0z d �z0z � ���0����3��

�0z k �� 0z�ziz|\ d��z ��0z� Y � �i

z|\iz|\ � Y ���

(�����1�����������#��1%1����������3��0z k ��� �z� �iz|\ ��0z k ��� 0z�i

z|\ Y ��� ���0z k �� �z0ziz|\ d ���

-������ �������#�.� �;�� �� ���#��� �����#�.�� �#�� �� ���� �#�� ����z 0z� Y �� �����#�������������#�����0z Y �z����#��0������������1�������4�����3�CU�V � ���� Y ��0z k ��� 0z�i

z|\ _�0z k ��� �� � d �� �iz|\ �

31

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 36: US - Osnovi Teorije Informacija i Kodovanje

�������#������#�.���;���#���������#�����0z Y � �� ���6������1��������#���������� 1�.�����1��TEOREMA 2.2

���CU�V Y ��� �������� ��� ��#��1�1� .��;��� 0�� ��� ��0�������� ����.�� �� �.���� ��Q����1 ��.��� ��#��1�� �� ��.�;�� ���� ��� ��0������ #���� �������� �����#�������.�� �����/����1 ��.���������� "�&(���"67�,"��)(,*6��7)�

�� �#�� 1�UP\� }\V���UP`� }̀ V���� ����.����� �.���� ���1 ��.�� ��� #�����;��WP\W Y WP`W���}\ Y }̀ �� .���� ��� ���U}\V Y �U}̀ V�� 6��� �� 0�.���1�����.1�.����.�������.��0������������������0����������.�� �������������0����������1 ��.��R��1���#����.��1����1 ��.����� '��;��.���������!�����n�\� ��`� T � �po Y �n�\� ��`� T � �p� �o���.��0�.�%�����#����!���� ��� ����� k ��� � Y ��� � ���1 ��.�� %���� ��� ����.�� �� �1��� ���1.�%1����1#10�1�#���%��1�������?���.���,���������1�#���1�����������.1�!������ 0��.�� ��� ��1���� ��� �� .�#�� ���1 ��.�� �� �� ��#������������.����� ����.�����������#1����1���I���#����BJ��(��0�������1��4����1������ ���1 ��.�� �� ����.�� ���� 0� �� ���50�� �#�� �� ���4���� 0������1 ��.�� ��� ��1���� ���1� �� 4���� �� ���1 ��.�� �� ����.�� ����� �� �� ����#�������4������1������1 ��.��.�����������1�������1�4���������1 ��.�� �� ����.�� ������ �� ��� ������1���� �� ��� �;��{ ��a�|\ Y�� ��� { ��a�|\ Y ��� �������.���� ��� .�� ��0��!���� 0\ _ 0` _ x0Z _ �\ _ �` _ x�i Y ��� ��������]0\� 0`� T � 0Z� �\� �`� T � �i^������0����������.�� ��b _ Q��������.���,�����;������ ������!��������?1���.��0��������������������4����

CU0\� 0`� T � 0Z� �\� �`� T � �iVY CU0� �V _ 0C�0\0 � 00̀ � � T � 0Z0 � _ �C ��\� � ��̀ � � T � �i� ���32

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 37: US - Osnovi Teorije Informacija i Kodovanje

����#����B� ����#������.������.������1 ��.��1�#���������0�������1�4����1�������1 ��.��������.�� ����0������50���������1�������1����������1 ��.��������.�� ������ �� ����������1 ��.��������.�� ������ �� ��������� $�*�$,)*�+�9�7��)(,*6��7)�

�� �n�\� ��`� T � �ao Y �U��U\V� ��U`V� T � ��UaVV�������#1�0���1.�!��1������ �n�\� ��`� T � �ao����#��.��1������1�#!����0����������4�������� '��;��.����������#�.���n�\� ��`� T � �ao Y �n�\ _ ��`� ��� T � �ao _ n�\ _ ��`o�U ����f��� � ����f���V�������#1���0����1�����.�� ���\� ��`� T � �a�����b � ���<� � �\a � � \a � T � \a���������.������.1 ���1�#!��������������<�� �2'F�7()�")2�F�()�5��6 �),(�$�F�.�� �� ������ �.1�!���� 1� #����� �� �#��� ������.������ �/��1� ��������#0������.��0����1;1�����#�� �������4�����(�� .�#��0����1;������ �� ��������� ���0�������1� ���������� �� 1�� ���� �� �#��� �/��1�0��0�1�������?������4�.�#� �����14�.�#� ��� ����%��� $��� �.�� �� ����.�� �� ���1� ��%1��.�� ���� ��� ����?���� ���0���������?�����.�#������0����#������#�����#����/��1�������1�1���#���������

33

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 38: US - Osnovi Teorije Informacija i Kodovanje

4���� ���1� 0��1%��.�� 0��� 1����� ��� ����������1� ����?���� 1����� '� .������1������������� ��������!�����DEFINICIJA ��1%��������%�����(�#�� ��� ��.� 0��.��� ����.�� �� I��8��J� �� ��#�� ������1�#!���� #���� 0����#���0��.���������.����/��/������1�#10�������/�4��������.�#������;�3�

�� �#10�] W�U V �d �^��������?���#����0��0����¡�����#������������ }] W�U V Y �¢^ Y }] W�U V �Y ¢^ Y ����

,����������1%��������%�����6�4���� I�J� �� �������������.� �� ����1 ��� ��%1������ ����.�� �� ����?���������/� ��� �1%���1� ���%��1�� 6�4���� I�J� ��� finitnost I#���%��.J� �1%��������%�������6�4���� �������� #���#.����1� ��.��0��1�� ,�� ���%�� ��� �#�� 4�� ����.�1��� �;�������� <� 1���� ��� ��#1� ���1� ������?���.����� ���� 4�� ��0��!������ #��� ����������.��0��#1����1�������?���.���'� !���1� �����/� ���������� 1�� ���� ���� 1� ��.�!��1�� "����.������ �.��1����1 ��.��UP� }V���;���� 0����1;�.�� #���%�1� �1%���1� �����4�1���� #���� 1����������.���z����� � ��U�\� ��`� T � ��iV��"����.�� ����� ����£ Y �z������.�� ��0¤U�zV�� ��}��� ������ �1.���� ����.�� �� �1%����� �����4������ �� �4��1.�� �#�� #���%����1%����������4��� ���1!���� ����������.������.������1 ��.����.����1��.������.������ �.���� ���1 ��.�� ��;���� �����.�� �� �1%������ ���%����� ��/�����.����������.��0�����1%��������%�������������.�������P����.�����������

CU£V Y �� 0¤U�V��¥ ��� 0¤U�V �������� ��.��0��1� ��;���� ��.��0��.���.�� #��� ���1� ������?���.�� ��!����1� ����.����1%���������%��������)�.��0���� �1%����� �����4��� �� ��� �/����U� Y �� � Y �V�0��#������ ��� ��� I���#����@J��

34

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 39: US - Osnovi Teorije Informacija i Kodovanje

����#����@�)�.��0�����1%����������4���������/����

(��I���#����:J��0��#������1���.��0���������%�.����0���?���/��1%����/����%�����

����#����:�)�.��0���������%�.����0���?���/��1%����/����%����

����=�� '�26"()�)(,*6��7)�(�#�� ��� ����.� ����.����� �.��� ���1 ��.��UP� }V��� ��#�� ��� ���� �.��1���!�������1%��������%�������(�#������4���������������������������) ~ ���

Kako poznavanje ove �injenice uti�e na neodre�enost sistema?

35

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 40: US - Osnovi Teorije Informacija i Kodovanje

6��� ����?��� ���1#1��� ���� ����.����� �.������1 ��.��U)� ��V�� 6��� ������1���������.�� ��0¤W�U�V Y ¦§U�V¦§U�V � �����#��� � )��(�����?���.� ������ ��� ���� ���� �.��� ��� ��.�� �� 1������ ��.��0������1%��������%�������#�������0����.��¨3�CU£W)V Y �� 0¤W�U�V��� ��� 0¤W�U�V ���

(�#��������1%��������%�����������������.������.������1 ��.��UP� }V���������� Y ]������<^� ��� Y r��=� ����=� �����=� �����=s���) Y ]���^���� ������ ����?���� ,�������4��1�������.��0������.���3��U�V Y ���=�������= � ���=��������= � ����=���������= � ����=���������= Y ��B=

4�.��$�#����3��0¤U)V Y ��>�=� ��0¤W�U�V Y 0¤U�V 0¤U)V© Y ��@� ��0¤W�U�V Y 0¤U�V 0¤U)V© Y �������4�����3��U�W)V Y ��ªW«U�V�����ªW«U�V � �ªW«U�V�����ªW«U�V Y ���@�������@ � �����������l ��B��:�4�.�����>�� '+�7��(��)(,*6��7��'�����0������1���1%� ����#�#������.��0�������1;������.�������1 ��.�������������������/� 0���������/� ������ 0����� ��.��0���� #��0�����.�� �.�������1 ��.�� ���� 0�������%��/� 0���������/�� ,�#�?��� #�#�� 0��������� ��4���� 1��������#��0����.�� �.�������1 ��.�� ���� �����.�� ������0����������1.�%1����������?���.�0���.���/�#��0����.���.�������1 ��.������0���������/��(�#��1�����.���.�������1 ��.��U�P\� }\V�1��#��������������1%����������4��������.���U�P`� }̀ V�1�� #���� ��� ������ �1%����� �����4���¬�� ,���� ��;���� �������.��

36

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 41: US - Osnovi Teorije Informacija i Kodovanje

���1;���� �.�� n�\ t �`� ��o �� ���� ��� } ��0����� ���1;����� ��0�����������.�� ���ª�­U®�¯V�� ����������� ���� 0�������U�� OV � �\ t �`�� ,���� ��;�����������.��.�����.��0�����������.����.���3��U�� ¬V Y � � � ��� ¬U�� °V ���� ��� ¬U�� °V¯�±�®�±�

�U�V Y � � ��U�V������ ���U�V®�±� ��U¬V Y � � �¬U°V������ ��¬U°V®�±� �

U kakvom su odnosu ove tri entropije?

TEOREMA 2.3

+��4����#����0����1%����/����%��������¬��;�3��U�� ¬V d �U�V _ �U¬V�

+��#������#�.���;���#���������#��1�£���²����������1%��������%�����.������� ¬U�� °V Y ��U�V k �¬U°V�

6����� ������ ��� ��� ������?���.� ���1;����� �.���� 1�#� ������ ��� 1���������?���.�� 0�������%��/� �.����� *������ 0�.�%�� ��� ��?1�4��� �����.��I#��������.�J������¬��#����#���������1�.1���1��������%#���1���1�������?���.��1��4�������4����'��1%��1��������/�����¬������������%#��������?���.����������1��;��.��������#������#�.���,���������������;�����������.��������������������4����'��0�.����1%��1���#�������� �1%����� �#.���£ Y U�\� �`� T � �iV�� %���� ��� ��0������ ����.�� �� ��.����0¤U£V�����1;������.��0������.��0���������.���3�

�U�V Y ����U�V ��� ��® U�V ����������������0������0�������/�#��0����.���#.������1���.���3�

37

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 42: US - Osnovi Teorije Informacija i Kodovanje

���U��V Y � � ��U�\� �`� T � ��[\� ��f\� T �pV®��T�®³´��®�µ��T�®¶ ���1%��������%������\� �`� T � �i�1�1�������������������#���������#���;�3���U�V Y ��\U�\V k ��`U�`V kkk ��pU�pV�LEMA 2.2 +�� 4���� #���� �1%���1� ������������1� �����4�1� I�1%����� �#.��J��£ Y U�\� �`� T � �iV��;�3�

�U�V d��U��Vp�|\ �

7����#�.� �;�� ���� 1� �1%��1� 1�������� �������.�� �1%����/� �����4����\� �`� T � �i� PRIMER 2.5� (�#�� 1��\� �`� T � �i��������� �1%����� ���%���� #���� ��4����1������.�������������.�� ������=��������3����U�V Y ��=�������U�V Y ��=������· Y �� � � � � b��,������3�

�U�\� T � �aV Y b k �U�\V Y b������.�������1%��������%��������¬��(�#������0���������������!����¬ Y °��

Kako ovaj doga�aj uti�e na neodre�enost veli�ine �?

60����������¬ Y °�����������0�������0¤U�V�1�1���1���0����13���W°U�� °V Y ��� ¬U�� °V�¬U°V �

0�����1�������.��0���������#�������¬ Y °���.���3��U�W¬ Y °V Y ����W°U�� °V������W°U�� °V�® �

'�� ����#�� ������0�������3�38

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 43: US - Osnovi Teorije Informacija i Kodovanje

�U�W¬ Y °V � �U�W°V���#��1�����1%����������4������������.������3�

��W°U�� °V Y ��U�V��U�W°V Y ����U�V������U�V Y �U�V�® �

6������� #���� 1� � ��� ¬ ���������� �0���!���� 0���������� ¬ ���� ������������?���.� 0������������� ������ ��� 1����� ��.��0���� ��;���� �������.���%�#���1�1���1���.��0��13��U�W¬V Y��¬U°V�U�W°V¯

�.�����1�.�����%�#����������.��U�W°V�1�����1����O�� �����������1�������.���.�0��1����/���.��0���3�

• �U�W°V �D� '����� ��.��0���� �����4��� � �1� ����1� ��� ����?��� �����4���!��1�¬ Y °��• �U�W¨V�D�'�������.��0���������4�����1�����1��������?���¨�• �U�W¬V�D�6%�#����������.�1�������.��0����

TEOREMA 2.4�+��0����1%����/�0���������/�����¬�1�#��;�3��U�� ¬V Y �U�V _ �U�W¬V�

�����U�� ¬V Y �U�V _ �U¬W�V��

DOKAZ TEOREME 2.4�"�;����� ¬U�� °V Y �¬U°V��W°U�� °V��0�����.���3�

39

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 44: US - Osnovi Teorije Informacija i Kodovanje

�U�W¬V Y��¬U°V�U�W°V¯ Y ����¬U°V��W°U�� °V������W°U�� °V¯®Y ������ ¬U�� °V���� ��� ¬U�� °V�¬U°V Y¯®������ ¬U�� °VU������� ¬U�� °V � ��� ��¬U°VV¯®Y �U�� ¬V � �U¬V��KAROLARIJ 2.1�+���#��0����1%����/����%��������¬��;�3�

�U�W¬V d �U�V��7����#�.��;���#���������#��1�����¬����������DOKAZ KAROLARIJA 2.1� ��������� 0������ ���%������ ��.��� ,�������� ������4�����3�

�U�W¬V Y �U�� ¬V � �U¬V d �U�V _ �U¬V � �U¬V Y �U�V�0���%��1������#�.��;���#���������#��1�����¬����������KAROLARIJ 2.2�I-�������������0���������%����J�(�#��1��\� ��`� T � �i��1%��������%�����,�����;�3�

�U�\� �`� T � �pV Y �U�\V _ �U�`�W�\V_� � � _�U�pW�\� �`� T � �p[\V��DOKAZ KAROLARIJA 2.2� �#��� ����������1#!������+�������.���;�� ����.� ���.����������<�����.0�.���������;�������#�����(�#������p Y U�\� �`� T � �pV��(�����1�.���������<���0��.0�.�#�����1#!�������4�����3�

�U�\� �`� T � �p� �pf\V Y �U�p� �pf\V Y �U�pV _ �U�pf\W�pVY �U�\� �`� T � �pV _ �U�pf\W�\� �`� T � �pVY �U�\V _ �U�`W�\V _ x_ �U�pW�\� �`� T � �p[\V_ �U�pf\W�\� �`� T � �pV�$�#���;�����Q _ ����;��������#��Q��40

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 45: US - Osnovi Teorije Informacija i Kodovanje

PRIMER 2.6

��� ¬U���V Y ��� ¬U���V Y ��� ¬U���V Y \� � ��� ¬U���V Y �� ��U�V Y �°U�V Y�̀ �·���U�V Y �¬U�V Y \���������3�

�U�W¬ Y �V Y ���W°U���V ��� ��W°U���V � ��W°U���V ��� ��W°U���VY ���� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V ������� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�VY ���= ��� ��= � ��= ��� ��= Y ����U�W¬ Y �V Y ���� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V � ��� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V Y ���

�U�V Y �U¬V Y ��� ��� �� � �� ��� �� l ��:�@����U�W¬ Y �V e �U�V e �U�W¬ Y �V��

�U�W¬V Y �¬U�V�U�W¬ Y �V _ �¬U�V�U�W¬ Y �V Y �� �¸·¹��U�� ¬V Y � ��� �� l ��=@=��¸·¹�

6��#�����;�����������������;��,���������<��U�� ¬V Y �U¬V _ �U�W¬V�

6�����3���=@=� Y ��:�@� _ ��>>>>�

����#�������������#��1��#�!������#������

41

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 46: US - Osnovi Teorije Informacija i Kodovanje

$��������0�1���1��������0�������3�� d �¬W�U°� �V d ���� � º� ° � »����¬W�U°� �V¯ Y ��¼½�¾¿R�� � º��

#������%�.�������� �� .������������.��!��� 7����#�.� �CU£� ²V Y CU£V _ CU²W£V�����%��������!���#10���������?���.��.�����.�������������?���.��1������U�V���������?���.��0������0��#��#�������U¬W�V��PRIMER 2.7�I�����������.��%���#����J�,������������.��!�������.���3�

À Y ��¬W�U���V �¬W�U���V�¬W�U���V �¬W�U���V� Y �� � Á ÁÁ � � Á��6��#��� �� ���� ��� ���Á�����#�� 0������� (�#�� �����U�V Y �� ��U�V Y � Y � � �� ,������3�

�U�V Y �� ��� � � U� � �V ���U� � �V���¬U�V Y �¬W�U���V k ��U�V _ �¬W�U���V k ��U�V Y U� � ÁV� _ ÁU� � �V���¬U�V Y �¬W�U���V k ��U�V _ �¬W�U���V k ��U�V Y Á� _ U� � ÁVU� � �V��

�U¬W�V Y ��¬W�U���V ��� �¬W�U���V � �¬W�U���V ��� �¬W�U���VY �U� � ÁV ���U� � ÁV � Á ��� Á ���U¬W�V Y ��¬W�U���V ��� �¬W�U���V � �¬W�U���V ��� �¬W�U���VY �Á ��� Á � U� � ÁV ���U� � ÁV Y �U¬W�V�

�U¬W�V Y ��U�V�U¬W�V _ ��U�V�U¬W�V Y ��U¬W�V _ U� � �V�U¬W�V Y �U¬W�VY �U¬W�V���.�������������?������������#��������.��%����'������?������0���������1�������/����������;����0�����.������;�3�

�U�� ¬V Y �U�V _ �U¬W�V�(�#����3�

42

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 47: US - Osnovi Teorije Informacija i Kodovanje

Á Y ���� ��U�V Y � Y ���� ��U�V Y � Y ��@��,������3�

�U�V Y ����� ��� ��� � ��@ ��� ��@ l ��B��:�¸·¹���¬U�V Y ��: k ��� _ ��� k ��@ Y ��<>���¬U�V Y ��� k ��� _ ��: k ��@ Y ��B<��

�U¬W�V Y �U¬W�V Y ���: ��� ��: � ��� ��� ��� l ��<>:��¸·¹����� ¬U���V Y �¬W�U���V��U�V Y ��: k ��� Y ���@����� ¬U���V Y �¬W�U���V��U�V Y ��� k ��@ Y ���@����� ¬U���V Y �¬W�U���V��U�V Y ��� k ��� Y ��������� ¬U���V Y �¬W�U���V��U�V Y ��: k ��@ Y ��B���

�U�� ¬V Y ����@ ��� ���@� ���@ ��� ���@ � ���� ��� ���� � ��B� ��� ��B� l ���:�:�¸·¹��

43

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 48: US - Osnovi Teorije Informacija i Kodovanje

����� �(86*��9�7����(7)(���)*��Šta je informacija i kako se ona meri?

6���������������������������������0�����1�������?���.���������������!�����.���������4�.�����������#���%����0�������������?���.���60���!���� �1%����� ���%���� ���� ����?���� ������ ��� ����1� �1%���1� ���%��1�0���.�����1� �������!��1�� $���%���� �������!���� ��4������ ��� ���1� �0���!�����1%����� ���%���� ���� ����?���� �� ����� ��� ���1� ���1�.1�1 �� 0�������������?���.���)�.��0������������������!����1�.����0��������������� 6��)*"�9�7)��� 6-�Â�7����%����� ����� �����.������ ��� �.���� ���1 ��.��UP� }V �� ��0�����.�������1%������0��������������#����1����������.��� � ��� � ������.�� ���0¤U�V��6�� �1%����� 0���������� �0�1��� ������ �#0������.� 1� #���� 1� �/����������?����� ����� ������?���.�� 1� ���� �� ���� �#0������.��� ��� ��.����.��0����3�

�U�V Y ���ªU�V ��� �ªU�V�®�±

$�������������#0������.������0������������?��1������.�� � ���(�#���.�������� ����� ������?���.��� ���./����� ������?���.� �U�V ����1#����� ����0�.������1� ������?���.� ��� *����#���U�V�D ��� Y ��U�V ������#�� ��� #���%�����������!���� ��4������ ���?������ ���� �#0������.��� �.���� ��� ��.��0���� �������1%����� ���%���� �����#�� #���%���� �������!���� ��4������ �0���������� ������#��#��.����������������!�����6���������������� ������;�����0�;����3�

�� �1�1 ����� ��� �������!���� �����#��0���������.��0����������������1� �.���������!����#�������.��0�������#����#�����1���������������.����������!�����������4�.��44

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 49: US - Osnovi Teorije Informacija i Kodovanje

�� �4������ #���%���� �������!���� ��� �.�� ��� �� ���1 �� �������!���� �1%��������%�������4����4������������������.�� ����#���������!�������#������������PRIMER 2.8����������1%�����0����������(�#�� ��� ����.�� 4������� �1%����� ���%������� #���� 0����� �����.�� �� �� �� ������.�� ���� � ��� � Y � � � �� ��0�#.����� 60���������� ������� �/����4���������#0������.�����1�.1���1���4�����1�#���%�����������!���������#�3�

�U�V Y �����uvw���D ���uvw����(��0�������1�����4�!���1���%� ����0�����������/����4�!���������4����#���%�����������!���������4�.���-������������ ���� ��� �����.������� �� ������ ���� 0���.��.�� �1%���1�0��������1�������1� ��� �.��� ���1 ��.��UP� }V�� $���%���� ������?���.�� ��� ���������U�V������� �����4��.���#0������.�����0��!��������(� �����0�����.������#.����1%���1����%��1����� �������#������?���) ~ ���6������0���.�������#1��������!��1���

Šta je sada njena mera?

60���!���� ����?����¨������� �1%���1� ���%��1���1� 1���1� 0��������1� �£W)��#�����������������������.������.������1 ��.��U)� ��V��6����������%���1���������.�� �3��ªW«U�V Y �ÃU®V�ÃU«V������#��� Y� ¨��6�������.1�!�������.�����0���!���������?����)�� ����������?���.� �����#1�1��������.��0���3��U�W¨V Y ���ªW«U�V ��� �ªW«U�V�®�« �

������ .���� �0��������� ����?����¨�� ������ ������?���.� �� 0�%�.����U�V�1��U�W¨V��$���%�����������!������4������.���0����#�����������#���U�V �� ��U�W¨V��

45

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 50: US - Osnovi Teorije Informacija i Kodovanje

"��� ������������������4�.��1��0�.����1%��1���4�.�#��41�1 ������U�W¨V���;��4�.�� �� � �� ��� �U�V �� .�#�� ��� �0��������� ����?���� ¨ ���;�� ��� 0�� ��������?���.���.������������!��������.�����������!�����$���� ��¨����� ��� �0���!��1� .�%��� �����.�� ������ ������1 ��.����� .���� ����U�W¨V �Y ���� 0�� ����U�V �� ��U�W¨V �Y ��U�V�D ��� Y ��U�V�#���%���� �������!������4������.���0����#��������#����.��0�����+�.�� �� %�.�� ��.��0���� ��#�� �1%����� ���%���������� �� �������!���� �� ����� �4��I������Self-informationJ��6��������.��0�����������1%��������%�������1��������������#��#���%�����������!����0�.��4�������0��.���1%��������%����� ��4�������.���������������#��!�0.���������!�����1;���������1�������������0����3�

�� ����.��1���.��0��1������ 1������1��������!��1��������� '+�7��(���(86*��9�7������.���������1;��������.������.������1 ��.��U�\ t �`� �V���0����1;�����1%����� ���%���� � ��� ¬ �� ���.0.����� ��� ��� �0�������� ����1� �����.�² Y O � �`��� $��� �.�� ��� ������ ��� �.1�!���� ������ ������?���.� 1� 0�����1�0���������� ¬ ���� �1�1�� ���#��� ����� ��� ��� �0���!���� ���;��������UOÄ ²V Y CU²V�4�.���������!���������.����1�����1����0��./��������������¬��61����%��1� ���� ��.�� ��#����� 1�������� �������!����� ������� #���#�� �������������!�����1%��������%����¬����������1%���������%����¬�1�!���������?1.����0���!���� �¬ Y °�������� �� ��0����1�����.�� �� �1%��������%�������.�#�� �.�� ���� ���� 0�.���� 1����� ��0������ ��ªW¯U�� °V Y �Ã�ÅU®�¯V�ÅU¯V ������ �#��� � P\��6�����%�������.�#�?����������������?���.�1�0�����1��1%�����0��������������.���� �0���!����¬ Y ° �� ���;�� �������!��1� 1� ����1� ���� �� $���%���� ����������!�����������UOÄ £V Y CU£V � CU£WOV��

46

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 51: US - Osnovi Teorije Informacija i Kodovanje

61� ���%��1� ���� ��.�� ��#����� 1�������� �������!���� �1%����� ���%����¬������ ����������.����#���#���������0���!����¬ Y °�������������!��������1�����1%���������%����������?���� ���� �� 0�������%��/� �0���!���� ��� �%�#����� �����.�� ��#����/�1�������/��������!�����

ºU�Ä ¬V Y��­U°V·U°Ä �V Y��­U°Vn�U�V � �U�W°Vo Y �U�V � �U�W¬V�¯¯

"���%����ºU�Ä ¬V��� ������ 1�������� �������!���� ����?1� �1%����/� ���%��������¬��6��� 0���.����� ������ ��� !��.�����/� 0������ .������� �������!����� �.��#.�������� �� ���� ����� �������!���� � � �%�#����� �����.� #���%���� �������!���� #��1���4����������#�����0�������������.��¬��(�����1�$��������������#����.����������1�#���U�W¬V d �U�V��TEOREMA 2.5�ºU�Ä ¬V � �����#�����U£Ä ²V Y ����#���������#��1�����¬���?1�4������������1%��������%����������.�����������#�����1���������������!�����UOÄ £V���;��4�.��������.�������#����1����������������#�����������.���.�%#���%�#������1�#�0���.�����(�����1���.���U�W¬V Y �U�� ¬V �� ��U�V�� ��4������ ��� �;�� �ºU�Ä ¬V Y CU£V _ CU²V �CU£� ²V�����������4���������.�������������� ��,��������TEOREMA 2.6� ºU�Ä ¬V Y ºU¬Ä �V �� �1�������� ���� ������%������� ��.��1���������������!����������������0�������.��0�����TEOREMA 2.6a

�U£Ä ²V Y CU£V � CU£W²V��U£Ä ²V Y CU²V � CU²W£V�

�U£Ä ²V Y CU£V _ CU²V � CU£� ²V���U£Ä ²V Y �U²Ä £V��U£Ä £V Y CU£V�

47

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 52: US - Osnovi Teorije Informacija i Kodovanje

������� -*�8�F$�� �*)+)(,�9�7�� �(86*��9�6(65,)6*�7�$�C�")2�F�(����1%�����0������������#�������������1���#��.����+������1%�����0���������������¬��A��������������!����������13��U�V� �U¬V� �U�W¬V���ºU�Ä ¬V��(�0���������������0�����.�!�����������!����5.�����#�/�������������������Æ���¬Æ�0�����������#���� ��������1� 0���������������¬�� ��0�#.������Æ Ç ¬Æ�4� �� 1���������� �.� ����1.������1����1����������.���1����1�ÈÉ�����Ê�5�0�����3�

~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~{( ), , , ( ), ( ), ( ), ( ) , }c c cF X Y X Y X Y X Y X Y X Y �� � � � � ���3�

~ ~

~

~

~ ~

~ ~

~ ~

~ ~

*( ) ( , )

*( ) ( )

*( ) ( )

*( ) ( ; )

*( ) ( | )

*( ) ( | )

*(( ) ) ( | ) ( | )c

X Y H X Y

X H X

Y H Y

X Y I X Y

X Y H X Y

Y X H Y X

Y X H X Y H Y X

� �

� �

� �

� �

� �

�3�* ( ) 0� � � ������ 1��������0��/���.� �����#�.�� �� ����.�����1� �����1���;������4�.�� ������������������.�������#������1�0���.�������A��������������!������������� X ���Y ��1������������1���4���3������

48

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 53: US - Osnovi Teorije Informacija i Kodovanje

/,;| .

H I ��� �

�6�����������������������4�����(��0�.�������%����������#�� ����?1���.��0���� ���������%#���������!�����)�.��0��������#��������������1��������!��1��,�#�������� ��� �1%����� 0���������� X ���Y ���;���� #���.�.�� A������� �������!�������������0���1� F ������� *� �����.��#���I�5�������������1%�����0���������� X ���Y ��2�#�����1���.��������4����#����.�����#������.�.�.��������!���� X ���Y ����;������4�.����������1 ��.�����#������.�.�.���������������������4�����(��0�����������������!�����.�����#������.�.�.3�

( , ) ( ) ( ) ( ; ),H X Y H X H Y I X Y� � ��������.�.�����#�������.�.�.�3�

~ ~ ~ ~ ~ ~( ) ( ) ( ) ( ).X Y X Y X Y� � � �� � � � �

'���.�#1�����������%#��0�����.�!����A������/�������0��1��.����������I�::�J��+������%#�� ��.��0���� ��� ��#��.��� �1%����� 0���������� X ���Y �� ���� ���/�����.��0���� ��#��� 1��1;������ ���������� ��� �� ( , )H X Y �� 6�� ���%�� ��� �#�� 1�0���������� ��������� ���/��� ��.��0���� 4� �� �4��� ���/��/� 0�������%��/���.��0���� ( ) ( ) ( , )H X H Y H X Y � ��0��#����������I���#������J.�

����#������� ���1%�����0����������

49

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 54: US - Osnovi Teorije Informacija i Kodovanje

����1����������3��( , ) ( ) ( )H X Y H X H Y� �

�3�0 ( ) log 2H X n� � �

-���n �0���.�����4�������1 �/������.�� X ����� '����� ��.��0���� ���� 1����� �������.� 0���������� X �#���� 0���������0��������1�Y �I%�.�����������#��#�!���J����0���%���1�������.��0��������Y ��6�������4���������4��#����.��0������3�

( | ) ( , ) ( ).H X Y H X Y H Y� � ������������%#��0�����.�!����������%�����I���#������J��

����#�������'�������.��0����

����1����������3�( | ) ( ),( | ) ( ).

H X Y H XH Y X H Y

��

����'���������������!���������#���%��1��������!����#��1�������1 ����4�.�����������0������������#��������0������������#�������0����.����1����6�����%��������;���1�#��1��#�!������� ���� ����;�� #���.�.�� 1� !���1� 0�� ������ ����������� #���%�����������!���� ����?1�0���.�/� ��0��������/��������� �����������%#��0�����.�!����������%�����I���#������J��

50

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 55: US - Osnovi Teorije Informacija i Kodovanje

����#�������'���������������!����

����1����������3�ºU�Ä ¬V Y �U�V � �U�u¬V��������ºU�Ä ¬V Y �U¬V � �U¬u�V�

�����<�� *)2�,�"(��)(,*6��7������.������ ��� ����.����� �.���� ���1 ��.�� ���� �.��� #10������1 ��.������#��1�£���²�#���0�����.����1%�����0�����������.���������%���3�

ËU}ª� �­V Y���U�V ��� ��U�V�¬U�V®�± �(���������.������.��0���� ����$1�4�#�2��4�������������!����I$1�4�#52��4��������.������J� ����?1� ��0������ ��� �1%����� ���%���� £� �� ²�� ��#�� �� 1� ������� ���������#���.����.��������0����.�����������;��1������.��%��.��������3�

Ìn}ª�}­o Í ÌU}­� }ªV�� ������!������������#���1��3�

ËU}ª� }­V Y ËU}­� }ªV Y ����#���������#��13�

}ª Y }­��51

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 56: US - Osnovi Teorije Informacija i Kodovanje

���.����1����#����!���������3������U�X�V Y �� �����U�X�V Y �� 0�����U0X�V Y �¢� $U}ª� }­V Y ¢��

1#���#��0�.���������#�������0¤U�V h �����0ÎU�V��������.������ ���1;���� ����.����� �.��� ���1 ��.�� U� t �� �V �#���� �����!����� 0��� �1%����/� ���%����£� ² � �� ������������ �.���� U�� �¤V ��� U�� �ÎV �1����1#�������������������0������������.�� �3���U�V Y���� ¬U�� °V� �¬U°V Y���� ¬U�� °V�®¯ �

6���%�������¤ k �Î���0����1�����.�� ����U�V k �¬U°V��,�����;�3�ºU�Ä ¬V Y ºU¬Ä �V Y ËU}� }ª k }­V�ºU�Ä ¬V Y��¬U°V·U°Ä �V Y��¬U°Vn�U�V � �U�W°Vo Y �U�V � �U�W¬V�¯¯ �

�#��1����������������������������.���U�V����U�W¬V���4�����3�ºU�Ä ¬V Y���U�V ��� ��U�V _��¬U°V®�¯® ��W¬U�� °V ��� ��W¬U�� °V

Y���� ¬U�� °VU��� ��� ¬U�� °V�¬U°V � ��� ��U�V®�¯Y���� ¬U�� °V ��� ��� ¬U�� °V��U�V�¬U°V®�¯ ��(�����1���/�1�������������������1���������������!����ºU�Ä ¬V������.�0����������!���� ���1;���� ��0������ ����.�� �� 0���� U�� ¬V ���� ��0����������.�� ������0����1��1%��1����/����������.����.���� �� %�.�� �� �0��������� 1�������� �������!���� 1����� #��� �������?1�����.������1%��������%����#����1�����1������.�������.���#10����

52

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 57: US - Osnovi Teorije Informacija i Kodovanje

����� A)(6(6"����,)��,�F$��,)6*�7���(86*��9�7)�$���� A����� IClaude E. ShannonJ� ��� 1� ���1� I�:<@J� ����1����� .�����1� ���#��0����1� 0���.�#��� A����� ��� 1.����� ��� 0�.���� �1������.����� ����.� ���#��0����1� 0���.�#�� 4��� �14�.�#��� 6�� ������%����� �� ������ .�0�� ��.��0���� ������%��������,�%��������.���.��0�������������������������!�����.�%���������.�.�.�%#�� 0������� ������� A����� .���� ��� ��� ���1 �� #��0����.�� 0��1#�� �������1�4����14�.�#���1��.�0���#��0������4���1�������������.���.�%#�������1 ��1����.��4�����������$��!�0.� ����������0�������1� .������� �������!���� ��#��1��#�!�������A�������� ���0�������� �� ��� 4�� �������� #���%��1� �#.1����/� �������!���� 1� �����#��� .�#.1����%���3�H)�.��0�������.�.�.�%#��0�����.���#���������1�����?��������1��#���#�����������������!����0��������1�0���#1�����#������.�#.��1�����#1���#��������#� 0������ 1� 4������� ����.����� ���#��54�.��� I�� ���� �J� 1� ������#��������1%��1�� ��.��0��������� ������� 4���� 4�.�� #���� �� ��/.��� 0�� ��1� ����������������#��M���,�#�?���A��������������.�����1����14�!����0����#���#��0������0���.�#���6��������� 0����.�� #��� .�0�� ��.������� 1� .�������� '� #��0������ �� �14�!�������#��0������� 0���!�� ��������1� 4�.�� �.�� #��� ����������� 0���!��� '��.�� .�������#�������.���.�������Ï����;�������.���������A��������0�#���������������?��������� �� 0����.��� .�.�.�%#��� ��4������ �� ��.��� ������ ��.�������� 0�.�����1�#!�����UÏV�#�������������1�#!�������.�01���.��������,�������#�;������#�����Ï�.������.���#���%������.�����������������UÏV���4�����.�0���#��0�������$���� �� ����� �� #��0������ 4��� �14�.�#�� I.��� 4��� ��.������� ����Ï Y �J�� ���4��������1 �� .�0��� #��0������ ����U�V Y ��I������ �� ��� ����4�.�� #��� #���%��� �����0��1#�J�� �1������%��������4��������1 ��.�0��#��0������4����14�.�#�����.�0����.��0�������,���������#��0������0���.�#��4����14�.�#����.�0����.���������������%����.�����1��� #������1� �������!������ ������� ,������� �� #������1� ������ 0�.������1������.����� ������%����� ��� 0���������� �/� ������.���� ��� #��0����1�0���.�#���,�������� ����0���4��������������#�#�����������������1� �� 0����1�1������ ��� ������.���� 6�� ��?1.���� ����� ��#�� ��.�� �� �����!�� ��� 0�.�������

53

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 58: US - Osnovi Teorije Informacija i Kodovanje

�0.������/� 0����������� '� ��.�#1� 0�������� ��������� ���� #�#�� ��� A�������������� ����� �������!����1�0�����1��1%������0��!��� �������1� .�����1����#��������������4����14�.�#���������� �6 )26"�(7)��+"6*��+�����������������1�4�4���.�#1�L������L��,��4�4���.�#���������#����4���#������������� �#�� =�� �������� #������� ��#�� #������ ���� 1� 0���#1� =�� �������� ���#���I���J�� ���4�� ��������1�#����1�����1%�������%����'�.��������.1�.��#������ ���#��0������ �������!����� �����1���#���+��� �����.1�����4����#����1�0���������� #1 �� ��� ��#1� ���� 0��#�� ��.����.��� ��.���.�%#��� #����1� #��1� ���4����������%������������ ����%��3��

1 2 3{ , , ,...}.X X X X� ����� X �0���.�����!��1�#����1��0������#�1�#��������� 1X ����1������#�1�#��������� 2X ��� .�#�� ������� ����� ���� ��� ����������� #���%��� #10� ��4���� ���� 0��1#�� A �I����4�.J��#�������������#������#����������!�����������

Ð Y ]½� ¸� Ñ� Ì� R� Ò� w� m� ·� Ó� c� u� Q� b� v� �� �� Ô� ¾� ¹� Õ� Ö� �� °� ¼� Ô½¼Q½c^��.�� �����������1�1���1���#�����;�������#����.��4���������������������.������#��0����1� ���4����� #������� ��� ����� 0��0�#.���� #���#.���� 1� #������ 1� �1%�����0����������#����1�����1������.���������4�.�� A ��9����#���������4�#���%��������1%����/� 0���������/� I�1%����� 0��!�J�� ��.���� ��#���#�� ��%���� #�#����;�����������.��.�.�.�%#����4����#�������������� A)(6(6"���6 )2����*6$����9�7)��������0��#���!�����1�.��������5���#��#���#.������.�.�.�%#�������.�������/���1��/�#���#.����������.�� ���/��B�#���#.����1������#����#���������������.�%���������4������#���#.����������#�����������������#��I��0�������1�0��1��.����������I�/��������:<@JJ�3�

xfoml rxkhrjffjuj zlpwcfwkcyj ffjeyvkcqsghyd qpaamkbzaacibzlhjqd

54

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 59: US - Osnovi Teorije Informacija i Kodovanje

�4������.�#.������0����������������.������.����4� ���*��1�.�.��������1���#���0�����!����1��%����1��������0��.�.�.1���������� �0��#���!���� 0���� ����� 5� 0����.�� ��� ��� �� 1� 0��������� ����!���� ��#������ ������1� %�� �� �����1��/��(��0������� 1� �����#��� ����#1� ���� G�H� �� G�H� 1�%�� �������G#H���G�H�� �#����1����������1��#���#.����1����������������������������1����� ���� 0�.���� ����.�� �� ��.��41!���� #���#.���� #���� �������� �����������#1��,�0�%���.�#.������������������������#�3�

ocroh hli rgwr nmielwis eu ll nbnesebya th eei alhenhttpa oobttva nah brl

������ �0��#���!������1���� ����� 5�#���0��./���������������0��.0�.����� ��.�.�.�%#���������.������������������ ���#���#.����� �.��41!����#���#.�����������;���1�0�.01��.��.�1#.1�1�����#��������1���.������0�.����#���#.����#������%�� ���������1����#��#���#.�����6�����%�����0�.���������.�����?1�#���#.�����'����������1����������#���#.�����������0��./������#���#.������������1������������� ��� �/� 0��./����/� #���#.����� (�� 0������� ���� G1L� �� ��.#�� ������I����.�� �� �� �����J�� ��?1.���� �4������ ��� ��� 0��./����� #���#.��� G�L������.�� �� #���#.���� G�L� ��� ���� ������ � �� I����.�� �� �� ��::=J�� ,�0�%���0������������������� ���������.����#�3�on ie antsoutinys are t inctore st be s deamy achin d ilonasive tucoowe at

teasonare fuso tizin andy tobe seace ctisbe

������ �0��#���!���� .�� ��� ����� 5� .�� �� ������ ��� ��.��#� ��1���� ��������0��#���!����� 6��� #���#.��� ����� ��� 0��./����� ��� #���#.����� ���� ��� 1���������������� �/�0��./����/�#���#.�����'����������1�� ��.��41!���� ������ ���.�����.��0���.�����1��,�0�%���.�#.�������������� ���������.����#�3�in no ist lat whey cratict froure birs grocid pondenome of demonstures of

the reptagin is regoactiona of cre

����� ��� ��%��.� �� �4�%��� �����#��� .�#.��� 0�0����%��� 1�%����� ��� �#��� ����������/�#���#���60�.�� ������ �0��#���!��� -� '� ���� �����1�� #������ ��� 0���������� .�!���������1%�����0��!����.�.�.�%#����4���������������1�0������#��0��#������4���������.�����0��#.�%����6��������������.�����.���������.�����#���.�����.���

55

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 60: US - Osnovi Teorije Informacija i Kodovanje

������� )(,*6��7���+"6*��'�6 (6�'�(����*6$����9�7'��6 )2��)�.��0���� ������ ���4����#����������������.�.�.�%#��0������� ��������#�� ��������� �����.���� ������� ����� �� ���� 4���� ��;�� ��#�� ����%1��.��� ������ ������0��������������3�

� Y ]�\� �`� ��� T ^� %���� ���������.�������.����������#������#���������0��#���!�����1�.��������5�#���#.����1�.�.�.�%#������������#����������4�.��0�������#������.�����;���� ��1��4�����(�#����41������%��������4�.���'������1%��1����.��0����������������?�������������3�

� Y ��� �Q��4�.���0��#���#.��1��+�������#��.�#.�����%��������4�.��Q Y �B�� �#�����#��������4���0��!�������������������#������#���������.��0�������������� Y <�B=�4�.���0��#���#.��1���������0��#���!����0���������5�#���#.����1�.�.�.�%#�����������1#10���4����#���#.���� �������� ���%���� ����4�.�� �� ����.�� �� �#��� i5.��� #���#.���� ���0����.���)�.��0����������1�.����1%��1���3�

� Y��� ��� �����p�|\ �

$���.� ���0��#���!��1�0������������.��0���������#���.�#.�����<��B�4�.���0��#���#.��1���#��4�����4�����������1 ����������������������0��#���!������1���������5�}×W����#��41���1���������.�� �����������#���#.����Ó��41�1 ��������0����.�0��./�����#���#.���·��)�.��0������3�

� Y�}��}�W× ��� ��}�W×�p×|\

p�|\ �

$���.� �� �0��#���!��1�������� ��1���� ������ ��.��0���� �����#��� .�#.�� �� 4�.�����>�4�.��0��#���#.��1��0���1������������������0������56

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 61: US - Osnovi Teorije Informacija i Kodovanje

�������0��#���!����.�� ������� -�}ØW��×��#��41���1���������.�� �����������#���#.����c��41�1 �����1�0����.��0��./��������#���#.����·� Ó��)�.��0������3�� Y�}��}×W� �}ØW×��p

Ø|\ ��� ��}ØW×�� �p×|\

p�|\ �

60�.�� ������ �0��#���!��� - Ùa�0���.����� 0���b�#���#.���� )�.��0���� 1� �0�.����1%��1���.�3�� Y ���®� �b��UÙa ��� ��UÙaVV�

�������1���� �����Qa����1 �/������.��Ùa�����#.�%�����������1 ������%1��.����.��0��1������������������1�#!������$���.� ����.�����.1�.������A��������4���1�.���1����0��!������.��0��1�����B�#���#.���������#�������4�.������������.��0����0�� ������� #���#.��1� ���� 4�.��� "���� ��.����� �� ������ ���1 �� ��� 0���� �� 1�A���������4����#1������<�� A)(6(6"��,)6*)���+��$6 6"�(7)��)+�-'��,�$��A������� .������� ��� #�������� ������ ������ �� ��� #��!�0.1� 4��#�#���#��������� ��4�� ��1.����������#��!�0.��1������0��4��� ����� �������!����1�#�����������4�.��.�����������������3�

Ð Y ]½� ¸^ ���#� #��� ��� �0��#���!��1� �1�.��� � ����� D� 1� ���� �����1� �#�� #���#.��� �����0�����1�������4�.��

ÚÛ ÜUÚÛV $�������%� 0.5 0

4 0.5 1

*���4�.57

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 62: US - Osnovi Teorije Informacija i Kodovanje

��PRIMER

6����������0���!�� a a a a a a a a a a b b b b b a a a a a

$��0�������0���!��0 0 0 1 1 0 1 0 0 0 1 1 1 1 1 1 0 0 0 0

�'������1%��1�#���.����������4�.������0���.�����������#���#.���������%���4����4�.���0���������#���#.��1������4�.�����#� #��� �0��#���!���� ��1���� ����� D� 1� ���������1� �#�� #���#.�����;�� ���41���0���.�����������������������.���4�.���

ÚÝ ÜUÚÝV $�������%�� 0.45 �44 0.45 ���4 0.05 ���4� 0.05 ���

*���B��4�.��PRIMER

6����������0���!� aa aa aa aa aa bb bb ba aa aa

$��0�������0���!� 0 0 0 0 0 10 10 111 0 0

58

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 63: US - Osnovi Teorije Informacija i Kodovanje

'������1%��1�#���.��������<�4�.������0���.�����������#���#.���������%���4����4�.���0���������#���#.��1������B�4�.������#�#����0��#���!����.�� ������� D�0��.���#���#.����1�0���.�������4���������#��!����1;�������������������.�4�.����

ÚÞ ÜUÚÞV $�������%aaa 0.405 0

bbb 0.405 10

aab 0.045 1100

abb 0.045 1101

bba 0.045 1110

baa 0.045 11110

aba 0.005 111110

bab 0.005 111111

*����==�4�.��PRIMER

6��������� 0���!� aaa aaa aaa abb bbb aaa

$��0������ 0���!� 0 0 0 1101 10 0

'������1%��1�#���.����������4�.������0���.���������@�#���#.���������%���4����4�.���0���������#���#.��1������==�4�.����

59

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 64: US - Osnovi Teorije Informacija i Kodovanje

��<�� 2��6*�,6*�7�$��*� �VEŽBA 1.

��������#���%�����������!�����1�������0�����3��#�� ��� ����.�� �� 0��1#�� � ��� 0��1#�� ���;�� ����1� #���%��1� �������!���� ���4��1.��� $���%���� �������!���� ���� �������!����� ���;��� 0��1#������������� ���������.��#����1�#!����3�

º® Y ��� � ��® Y � ��� ��®���������0������.�� ��0��1#�����64������ ��� #���.���� ������.��� �� ������ ���� .���� �� #���%���� �������!���������1�4�.������(�#�� �������!����� ����� ��������� <� 0��1#�� �����#�� ����.�� ��� <ß �� 6�����.��#���%��1��������!�������;����1��#���0��1!����1#10�1�#���%��1��������!����1����%�.����0��1#���

�à������` ��á��â����` ��á��â����` ��áã�â����` ��áä��������` ��ä�â����` ��ä�â����` ��ä�â����` ��ä���Y ��� _ ��� _ ��� _ ��� Y �@�¸·¹v¿½�

������ �#�� ;��������� #��1�����4������� ��� <� 0��1#��� #���.�� �� ���� �� 4�������#���I�#��0��1#�����#���������0����4�.�J3�Poruke $����

M1 ���

60

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 65: US - Osnovi Teorije Informacija i Kodovanje

M2 ���M3 ���M4 ���

*�����������.#��0��#����.��45���(���������.�� ���3�

åå�0���æ���=�����=�����=�����=çÄ�$���%�����������!����1��������0��1!�3�

åå�5����I0I�JJ�������������

'#10���#���%�����������!���3�åå�5����I0I�JJ5����I0I�JJ5����I0I�JJ5����I0I<JJ�

���������@�VEŽBA 2

)�.��0�����1�������0�����3�)�.��0���� ��������� 0���%�1� #���%��1� �������!���� ��� ������ �������!����� ����� ��������������������������

� Y ���� ��� ���è[\�|�

4�.���0���������0��1!���

61

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 66: US - Osnovi Teorije Informacija i Kodovanje

(�#�� ����� �������!���� ��������� >� 0��1#�� �� ���� ��� ����.�� �3���]� <ß � � <ß � � @ß � � @ß � � @ß � � @ß ^�� 6�����.�� 0�������%��� #���%���� �������!���� 1��#���0��1!���1#10�1�#���%��1��������!��������.��0��1����������������%��� #���%���� �������!���� ���;���� 1� 0��1#���� �� 1#10��� #���%�����������!���3�

�à�����` ��ä�â����` ��ä�â����` ��é�â����` ��é�â����` ��é�â����` ��é���Y ��� _ ��� _ ��� _ ��� _ ��� _ ��� Y ��>�¸·¹v¿½��)�.��0���������3�

Cà= �\ê ���`�ä ��\ê ���`�ä ��\� ���`�é ��\� ���`�é ��\� ���`�é ��\� ���`�é�=���5���=���`���=�5����=���`���=�5�����=���`����=�5�����=���`����=�5�����=���`����=�����5�������=���`����=5��������=�â���=�â����B=�â����B=�â����B=�â����B=�����=�4�.���������#��;���������#��1�����4���������/�>�0��1#���#���.�� �� ���� ��4�������#��� I�#�� 0��1#�� ��� #������� �� 0�� �� 4�.��� ��#������� 4���� 0��1#�� #������;�������#��1���������4�.�����@��

Poruke Kodovi

M1 ����M2 ����M3 ����M4 ����M5 ����

62

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 67: US - Osnovi Teorije Informacija i Kodovanje

M6 ����7����.����0������#�������3����1#����ë�ë<ë>ë�Ä�$�������0��1#����������������Ä� �#�������0��1#����ë�ë<ë>ë�Ä�*�����������.#��0��#����.��45���(���������.�� ���3�

åå�0���æ���=�����=������=������=������=������=çÄ�$���%�����������!����1��#���0��1!�3�

åå�5����I0J������������������������������������������

'#10���#���%�����������!���3�åå�1�I��J����������>�

)�.��0���������3�åå�51�I0�ì����I0�â�I0�����JJJ�

����������=����

63

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 68: US - Osnovi Teorije Informacija i Kodovanje

VEŽBA 3.

)�.��0����4���������������1�������0�����3�$��� 4�������� �������!������ ������� ����� ��������� ���� ��� 0��1#��� .������.��0���� ������ ����� ��� ����.�� �� 0��1#��� )�.��0���� 4�������� ��������������������������3�

� Y �� ��� � � U� � �V ���U� � �V�

���#�����<�)�.��0����4���������������������0��1#���������#�/�����.�� ��

�������� �������!����� ����� ��������� 0��1#�� �� ����.�� ���3��]� <ß � � <ß ^�� '�.����1%��1���.��0������������3�� Y �� �ê ���`ãä��U� ���êV���`U� � �êV�Y�Y ����B=����`���B=�D ����=����`���=� Y�Y ������� _ ���=� Y ���@���bitova inf./bit

'#���#��4��������������!�������������������0��1#���������#�������.�� ���3��]� �ß � � �ß ^��.���� ��� ��.��0���� ������ ��#������� �� �������� ��� 0���.������� ���I���#�����<J��'�.��������.�� ��1����� �������3����� \̀ ���`����U� �� \̀V���`U� � \̀V���

64

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 69: US - Osnovi Teorije Informacija i Kodovanje

Y����=����`���=�D ���=���`��=� Y�Y ���=� _ ���=� Y ��¸·¹�·bÒ�X¸·¹��������������������������.��0�������#�������I��4�.J��*�����������.#��0��#����.��45���(�����������.�� �����4�������3�

åå�0����æ��B=�����=çÄ�åå�0����æ��=����=çÄ�

)�.��0����0���������3�åå�C����5I0�I�JJì����I0�I�JJ5I�5I0�I�JJJì����I�50�I�JJ�

C���������@����)�.��0������1���������3�

åå�C����5I0�I�JJì����I0�I�JJ5I�5I0�I�JJJì����I�50�I�JJ�C����������

VEŽBA 4.

6�����.�� ��.��0��1� 4�������� �����Ð��1;���� =�� 4�.��� 1� ����1� ��� �����1�1�������1���.��41!��1��(�������������������1%�������%������#��������#���� �������.�����#���1��� �í Y îÛï��ïÛ��Ûï��ÛÛ��ïÛ��ïÛ��ïï��Ûï��ÛÛ��Ûï��Ûï��Ûï��Ûïð�

'�0����#���#1��0��4���� ������0����� �%�����������1��� �� ������!�� I��������������J��'#10���4�������1 �/�0��������<�������� ����.��.���.��#���0��1#����������.������#10��P� Y ]��� ��� ��� ��^��"�����.��#�������0���.��������ñ³�1�����.�� ��0��1#��P�1�4�����������1��

00 01 10 110.24, 0.12, 0.48, 0.16;S S S Sp p p p� � � � �

65

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 70: US - Osnovi Teorije Informacija i Kodovanje

)�.��0��1� ��������?1����������%���#���1�0�����1���� ��.�����4����1������.����������4�����������4������4����0���%�1������.���.��0����0���������4�.1��00 00 01 01 10 10 11 11

log 2( ) log 2( ) log 2( ) log 2( )

0.24 log 2(0.24) 0.12 log 2(0.12) 0.48log 2(0.48) 0.16 log 2(0.16)1.7925 / 2 0.8962

s s s s s s s sH p p p p p p p p

bit

� � � � � �

� � � � � �� � �*��1�.�.������ ��@:>�� 4�.�� 0���.����� 0���%�1� #���%��1� �������!���� #���� ������;����0���������4�.51������.��4�������������#��0����;����1#10���4����4�.��������������4������������.����.��0����� Y ��@:>�����4� ����1#10���<<�@��4�.���������!�������;���������#��1%���������������������0��1.����1%�������4������������������!����������#���%��1��������!������4�.�����������������;������������������.�����.���#��.��#��0���� �� �������!����������#���� ���������.��%�.���1%�����4��������������'�0��#�����.��1��������1%��������#���.��0�1����1%�����������.�������1���������.�����.#������1���0���������������.�� 0���/� �1%����/� ������� '� .��� �1%��1� ��4������ �� 0�1�����1���.��+��0�.��1��0����.��0�1���������.��������0/��������0���.������.�.���#�������0�����;���(��,�����0����1�0�.���������4�����1%����/���������

VEŽBA 5:

2�#�������.��0��������.��0������#���1�������0�����3�GA���������.��0���H����0���01.�1����������.�����A�������:<@��)�.��0����1�.���10�.��4��.������������������#����%�#������������!��������;�����#�������?������#�� ���0����.������.�� �������#������?���� ����� ����.��0������;�� ����%1��.��#��3�

� Y �����n��U��Voò�|\ �

���������������������.�� ����4����/�.���������#���'��0��#�!�������#���.���� ������.��� ����� �� �4��� ��#���� �1#������ �� 4�������� �������!���������;������ +�� 0���.����� 0���.#�� ��4������ ���1�.�.� �� ��;�� .1��%�.�� � #�������.�������#��!��������?�����66

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 71: US - Osnovi Teorije Informacija i Kodovanje

2�#����� ��.��0���� ����� ��� ��4���� ���%���� 0������� 0��#�� #���� �� ����?1�����.��0�����#���0�#����������0������������#����1#10����4���1�0�#���������!�����.����� ��������.��0��#�/������.�� iH ��������· Y Q É b����� ���#1����#�� 0�#��� ��� !��.��� ������� 0������� #���� �� 0��4��� ����?1��� �����.���.��0����� �4�����������.������;����1�0��#��������.��������������%�����������?���� ������!���������� �������!��1���4�.�� ���4�������.������������������������������%��1�0�������#�������#����.��������������������������%����0���������.��0��� �����A���������������0��#���!����#������ 0������1�1� �������������� �������!����/� ������ 0��������� ����#��� "�����.���#�������.��0������0�� ���0�� ���������%����0���������'�����0�����1�0�#��� ����#�#����;������#������������%1������������!���1������.� ��#�� � � ��#��� ��.��� #���� ���� ��� #���.���� ��� ��.��� ��� ��%1��������#�������.��0�������0������#���0�#�.����.��4����.���������4���0����.�1��4��.������4���1���#��I������Image processing).

���4�������#�3�

����#�����=�6������������#��I��4��<J�

'�;�������#��1���.��4��#�1;�������0��#��3�åå���#����������Ió�����1�1��7�-óJÄ�

åå���/�ôI��#�J�67

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 72: US - Osnovi Teorije Informacija i Kodovanje

$����.��������#�����*-�������.��1�@54�.�1���#1�I������Gray-scaleJ3�åå���#������4����OI��#�JÄ�

åå���/�ôI��#�J�

����#�����>�-��O5!����I@�4�.J�

���#��#����.����� ���*-��1�����������#���.��@�4�.�������0�� �������0�#����I������� ��� 1� ��� �0���� ��� �� ��� �==J�� '� ��.�#1� 0��#��� ���� /�.������ ����������������#��!�������#��������������.���.��0������åå���/�.I��#�JÄ�

����#�����B�C�.������@54�.�����#��

68

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 73: US - Osnovi Teorije Informacija i Kodovanje

6���?����������.�� ������#��0�#��������!�3�åå�æ4����!����4���ç���/�.I��#�JÄ�

åå�0���4����!�X�I�==ì�<�JÄ�'#���#��0���.�������#1�#����������!������������0�#����#�����4�������;��������#����1�����0����.������.�� ��������.����.��0��1������3�

åå�C���51�I0�ì����I0�â�I0�����JJJ�C������=�@�=:�

�4������ �����.�� �0���.����� 0���%�1� #���%��1� �������!���� 0�� �������0�#��1��+�����������1���#1�4�������� ���0�.��4���nU�== k �<�V k @o Y >:=><�4�.���� ����#������� ����%1�������.��0��1� ��1#���#��#��1�����0��#��C���������������.������ #��������� 0�.��4��� ���� ���nU�== k �<�V k =�@�=:o Y =�B<>��4�.���� (�� ������%��� 0�� ���� ��� 4����1� 0������� .�#�� �.�� ��� �������� #���1� �#��!1� ����@@�@��4�.�����'����� ���#���#1�0���.�� ������#�����0��.���������.��0������������ ���!�����.�� �������� ��0�.����3�

Koji regioni slike sadrže najmanji informacioni sadržaj?

*�%1����� ��#���1� ��.��0��1� ��� ���%��1� 0������� æ:� �� :ç� �� 0��#��1����� ���1�.�.�0��#��.�0��.�����0�3�åå0��������.�1�I:JÄ�

åå�2C�����.��0O���.I��#�JÄ�åå������!I2CJÄ���1��I�!�JÄ�

69

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 74: US - Osnovi Teorije Informacija i Kodovanje

����#�����@����#�����#�������.��0����0��#��.�0��.�����0��

*������� ��#�� ����%���� �� ��������� !����� 4���� 0���.�����1� �������� ������ ��� ��#������ ��.��0������ ��#� �� ��������� 0���� 4���� 0���.������� 1�������������#�����#��������.��0������������� �.�0��.�����.��0��#����0���0��#��#������;����0��!��������������%����������������#�����.��0������

åå���/�I2CJÄ���1��I�!�JÄ�

����#�����:�� ���.��0��#��.�0��.�����0��

70

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 75: US - Osnovi Teorije Informacija i Kodovanje

����#�������7���������C�����������%��#�������#1����0�������=��

'�0����#������1�����������#�����4����0��1#�����1���1����#����������.�� ���71

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 76: US - Osnovi Teorije Informacija i Kodovanje

3. EFIKASNO KODOVANJE INFORMACIJA

'�����0������1���.��1������#����������#��.�����������������!����1�!���1�#��0������0��1#�����.�������1�1����#���������1�������������#�����1�!���1����#����#��0�������#������1������.����������!��#��0������0���.�#������.����#��.�1#!�������#���/�#��0������/�#����������0��#.�%���0��4����#����������1 �������.����/���1�1 ��A��������#��!�0.1������ ������?���.�� ��.�� ���#���� #�������� ��#��.���� ������ �������!���� 1��������������4�������#��� �� �� ��� ��� ��.��0���� ������ �1������.����� ������%����� ��� #��0����1�0���.�#���������������������?1�����������1��%�#���1������.��1;����#����������0������������.�����0�.����3�

Šta je razlog da uopšte nešto kodujemo?

��.����.��������������������.�3��� $�������������#��0������I��4�!���������1�����J��� $�������� 1� !���1� #���.�.���� 0������ 1� 1������ �1��� ��� #����1�I������������1�����J��� $�������� ����� .����.�� 5� � 0��1#�� 1� ��.10��� ���� �1.����������#�����!����

6�� ��#!���� �� ��4��.�� 0�����0�#.������#�����#����������#��.���� �������������!�����

72

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 77: US - Osnovi Teorije Informacija i Kodovanje

����� $6 6"�(7)�7) ()��2'F�7()�")2�F�()�������������!�������������.���0��1#����������#��!����4�����

����#������$���������������!������������

6����� ����� #�������� ������ I������ Source codingJ3� ��4��� ������'õ �1�.���1.#1�.���.�����������1���������1 1�#���1���%�+õ�����I���#�����J�����4����1�������.��#10��#������������alfabet���������!��������� je diskretan��#���������4�.�#���%���� �������������4�.������������arnost��������*����.�� ���� ���� 0��1#�� #���%��� �1;����� (�� 0������� ������ �� ���1���.��.�����������#��.������������������!�������������4�.�����.�������#�����#�1�0��1#������#��.�#.����$�����.�����������0��1#��������1�kodne re�i��$����� ��%�� 1� �#��!�� ��4���� ��� kodnog alfabeta�� #���� ��� 1� �0�.��� �1%��1������%�.��������4�.��0��1#���8����������������!����������ö÷����������ö�4�������#��¹��#�������#������#������ ������.���� .�� ��� ��0���� �1%����� 0��!�� ���� ��.��� ����4�.��� øù ��7����.��������%�����.����������1%����/����%�������øù����������.1�����4����1��#���.���1.#1�¹�������.�� ����}Uö÷ Y Õ�V������� ��� 4��� ���������� 1#���#�� ����.�� �� ��4����Õ����� ����� ��� 0�����/����.����/������.�3�

ú÷� ��úû³� øù���}Uö÷ Y Õ�Wö\ Tö÷[\V Y }Uö÷ Y Õ�V 73

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 78: US - Osnovi Teorije Informacija i Kodovanje

����� �������!���� ��� .�!��������� 1#���#�� ����.�� �� ���.������ ��4����}Uö÷ Y Õ�V�������������������¹��$����� ��;���� 0���.��.�� #��� 0����#������+ Y �U'V���� ����4�.�� ������üý�1�#10�#����/���%��üþ���#����+É����%����#10��/�#���%��/��#��!���.������/���� ��4���� ��� #������ ����4�.��üþ�� .���� 1� #����� ��%�� ����.��� #������ ������0��#10�#10��+É��DEFINICIJA 3.1�(����1������#������$��� ������� ��#��.���� �������!������ ������ �� ������ �����1�������� #���� �������%�.�����4������������#���0�������1������%�.��#�������%���8���������

1z Í 1� � �z Í ����0��� %��1� ����z�#����� ��%� #���� #���0������� ��4��1� ������1z�� '� ���� ��#!����4�� ���������������1�������#��������PRIMER 3.1�$��������#���%������������������#����1;�����#������������/���4���%���/����#��������4�.����������#����%�������������4���3��.�%#��IkJ���!�.��I�5�J��(��0����������)���$���#��1�1���Hk H��Hk�5M���H5�k�5M����0�#.������1�1 ��������!����#������#��������0��1#��������0�������%��/���4����������.�����1� #����� #���� �� ���1� ��� �����.��� ��%��� ��#����.��� ,�#�� #����� �� ��1������������ ���� ��������%��� ��#����� #������ $��� ��/� #����� 4���� #�����#��!�� #����/� ��%�� #���0������� ��������%��� ���� ������� 0��1!���������!�������������DEFINICIJA 3.2�7�������%�����#�����#������$�����#��.�����������������!��������������������%�����#��������#���������#��4����#����#���%����#��!��#����/���%����������%������������������0��1!���������PRIMER 3.2�(���������%���#����

74

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 79: US - Osnovi Teorije Informacija i Kodovanje

(�#����������.�������.�����4����a��b���c�����1#����������������#������#�������.����������.�����4������0���aaabcaacc��$������������0����#�������� � ����4 � �����! � ���

�������������%����(��0�������0����#���#�������������aaaa����4� ����#�������%��������.������.��#��������#��1���������cc��(��0�.������%���0����#�����#��������#���� ��4�.��1�.���1���������#1����.�����#�������0��1#���aaaa�����cc��PRIMER 3.3�7�������%�����#����#����(�#�����������������!����#���1�0��./������0�����1��(�#�����#��������������

½ � ����¸ � �����Ñ � �����;������#���.����� �������#��� ��������%����(0�����������������#��1���1�����abb�������������1�cb����?1���������%����#����������0��4�������%����1�.���0����#���#�����I������Prefix – Free CodeJ��7����� ����¼��1;����b�Ub � �V���� 0����#� ��#��� ��1���� ���������#�� �� ���� �#�� ���0��/�b���4����1���������#������#.������1�¼��(0���½¸¸½����0����#������½¸¸½¸Ñ��DEFINICIJA 3.3������#���#������+��������#�����#�;��������0����#����#��1�����1����������#�������%������0����#���#����1����#��������%���PRIMER 3.4������#���#����(�#�� ��� ��.� ����� �� .��� ��4����½��¸���Ñ�� +�� ���� ����� 0������ ������� 0����#����#��������

½ � ����¸ � �����Ñ � �����#�#��3�

½ � ����¸ � �����Ñ � ��������0����#����41�1 ����������#��������4���a���.����������0����#�1����1�����#����0���.�����#���1���%�������4���c��

75

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 80: US - Osnovi Teorije Informacija i Kodovanje

Odakle poti�e naš interes za prefiksnim kodovima?

6��������;��1������4����������������OSOBINA 3.1

��#�� 0����#��� #��� ��� ��������%��� ��#����� "�;��� ��� ��0����1.�� ��� 0�.������������%���#�����#������1�0����#����#����.������.��0�#��1���������������DEFINICIJA 3.4�,���1.�����#�����#����$��� ��� .���1.��� ��#���� �#�� �� ���� �#�� �� �#�� #����� ��%� 1� 4���� #��� ���1�#����/���%����;����#����.��1��.��������.1�#���������.���1.�#����#�������%���OSOBINA 3.2

$������.���1.�����#�����#�� �������#�� ���0����#����,���1.�����#�����#�������� ��/.���1������������ 0��0���� #����/� ��%�� ���� %�#����� ��0� �� ���/� ��� 4����#�������� 4���� �4�������� 6��� �� �.���� �� ����� �� �������#�� 0��.�����#�������$����#�����#���������������0���������?1�4���������#������I���#�����J���

����#������$�����0����/�#�����

��

76

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 81: US - Osnovi Teorije Informacija i Kodovanje

������� N5�*(���,��2��$6 6"������������%���0���.�������1%������0����#��/�#�����1�n5�����.�4����(����!��I���#�����J���.��1��.����������.���������.�4����

����#��������������.������������/����.�4���DEFINICIJA 3.5 N-�����.�4����N-�����.�4������.�4���1�#�����#��1�1.�������%�����������.�b�����������������#.���b�%����5��!��� ��.01��� n-����� .�4��� ��� n-����� .�4��� 1� #���� ����.�������1��.1��14��1��PRIMER 3.5�N5�����.�4����

����#����<���������.�4���I���J��,��������.�4���I���J����.01���.��������.�4���

77

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 82: US - Osnovi Teorije Informacija i Kodovanje

F����\�0�#����%����`��1#���#��01.����#�����������`����;��%����\��OSOBINA 3.3

'� 0�.01���� n-������ .�4�1� �14����Ì � ����#�� %��� �14������U� d � d ÌV�0�#����.�%�����[����.����DEFINICIJA 3.6�$�����.�4���$����� .�4��� ��� n-����� .�4��� %���� 1� ������ ����%���� ������ ��.��� ����4�.������������������.�#����%���������#������0�����1������������01.�1������������������%������$����� ��%����������1��#��!��������#���������1;�01.������#�����������.����PRIMER 3.6�$�����.�4����

����#����=�,��������#�����.�4���

,�������� #����� .�4��3� #����� ��%� 0���.������� ��.��� �� ��� ac�� ��#� ��.� ��0���.�����#���1���%�c��I���#����=J��DEFINICIJA 3.7�N-�����#����$���%��������4�.�����b�������������n-�����#����OSOBINA 3.4

+���#��n-�����0����#���#���0�.����4�����������n-�����#�����.�4���.�#������#�� #����� ��%� �������� �#��!�� ����#�� ��� �����.����� 01.1� ��� #������.�4��������.������4��1.����#��#�����.�4������������������0����#���#����$�����78

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 83: US - Osnovi Teorije Informacija i Kodovanje

��%������0����#����#����1�����?�����#��!�������#���01.��������#����������#�����.��#������.�4����'#��.#���#�����.�4�����0����#���#���1��#�����.����4��#.���PRIMER 3.7

$�����.�4���#������������#��1����0���������<�½ � ����¸ � �����Ñ � ���

����#����>�$�����.�4���

������.����������#����!����0��#�����������.���1�����%������4��������������� #����� ��%�� �� ��4����1� #��� ������ ����#�� ������ ��� 01.������� ��� #������ �����.���������.���� ��� ��0�����.�!����� 0����#��/� #����� 0��� 1� #����/� .�4����� ��#����.��� ��� #���0�������1� ��������� #������ ��%��� ,�#�� ��.��� �� ������1���#���� ������.����(�� 0������� 4������� #����� .�4��� #���� �������� #��1� ]�����^� ���� ������#���� ������.���

79

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 84: US - Osnovi Teorije Informacija i Kodovanje

����#����B�$�����.�4�����������#���� ������.��

+��.��������������������#���0�������1����������#��������%��0���.������#�����DEFINICIJA 3.8�$��0��.���#����$�����������#���� ���/� ��.���1���������1 ���n-������#������.�4�1�� #�����������#��0��.���#����������� $*�8,6"��()7) (�$6�,������ 1�����0�.��4���1���� #������������41�1� �01���������4�� ������0����#���#���0�.�������0�.�������������$���.����������#�.�0�.��4�������������1����TEOREMA 3.1��$���.����������#�.��+���#�� 5�����0����#���#��������#����/���%��%����1��1;����0���.����!����4������]�\� �`� T � ��^��������;�.�3�

�Ï[ò³ d ��f\ �

�� �4��1.��� �#�� 1� ��.�� �1;���� #����/� ��%�� #���� ����������1� �1� �������#�.��0�.����0����#���#�����#��������%������.���1;�����$����1�I���J��;�������#�.��.�������#���#��0��.����PRIMER 3.8

80

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 85: US - Osnovi Teorije Informacija i Kodovanje

+��4�������IÏ Y �J�#��0��.���0����#���#������0���������<�]�������^��;�3�� [��z|\ Y �[\ _ �[` _ �[` Y �� _ �< _ �< Y ��

$���.����������#�.�����#�;�����0�.����4�����������.��������0����#���#���%����1��1;����#����/���%��������<����.���.���;�3��[\ _ �[` _ �[` _ �[ê _ <@@� � ��=B e ��

6���#������4��4���#��0��.����$���%���0��������10�.��4��$���.����������#�.�������������������0�.�������������� #��� �� ����.����1;������ #����/� ��%�� 0����#����6�� �������#�.� ���� ����������������!��1�#������;��0�.���.��������0����#���#����(��0�������0���#������0���������<��������� ������0����#�����#����3�

�Ï[ò³ Y �[\ _ �[` _ �[` Y ��,�������������������#�;�����0�.����0����#���#��� �.�/��1;����#����/���%��� �����.�����0�.��������.����1��.���0�����1���<��.���#����������� ��PRIMER 3.9

Da li postoji binarni prefiksni kod sa dužinama kodnih re�i u\ Y �, u` Y �, u� Y �, uê Y ��·�u� Y <�?

6��������� ���0��.����3���[�|\ Y �< _ �< _ �< _ �@ _ �> Y �=�> e ���

��������������.�#���#���������.����I���#����@J��

81

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 86: US - Osnovi Teorije Informacija i Kodovanje

����#����@�$�����.�4���4��������0����#����#����� �Û �Ý �Þ �� ��� �� �� �� ��� ����

PRIMER 3.10

Da li binarni prefiksni kod sa dužinama kodnih re�i 1,2,2,3,4 postoji?��6���������()��41�1 ������;�3�

��[�|\ Y �� _ �< _ �< _ �@ _ ��> Y �:�> h ���

82

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 87: US - Osnovi Teorije Informacija i Kodovanje

����� )8�$��(6�$6 6"�(7)�6�����!�������#�����#�����������#����������.����������������!����.�#����������������1;����#������������������������0�.���1��������� ����� �������!�����#���� 1� #���� 1�#� �01������ 1� 0��#��� ��������!���� ������� �1;���� #���� ����#�����.�����������!�����%�#������1;����#�����DEFINICIJA 3.9�6%�#������1;����#�����(�#�� ��� ��.� ������ %���� �� ��4����1z����.1�1� �� ����.�� ����0z��U� d � d (V�����#��1��z��1;����#����/���%���6%�#������1;����#�������������%�#������1;����#����/���%�������.���3�

¨î�ð Y���u��|\ �

(���!���� ������0����?����0����#���#���#��������¨î�ð��.��������1 ���������7��������������#�� ���#��������%����.��4��#����.���������.�������4�����Kako odrediti dužine kodnih re�i?

Koja je najmanja teorijska vrednost za ¨î�ð?

������� ")*6"�,(6�(6�(5�*(�6��,��26������#���#����� �����1��������.��n-������.�4�����1�#�������#��#�������%������������������.1�.�4����������������.�����01.1����#���������.�����.����1�1 �� ��� ����� ���.1��� ��4���� �� ����?���������.�� ����� ����� ��� ��� �� ���#��#�������%�����������.�����.��.�%�������?��1�����.�� 1��(��#���� �������.�������0��#����!����������1�1�����.�� �������#�����(�#��� ����%������ ��.��� ��������1 ��� ����.�� ����� ��;���� ��%1��.�� ������.�� ��1�1.������/�%��������#1�����������.���#��#����1������1 ��1�#�1���1� ��� ��� ����.�� �� ������� %���� �����#�� 1��� ����.�� �� ������/� ��!�5%������(�#������0��!��1�����4�����������.�����n-�����.�4����

83

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 88: US - Osnovi Teorije Informacija i Kodovanje

DEFINICIJA 3.10��"����.�����n-�����.�4����"����.����� n-����� .�4��� ��� n-����� .�4��� %����� %������� 1� ��������������.�� ��������� ����%��3�

�� $����1������������������.�� ������� "����.�� �� �/� �.���/� %������ 1#��1%1�1 �� �� #������ �����#�� ��� 1�������.�� ��������/���!�5%������PRIMER 3.11

+�� 4������� 0����#��� #��� ��� 0������� ��:�� ��#�� 1� ����.�� �� #����/� ��%���\ Y �` Y ���� ���` Y �ê Y ��������� Y ��<��,����#������1�.�.���4����������.�����4�������.�4��3�

����#����:�*�������0������������

�����.���� ��� 1� ����.������ n-������ .�4�1� 1��� ����.�� �� �/� ��.��������4�.�������#�����LEMA 3.1��2�����1;����01.���

84

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 89: US - Osnovi Teorije Informacija i Kodovanje

'�����.������n-������.�4�1��0���%���I�%�#����J������.��14������.��������#�� ��� 1��� ����.�� �� 1�1.������/� %����� I�#��1%������� ��.��� ��1#��1%�������#�����J��PRIMER 3.12�2�����1;����01.�����0������������+�� 0������ ���� ����.������ 4�������� .�4���� �%�#����� �14���� ��.��� ��������#��� _ ��� _ ��B _ ��� _ ��� Y ��<���������� �%�#����� �1;���� #����/� ��%�� ���� q ��� _ � q ��� _ � q ��< _ � q ��� _ < q��� Y ��<��DEFINICIJA 3.11�)�.��0������.���n-����������.������.�4����(�#�� �����4���� ��.��� ����.������ n-������ .�4��� �� ��#�� 1�0\� 0`� T � 0�����/��� ����.�� ��� ���� ��.��0����� ��.��� 0�����1��� ���� ��.��0��1���������1��3�

� Y��� ��� ���

OSOBINA 3.5

+�� ����.����� n-����� .�4��� #���� �������� 0����#���� #��1� �������!������������'���;�3�� Y �UöV�

DOKAZ OSOBINE 3.4

(�#�� �����0����#���#��� ������ö�����������!���� ����.�� ��0z��������.�� �� �5.��#�������%���0�� ���.����� Y CU+V������1���.�����41�1 ����� ���#��������1��������������� Y ÒUöV��������#.����0����#��������U�V Y �UöV���.�������� Y �UöV� DEFINICIJA 3.12�)�.��0��������������(�#�����ë�4����1�1.������/�%���������.�������5.�4�������#��1��\� �̀ � T �à����/��� ����.�� ��� (�#�� 1� ��\� ��`�T���a³ � �����.�� �� �z �%����5��!��I1#��1%1�1 ������.��J�1�1.��������%����%�����������.�� ���z��)�.��0�������������Cz�1��.���%��1������.���3�

85

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 90: US - Osnovi Teorije Informacija i Kodovanje

�� Y���×}� ��� ��×}� ����}� Y���×a³×|\ �a³

×|\ �PRIMER 3.13

(�#�����ë Y =�%���������.������.�4������0���������:�.�#���1���������������\ Y ����̀ Y ������� Y ��B���ê Y �������� Y �����,������3�� Y �����

�|\ ��� �� � ������¸·¹��b\ Y ������\\ Y ��������\` Y ��B��

�\ Y ���� ��� ��� � ��B ��� ��B � ��@@��¸·¹��b` Y ������`\ Y ��������`` Y �����

�\ Y ���� ��� ��� � ��B ��� ��B � ��:�@�¸·¹���� � ��:@=�¸·¹� �ê � ��:�@�¸·¹� �� Y ���

TEOREMA 3.2�)�.��0������.����)�.��0���� ��.��� ����.������ n-������ .�4��� �����#�� ��� 1��� 0�� ���1�1.�������� %������� 1#��1%1�1 �� #������ ��.��0���� ��������� %����� ��.�;��#�����#.�����������#������/��������.�� �����.��3�

� Y�}�����|\ �

PRIMER 3.14

�#����.�������0��������������0�����.������������;�3�� Y � k �\ _ ��� k �` _ ��B k �� _ ��� k �ê _ ��� k ��� ��@@� _ ��� k ��:�@ _ ��B k ��:@= _ ��� k ��:�@ _ � � ������¸·¹�A.������;��������#.������%1��������4��������1�0�����1�������

86

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 91: US - Osnovi Teorije Informacija i Kodovanje

TEOREMA 3.3

+��4����#�������0����#���#�������� �.��� �������!������ ��������#���#���� ����#�� 1� �%�#���1� �1;��1� ���� � 1� ��.��0��1� ��4����� $��0��������� �������������!����0�� �����.��0��1���4������������� A)(6(6"��,)6*)���6�$6 6"�(7'��)+��*��'�,"��A'���$���.� ���������������1�.�.���1�.���1���������������� �1������.���1�����1������!1��%�#����������.��0����#��/�#�������.����������!�������������TEOREMA 3.4�A�������.�������#�������� �����+�� 4���� #���� ��#��.��� ����� �������!���� 4��� ��������� %���� ��� ��.��0�����UöV���%�#������1;���� 5������0����#�����#����¨î�ð�.�������������������3�

¨î�ð � �UöV���Ï��,������� ��<� ����� ����1� ����1� �����!1� ��� �%�#���1� �1;��1� #���� ��.��� �������������!�����

Kakva je ta granica?

Da li ima i drugih granica (npr 1)?

7���� ������ ���� ���1�.�.� 0�.���� ��#��������� �����#��0�#�;������� ��� .�������!�� ���4����� ���1 �� ������ �����!��� �� 4�� ��� ��� 0�#������� 0�.��4��� ���#��.�1��.�� #��#��.��� #��� %���� �� �%�#����� �1;���� #����/� ��%�� 0����������.�%���0��4��;������������!������� ����#��.�1��.�����#����0����#���#����#������#��������0.�������1��0�.����1%��1� �� ����������4���0��4��;���������� �����!�� �%�#����� �����.�� #����/���%��������������������4����1;�����z��#�������%���1z�.�#������;�3�

u� Y �� ��� ��������87

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 92: US - Osnovi Teorije Informacija i Kodovanje

����î�ð�����%���!���4����1������.�.�#1������3�� d î�ð d � _ ���

6�#��#�����������A����58�����#����41�1 �����������A�������0��!�.�������1�������1�����:<@�����������8�����������#0��!�.���#��.�1�����• Da li ovakav kod uvek postoji?

6������ ��� ������.���� ��� ���1� $���.��� �������#�.��� +��.�� 0�� ������!�����0���!������3�u� � � ��� �������

0����3��Ï[ò³� d �Ï���³��� Y�Ï�����³ Y ��� Y ����� �

����� �����.��;�.��#���#���������#�����4���1�����1�����%�#���1��1;��1�#��������������!�����;�3�u� e � ��� �����Ï _ ���

�#���4��.�����0����;������0z���1�������0��·����4�����3����u�� e �{ �� ��� ������Ï _����� �

¨î�ð e �UöV���Ï _ ���"�������������%�#����������.�#����/���%��A����58�����#����1��������������������� ��4��� ��� ������ �����!�� ��.�� ,�������� ��<�� ,�� ���%�� ��� ��� ���� #���0����%�����4��� ������.�� �����.��0���� ������� ����� �����4��������?1.�������������.��0�������������1 �����0���� �����.���4�����#����TEOREMA 3.5�A�������.�������#��������� ������

88

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 93: US - Osnovi Teorije Informacija i Kodovanje

+�� 4���� #���� ��#��.��� ����� �������!���� 4��� ���������� %���� ��� ��.��0�����UöV��0�.����4����������� 5�����0����#�#���%��������%�#������1;����#����/���%��¨î�ð���.���3�¨î�ð e �UöV���Ï _ ���

PRIMER 3.15

*����.�����4�������UÏ Y �V�A����58����� #��� ��� �����ö��� %�.���� ��4���� %����1�����.�� ���� Y ��<���� Y ������� Y �������< Y �����$�������%��1���.���1;�����3�

u� Y �����` ���< Y ���u` Y �����` ���� Y ���u� Y �����` ���� Y ���u� Y �����` ���� Y <��

$���#��.�1������������1�0�.10#����.���1���#��1�$���.����������#�.���Kako se konstruiše kodno stablo U!Ø"#V ?

(�#��1�����.���1;����#����/���%���\���`���������2 Y ���z ��z _ ��$��.�1��.��0�.01���#�����.�4����14����2��U,�"÷�ûa"V��+��%�����#����0���������#��������%���������.��0�.#����������������1 ���0��.�4����0���.���%�����

89

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 94: US - Osnovi Teorije Informacija i Kodovanje

����#���������.01���#�����.�4���

(�.��#�0����������=��

����#�����������������=��

(�����1�2�������1;����01.��������3��î�ð Y � _ ��B _ ��� _ ��� _ ��� Y ��<��

���#.�����%1������3��UöV Y ��< ��� ��< _ ��� ��� ��� _ ��� ��� ��� _ ��� ��� ��� � ��@�¸·¹��

"������������������������������#�.3�90

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 95: US - Osnovi Teorije Informacija i Kodovanje

¨î�ð e �UöV���Ï _ ���6��������< e ��@ _ � Y ��@����?1.����������������#���������0.��������$����4�����10�.��4����<�#�������%���1;�������������4�����#�� 1��%�#���1��1;��1�#����¨î�ð Y ���������� C�8��(6"�$6 �C������� ������.��� #�������� ������ �������!���� 4��� ���������� 0��� 1� 5������ 0����#���� #����� ����� �0.������� #��� ���������� ���1 �� �%�#����������.��#����/���%���(�#�� �����ö �����b ���4����Õ�� Õ�� � � � � Õb �� �� ��������1 ��� ����.�� ������� ��� � � � � � �b��Hafmanov kod

��� �.��.1����� �� �/� �� %������ #���� �� ��� #���1� #�������� 4�.�� ��.���� +�.��������%1�������.�.�#���0����������1�� � b���Ï � ���I�����.����������b�0������Ô� ��1�#�4�.���1��J�'%�������/�b�%�����GaktivnimM����� 8�������������� %���� %���� 1���!�5%����� 5����������� ����.��/��#.���/�%�������Ô����#���� ���/�%�����I��.��J��

����#��������.�4���C���������#����

91

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 96: US - Osnovi Teorije Informacija i Kodovanje

6���%�.�� 5�� �#.���/� %�����#��� GneaktivneM��(���#�������� %�������%�.�� #���GaktivanM�� �����.�� ���#��������� %��1� ����.�� 1� �����#1� 1��� 10�������#.������/� 5��%����������#��0�.�������� �������#.����%��� .������0��!��1����#��%����,���%��� ���1������ �� #����� #���%���� #������ .�4���� '� 10��.����� 0�.��.��Ô Y ���� � �� ���#���#���������#���#���#�������1�.1���1��0������0��!��1�����������C�������#����41�1 ��������10�����0�����������.���0�������C������=�5.�/��������££��#���PRIMER 3.16���������C�������#����(�#�������.������ö3��

� �Û �Ý �Þ �$ �� ��Ü% ���= ��� ���=� ���B ���� ����7�����C�������#�����������ö������.��3�

����#��������.�4���C���������#���������.��0������

&Û &Ý &Þ &$ &� &�ïïïï ���� ��� �� �� ��"����.�� ��1�1.������/�%�����1���.��1�.�4���3�

92

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 97: US - Osnovi Teorije Informacija i Kodovanje

'Û Y �Û ( �Ý 'Ý Y 'Û ( �Þ 'Þ Y �� ( �� '$ Y 'Ý ( �$ '� Y '$ ( 'Þ ï� Û� ���� ��<� ��=B �������.���������3�

¨î�ð Y �U��� _ ���� _ ���BV _ �U���=V _ <U��� _ ���=V Y ��<=�����0��� 1�2�����1;����01.�3�

¨î�ð Y � _ ��=B _ ��<� _ ���� _ ���= Y ��<=� �#������.��0����������ö3�

�UöV Y��� ��� �� Y ��<��¸·¹�g�|\ �

PRIMER 3.17��,��������C�������#����(�#�� ��� ����� �������!����ö�� #��� 1� 0��./������ 0�����1� ���>�� �#�� 10�.��4����.��������#���Ï Y ����.�.�#����� � b _ � � > Y =�0����������1���Ï � � Y � � � Y��������Ô Y ���I��������= Y �� q � _ �J���.����.��4��1�.�� ���������#���� ������.��C�������#���1������1%��1������.��3�

����#�����<�$�����.�4������0���������B�

93

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 98: US - Osnovi Teorije Informacija i Kodovanje

&Û &Ý &Þ &$ &� &�))* ½½Ñ ½¸ Ñ ½Ñ ¸�

'Û Y �Û ( �Ý 'Ý Y 'Û ( �Þ ( �� 'ÞY 'Ý ( �� ( �$ ï� Û� ��=�� �¨î�ð Y � _ ��= _ ���= Y ��>=�

�UöV��� � Y ��<���=: Y ��=�������<�� 6�,���2(6�,�C�8��(6"6-�$6 ������� ���� ��� !���� ��� 0�#�;������� ���C������� #��� �0.�������� �� .�� ���%�� ��� ���0�.���� ��#�� ��1��� 0����#��� #��� %���� ��� �%�#����� �1;���� #����/� ��%�������� ����%�#������1;����#����/���%��C���������#�����"�;��� ��� 1�%�.�� ��� 0�.���� ��#�� 01��� �0.������/� #������ ��#�� 0���1.�!����#����/� ��4���� ������� �0.�������� #����� .�#����� ����� �0.������� #���� ��#���������#����/���%��#������������1������#�����.������4��������.����������.�#�?�� ��� �0.������� #���� C������� ������.��� #��.�1���� ���� ������ ��� ���/������ �������.����.���0.������/�#������+��������#��� ������ ���������0.�������1#���#�����{ 0z�zZz|\ ��������������1 �����#101� �/� 0����#��/� #����� ��.��� ������ �������!����� ���� ��� ���z�����%�����1;����#�������%����4����1z��#���������.1���������.�� ���0z��LEMA 3.2

+���#���0.�������#�����������b����1 �/���4������;�3�0z h 0� + �z d ��� ����� � Y ���� T ���

LEMA 3.3

94

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 99: US - Osnovi Teorije Informacija i Kodovanje

�������.���1� 5������.�4�1����� _ c�UÏ � �V���������c�4����1�1.������/�%������1#��1%1�1 ��#������LEMA 3.4

+����.��������������!����ö��1�#������.�4�1�#�������������0.�������� 5������0����#���� #��1� ���ö�� 0�.���� �������Ï � �����#���� ���/� ��.��� �� �� �� ����������������#���������14����#������.�4����A.�� ����� 0�.���� �0.������� 5����� #��� ���ö�� 1� #���� 1� �� ���#���� ���� ��.������!����������.�������.���#���%�����LEMA 3.5

��������#���� ���/���.���1�#������.�4�1�#�������������0.�������� 5������0����#���� #��1� ������ö���b���4���� ��� �����#� 0���.����� �.�.#1� ���������b � ����Ï � ���LEMA 3.6

��.�����0.������� 5�����0����#���#���������ö�������4����Ub � �V�.�#������� 5���������������.��/�#����/���%�������#1�������0��0�����������4��1���������Ô��.�.�#���������� � b���Ï � ��I.�������Ï � Ô � �J��TEOREMA 3.6

C�������� #�������� ��� �0.�������� �.�� ���%�� ��� �#�� �����������C������� #����������!������ ������ö �� �� � ���1��� ��������%��� #��� �.��� ������� .���� ���)î2¤ð � )î2þð��

95

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 100: US - Osnovi Teorije Informacija i Kodovanje

����� 2��6*�,6*�7�$��*� �VEŽBA 6.

C�������#���D���.��0��#��#���������1�������0�����3�)�.��0��#��#�������� �����.�����������?������ ��������%����#���������������1;����� ������������ �1;���� #���� ����1 � �� ��#�����1� 4����1� 0�������������!���� 0��#�� #��1��#�!������ #������� 6����� ������ �� 0��.0�.�#�� ��� ���0��1#����� �������.�� ���41�1�#���������#�� ���#����������#�0��1#���������������.�� ���41�1�#��������1;���#��������(�#�� �������!����� ����� P ���������� >� 0��1#�� �� ���� ��� ����.�� �3�� Y ]��<:� ���>� ����� ���<� ���<� ����� ����^���'#���#����������.�� �������0����.�����.��0�������������� Y ��� �UBV����1������1%��1��#1�0��1#1�4����#�����������4�.�3�

� Y ��@�B<�¸·¹v¿½�)�.��0�������������0����.������.�� ����3�

C¥ Y ������@�¸·¹v¿½�'#10���#���%�����������!���3�

�¥ Y ������ _ ���:<� _ ����>� _ �<�><� _ �<�><� _ �=��>� _ �=�>�� Y ��>���¸·¹v¿½������� ��.��� ��� �����.���� ����������� C��������� ���#����� #����� +�����������������#���������0�.��4�����%1���#��0��������

96

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 101: US - Osnovi Teorije Informacija i Kodovanje

�*�����������.#��0��#����.��45���(���������.�� ���3�

åå�0���æ��<:�����>�����������<�����<������������çÄ����4����0��1#�3�

åå���4������!���.�I!/��Ió�ó��ó�ó��ó�ó��ó<ó��ó=ó��ó>ó��óBóJJÄ�-����������C�����������%��#�3�

åå�æ��!��#����.��0���ç���/1�������!.I��4�����0JÄ�

����#�����=�C���������%��#�

97

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 102: US - Osnovi Teorije Informacija i Kodovanje

(�� ��!�� ������ I���#�� ���=J�� 0��#����� ��� .����� 0���������� ��%��#�� #���� �������������0��#����.��45����1�#!����huffmandict(). '�0����#������1���������0��1#��ë Y ]�� �� �� <� =� >� B^����1���1����#������1�0���.�������#�������%��#������������1��������!�����������.���#��0��1#����������#��������0��#���������������%��#�3����1#�3�

>>>�>B���>B���==�B=B��B��$��������0��1#�3�

åå�0��1#����!���.�I!/��Ió>ó�ó>ó�ó>ó�ó�ó�ó>ó�óBó�ó�ó�ó�ó�ó�ó�ó>ó�óBó�ó�ó�ó�ó�ó�ó�ó=ó�ó=ó�ó�ó�óBó�ó=ó�óBó�ó�ó�ó�ó�óBó�ó�óJJÄ�åå�#������S0��1#����/1�������!�I0��1#�����!��#JÄ�

$�������0��1#�3��� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����)�.��0����#�������0��1#�3�

åå���.��0OI#������S0��1#�J����������:::>�4�.���

�#��������0��1#�3�åå���#������S0��1#����/1�������!�I#������S0��1#�����!��#JÄ�

�#�������0��1#�3�åå���#������S0��1#��

ó>óó>óó>óó�óó>óóBóó�óó�óó�óó>ó�óBóó�óó�óó�óó=ó�ó=óó�óóBóó=óóBó�ó�óó�óóBóó�ó�98

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 103: US - Osnovi Teorije Informacija i Kodovanje

4. KANALI ZA PRENOS INFORMACIJA

9����������0��������13��� ������.�����������#���������������!����/�������1�!���1�0�1�������0�������%�#���1�0��1.1��1������ 8��������!����0�������������!����0��#��0�����#�������� '0��������������4���%���0��������������0�����1�0��1.1��1���3�#�0�!�.�.�#��������4������0�������<� 81������.����������!������#��0������1�0��1.1��1����

99

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 104: US - Osnovi Teorije Informacija i Kodovanje

<���� $6�'(�$�9�6(��$�(�2���������������!����0�����1�����������/���0�������������������.�%#��1���1�1��������/���0����������#�����������������0�������������������.�%#�������1������#��1��!�����������?1������4�����.��������1�����������;�����#����0������0����������#����������������������#������;���� ��� ��#����������#��������1�� �� ��.��� ������� ��%�.������ 1� ��#���41�1 ���.���1.#1���������'��4���1%�����1�� ��������0��4������0�1�������0�������������!�����#�#��1������������� �1�������#����1� ���0������ .�#�� �� 1�����.�.#1��������#���0��.����������������#�������0��1.��� �1���� ��� #�������� 0������ ���1� �����.�� ��� ������ ��� ���� �/���%���3�

�� '� 1������ ��1��.��� ��#��� �1�������� 1�0�.�����1 �� �4��.�� 0�1�����0�����0��1#������ (����1������.�#�����������1 ��0����.��0��1#����0��/�.�����������������#��1�0����1���� ���1 �����0����.��0��1#��������.�� �������#��#��������;��1%���.��0��;����� ������ 0�������� #����� ��� �0��������� �����#��� 6����� ���������.�.����#�����������������������1������1�#��������0��1#���.�#�������0����������#��1�0����1�0���.��������������0���������/��������!����1�#��������0��1#����������1�#���/� ����;�� ��#��.�1��.��0���.��0��1#���������.�������������#����#��.�1#!������

����#��<���������#��1��#�!������#������

100

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 105: US - Osnovi Teorije Informacija i Kodovanje

$��1��#�!����� #������ ���� #�� �� #������ ��0�����.1��� �� �.�� ����;�� ������.�� ��0��1#���1�.�#1��������0���������0�������#�����0�������#��I���#��<��J�����1#�����������4��������4������������.�#10��#����������������4�.��*����.����� ���� #���%��� ����4�.��� '������ �#��!��£\� £`� T�� I�#��!�� #��1�.��4�� 0����.�J� ��� ����?���� 1� 0�.01��.�� � �������!������ �������� ���������#��!��²\� ²`� � � �I0��������� �#��!�J� ��� ����?���� 1������ ������ �������������0����.��1������.���� ��� 1� ��.���.�%#��� ���1� #����� ����?��� 1������ ����.�� ���������%�.�/� 0��������/� �#��!��� 0��� 1����� 0����.�/� �#��!�� #���� �� ����1�� .���UO\� O`� T � OZW�\� �`� T � �ZV��DEFINICIJA 4.1� �#��.��� #����� 4��� ��������� I �9� D� Discrete Memoryless ChannelJ� �#��.���#�����4�����������������������.������#��1��#�!�����#������8���������������?�����.������%����� �#��.���1����������4�.�,¤��%����1�������.����4�����/�1�����/� 0��1#�� ������ £�� �#��.��� �������� ����4�.�,Î�� %���� ������.�� 0���.�����1����1 ��0�����������4�������������#��!��#�������+���#��£ � ,¤��1���������.�� ��0UOW�V�����#10���,Î��.�#������������#��b Y ������ � � ���

0UOZW�\� �`� T � �Z� O\� O`� T � OZ[\V Y 0UOZW�ZV�6����������1�.��������������.�� ��#������� �����!����<���������.���.�%#������1��!����%������!�������� �9�4�������������6����.�� �������.������������0���.���1��5.���#���� ���1�#������ ���������������������.����������1�0��./����/�b � ��10�.��4��#������������.���� ��� ��� �9� �����#�� ��0���������� 0��.�� ��0������ ����.�� ��0UOZW�ZV������������b��$����1�,¤���,Î�#���%����#���������;��0���.��.�������������1�#���3��� %�����������.�������������1�1�����������4�.1�-ª���� %������������.�������������1��������������4�.1�-­���

101

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 106: US - Osnovi Teorije Informacija i Kodovanje

�� ������#����0���1�1�%��������·�°×�1�����%����1����������.�� �����U°×W��V������1��1%�������#����1��������.�� �������#������#��������������1 �������������.�������.������PRIMER 4.1������������.��%���#������I��9�D�Binary Symmetric ChannelJ��(��0��.���� �9� ��� 4������� ���.��%��� #����� I��9J� #��� #���� 1�,¤ Y ,Î Y ]���^��4����������

�¬W�|�U�V Y �¬W�|\U�V "�����.�� Y �¬W�|�U�V Y �¬W�|\U�V��� ������ ����.�� �� ����#�� I����� error rateJ� �� .�� ��� 1������ ������� 0�����.��� ��9�� 41�1 �� ��� ���� Y �¬W�|�U�V Y�¬W�|\U�V����9���0�����.1������� ���������������

����#��<��� ��������4�����������.��%����#������I��9J�

PRIMER 4.2�������0��#����9�1�0��1.1��1�������.0�.�������� ;���������0������������0��1#�3� ����� �����������������������������������+�.����0��.0�.��������������#����1����0�����0��1.����1���.�#����� �1�0���#1����#����5.�� ��4���0�������1�10��.��� I��1��� ������1��J��,�#��#����������9���0�����.����� Y �����

Kolika je verovatno�a da prenesemo jednu poruku korektno?

�����4�����#������0��1#���������������.�� �������3�U� � �V� Y ��:� Y ��B�:�

102

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 107: US - Osnovi Teorije Informacija i Kodovanje

A.�� �������� ����.�� �� ��� .��� 01.�� 0�������� ������ 4�.� 4��� � ����#���6�������1 ������.�� ������#������5��B�:����@�����#���0����%�����#������.0�.����� ���� #�������� 1� #���� ��� �#�� 4�.� 0��./������ #���� 0��������I1�����J��

Poruka 000 001 010 011 100 … 111

Kod ������ ������ ������ ������ ������ T ������������ ��� ����.�� �� .�%���� 0������� ������ 0��1#��U� � �Vg Y ��=���� 6����������.�� �� ����#����<>:�� �.�� ��� � �� ����� 1� 0��./������ �1%��1�� ��?1.����0�.��4��� ��� �����.��.�� ���� ������ .�0� �����#��� ������ #���#�� ��� ����.�� ��0���������0�������#�����������;����.�#.��.���6���.1�!������.����#������0��������0��������4������0���1��.�����������0�������������'��0�.��� � �1%��1�0�������������<� ���� �/�>���4�������������0���������0�������#�����������;�������#��.�����.�%����0��������"����.�� ��0������������4���������.���3�

���� �`U� � �Vê Y ��`U� � �Vê��"����.�� �� 0������� <� ��4���� ��� ��.�� ����êU� � �V`�� �� #���%��� ����.�� ��0������� >� ��4���� ��� ��.�� ���g�� '#10��� ����.�� �� ����#�� #���� �� �����;����.�#.��.�������.���4����3�

��`U� � �Vê _ ��êU� � �V` _ �g Y �������6������.�� �����0����%���������+�#��1%�#�����������������1 ���#�����������;��0�4�����.��0�����0��1#��0��#��#���������#�������1�1��1�����+��#�����#�;����������4���0���.���0�����1#���#����0����������.�� ��1������������������������������������3�

��aW�\� T � �a[\� °\� T � °a[\ Y ��aW�\� T � �a[\�TEOREMA 4.1

+�� �9�4���0���.���0������;�3�103

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 108: US - Osnovi Teorije Informacija i Kodovanje

�U¬\ T¬aW�\ T�aV Y��U¬�W��Va�|\ �

<������ $���9�,),�$�(�2��$�0�!�.�.� #������ ����� 0��4��.� ������� #������ ��� 0������ �������!����� ,�� �����#�������0���%���#���%�����������!����#����1����#��������;��0����.������������DEFINICIJA 4.2�$�0�!�.�.�#�������$�0�!�.�.��.���#��.����#������4�����������������#���3�

. Y ����ª ºU�Ä ¬V�����������1����1�#�������0������0�����������.�� ��0¤U�V����#����¬�������#�������PRIMER 4.3�$�0�!�.�.���9�����������!���3�

. Y ����ª n�U¬V � �U¬W�Vo������1 ��1���1������3�

}U¬ Í �V Y ����}U¬ Y �V Y � � �� ������������3�

�U¬W�V Y �� ���U�V � U� � �V ���U� � �V Y3 mÆ�����������������ªU�V��.�#��������#���%��3�

.Y ����à n�U¬Vo � mÆU�V� $�#�����¬�4��������1%�����0������������;��CU²V d ��� ����������CU²V d ��4�.���

Da li se ova granica može dosti�i za neku raspodelu �ªU�VN�6�������������1#���#�������1�����������0����������104

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 109: US - Osnovi Teorije Informacija i Kodovanje

,���������3��­U�V Y � k �ªU�V _ U� � �V k �ªU�V Y ��=� _ ��=U� � �V Y ��=�

A.�� ���%�� ��� ���¬�.�#�?�� 1��������� ��0���������� ������� ��� ����U¬V Y ��4�.���.����������ª�U¬V Y ��4�.����������#���%���. Y � � mÆU�V�I1�4�.����J������������������������<������ $�(�2��������),*�F(���'2�+6��DEFINICIJA 4.3

�9�#�������������.��%����1������1#���#�������0����������.�� ������#���.�������1��������4������������1#���#�����#10�]�­W®³U°V3 � ø­^������������PRIMER 4.4 $����������.��%����1�������

����#��<���$����������.��%����1�������������.��%�������������

����#��<�<�������� �9�#������������.��%��������������������.��%����1�������

��9����#����������.��%����1�������105

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 110: US - Osnovi Teorije Informacija i Kodovanje

LEMA 4.1

+���#�� �9������.��%����1��������U�W¬V�����������������0������0¤U�V�����U¬W�V Y �U¬W��V ����#���� � ø­���.���� ��� ����;����� ��0������ ����.�� �� 1����� ��� #��1� �� ��.�;�� #�0�!�.�.�����.��%���� �9� #������� �#�����.��� ����;���1� 1����� #���� ��#����1���������?���.���������OSOBINA 4.1

+���#�� �9������.��%����1��������;�3�. Y ���/0 î�U¬Vð � ����

��������� Y �U¬W� Y ��V�����#���� � ø­��<������ $�(�2��������),*�F(����+2�+6��$�����������.��%����1������1�����%��������.�� ���������#������01�.��1��#��1��������4���1���������1�#������1��.������#����4���I�.��������0���1.�!��1������J������� ���� �����.��.�� #������ #��� #���/� 1� ����.�� �� ������ #���� ������� ����������/���4������.��I�.��������0���1.�!��1������J��DEFINICIJA 4.3a�$�����������.��%������������� �9���������.��%������������#�������#10�]�­W®U°�V3 � � øª^������������Oz���PRIMER 4.5

��9�#��������0�������<�����������.��%�������������LEMA 4.2

106

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 111: US - Osnovi Teorije Informacija i Kodovanje

$��� �9� �� ���.��%���� ��������� 1��������� ��0������ ����.�� �� 1�����U0¤U��V�����.������#���zV����1�.1���1�1������������0����������.�� ����������1�U0ÎU°�V�����.������#��OzV��OSOBINA 4.2

+���#�� �9������.��%�������������;�3�����à �U¬V Y ���Wø­W ��

DEFINICIJA 4.4�����.��%���#������ �9� ��� ���.��%��� �#�� ��� �.�������� �� ���.��%���� 1������ �� �� ���.��%�������������TEOREMA 4.2

$�0�!�.�.����.��%����#�����������.��3�. Y ���Wø­W � ������������� Y �U¬W� Y ��V�����#��1��������4����� � øª��

PRIMER 4.6

��9����0�������<���������.��%���#�����#���#������3��� Y mÆU�V Y �� ��� � � U� � �V ���U� � �V��

�.������3�.1±2 Y ��� � � mÆU�V Y � � mÆU�V�U1�4�.����V��

<���<�� �*+�(���*)(6���DEFINICIJA 4.5

������� 0������ I��� ���1� 4J� #���� #����� �� #��1��� ��#��.��� �����ö���W,ýW�0��1#���%����1�#�������%����#����1;��������������������3�107

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 112: US - Osnovi Teorije Informacija i Kodovanje

�3 Y ���3WøªWb �������.���� ��� ���W,ýW��.�������� �� 4���� ���1 �/� #����/� ��%�� ��.������.�%#�/������1�����/�#���������0����1��������¸������%1������4������#����1����������������#������.��#�����PRIMER 4.7

'� 0�����1� <��� I4������� #��� �� @� #����/� ��%�� �� �1;����� #����/� ��%�� >J�� 4������0��������3�� Y ��� @> Y �> Y ����6�������������1������41�1 �������1�����#��1�#���.�����01.������4�.��������.�����.1���������

108

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 113: US - Osnovi Teorije Informacija i Kodovanje

<���� $6 6"�(7)�'��*��'�,"'�A'���6��1� 0�������� %���� G,������� �� #������1� 1� 0��1.1� �1��H� I������ Noisy Coding TheoremJ�� #���� 1.�?1��� 1���� 0��� #������ ��� ���1 � 0�1����� 0������������!�����(�#�������0����������� ���3�

Koja je maksimalna brzina pouzdanog prenosa po kanalu sa šumom uz upotrebu kodova za ispravljanje grešaka?

Koja je maksimalna koli�ina grešaka koja se �ini kada se informacije prenose brzinom ve�om od maksimalne?

<������ $6 ��6(�"27�(7�� � ���� 0������ ������� ����� �����.����� �� ������� #���� ��� �0��������������#��� ������� 0���/����� �1;�� ��� ���� 0�#�;�� ���1 ��.� #��.�1#!��������#�����#�����/�#�������������� #��� 0�����������������.���� �#�� 1������ 4������� ��4��� 0�������b Y �c _ ��01.��c h ��� � $����\���� �0���� 1� 0�����1� <���� *����.�� ���� ������0�����4����0�����������41�1 �������.�#��#�������#��1�1�������1�� ��#������#����'�����#����#���������.�� ��0�����������#����������������#������.�� ��������������������c _ �������#��1������.������4��#1�0���.�#���*����.������.1�!��1�1�#�����������#���#���.�����#��1��!�������0����9�#����1������� �����#�� ��� ��0�������� 0�� 4������������ ��0������ �� 0�����.�����Ub� �V��6%�#����������.���/������#������0���������� e ��=���%�#�����4���������#����������� ���c _ ��=�� �.�� ���%�� ��� ����.�� �� ��� �� ���� ���������c _ ������#��1�1.���������#�������%��.�;���1���#����c�I�������.�����bJ�.�;��4�#���%��.��� �1������%��������.�� ��0�����������#��������.�;���1����#����0�� �����4����0����������I�������.������1;����#����/���%�J�

109

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 114: US - Osnovi Teorije Informacija i Kodovanje

������.�����1�.���1�������#��0���1������14�.#��1�����1�������#����1����0��������������� 1#���#�� 0��������� �������� ���#� 4���� 0�������������?1.����!����#���������.��0�� ��������#���.���������.�#���#�������\Z �����.�;���1���#������b�0�� ����+�����#��b��.�������0��/�.�������#��4������0�������<������ ,)6*)���6�$6 6"�(7'�'��*��'�,"'�A'���TEOREMA 4.3�'#���#�� ���4������� ���.��%��� ���������4��������1����1� �9�4���0���.���0�����#�0�!�.�.��.���1#���#������� h �.�� .�����������.�� ������#����4���������1�#��������.���3�

}3 � mÆ[\ �� � .���������3�mÆ[\U�V Y ���]03�0 ���U�V � U� � �V ���U� � �V Y �^��

/Æ[\�����%��� ������1� 4�����1� ��.��0��#1� �1�#!��1�� 0��� %��1� ��� ���� 1������4��������.���.�����������1�#!�����

����#��<�=���������4���������.��0��#���1�#!����

"�;���0�����!����� .������� ������#��������;���� h �.��0�.����0���.���������������!�� ��� ����.�� 1� ����#���4�#��1� ��� ������ �.��� #��������� 4��� �4�����#���#�����4���#��0��#��������;��0����� ���110

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 115: US - Osnovi Teorije Informacija i Kodovanje

PRIMER 4.9

(�#�����#�0�!�.�.�������� �9��. Y ���=�4�.�����0�����0��1#��������������#����0���������4�������� Y ��=��.����������1��1�#!����I}3J��������.�� 1�����#����������1�#��������4����������#1������������5��41�1 �������3�}3 � mÆ[\ �� � ��� Y �����

,�� ���%�� ��� �� ��������� ��5� 4�.�� 4�.�� 0�������� ��#������� 4��� �4����� #�#��#�������0��������������#��0����������Kako stoji stvar sa DMC sa povratnom spregom?

��#��1��� �� ��� �� 1� �1%��1� �9� �� 0���.���� 0������� �������#�.� �;��� 6��%������!�� �� ����;��� .���� ��� 0���.��� 0����� �����;�� ��� 0�� �� #�0�!�.�.� �9����?1.����.��������%�����0���.���0�������������%�����$����������0�������� 4���������� e �. �� 10�.��4�� 0���.��� 0����� 0�� 0����1� 0������.���1���#������������#��������������1 ���0�.�������;�����������#����#���������TEOREMA 4.4�$��������1� �9�1��0��1.���1����*����.����� 0����� 0��1#�� 4���������0��#�� �9� 4��� 0���.��� 0������ %���� ���#�0�!�.�.�.��+������ e �.�����6 h ���0�.����#������ �0��������������#��4��������������#����#���������4 e 7��'�0�.��������� ������;���.�������.��������#�����4��������������1 ����%���#�������� �������!���� ��� ����.�� #������ ��;�� �� 0�.� �� 0�� ;����� ����� ����#����#����������������0�������������!�����*����.�������9�������.�� �������#�����%�������#�0�!�.�.�.����. Y � � m8�U�V��

Da li za zadate �,. i �, date u tabeli postoje kodovi koji ispunjavaju ove zahteve?

Kanal Ü � Ûï5. ��@�� ��>B=�Kod � �X� �X< :X�� �X� �X< :X���}3U���5V � ��� � ��� � ��� � ��� � ���� �� ����

Da li postoji? � �111

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 116: US - Osnovi Teorije Informacija i Kodovanje

����#��<�>����#��0���.���������������0�.�����������

64���������3��#�� ���* e .���1���� ��� ��� 0�.���� #��� � %���� ��� ����#�� ��#�������� 4�.���4�0��;������������#������ h .������#����#�������������;��4�.��/8U�4V e � � 9:����#������ h .�����/8U�4V � � � 9:��������;�������.��������������#��1%�.���0��.���������.1�!�������1 ��I�����1�#��.����#!������.��������<��J������������������������#��#��.����#��������������4�������#��1%����������.�#��#������.����;��0�.���.���'�.�4����#������������.�������������������1���/�0��1?�������

Kanal Ü �5. ��@��Kod � �X� �X< :X��}3U 5V � ��� � ��� � ����; e .N da da neÛ � <X; - - ����:=>U?*V - - ���@� ���=��

Postoji! da da da da ne možda

112

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 117: US - Osnovi Teorije Informacija i Kodovanje

Kanal � ��5. ��>B=Kod � �X� �X< :X��}3U 5V � ��� � ��� � ����; e .N da ne neÛ � <X; - ����� ���=�=>U?*V - ���@� ���=� ���@� ���=��

Postoji! da da ne možda ne ne

,������� <�<�� ��� 4���� ���#�� ������?����� 1� A�������� ���1� IC. E. Shannon3� A mathematical theory of communication��Bell System Technical Journal�������B��00���B:D<���and�>��D>=>��July and October���:<@J���4����������:<@���������������������1�.�.����.����������1�!���1�0�1�������0�������������������.��4����1�0������������#�����.���0�� ��.������������X�1���A����� ��� �1���� ������.� 0�#��1�1 �� ��� �#�� ��� 4������ 0������ �0��� #�0�!�.�.��#������� 0�� ����� 0�1�����.�� 0������ �� ��;�� 1� 0�.01��.�� �.���.��#��.�1#!�����#��0��#����/� �.���� #�������� �� ��#��������� 4��� 0�.��4�� ���������������������X�1���6�� .������� ����� 0��#.�%�1� ��������1�� '� ����� ��1� ��.�� ��!�0.�� #�#�� ���#����#��.�1��.�� ��4���#������(��0����������.�� �����#�;��#���#�� ����1;����#����/���%����1��1�#!����0�����.���Á���.���� ��� ��.���� %�.��� ��!�0����� #���� �� ���� ,������� #�������� I������ Coding TheoryJ�� %���� ��� !���� ������������� ���#���/� ���.�.��/� #������ ������� #����� �.��� ��4���������.������������#����#����������

113

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 118: US - Osnovi Teorije Informacija i Kodovanje

5. ZAŠTITNI KODOVI – KODOVI ZA ISPRAVLJANJE GREŠAKA

9����������0��������1������������������������ ��0�.����3�Šta su blok kodovi?

Kako se meri rastojanje izme�u kodnih re�i?

Šta je težina kodne re�i?

Šta je minimalno rastojanje i minimalna težina jednog koda?

Kako se odnose ove veli�ine prema broju grešaka koje kodovi mogu da detektuju ili isprave?

114

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 119: US - Osnovi Teorije Informacija i Kodovanje

=���� 6�(6")�$6 6"��+�����*�"27�(7)�-*)A�$��$���� �� ������ #����� ��%��z�0������ 0�� ��#��� #����1� �� �1������ �� ��� �����1�#������0������@��.��������������1 ������#��1�0����1���4����#��������#��� Y �@5��z��$��1%��� ����������4��#���#�������� ����������������4��#��.�1#.1���1�#101�#����/���%��.�#�����������#����;����#��������.��0��� 1��0���!����#�����������1�.1�����4��#1�.�1#.1�1��PRIMER 5.1�*����#��4������/��#��!��������������������#��4������/��#��!���������.��0��#��£6*��0���!����� �#����;�3�

����� � ����� Y ������,�/��%#�� ����� �� �0���!���� ��1�������� ��� 0������� =��� �������� ���.��.�!�� � 0�����1�1� ��� ������� ��������1 �� ����4��#�� .�1#.1��� ��� 0����� -�����A¡U�V��$����� ��%�� �1;����b�1� .��� �1%��1� 0��0����1� �#.��#���0��.��1�-8U�VZ��6���#��!�0.� �� ����#.��� 0�����1��� ��� 5����� #����� #���� ������ ���.��.�#�� 0�����1�1� ��DEFINICIJA 5.1����#�#���� 5����� 4��#� #��� �1;����b���� ��0������ 0��#10� �#.��#��� 0��.���� �5.��#��-8U VZ��7����.��������%����.��1� 5�������%���1;����b�0���.�����#����#.����#�������PRIMER 5.2����#�#�����#10�]����� ����� ����^����������0������4��������4��#�#����� �1���0������4��#�#�������.��������#�������4����������������.�#��������� _ � Y ���� _ � Y ���� _ � Y ���� _ � Y ���� _ � Y ��I���.��.�#�� 1�A¡U�VJ�� %���� 1� #�������%��]���� ���� ���� ���^���#10�]���� ���� ��^������4��#�#����41�1 �����#�������%����1��.���1;������

115

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 120: US - Osnovi Teorije Informacija i Kodovanje

=������ C)��(-6"6�*��,67�(7)���,)&�()�$6 (�C�*)F��DEFINICIJA 5.2�C����������.��������C�������� ��.��������U�z� ��V�� ������1� ��� ��%���z�������.�� �1;����� ������� ���������1;����b�����4������4����I0���!���J�1�#��������.�����#�������%�������#1�1��PRIMER 5.3�C�����������.��������C�������� ��.������� ����?1����������������������� 0��.�� �� ��� ��� ��%�������#1�1�����������0���!�����C����������.������� ����?1����������������<��0��.������������%�������#1�1�1����0���!�������C�������� ��.������� ����?1������ �������������������������41�1 ����� 1� ��%�������%�.���1;�����C�������� ��.������� ��� ���.�� � ��.������� 1� .������ ��.���.�%#��� ���1�I���������� .��� �#����� ��.��%#��� ��.������� D� ���.������ �1�.�� ��.������� ���������#�.�.��1���J�DEFINICIJA 5.3�,�;����#����/���%���,�;������������%�������#�����4���1����1�.�/���4����1�.�����%���PRIMER 5.4�,�;����#����/���%��,�;���� ��%����������� ��� ��#� ��� .�;���� � ��%����������������#�� ��� ,�;���� ��%������������������#�����OSOBINA 5.1

C����������.����������#�������%�������#�����.�;�������/��������#������������n�z� ��o Y ôU�z� � ���V��

�����ÌU�V�����%���C����������.����������ÖU�V�.�;��1���%���PRIMER 5.5

116

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 121: US - Osnovi Teorije Informacija i Kodovanje

6���0������0�#��1����#�����.��.�C�����������.���������.�;���������#�3�ÌU�����������V Y ��

ÖU����� � �����V Y ÖU�����V Y ���OSOBINA 5.2

,�;����#����/���%�����1�#�0���.�������������#���1����DEFINICIJA 5.4

(1���#�������%����#�������%��.���������������1����6���%����������OSOBINA 5.3

,�;����������#�������%������1�����#���������#�����#�������%��1���#�������%��OSOBINA 5.4

,�;���� 1� ���.��%��� �1�#!����� ������� ôU�zV Y ôU��zV �� ���� �� 0��� ��z�0�����1������%�1�#���������#����4������������10��.������4������PRIMER 5.6�����.�����.�;�����*����.�����.��������#�������4��������������1�A¡U�V��,�������

ÖU��������V Y ÖU�������V Y = Y ÖU�������V�������.����������1�4���������1%��1���z Y��z�U�� Y ���� Y �V��OSOBINA 5.5

+���#1�#���1���%��z�������;�3�ôU�zV _ ÖU¼×V � ôU�z� _ ���V��

PRIMER 5.7

'� 4�������� �1%��1� ������ ÖU������V _ ÖU������V Y < _ � Y B� � � YÖU������V Y ÖU������ _ ������V��117

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 122: US - Osnovi Teorije Informacija i Kodovanje

*����.�����.��������#�������4�������������3�ÖU��������V _ ÖU��������V Y > _ < Y �� � = Y ÖU�������� _ ��������V��

Zašto su Hemingova rastojanja i težine re�i važna za algebarske kodove za ispravljanje grešaka?

-���#�� �� #���� ��.���� 0��� 0����1� �����#�� ���� Y �@�5��z�� ���� ����z����.����� ���@�0���������#�������%������������#��0���0����1������.������������#�.�;������%��R���������ÖU¼B �� �¼�V�� 6�� �����.� ��� 1������ �����#�� C��������� ��.�����1�ÌU¼B�� ¼�V�����?1����.�������0���������#�������%����.���� ��� ��.�#.������ ����#�� �#�����.��� �� ��.�#.������� ��� �1�.�� .�;����� ���0��������� �����#�� ���� �� ��� ����%1������� �����#��R�� 4��� 0����������z��41�1 �����������0�����1�0����.�������@��=������ )$6 6"�(7)� ��(���2(6-� *��,67�(7�� �� ��$����2()�")*6 6�,67(6�,��

Na koji na�in se dekoduju blok kodovi?

��������� ��.1�.���� #��.����1�� ��� ��#�������� � ��� ��������!���� ����#����#��������� �������ÖURV�� �� ��1��� .����� ������ ��� ��� ��� .�� ��������!�����#�����.��� ����;���1� ���4��;�� #����� ��%�� 1� ����1� ��� 0�������1�� ���������������!����ÌU¼B�� ¼�V��(��0��������#��1����1 ��#�������%������ ���������0�����������%� �������� .���� ����#�� ������� ��#�#1� ����.�1� �������!��1�� ��#������� ��%� ����� ���� ���ÌU�������V Y ���ÌU�������V Y �����#�������������4��;��#�������%��DEFINICIJA 5.5� �#���������������������.��������$�;�� �� ��� #���.�#���.�� ��#�������� ����������� ��.������� �#�� ��� ���1#��Ï�0����#�����#������������#1�0�������1���%��@����4��;��#�������%��.���

U�@V Y ������C�9 �U�� �@V���

118

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 123: US - Osnovi Teorije Informacija i Kodovanje

����.������ ���� 0��!�� ��#�������� �� .�����.�� �����#�� ����.�����0�.�#��0��4������$�������0�����������%��@���������.��������.�����#�������%�¼��������#������#����1�������.�� 1��U£ Y �W² Y �@V�� ���� �����1����� ��¬������� ���#�������6�� ����.�� �� �� ��� ��;�� ����%1��.�� 4��� 0��������� �0������� ����.�� �����.������ #����/� ��%���U£ Y �zV�� �.���� �� �4�%���1���� ��#��0��.0�.�#��� ���#���/� ��� ���1���� ���� 0�� #����� �� �� #����� ��%�� ���.1�1� �� �����#�������.�� ����I.���0��.0�.�#����#���������.��0���J��,�����;�3�����½�D�2 �U£ Y �W¬ Y ¼BV Y ����½�D�2

}U¬ Y ¼BW� Y ¼V}U� Y ¼V}U¬ Y ¼BVY ����������½�D�2 }U¬ Y ¼BW£ Y �V�U£ Y �V Y ����½�D�2 }U¬ Y ¼BW£ Y �V�F�����U² Y �@W£ Y �V���� ��#��� ��� ����%1������� ����� 0�%�.��� �������U£ Y �W² Y �@V��(�� 0������ 1� �1%��1� ��9� ���� %���� �� ���� ��� 0�������� .���������/�����.�� ������#����4�����#�� ��� ��9� .�#�� ��� �� ��4���� ����1� �����#1� ����.�� 1� ����#����� ���� %����0�.���3�

�U£ Y �W² Y �@V Y 0�UC�C@VU� � 0VZ[�UC�C@V��41�1 �� ��� ��� ��U�� �@V���4���� 0�������� �� ����#��� �� �b � ��U�� �@V���4���� .�%���0����.���2�#��������.�����#�������%�#������#���������U² Y �@W£ Y �V��������#�����������������.�������ÌU�@�� ¼�J��6������1������0�#��������������#��������0����.��1��������������.�����������#������������.����.���#�����.���1��1%��1���9��=������ ),)$9�7�������*�"27�(7)�-*)A�$��

Da li postoji na�in da se unapred za zadati kod može re�i koliko grešaka može detektovati, a koliko ispraviti?

119

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 124: US - Osnovi Teorije Informacija i Kodovanje

6������ ��� 0���.���� �� ������ �� ��� �;���� ��.1� 4��#� #����3� ���/�����������������.��������DEFINICIJA 5.6�������������.�������#�����������������.�������#����9 Y ]�\� �`� T � �à^��������������C����������.��������izZU9V�����?1�4����#������������%�.��#�������%�3�

���izZU9V Y ���zE� �U�z� ��V��(������� .������� 0�#��1��� ���.�� ��� ���������� ��.������� ������� #���� ���!��.����������%����1�.�������#���������0��������������#���TEOREMA 5.1�$�0�!�.�.���.�#!�������0��������������#������#�#����1;����b�����#�����������������������.����������;�����4����#�������4�����¹���¾�� .�#�� ��� ���� d . d �� ���� d d � � .�� ��� �0���� �� �4��#�� �����������#����1#10���¹����������������#���������.�#.1������4��#�������������#����. _ ��T � . _ ������#����#���������#�����������������.�������#����.��#.���� ������. _ ��OSOBINA 5.6���#�������#�0�!�.�.���.�#!���������#������#�#���.�#����#���.����.�#!��1�������1�����������������.�����1����;����10�.��4�.�� ��� ��.�#!��1� �/� �4��#�� ������ �����#�� �� 1#10��� ������ ����izZU9V � �������#����DOKAZ

'�.�������=���.��4��.��.��. Y �� Y �izZU9V � ���OSOBINA 5.7���#�������#�0�!�.�.��0��������������#������#� #��� . �#���� #���.�� ��#�������� �������� ��� 0���!�01� �������������.�������� ��;�� ��� �� 10�.��4�� ��� �0��������� �/� �4��#�� ������ �����#�� ��1#10���U�izZU9V � �VX�����������������#���������;������0�������4��#�������������#����1#10���� _ U�izZU9V � �VX�������#���

120

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 125: US - Osnovi Teorije Informacija i Kodovanje

(�0�������� ��� ��� ��������� �� �� 1� �������� ��������� .��� )1#���#�� �������!���4���������������I1�����!��F�X�G��.��!���4������������������J��DOKAZ

'�.�������=���.��4��.��.��. Y U�izZU9V � �VX���������'���������%�����U�izZU9V � �VX��������#�������¹�#��������;��10�.��4�.��1�����.��������PRIMER 5.8

���#�#������������������.��������@���;����10�.��4�.��������� ������.#�3��� �0���������������#������.�#.������<�����#��U¹ Y �� ¾ Y �V��� �0������������������������#������.�#.����������=������#��U¹ Y �� ¾ Y �V��� �0���������������#������.�#.����������>������#��U¹ Y �� ¾ Y =V�<� �.�#.���������������������#��B������#��U¹ Y �� ¾ Y BV�

���#�#������������������.��������B���;����10�.��4�.��������� ������.#�3��� �0�������������������#������.�#.������<�����#��U¹ Y �� ¾ Y �V��� �0������������������������#������.�#.����������<������#��U¹ Y �� ¾ Y �V��� �0���������������#������.�#.����������=������#��U¹ Y �� ¾ Y <V�<� �.�#.���������������������#��>������#��U¹ Y �� ¾ Y >V�

PRIMER 5.9

��4��4��#�#�������������0������������#1���������������������.������������4�.��4��������

121

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 126: US - Osnovi Teorije Informacija i Kodovanje

=���� 2�()�*(��$6 6"��2��������#�����0���.�����1�����1����������%������/�#����#������4������/��������.���.������#����0�����.�!�����(�1%� ���3�

Šta su Ub�QV D-arni linearni kodovi?

'� ���� #���� #����� ��� ���������� ��.������� �#�����.��� �� �����������.�;�������Kako se vrši kodovanje pomo�u generator matrica?

Šta je sistematska forma generator matrica ovih kodova?

Kako se vrši dekodovanje na osnovu verifikacionih matrica i sindrom tabela?

Kako se izra�unava minimalno rastojanje linearnih kodova?

Šta su binarni Hemingovi kodovi i kako se koriste?

DEFINICIJA 5.7�2��������#����Ub�QV� 5����� ��������� #���U� d � d �V���� �5����������� 0��0��.��� �#.��#���0��.����-8U VZ��5����������/��#.����1�A¡UÏV�� �#���� ���������#����� 1�4��#�#�����#����1��#.��#��0��.����PRIMER 5.10�2��������#����$���]��������������^���.�1�0�����1�=�����������������#����0��.������������#�������%�����#�������.����������#.��#��0��.������������ #���]���������� ����� ����^���� ��������� #��� 0��.�� ��� 4���� #���� ���������#��4���!����#����/���%�� .�#�?��#�������%�� ������ .�� ���U<��V�4������� ���������#���0��.����������������#.��#���0��0��.�����������������1;����<������������ ��.������� ���� #���� ��� ��� 0�� ����;�� #���.�.�� ��� �0��������� ��������������#��I0�����.�������=��J��

122

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 127: US - Osnovi Teorije Informacija i Kodovanje

OSOBINA 5.8

��#�����������#������;���1���#���1���%��6����.������#.�����������%������!�����������������#����#.��#��I0��J0��.����Koliko kodnih re�i sadrži jedan Ub�QV D-arni linearni kod?

OSOBINA 5.9

Ub�QV� 5����� ��������� #��� ���;�� i������%�.�/� #����/� ��%��� 1#��1%1�1 �� �� �1���#���1���%��6����4���� �������������4��1�0����1���� ��� ��� ������#�����0���������4������#����/���%�� I����� .�0������ÏJ� ���������#����,�#�?����������1�������.����#��0���?��Q�D�����������4�����#�����DOKAZ

���.�� ��� ��������� #��� �#.��#�� 0��.��� ����������Q�� �#�� #����� ��%� �� ��4����#��� ��������� #��4���!����Q�4���%��/� #����/� ��%�� I.�� ��� 1������ ������ 4���� �����#.��#���0��.���J��+��UQ� bV� 5�����#��������1#10��� i������%�.�/�#����/���%�����0�����/� i����1 �/���������/�#��4���!�����OSOBINA 5.10������������������#������������0����������������Ub�QV�#������3�

* Y iZ���DOKAZ

����.������������4������ 5������#������������ë������%�.�/�0��1#����#��������%�����1;����b���.���3�* Y ��HàZ ���

�Koliko se razli�itih poruka može kodovati UQ� bV linearnim kodom?

123

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 128: US - Osnovi Teorije Informacija i Kodovanje

6����#��#���#������#����/���%�����.����� i����.������3��* Y ��H IJZ Y iZ��

TEOREMA 5.2�)#�����.��.��������������.�������������������.�;�����+���#�����������#���.3�

�izZU9V Y ôizZU9V���������ôizZU9V�����������.�;����#���������������������.�;�������1�.�/�#����/���%�3�ôizZU9V Y ���C�9CE� ôU�V��6������1�.�.�������%�������.���.���������#����#�������%1��.��1�0��#��ôizZU9V�������izZU9V��

PRIMER 5.11

U����V�4�������#��������������������������������������������������������������������� ������������� ������������� ����������� � ���� ��������1�.�;��1�=���������.�����������������.�������=���.��������#�����;������0�������4��#�������������#����1#10�������������#��I���.����4��1�=�BJ��������.���������������#�������������=������ $6 6"�(7)�2�()�*(���$6 6������� ���� 0�#���.�� #�#�� �� 0��1#�� .���������1� 1� #����� ��%�� ���������� #������#�� �� �� #����/� ��%�� ���4���� ��� 4��1� Ub�QV ����������� #���� ����%�� ���\� �`� T � �i���.������4����#����#�������%��z���;����0��.��1��4��#13�

�z Y � 1z�j�jj|ij|\ �

124

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 129: US - Osnovi Teorije Informacija i Kodovanje

����1�1z�j�#��0����.���z����4���%��/��#.�����j��'�#��0�#.�����4��#1��#���.� ���������1�����4�1������3��z Y n1z�\�� T � 1z�io k - Y 1z k -���

�������1z��#.�������n1z�\�� T � 1z�io���-���.��!��%����1��������\� �`� T � �i��������.�����0��1#��1z��1;��������4������#��1���#��������%�1��z����;����������.��!���A���.��������.��!��A�������������.�����.��!����.���#�����DEFINICIJA 5.8�-�����.�����.��!���Q���b���.��!��A���� ������.�����.��!��Ub�QV����������� #����.��#�� �� ���� �#�� 1������/�Q��#.���� ������ 4����� �#.��#��� 0��.����.�� $�������� 0��1#�� 1��1;����Q�������������;������ Y 1 k -��PRIMER 5.12�-�����.�����.��!���(�#�� ��� ��.�U<��V�4������� ��������� #��� ��� 0������� =����]����� ����� ����� ����^��6���#�������%�.����#�������%������;�����#��1���%�.����0��1#�3�%�.����4���������%����� 0�� ��� 4�.��1� Y ��� �1\ Y ��� 1` Y ��� 1� Y ������������ #�������� 0��� 1�������.�����.��!���7����� ���1 �� 4���� ���� #���� ����\ Y ����� ��` Y ������ �.�� ����� ������.�����.��!13�

- Y K��������������L��,������1\�#��1���13�1\ k - Y U���V k M��������������N Y U�������V Y �\��

���%���0�.10�������.�������������1`�1���`��1��1��������1��1�������������.���� ��� ��������� #��� 1�#� #��1��� �1��� 0��1#1� 1� �1��� #���1� ��%�� 6�� ���0�����!����������.��#������������%������!�����������������#����#.��#��0��.�����

125

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 130: US - Osnovi Teorije Informacija i Kodovanje

=������ ���,)��$��86*���2�()�*(�C�$6 6"��6���/����1 �/�������.�����.��!��� ������ ����0��4����4��#���#��0�.�����,�� ����.���.#���������DEFINICIJA 5.9���.���.#���������-�����.��� ��.��!��A�Ub�QV����������� #���� ��� �.���.#�� ������ �#�� �� ��;����0��.��1��4��#13�

- Y O�i��P YQRRRRS���� T ��0\�\� T 0\�Z[i������ T ��0`�\� T �0`�Z[iTTTTTTTTTT �TTTTTTTTTT � ������T��0i�\� T 0i�Z[iTUU

UUV������� ����i�������%��� ��.��!�� ����������Q�� ��#� ���}�Q���Ub � QV���.��!�� #���� ��%�.����������.��!��0����.��I������Parity MatrixJ�������.����� ��� 1#���#�� 0�.���� �.���.#�� ������ ������.��� ��.��!�� ����������#�����������������.�����DEFINICIJA 5.10���.���.#�����������#����2�������� #��� #���� #���.�� ������.��� ��.��!1� 1� �.���.#��� ������ �� �������.���.#��I��������J�#����$����Ub�QV���������� #��� #���.�� �.���.#1� ����1� ������.��� ��.��!��� .���� ���0��/�Q���4���� ��� 1#10���b���4���� #����� ��%�� ����#.��� �����#� ��4������0��1#�3�

�z Y U1z�\� 1z�`� T � 1z�i� �z�if\� T � �z�ZV��� �1���� ��%����� �.���.#�� #��� 0��� ������ ��#�����1� 0��1#1�� �� ��.���Ub �QV�#����/���4�������0�.��4����.�#!�������0��������������#���PRIMER 5.13

"��.���� �� ��� 0������ =����� �1������1 �� ��4��� 4����� ����\ Y ����� ��` Y �������.������3�126

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 131: US - Osnovi Teorije Informacija i Kodovanje

- Y K��������������L�A.�����1�������.���.#��������������.�����.��!������#�����PRIMER 5.14���.��0������0����.���+��4�������0��1#��4�.�0������0����.�����4�.�#������������0����.��4�.��0��1#���.�����������1���4�.��0��1#���(��0�������4�.�0������0����.�����0��1#1����������� _ � _ � Y �����#�������0��1#1������������#�� _ � Y ���$����������4�.���0������0����.�����.���������.����1�����1���#�������0��1#�� ����#���� �����4�.�0����.���'� .��������� .�������#�������������������UQ _ ��QV�4������������������#��1��%�������������.�����.��!�3�

- YQRRRS�i

�����TUUUV���

#���� ���1��.���.#��� ������������.����������������������.�����������#������I0�����.�������=��J���.�����%���������#�����;�������.�#.1�����������1�����#1�I���.��.�����1�=��J��=������ )$6 6"�(7)3�")*�8�$�9�6(����,*�9��

Na koji na�in linearni kodovi detektuju i ispravljaju greške?

���.0�.�������������������.��!1�¡�� .�#1��������#1�#���1���%�¼��;����� ���� k 8 Y���,������#����0����#���0������¼���������#��R���.�����%�����������0�����1��@ Y � _ �� ������3��@ k 8 Y U� _ �V k 8 Y � k 8 _ � k 8 Y � _ � k 8 Y � k 8��

6������1�.�.� ���������#��#���.���0��.��0��������@ k 8������������������.�����#�������%��¼�������������������#��R����������������������������������������#��1� 0����1� �����#�� ���������� #��4���!������ ������ ��.��!�� ¡ �� '� !���1��0��������� �X���� ��.�#.������ �����#��� 0�.��4��� ��� �����.���� �#.���� ���127

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 132: US - Osnovi Teorije Informacija i Kodovanje

�#.��#��� 0��.���� ����������� ����������.��!��¡�0����#�.�� 1� ��������1 ��#���������I������.�#.����J�0��1#��� ������.���.�%#�/��������������%����� k 8 Y����1�#������1��4��#13�� k CW� Y ���

DEFINICIJA 5.11�"�����#�!�������.��!�����.��!��������������Ub � QV���b���������#�!�������.��!�����Ub�QV� 5��������������#���.���#���������#���;�3�

ú� � �-8U VZ��������� k CW Y � X � � 9�� �1������%����������#�!�������.��!��#����.�����������I#�����J�#����.�������.������� ������#�����;�� ���.�����������%�.�/������#�!����/���.��!�����#����.��!�� %���� 1� ������ 4���� �#.��#���0��.���� #���� ��� ��.������������ ���������#�����������#�!�������.��!��.����#�����

Kako na�i verifikacionu matricu?

'��1%��1��.���.#���#���������#�!�������.��!�������������#���TEOREMA 6.3

+���.���.#�����������UQ� bV�#���.��%���� ����.���.#��������������.�����.��!����.���3�- Y O�i���P��

��.��!���4��#�3�C Y �W���Z[i�������#�!�������.��!���

�����.����������1��1%��1�0�����A¡U�V� �} Y }��PRIMER 5.15

*����.������.���.#��#���%�������������.�����.��!����.���3�128

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 133: US - Osnovi Teorije Informacija i Kodovanje

A Y M������������������N�M�` ����������N��,�������Ub Y =�Q Y �V3�

C Y �K����������LW ��� Y Y����������������������������Z�������������1 �������#�!�������.��!��#����.��Kako se dobija verifikaciona matrica u opštem slu�aju, kada generator matrica nije

u sistematskoj formi?

(�#�� ����������#�!����� ��.��!��Ub�QV� 5������ ���������� #���� �� ������.�����.��!���A�� %���� 1� ������ ��\� �`� T � �i� ����;���� �� �� ��� ���1� ���� ���������.��3��� +��· Y Q _ �� � � � � b�����4��.��¼��#��� 0���������� �#.��� 1�A¡UÏVa���������������������¼\� ¼`� T � ¼�[\����� ����%1��.��������1���.��!1�ë[\���.��!��ë�%����1�������¼\� ¼`� T � ¼a����� ������.���[ �#���0�������/�b � Q�#��������.��!��ë[\��

PRIMER 5.16�"��.���������0������=������U<��V�#����%�������������������.�����.���

A Y K��������������L�(�?����0�������#.������������������0��./������������4�������0����������������,������3��

129

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 134: US - Osnovi Teorije Informacija i Kodovanje

� YQRRRS����������������������������TUU

UV���[\�QRRRS����������������������������TUU

UV�6��#�������3�

CW�QRRRS������������TUU

UV��.���C Y M��������������N��

=���<�� '�2(��$6 6"��"�����#�!����� ��.��!��Ub�QV� 5������ ���������� #����.����Ub � QV���b���.��!����.�#�� ��� ���cRÔU�V������#�.3�cRÔU�V Y .�� (�� ���1� �1������.����� .������� �������������� �#.��#��� 0��.���� Ì·QUcRÔU�VV _ Ô½bcU�V Y b� Ì·QU.V _Ô½bcU�V Y b�·u·�Ô½bcU�V Y b �Q�������� .����b � Q������� ��.��!�������������b � Q��������������� 0��0��.���AUÏa��.���Ub� b � QV����������#����6���#������������1�����#���#����.�I���4��1.�J��OSOBINA 5.11 � 1�����#����1������#����.�������#���.��OSOBINA 5.12�-�����.�����.��!���������#������������#�!�������.��!�����������1������#�������4��1.���=���=�� ��( *6����������������������#��1%�����������������/�#�������#�����¼��#�������%�#������0������� ��R �����#�� 0����#��� 0������� 0��������� ��%� ����@ Y � _ �� ��#�� ����������#�!�������.��!��#���� �����#���������0��������������#���.������3�

130

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 135: US - Osnovi Teorije Informacija i Kodovanje

¼\ k �[ Y U¼ _ RV k �[ Y ¼ k �[ _ R k �[ Y � _ R k �[ Y R k �[

6����1.�1����;�1�%������!1�������¼B k �[ ��������������#.��������#��R������������ 0�������� #����� ��%��¼B �� �.���� ��� ���%����¼B k �[ ���� 0��4��� �;��.�� 1���#������1������������������I¼B�1�����1�����J�� )8�(�9�7��=�������������������������%���@�1�����1���������#�!���1���.��!1������0��������@ k CW��OSOBINA 5.13

�������� Y��@ k CW�0��������� ��%�� ��@�1�����1���������#�!���1���.��!1���#����.������ ���� ��� ����#�� 1� 0����1�� Y��@ � �z�� �� ��� �� ��� 0��������� #����� ��%���z���z � 9��-���#��R�����;����#��0����.��1�������.���������#�� I����#����������#�����4���J�� ������� �#.��� ����#�� ���� ���� #��0����.��� Y U�\� T � �ZV�� #���� �����1�������.���3�¾U¼\V Y ¼\ k �[ Y R k �[ Y�RØmØØ �

�������mØ�#5.��#��������.��!���� ��� Y îm\�T � mað�� �� 4�� �� ������ #���#.��� I10��.��� ��� ����#�J� �������� ��� �� �� #���#.���� #������������1�0�������%��������#������0������������������#��������1�����������������1 �/�#���#.�������0�������%�������#���$���������� �� ��#��� ���� 1� ��� #���#�3� ��0�������� #������ ��.��!��� �1�#���#.���� I#���� �� 0��.�� 1� ��������J�� ���������� ������!�� ��� ��������1 �����1�.��0���!�������������PRIMER 5.17�$���#!�����.�4��!������������������������(�#����3��

C Y Y����������������������������Z�131

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 136: US - Osnovi Teorije Informacija i Kodovanje

�����#�!�������.��!������.���4��������#�����,������������1�#��������.��!��C����������� ��#���#.�����.�4�����0�����

Tabela a Tabela bSindrom $���#.�� ������� $���#.���

101 ����� ��� ��������� ������111 ����� ��� ��������� N100 ����� ��� ��������� ������010 ����� ��� N001 ����� ��� ������

�����.���� ������� ��%�.������� #������ ��.��!����� I.�4���� �J�� �#�� ��������1��?�����0����������������#�#����.��1�0��#����#���.����4������I.�4��1�4J�������.�������� �3�(1��� ���������1�#���0���� �������#�����������������1�������!����=�����+������������#���#.�������������.���1�����0�����1��(��0�����3���� Y ��� _ ������.�������������U����� _ �����V����� Y ��� _ ������.��������������*������ ��� .�� ��;�� 1� %������!�� ��� ���� #��� �������������� ��.������� �� ����;�����#����1�������������#1���������4��#���#.��������#����1#10������������������#���6����������������.����������1����������#����1�0����1��'�0��#���0��.�� �� .�4���� �������� ����������1 �/�#���#.�����60�.��0��!��1�����#��������0���������0��1#���@�������� �3�

�� ����%1��.����������¾U¼BV Y ¼B k �[ ��132

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 137: US - Osnovi Teorije Informacija i Kodovanje

�� ����%1��.�� #���#.��� Ñ Y �R �� ��� ���1� ��������/� #��4���!�������������/�#���#.������� �����.����#��������¼ Y ¼B�_Ñ��PRIMER 5.18� �#����������������/�#������(�.�������0��������=��B��1�#�������������.�����.��!����.���3�

- Y M������������������N�����.0�.�������� ��0������Õ Y ����6��0��1#�� �� #��1���1� ��%�¼ Y ������� ����.��� ����������U=��V�#������ ���.0�.����� ��� ����@� Y ������� ������� ��� ���0����#��� 0������ 0��� 4�.� 0�������� 0����.�� *�%1����� �������U�@V Y ¼B k CW Y������.������#��#���#.��1�! Y ����������.��I.�4��1��J����0�������=��B�� �#��������������0������1����@ _ ! Y ����� _ ����� Y ������ ��.�������1�0������4�.����#�����1�0��1#1�����0��.�����#���� ����.���.#��4�������#������#����.��������������������������������0��1!�����1���1�1�#������KONTROLNO PITANJE

A.�� ��� ����������� 0��1#��� �#�� ��� 0��������� 0��1#�� ����������� �����#�!�������.��!��10�.��4�������#���������.���3�C Y

QRRRS��������������������������������������������������������������������TUU

UV��ODGOVOR

6����������0��1#������������U�@V Y ¼\ k CW Y �������.����������.�� ���#������1�����.�� ���%�� ��� �� ����#�� ������ ��� .�� ��� 0���!����� �.���� ��� ���.����� #����� ��%�����������I0��������� ��� .�� �� 4�.J�� �� 41�1 ����� ���#��� �.���.�%��� I���.���J�������������0��1#�����������I1��.��0��/�Q Y : � < Y =�4�.�J��

133

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 138: US - Osnovi Teorije Informacija i Kodovanje

=���>�� ��(���2(6�*��,67�(7)���")*�8�$�9�6(����,*�9��$��� ��������/� #����� ���1 �� ��� ����%1��.�� ���������� ��.������� ��� ���1������#�!�������.��!���TEOREMA 5.4�"�����#�!�������.��!����������������.���������#�� ����������#�!����� ��.��!��Ub�QV� 5������ ���������� #����.�U� d Q d bV��.���� ��� ���������� ��.������� #�����izZU9V������#�� ���������� 4���1� ��������������/�#������1����+��4������� ���������#�����.��������#�!��������.��!���������� ���1�.�.����%������ �3�

�� C�������1���#��������������Ìp�aU.V h �� ���� �#��C���������01.���.1�#����1��Ìp�aU.V� h ���PRIMER 5.19

�����������������#����������#�!��������.��!��3�C Y ]���������������������������^��

������.����������+��.�����������1���#����1���.�����01.���.1�#����1��0�����.�����izZU9V h ���'���0�.����.������������������#������/\� /����/���OSOBINA 5.14

+��Ub�QV����������#���.���;�3��izZI9Jd � � �_ ���

=���B�� ��(�*(��C)��(-6"��$6 6"������� ������1%��.����4���4�������#�����#�������1����#����1��� ����1�����#1�����.�� ;������ ��� �0������ ���� ����1� ����#1�� �������� ��� ��� ������� �����

134

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 139: US - Osnovi Teorije Informacija i Kodovanje

����#�!��1�������.������#���������� �#��������������������������#.��������0���!��1���0������ �������0�1�0���!��1����� � ���������1�1����� � �������.�� 1����.�������.�������������������#�����0���!����c���������������1�#�������c5.��#��������.��!�����6��%������!������#�������������#��.�1���������#�!�������.��!��%����1�#������4���������0������.�!�������/��/�0���!�����A.����������1�#����������3�

Koju dimenziju treba da ima ova verifikaciona matrica?

Da li ova konstrukcija zaista daje verifikacionu matricu koda?

Da li ovako konstruisan kod može zaista da koriguje sve vektore grešaka sa ukupno jednom greškom?

A.�� �� .�%�� 0���� 0�.������ 0���.���� �� ��� ��� ������� ����������Ub�QV�#�����1;����b � Q�� �#�� ������� ����#.��� #��1��� 0���!��1� ����#��� .��4���� 4�� �����0�����.1����Z[i � ��0���!����� ������ .����� �#�� �� ���4���� ��� ��� �1;���� #�������%��b Y ��Z[i � ��� ��0���!���� ����������#�� ��4�.�� ��.10������1������#�!��������.��!���'��������.�4����1���.�����1 �������.���������������#����#������

_ ` a Y _�`b < �Û� �� <ÞÛ �> =�Þ =B >� � �� � �(����������0������������#�!����/���.��!������1;����#����b Y B���b Y �=��

�� Y Y� � �� � �� � ������ � �� � �� � �����

���Z

135

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 140: US - Osnovi Teorije Informacija i Kodovanje

�ê Y c� � �� � ������ � �� � ������ � �� � ������ � �� � ������ �� ������� � �� � ������ � �� � ������ � �� � ������ � �� � ������ �� ������d� �1���0�.���������0���.��������������#������#��.�1#!������������������������#���� 41�1 �� ��� 1� ��.��!�� #���� ���1�.1�1� 1� ���� #��.�1#!���� 01���� ��������������Ô½bcU�V Y b �Q�� 6�� �� ��;�� 0�#���.�� .�#�� �.�� �� ��#�� ��;��#��.�1��.��������%�����.��!��ºa[p����#��������.�/���.��!��I1�����������������<���@��������#�����J��6��������������������������#������������.��!��Q���.�������Ub�QV����������#���� �� 4�� ��� ���������� ��� 0�������� 0�.����3� ��� ��� ���� #�����;�� ��� �0���� ���4��#�� �#.���� �����#�� �� 1#10��� ������� ����#���� �������� ��� ����%1��.��������������.��������"�����#�!�������.��!����4����������#��.�1#!�������#����� �����.���1���#����1���.������.��#��������.�#��������1��;��.��Ìp�aU.V � �������1��� .����� 0��� .��� #������ ��� ��.��!�� 0���.�����1� 4�����1� ��0�����.�!��1�4����������������#���.�#��1�1�#�����������������6����������������������������.�����������#����1�#��� �������;����� �0�������4��#���#.���������#����1#10��������������#����6���#�����������4�������C�������#����DEFINICIJA 5.13�C�������#����C������� #��� ��� U�e � �� �e � � � �V �4������� ��������� #���� U� � �V �� %���� ��������#�!�������.��!����.���3�

Ce Y î4eU�VW�4eU�VWT4eU�Võð Y c� �f f ���x �g f� �� ����T �T �d����� ���4ZU�V�4������� ��0�����.�!���� 4����� �� 0��� 1� �54�.��� ��%�� I�0���4êU=V Y�����J��OSOBINA 5.15

��#�� 4������� C������� #��� ��;�� ��� #����1��� �� �4��#�� �#.���� ����#�� ��1#10��������������#����136

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 141: US - Osnovi Teorije Informacija i Kodovanje

PRIMER�5.20�C�������#����'������������Ô Y ����#��.�1������C�������4�������#���UB�<V��,���������3�

�� Y Y� � �� � �� � ������ � �� � �� � �����

���Z� ��4�����������������.�����.��!1��0�.��4���������0����?����<��#.����¼��.�#�/�������� k CW Y ���,��1����0�������#.����I�����������1 �/��������J3�

¼\ Y ��������¼` Y ��������¼� Y ��������¼ê Y ��������

�.�������������.�����.��!13�A Y c��������������������������������������������������������������������d����.0�.����� ��� ��� 0���.�� 0��1#��Õ Y ������ 6��� �� #��1��� 1� #���1� ��%�� Y 1 k - Y ���������(�#����1�.�#1�0��������������#�����.�� ���4�.1��.�#��������0���������#�������%������@ Y ���������

Kako se ona dekoduje?

��������U�������V Y �@ k CW Y ������������ 4������� ��0�����.�!���� ��� ��� �.�����%�� ��� �� ������ ������ ����#�� ��� ��� 4�.1�� �.���� ��� ���1�.�.� ��#���������@ � ������� Y �����������#���#�������%�#�������.�������0���.���

137

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 142: US - Osnovi Teorije Informacija i Kodovanje

=���� 9�$2�F(��$6 6"��(�1%� ���3�

Šta su cikli�ni kodovi?

Kako se kodovi prezentuju pomo�u polinoma?

Kako se vrši kodovanje i dekodovanje pomo�u cikli�nih kodova?

DEFINICIJA 5.14

9�#��%��� #��� ��� ��������� 4��#� #��� .�#�� ��� �#�� ����z�#����� ��%� ��b���4�����z Y �z�\� �z�`� T � �z�Z��� .���� ��� �� ��%��z�`� �z��� T � �z�Z���z�\�#���� �� ��4���� !�#��%����0���1.�!�����I0����.�����#���0���������1����J���4����#�������%���z��.�#�����#�������%���.���!�#��%����#�����6�� 0��#.�%��� ���%�� ��� ��� �#�� !�#��%��� 0���1.�!���� #����� ��%�� .�#����� #�������%��PRIMER 5.21�9�#��%���#��������� �����������4��#�#������!�#��%���#��3�

�\� Y �������`� Y �������� Y ������ê� Y ���������� ��#��������!�#��%���#��3��

�\� Y �������`� Y �������� Y ������ê� Y ��������.��!�#��%���0���1.�!����#�������%����������1�#101�#����/���%���9�#��%��� #����� 1� �;��� #���� ��������/� #������ 0��.�� ��� 1� ���� #��� ���1 ��#��.�1��.�����#����0��!��1���#������������#����������

138

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 143: US - Osnovi Teorije Informacija i Kodovanje

=������ 9�$2�F(��$6 6"�����62�(6���9�#��%��� #����� ����1� ����.��� ������%����� ��� #����� ��%�� I�#�� #����� ��%� ���!�#��%���0���1.�!������#��#�������%�J���.���/�1�0�����1�����4��#��.�1#.1���%����#��0��.������ ��� �#.��#�/� 0��.����� ����4��� ���� 0���������� ��� 0���������.���.�%#���0���.�������/�1���0�����.�!��1��(�#������z�#�������%�������4�����z Y �z�\� �z�`� T � �z�Z�0���.�������0���������

�zU£V Y �z�\ k £Z[\ _ �z�`� k £Z[`� _ x_ �z�Z��6������ Ó �.�� ��4����z�� �#����� ��%�� �z ��1;����b ���� #����!����.� 1�� .�0���£Z[����������1 ���0���������zU£V��

Šta je onda � k ¼�U�V�QvÌÕuv�U�a � �V?

��#��� ���� ��� ��� �0���!���� �������� !�#��%���� 0�������1� 1� ���� ��4����#�������%���z���DOKAZ

� k ¼�U�V Y � k h�¼��×a×|\ k �a[\i Y�¼��× k �a[×f\a

×|\ Y � ¼��Øf\a[\Ø|� k �a[Ø

Y ¼��× k �a _� ¼��×fØ k �a[Øa[\Ø|\

���1��£Z � ��������.���� ���%�� ���£Z��������� ���£Zf\���������£�� �� .��� �.�����z�\ k £Z�����1���£Z � �����������z�\��.�#����������������3�� k ¼�U�V Y ¼��\ _� ¼��Øf\ k �a[\a[\

Ø|\ Y � ¼��Øf\ k �a[Ø _ ¼��\ k �a[aa[\Ø|\ �

A.�����.����������#��������%���z�`� �z��� T � �z�Z���z�\� ��������!�#��%����0������1�1�����#�������%���z��139

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 144: US - Osnovi Teorije Informacija i Kodovanje

PRIMER 5.22�����1��£Z � �����.��.�#���(�������������0������������.��.�#�3�

U�` _ �V k U� _ �V Y �� _ �` _ � _ � Y � _ �` _ � _ �����U�� � �VY £` _ £ _ U� _ �V����U£� � �V Y £` _ £����U£� � �V�0��.�����1�4���������1%��1�� _ � Y ���PRIMER 5.23���������������0�����.�!����!�#��%��/�#����������.������4��������!�#��%����#�������0��./������0������3�

�\� Y �������`� Y �������� Y ������ê� Y �������������������0�����.�!��������#���������.���3�¼\U�V Y ��¼`U�V Y � k �` _ � k � _ � Y �` _ ��¼�U�V Y � k �` _ � k � _ � Y � _ ��¼êU�V Y � k �` _ � k � _ � Y �` _ �������.���������3�

� k ¼`U�V Y ¼�U�V����U�� � �V���.�����%�����������!�#��%���0�������1�����#�������%���`����.����3�Šta su polinomijalne prezentacije slede�ih kodnih re�i?

�� ����������� �������� ��������<� �����6������3�

140

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 145: US - Osnovi Teorije Informacija i Kodovanje

�� ���� �ê _ ���� ��<� �� _ �` _ � _ ����.����3�����.���������#�������%���\���`��������!�#��%����#������

Šta je onda ¼\ k ¼` u slede�im slu�ajevima?

�� ¼\ Y ������� ��¼` Y ��������� ¼\ Y ����� �������¼` Y ������� ¼\ Y ������ ����¼` Y ������6������3�

�� U�ê _ �` _ �V k �` Y��ê _ �� _ � Y ������� �QvÌU�g � �V��� U�� _ �VU�` _ �V Y �� _ �� _ �� _ � Y � _ � Y �� ��QvÌU�ê � �V��� U�ê _ �� _ �VU�� _ �V Y �j _ �g _ �� _ �� _ �ê _ � Y �` _ � _ �� _� _ �ê _ ���ê _ �� _ �` _ ��������OSOBINA 5.16

�#�� ���¼U�V�0������� #���� �������� #������ ��%��¼�!�#��%���� #���� �1;����b�� .������#�� 0������� 0U£V� �0U£V k �U£V������U£Z� � �V ��������� 0������1� %�������������1 �� #����� ��%� 0��0���� .��� �.��� !�#��%���� #��1� I!�#��%��� 0������� 1�����0�1����������#��4���!���J��TEOREMA 5.5

+���#��!�#��%���Ub�QV�#���.�0�.����0��������9U£V�.�0����b � Q��.�#�������3�. Y ]w2U�V k �3 � � A¡U�V� ���U�V e Q^�6�������#��0�������#�������%�����1���;�#��9U£V����4��1.���,�����%��������#���.����������0��� 1��9U£V���6���0���������������������.�����#����.��$����������%��1�0��� 1�!�#��%����#����.����.����1�����1��U£V Y 1U£V k �9U£V���

141

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 146: US - Osnovi Teorije Informacija i Kodovanje

$��� �.�� ������� 1�#� ��� 0�;������ ���.�� �.���.#�� #��� 1� #���� 0��� ��4������������1� 0��1!��� +��Ub�QV�!�#��%��� #���� .���� 0��!��1��� #�������� �41/�.������ ��#���#�3��� ���;����� 0�������� 0��1#��ÕU�V����a[p�I!�#��%��� 0��������� 1� ���� ���b � Q���.�J�������.�����������5��.�0���������.������� ���������a[p k ÕU�V���������.�����wU�V�����4��������.�.#��ÔU�V���� $�������� ÕU�V ���� .���� ¼U�V Y �a[pÕU�V � ÔU�V �� %���/� Q �������/���4����������������4����0��1#��Õ��

�PRIMER 5.24���.���.#��#��������!�#��%����#�����������.������UB�<V�4�������!�#��%���#��3�

¼\ Y ������� ¼` Y �������� ¼� Y �������� ¼ê Y ���������¼� Y �������� ¼g Y �������� ¼j Y �������� ¼� Y ���������¼k Y �������� ¼\� Y �������� ¼\\ Y �������� ¼\` Y ���������¼\� Y �������� ¼\ê Y �������� ¼\� Y �������� ¼\g Y ���������

6��� #��� ���� ������.����U£V Y �`U£V Y £� _ £ _ ��� 9���� ���� ��� ��� 0��������0��1#1�Õ Y �������������'U£V Y £� _ £` _ ������������0���£�1U£V Y £g _ £� _ £�����U£V��(�#��������������4�����3�

��ÕU�V Y U�� _ �` _ � _ �VwU�V _ ���6������#�������%���3�

¼U�V Y ��ÕU�V _ � Y �g _ �� _ �� _ ����.�� ��������������� �� �� 1������3� 0��1#������ ��� #��1��� 1�������� �������.���� ��� 1� 0��� %�.���� 4�.�� �����#�� ������������ 0��1!�� 1�� �.�� ��� �� 4��� !�����.���.#���#���������

• � k ��g _ � k ��� _ � k �ê _ � k ����������������������������������������������� ªãfªf\ªã �142

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 147: US - Osnovi Teorije Informacija i Kodovanje

• � k ��g _ � k ��� _ � k �ê _ � k ���• � k ��g _ � k ��� _ � k �ê _ � k ��������������������������������������������� ªãfªf\ªãfª� �• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �`�• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �`��������������������������� ªãfªf\ªãfª�fª�����• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k ��������������� ªãfªf\ªãfª�fªf\�• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k ��• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k � _ ��• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k � _ � �� 555555555�� �.�.�#������������• ��ÕU�V Y U�� _ �` _ � _ �VwU�V _ ��

TEOREMA 5.6

-�����.���!�#��%����#�����1;�����������#.���0��������£Z � ���TEOREMA 5.7

��#�� ��#.��� 0��������£Z � ��.�0��������� ������.��� �������U�� � � �V�!�#��%����#�����=������ )$6 6"�(7)�9�$2�F(�C�$6 6"����.10�#���#��������!�#��%��/�#��������.����1����� ��3�

�� ���� �� ����%1���� ���������� ���1�0��������� ��%�� I0���.���� ����������������������������#����������������.�����#�������%���������#�����1����#�����0�����������%������#��#��������%�J���� ����%1�������#���#.����I#�������10��.����������#�J���� $���%����0������1�����#���#.������0�������1���%��143

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 148: US - Osnovi Teorije Informacija i Kodovanje

$��.�1#!���� ���������@U£V��� ���� ��� ����%1������� �.�.#�� ����������@U£V���������.�����#�����U£V��+��.��� ��� ������ ��� !�#��%��� #����� ��� ��� �#�� #����� ��%��U£V��1�.�0�� ���������.�����U£V�� �.���� ��� �.�.�#� �������� ��U£V _ �U£V�� ���U£V���.�� #��� �.�.�#�����������������U£V���U£V Y lU£V k �U£V��U£V Y mU£V k �U£V _ U£V� ����#�������������3��U£V _ �U£V Y îlU£V _ mU£Vð k �U£V _ U£V��0���%��1������� �nU£Vo e ���n�U£Vo��7�������������#��.�1#!�����������������U£V��1����#���������#������@U£V�#�������%� I��������1�.�0�� ����U£VJ�� $���#.���� #���� ��������1� ���1�.��� ���������������1���4�.��������������wU�V���������1���1����� �3�

� �������1�����#1���.�0����· e b � Q�����������������.��������� �������1�����#1��a[p�������������a[p � wU�V��

PRIMER 5.25� �#��������!�#��%��/�#������(�.����� �� 0��./������ 0�������3� 0��1#���������� #������� 1�����������0���.��0��#����.���#����������.0�.�������������1���4�.�0����������.�#��������0�����������%����������

Kako se odvija dekodovanje?

�����������������@U£V Y £g _ £� _ ���%������������������wU�V���4���3�

�6����������������£` _ £ _ ���144

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 149: US - Osnovi Teorije Informacija i Kodovanje

Sindrom KorektorÛ �n �nÝ �`�n _ Û ���nÝ _ n �ê�nÝ _ n_ Û ���nÝ _ Û �g����/� <� ��� ��4������ ��� ���1� ����.�/� ��0�;������ ��#� 1� 0�������� �� ��4��������������������#����������.�����wU�V��(�����������#���#.��������4�.��£�����#����#���%�����#���������%3�

¼U�V Y ¼\U�V _ �� Y �g _ �� _ �� _ ��� ����������1�1 ����� ���#���� ����.���.�%���#����0��/�<���4�������#�������%�� 1�0���%�.������4���������������0��1#�3�������PITANJE

*����.�����UB�<V����������#����%�������������.����U£V Y £� _ £` _ ���Kako �e se dekodovati slede�e poruke?

�� ���������� ���������� ��������ODGOVORI

�� ������������ Y £g _ £� _ £ _ � Y U£� _ £` _ £ _ �VU£� _ £` _ �V�

6�����%��������������������#���I�.�.�#������������wU�VJ����41�1 ���������������.���.#���#��1��0���<�4�.��0���������#�������%��1������#��0��1!����� �����

145

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 150: US - Osnovi Teorije Informacija i Kodovanje

������� Y �g _ �ê _ �� _ � Y U�� _ �`VwU£V _ �` _ ��Sindrom KorektorÛ �n �nÝ �`�n _ Û nÞ nÝ _ n �ê�nÝ _ n_ Û ���nÝ _ Û �g�

�������X#���#.���.�4�������������.����U£V Y £� _ £` _ ��������� .����� ����%1��.��� ������1�£` _ ��� �������� #���#.���£��� �#�������0��1#������4������1���������0���������#�������%��������#���������3�

�g _ �ê _ �� _ � _ �� Y ���������"�������4����.���.�%��.��#����������0��1#���������

�� ����������6����������������������������.�������#���#.���.�#�?�����0�������#���������%��� _ � Y �����������0��1#��������

146

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 151: US - Osnovi Teorije Informacija i Kodovanje

=�<�� $6("62'9�6(��$6 6"��(�1%� ���3�

Šta su konvolucioni kodovi?

Kako se vrši kodovanje konvolucionim kodovima?

Šta je stanje i dijagram stanja?

Šta je rešetkasta prezentacija vezana za predstavljanje ovih kodova?

Kako koristiti Viterbijev algoritam na rešetkama, u cilju dekodovanja minimalnim rastojanjem?

Kako izra�unati minimalno rastojanje konvolucionih kodova?

$����1!����� #����� ��� 0��0����1� #���� 4��#� #������ ��/������� #��������0��.�� 0��./����� #������� ��4����� '� ������� ���1� �� ���1� .��.���.�� #�����������%����4��#�#���������!��#������������#�������������%����������#1���� ���#��1����#���������4��#�#���������������� �� ��%��1� #�������� #����1!������ #������� ���� ��0�%�.�� �������0��������#���������A����#������������4�����0�����������.�I���#��=��J��*��������4��������#��1��

����#��=�����#����4���0��1#��Õ����#��1���1������4����¼`�[\���¼`��

147

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 152: US - Osnovi Teorije Informacija i Kodovanje

'��#��������#���.���1.#1�������������4���0��1#��1z�1�����1�#��������#������4����#�������%���`z[\�����`z������.1�1���������1 Y U1\� 1`� T � 1z� T V���#��1���1�� Y U�\� �`� T � �`z[\� �`z� T V���.�������4����������#�����X������!��#�����������0��������I���#��=��J�����;���0��.���3��`z[\ Y 1z _ 1z[`��`z Y 1z _ 1z[\ _ 1z[`�1z � U1z[` _ 1z� ��1z[` _ 1z[\ _ 1zV�6�������%���������1�0���.��.����#�����#��.���#����1!����1�������#��!�����#��!�������������������������������������������

����%1��.�� ����°îbð���������� #����1!����� �������îbð���mîbð���.�/� ��� ���������#���3�°îbð Y � �îcðmîb � cðo

Ø|o �=�<���� $6 6"�(7)�$6("62'9�6(���$6 6"������#�� �� ��.���� ��� 0��./����� 0������ ��0��� ���� ��� 0��!�� #�������� ����� 1�0�.01��.������?�������#����1!������41�1 �����������1�0����.��0��./����������.��1z[`���1z[\�� 6������� .�� ��� �#�����.��� 0�.���1� �.�� 1� 0�%�.��� .������.����1�.���1.#1�.��N������������1���.���1�.��0�%�.���.��������#���1[\ Y ����1� Y ��� ��4�� ������4��4������ �� ��� �#1�������1�#���1� ��%�����0/����� ������#�������#��� #�������� 0��./����� #����� ��%�� 0��?�� 1� ��� �1�.�� 0�%�.��� .������ ,�����%������#��0��1#��#����1�����1�#�������������#���1�������;�����������1������4����������������.������.����1��1�.��0�%�.���.������

148

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 153: US - Osnovi Teorije Informacija i Kodovanje

'�0��./�������0�����1�.�����%�������#���������#����%���������#�����������������1����PRIMER 5.26 $��������#����1!������#��������.��4������#����.��0��1#1�Õ Y ����0��� 1�#����1!������#������0��#����������I���#��=��J�� ��4��������������0��!��#�������������%1��������������.������%�����6���1���.��1��������.�4�����

% �% Stanje U�%[Û�%[ÝV &Ý%[Û&Ý%Û � �� ��Ý � �� ��Þ � �� ��$ UïV �� ��� UïV �� ��

6�� 1� ����.�� �1�.�� ��4���� 1� !���1� �� ����� #������ 1� �1�.�� .������ �.���� �����������1 ��#�������%�������������*����.����������0�.��0�.10�#������������#����0��� 1�#��������I���#��=��J��(�#�� ��� 0��1#�� �1;���� �� 4�.��� ������� ��#�� ���1 Y U1\� 1`� 1�V�� �.�� ���%�� ��� 1�0�.10#1� #�������� .����� 1%�.1��� 0��1#�� �1 Y U1\� 1`� 1�� ���V �� 1;������������1 �� #����� ��%�� ���� k = Y ����'� ��.��%���� ������� ���1� �� ��0��.�� ������� ����%��3�

U¼`�[\� ¼`�V Y UÕ�[`� Õ�[\� Õ�V k Y� �� �� �Z�$��0��.���#�������%�¼�����4�������;������1 Y U1\� 1`� 1�� ���V�����.��!��3�A� Y QRR

RS���������������������������������������������������������������������������������������������������������TUUUV�

���������.����������;������1 Y U1\� 1`� 1�V�����.��!��3�149

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 154: US - Osnovi Teorije Informacija i Kodovanje

A� Y Y���������������������������������������������������������������Z�� �#����¼ Y Õ k A���+��0��1#���1;��������������1�������;�������������.������ Y 1 k -i���������-i������U�� _ <V���.��!����0��������.�#�����1���������.��!����;����1����������������.�������#����������0��������1������������#�������

Y� �� �� �Z � ��������������������A� Y Y�Û�Û�ï�Û�Û�Û�ï�ï�ï�ï������Û�Û�ï�Û�Û�Û�ï�ï����������Û�Û�ï�Û�Û�Û�Z��

=�<���� 6�A,)� )8�(�9�7)�$6("62'9�6(�C�$6 6"��DEFINICIJA 5.15

Ub� c� ÔV� 5����� #����1!����� #��� ��� ��������%���� ��������� #���� %���� ������.�����.��!���������� 1�I4�#���%�1J�����13�A� Y c�¡��¡\�¡̀ �T��¡p������î�ð�î�ð���î�ð�x��î�ð�¡��¡\ �T��¡p[\�¡p ��î�ð���î�ð�x��î�ð�î�ð¡� T�¡p[`��¡p[\¡p��î�ð�x� d��-���1�8z�c���b���.��!����î�ð�c���b��1�����.��!�����#��#10����#���������.��!��A�����.��#���0��./�������0��������������.��1�������

DEFINICIJA 5.15�(�.��#����1#��1��1;������1 Y U1\�T � � 1iV���#��1���0�.10#������� Y 1q k -ir ����������1q��#.����1;������ Y �#� �� Y sij t��

150

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 155: US - Osnovi Teorije Informacija i Kodovanje

1q Y U1\� T � � 1i� �� T ��V���-ir ���������������0����.��!����.��!��-����������3��c���bUÔ _ �V��

�����.����������1q Y 1����������� Y ����#�����Q��1�.�0�����c�I��#��������1�����;��1�0��4�����1%��1�c Y �J�'� 1������� ��.�!������ 1� �����!���� =��=��c��������� 4���1� ��4���� 0��1#�� #����1�����1�#����� Ic�1�����/� ������J��b���������4���1���4���� ��������#�������%��0���������1���1�Ib��������/�������J����#�������#�������4�����������#�/��������.��I�1;��������.���J������������1���������������PRIMER 5.27

$��������I���#��=��JI���0�����.����U�����V�#����1!�����#��3�c Y ��1�����/���������Ô Y ���������������1 ��b Y ��4�.��#����/���%������#��1������4�.�� $��� �.�� ��� ������ 1� 0��./������ �����#1�� ��� 1������ 0��1#�� ��� �� ��4�����������.�����.��!��������������.��!���

A� Y Y�Û�Û�ï�Û�Û�Û��������������Û�Û�ï�Û�Û�Û��������������Û�Û�ï�Û�Û�Û�Z��'�#����� ��� ���.��c Y ������� ��0��������� ������1������ ������ �����0���!�����'�����1�����0�.1�������!��1�������.�����.��!��������.��!1�-���;�3�8� Y O���P� ���.�����������#����!����.�������1z�8\ Y î���ð�����������#����!����.�������1z[\�8` Y î���ð����������#����!����.����1z[`�������.���� ��� 1� #����1!����� #����� ���������� ����� #���� ��������� #��4���!����#����/� ��%�� ��� .�#����� #����� ��%�� 1�� #����!��1� ��� �� #�� �� #����� ��%���������%���1�0������1;���������������1������#���1��

151

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 156: US - Osnovi Teorije Informacija i Kodovanje

=�<���� �*) �,�"���*)$6�*)A),$���.�������������.�������#10���.����/�0�����.����I���;��������.������������������J�#����1����0/������������%1���������������������.��1������(��0����������#������� I���#�� =��J�� .����� 1� .���1.#1� �� ��� .���1.��� ���;��� ��� ���������� �������� Y U1z[\� 1z[`V��*���#������ ��� ����?��� � .������ �� 1�������$����1!����� #����� ���������� .�����I������State machineJ��*���.�#�/��.�����������?��������������.�������DEFINICIJA 5.16 ��������.������ �������� .����� #������ ��� gtaf� %���� 1� %����� �� ���1 �� 1�1.������� .�����#�������-���������?1�%�����P����P×�1���������1�0�����.1���%������!1����0�.����1���� #���� .�����P� �0������ 1�P× �� -����� �� 0�� 0����1� ����%���1� 1���������4����������������1 ��������������4�������PRIMER 5.28� ��������.�����+��#�������I���#��=��J����������.����������.��3�

����#��=��� ��������.�����

152

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 157: US - Osnovi Teorije Informacija i Kodovanje

����� ����#�� 1� 1����� #���� ������1� .������ ��#� 1� !����� ����#�� ��������1 ����4���� �������� (�� 0������� �#�� �� 1� .���1� ��� 0����� #��� 1���� ��4��� ��� .�����0�.������������������1���0�����1�1������4���������#10�#����/���%��#����1!������#����I��#��J���������1 ��0��1#���1;������4�.���������� ������1 ��� 01.������� �1;�����U� _ sij tV�1� ��������1� .����� �� #����.��.1�1�����1�.���.��������� ��1���1�.���1�.��.��������� 01.����� 1� ��������1� .����� �.�� �1;�����U� _ sij tV���������� 1� �����1�� ��������1�����.#��������������#����1!������#����I��#��J��PRIMER 5.29�*���.#��+��U�����V�#����1!����� #��� ��� 0��./������ 0�������� ����.#�� ���������� ��� #������0�����.1���#���������/�0��1#���1;������4�.�������.��������� �����������13�

����#��=�������.���0��#������.#���-�����������������#��%������������1�������4�.1�������������������1�������4�.1���� ���� .��� #������ ������ ��������1� #������1� �� 4�.�� 0��1#��� �� ��� 0��������#������ ������ ��������1� �������� �1������ 0�� .���� ����1� ���� ������ �������������������������1 ��%������PRIMER 5.30�$��������1�����.#���$��������0��1#��Õ Y ������������������ 1�01.���13�

153

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 158: US - Osnovi Teorije Informacija i Kodovanje

����#��=�<�$��������1�����.#��

6��#�������������������������#�������%�¼ Y ������������(�����������������0����������.#��I1�#�������1�������������%���J3�

����#��=�=�*���.#��1�#���������������1�����%����

'��������.�4����1���.��#�������%�����.�����1��#���������1 �/��.1�!���3�154

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 159: US - Osnovi Teorije Informacija i Kodovanje

u%v�% ï Û000 ���� ����001 ���� ����010 ���� ����011 ���� ����100 ���� ����101 ���� ����110 ���� ����111 ���� ����

=�<�<�� )$6 6"�(7)�$��� �.�� ��� ������ #������ ��%���� ��������1� 01.����� ��� .��.���� %���� ���#��������%����1�����.#��� �#�����������.����1�����;���1����0���������01.�����#���� �������� 0���������� #������ ��%��� '� .��������� ��#�������� �������������.������������������#���������#�������%���������������4�����������#������0��������� 01.����� �� ��������� #��� 01.����� �� ����������� C�����������.��������1�����1����0��1#1�#��������#��1�����(���;����� .�� ���4��;�� 01.����� �� ��;�� �4��.�� ������%#��� 0����������������������"�.��4������������.�����"�.��4����������.�����#��1��� �����������1����4��#���#����/���%��I���������4�.��0��1#����#���0��./����/�4��#���0��1#�J��0��.� ��1��#���#���#1�������#������0.����������������6�����������.�������1��#���%��1�1�#������#������������.�#1 ���4��#1���#���������0��.�����4�����01.���1�#��������������.���%�����(�� #���1�� ���4����� 01.����� 0����?���� ��� 0�������� %��� ��� 1������ ��#�������0��1#���6����.������;�����#���������"�.��4����������.���������.��������4�������4����/� 01.����� ��� �#�� �����#�� #���#�� � 1�#������� ���� �����#� 4���1� .�����#��������.���� ��� "�.��4���� ������.��� ��������� � 1��.�� �#0����!������� #��0��#��.��������� ������.��� ��#�������� #���� 4�� �� �.����� 1� 0���?���1� �/� 01.����� ��0��1#���#��1�.��4����#����.���

155

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 160: US - Osnovi Teorije Informacija i Kodovanje

���?���������.���������0��"�.��4������������.����'������0�����#������#���wzUV� � ����4�������#��������I����������������1 �������#���J��1;������#�������������1�.���1�¾3�

x�U¾V Y ���D��T�D�y�z{�|}{~�J���� ÌU¼\ T ¼`�� ¼\� T¼`��V $��0��.��� ��#�������� � ��������wWC@WU��V��W�@W��â��� ���� ���W�@W��1;���� 0��1#��#��������#��1����2�#��������.���������#��0���.�����U� �V��;�3�

x�U¾V Y ���D��T�D�y�z{�|}{~�J����UÌn¼`�[\¼`�� ¼B̀ �[\¼B̀ ³o _ x�[\U¾�VV�6������#��"�.��4������������.�13��UïïV Y ï

for i from 1 to W&@W do

for all � do

�%U�V Y ���&Û�T�&Ý���������������U�n&Ý%[Û&Ý%� &@Ý%[Û&@Ý%o _ �%[ÛU��VV end for

end for

*�#��.�1#!�����0.��������01.������4����1����������#�����������0�%�.����.������PRIMER 5.31

���.0�.�����������0��#��#���������1����0���.��#�������%�¼ Y ��������������#����0�����������%��@ Y �������������������������1����������#���,���� ��"�.��4����������.���0�� ��#�������� ��#���#���

156

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 161: US - Osnovi Teorije Informacija i Kodovanje

��

����#��=�>�$���!��1�"�.��4������������.�1�

'� 0���� #���#1� ����� "�.��4������ ������.���� �����.���1� �� ���� ��� ���1 ��01.�3�157

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 162: US - Osnovi Teorije Informacija i Kodovanje

� *����.����� 0��� #����� ��4��� ��� ��� �.�� ���� ��� .����� ��� #�� .���1� ����,���������.1��������0����������������#���41�1 ��������0�������������� *����.�����0�����4��� �������.���������.��������#��.���1�����,���������.1��������0����������������#���41�1 ��������0�������������

'���1����#���#1��0�.��������������01.������.��������#������.�����I������0�.���� <� .�#�� 01.�J�� ���������� 4���� �����#�� ��� �#�� ��� ��� %�.���� .����� ��������#� ����������� 4���1� �����#�� 0��./����/� .����� 0�1� 4���� �����#����������1 ��01.�����I������������#�������?1����.����/���0��������/���4���J��(��0��������#���������.���01.�����?1�.������������������������.����������#���41�1 �������.�������.1���������0����������������6������#�������������4���1������#��1�.���1����1�#���#1���w`U��V Y � _ � Y ���'� #���#1� .���� ������ ��� ���1 �� 01.����� ��� �#�� .������ ������.��� ����;������� 0�� ����1� ��.����.�1� #���� 0�������� ������ 4���� �����#��� 6.���� ������ 1�����%�����0��#�������4��?�������������������.��� ����� ��� �.��.���� 0���!�01� �� ��� 0��������� #���#��� 1� #���� ����.�;���1�.��.������������������4�����������#�������#��������������� #���#� ��� ��#��.�1#!���� 01.����� 1������ I0���� ������J�� 6�� 01.�������������#��������%��������������(�#�����4�������#�������%������0/����������#��.�1��.�����������1�0��1#1��6����;�����4��.��0��.� ������#��������I�������J������?������0.��������01.������ ����1��������� 0���� 4�.�� �#��� .����� #���� #���� 0������� �0.������� 01.����� 1��������1����#�����01.�����#��0�%�.#1���+������0���������0.�����1�01.���1�����%��1�0�����4��������4���������������������4�!������������������1���#������1�����0��1#�����4������#���%���0��1#1�������.�����������������������0���.���0��1!���

158

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 163: US - Osnovi Teorije Informacija i Kodovanje

����#��=�B����#����0.�������01.�����

PRIMER 5.31 a

+��#��������0��./������0����������#����.��������������������������������

����#��=�@����������#�����������0��./�����0������

159

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 164: US - Osnovi Teorije Informacija i Kodovanje

����������0��1#������:������#���)��.�����#�������%�����������������������������������������.����������#��������0��1!������������������������������0��1!���������1�1 ����� 1�#����1!�����#����� ���������#������ 0���������� ���,�������=��� ��0�����#��������������������.�������������#�������������.�;�����OSOBINA 5.17�����������.�;����#����1!������#��������������� .�;���� ������� #����1!������ #���� �����#�� ��� ����������� 4���1����1�.�/���4�������01.�����#����0�����������������1��1�.���.���1��+��#��������0��./������0�����������������������izZU9V Y :� �(�����������!������������.#�� #�������� ��������� #����� ��%� #���� ���� .�;��1� �����#1� ��������������1 ���.�;����:��������#����1!�����#����

����#��=�:�$�������%�����������.�;����

160

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 165: US - Osnovi Teorije Informacija i Kodovanje

=�=�� �*�$,�F(���*��)(��+�A,�,(�C�$6 6"��(�� ��!�� I���#�� =���J� 0��#������ ��� �0.��#.��� ����� ����.������ #��1��#�!�������.���� �� ��0�����.������� #��0����.���� ��� ���.�.��� #��������� (�� .�����0�������!�� 10�.��4����� ��� #������ ��#� ��� .����� 0�����!�� ������� �� ��#������(��� ����������#��0�01������.�/��#��#���������

�� �*E� IAutomatic Repeat RequestJ� D� �1.���.#�� ��������� ��/.��� ���0�����������0��1#���� 8)9� IForward Error CorrectionJ� D� ��#�������� 0��������� �#��!�� #������4��;��#�������%���� C�4�������*E�<� ��.��������=� �#����������4��������>� $��#�.���!����#������

����#��=���� ���.�����#��1��#�!������.���=�=���� �*E�+��.�.��� #�������� �� �4����� .�#�� ��� � #��� ��� 0�� �4�� ��� �0������ � � ������.�#.1��� ����#��� $���� �� ������� ��.�#!���� ����#��� ������ �� ��/.�� ���0�����������0��1#���

161

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 166: US - Osnovi Teorije Informacija i Kodovanje

'�0�����1�����#����#����������*E����4��������8)9��41�1 �������0���������#�������%�� � 0��/�.��1� ���� �#�� 1� 0����.�� 4��� ����#�� I��#��� ����#�� ��#�������� ����1��J�� 0��� 1����� ��� ��.�#!���� �����#�� �� 1�#� �4����� �0������ 6�� �� �����4����4�0��.����9�������0�� ������;�������4������0������� ���.���0�����.��*E��������#�������.��������#��������1�0���?���1���8)9���*E� ��/.��� ����.��� 0���.��� #������ #���� ������ ��� 0������� �� !��������#��1��!������������1�#������0�������1��'� 0�����1� ���.������ �*E� ��� ��.����� 41�1 �� ��� ���.����� ��;�� 4�.�� .�#�������������� ��� �� 1�#� ������ 0�� ��#�� ����#�� 1� �#��� #������ ��%��� 60.��������.1�!������.�%#��������.�����.�%����������0��#����������������1�����#1�1��������#��������%���%����4����.��#�������%���0��#����������.��������.�������.�0���*E3�

�� �.������%�#����� (�0��#������.���� �� %�#��� �*E�� ��������#� ������ ����1� #���1� ��%� �� %�#�� 0���.��1� 0�.��1��0������ 0������� I�9$J� ���� ����.���� 0�.��1� I(�$J�� 0��� ����� �.�� 0�������������1�#���1���%�� �4���.�����.������%�#����*E����0�.��4�����0��1�10��#����#�������� (���.���� .����� .���� �� %�#��� �*E� ��� .�������� ������� ��� %�#�����0�.������.����;����#�����.�1�4����1�0�������(�0��#����� �*E� ��/.��� �10��#��� #������ .�#�� �.�� �� #����� ��%�� 0�� �������#����1���0��#���������1�����#���0����1����#����1����0�����(�$����.���������%�����4�����(�$5�3��*E� �� ������� 1������ 5� ���#���� �� 0����� ������ #������ ��%� 1� #����� �����.�#.����� ����#�� 0�1� � �� #����� ��%�� 1������� ������.������� ����?1��� ������1�1#10����#���������#������1��4���������(��0�������#������.�!�������/��.���.#�/�#�������#�����������;��4�.���������#������ =<�� ��!�� ��������#� ����� ��� �����������#����/� ��%�� 0��������/� 1� �#��1��������������.����/.������#1��������1��

162

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 167: US - Osnovi Teorije Informacija i Kodovanje

����#.���� �*E -� #��� #���� �� 0������ 0����� ���� #����� ��%� 1� #����� �����.�#.����� ����#��� %���� �� ��4���� � �� 4������ 0������ �����1� �1%��1��*E� ���������1������D����64�� .�0�� ��0��#�������*E������ � 1� 4����1� 0������ 1� ����1� ��� .���� �� %�#����*E�������%1��� �/��������#�/���/.����=�=���� 8)9�8)9����0����������0�������1�#������#�����#��������4�.��.�%�1�0��1#1����0����������� ������� 1� ����������� �� ���1������ I������ BroadcastJ� #������� ��������#���������0��������������#��0��0����1�������������#�.���������3�

�� 4��#�#���������� #����1!������#���������(��0�01��������4��#�#�����1�*�������������#�����5�*���#���������������1��54�.��/� ��4����� �� ��� ��� ���1� 4�.��� �1�1 �� ��� *�� #����� �0������1� ����#�� ������1� ��4����� �� ��� 4�.��� 0������� 1� ��� �0��������� #��!��.�����/�� 0�#�.��/�I������burstJ������#����(��0�����3���D���4�����*��#�������@�4�.���0����4��1�����1�#������.����0�#�.�� �����#�� ��� �>� 4�.��� ���� ������� ���� �� #���.�� 1� 7,� �� D� �����.������1�����14�#��#���������#��0�#.���#�5�9 �0��������$����1!�����#�����1����1����������4�.��0��1#��1�0�����%#������.����1;����Ô����������/�#����������������%����Ô��"� ��Ô���������#������#����������.�����.���1��;�������#������������.���� ���� ��.���� ��#�������� #����1!����/� #������ ���� ��� ����������0��.����������"�.��4����������.�����.#������:>B�����������.����������ô�"�.��4����� ���������0���;��1��������%�01�����?�����"2���.�/�����������"�.��4���� ��#����� ��� �����#���� �� ��0��#.�%��� ��� ���#��Ë�� +�� ���#��Ô��UÔ e :V�%�� ����#���.����1���������.�����#��������#�������������#��!���������#������

163

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 168: US - Osnovi Teorije Informacija i Kodovanje

,�� �� 0�.10�#� ��#�������� ��� ��#����� �� 0���.���� 0������� 0������� ���#��������0�#�.��������#�������#� ������.�����4���/�0�����������#��1�����#�����#����1��1%�������0����������-��������� �� ��;�� �� �� ��� #����1!����� #����� ���1� 4����� ���1�.�.�� ��� 4��#�#����� �����#�� #��0��#��.�� #�������� �� ��#��������� ���4���� �� ���#�������#�������������������.��������0�.��4�������0�������0��01����0�����������#�� #���#�� ��/.���1� ����.�� 4�.�� 0����.�� I���1����.��� 4�.�J� �#�� ;������ �������;����4����1�0��������#������/�0��1#���.�����:B>�� ������� -�.������ '����4�#� IGottfried UngerboeckJ� ��� �.#���� #��1� #�����#���� ��.�����1� �1�#!��1� #�������� �� ���1�������� 0��� %��1� �.0���� ��/.�� ���0����������� ���#��.���� �0���� 0������� 6�� #����� 1� ������� '����4�#���#����� ���� trelis� #����������1��!���� I,9�J���1#����� ���������#���� ��������.������#���������������4��������� ������:�>�#4X�!������#���.��,9����=�=���� C��*� (���*E�C�4������ �*E� #��4��1�1� #����� ��� ��.�#!��1� �� #����� ��� �0��������� �����#���%������0�� ������#���.�#���� �����#�������'�0�������#1���0���0�#1����1��0���.��������#��1�0����������#��������%���'#���#����1�.�������10���#���.�������������0����1.��.����*E�.�/��#�������.�������1��C�4������ �*-� �� �.�� ������ �� ���0/����� 4�.��� 0����.�� ��� ��.�#!��1� ���0��������������#���C�4�������*E�����.������1�����4�.���0����.�����0/����������.�#!��1������#���� %1��1� 1� ������� 4�.��� 0����.�� ��� �0��������� �����#��� $���� 0�������#���.�#.1��� ����#1�� ��/.��� ������ 4�.��� ��� #���#!��1� �����#�� �� ��� ���1� ���/�0�#1���� ��� �0���� ����#�� 0��� ����� �.�� 0������� ��/.�� ��� ��.�������1�!���#10��� #����� ��%��� C�4������ �*E� ��� �.�� ��� ���� ���#���� ��� #������ #���� ��#���#.����1� ��4���� .������� #���� 1� � ��#�� 1� ����1� ��� � ��?�� ����� .�����#�������

164

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 169: US - Osnovi Teorije Informacija i Kodovanje

=�=�<�� �(,)*2�")*��7����� ��� ���0�01�������/� ��%���� ��� �� #����1�1� 0�#�.#�� ����#�� ��� #���� �����#����� #���� ��4��� ����� ��� �1%������ ����#����� .�#�� �.�� �� 0��./����� #����0�.10�#� ��.��������� 0�#�.#�� ����#�� ��0���� .�#�� ��� ��������1� #��� �1%�������0������������.�������.�0����.���������#������������������#���.�3��

�� ���#���.����������� $����1!�������.������������!�� ��.�����������;���� �0��.�� ��� ���� �� ��%���� (�� 0��������� .����� 0�����1�#!���� #��������� ���� #������ ��%���� 0������1����� �1�#!��1� ��.����������+�.��� 0��1#1� �������� #���� #��1��#�!����� #����� 1� #���0�.���� ����.�� �� �����.���#�0�#�.#�/������#���(��#���1�����.�����0�����!��0������1��������������1�#!�����������.������������4������0��1#����0����?1����1�#!���������#��������#���� ��;�� ��� �0���� �� �1%����� ��0���?���� ����#��� ��1%����� ��0�����������#��0�.�;����0����������.����������

����#��=����7�����0������4��#�#�����.���������

���#�#����.��������5���0�01���������#����/���%����;���/�0�������������#��#�������%�����1;����b�I���#��=���J��6�/���#����/���%������.���������0��#���������165

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 170: US - Osnovi Teorije Informacija i Kodovanje

����#���!���#10�����.�����������0�������(�#���.��������.�������0�����01�������0�%���������!�#�1��(�� 0�����1� �� #����� ��%�� ����.�������1�1� 0��� ��#��������� ��#�.��� ����#���1;����������������4�.������������1����������4�.������#��1�4����#�����#��������%��� �#����� #���� ��4��� ����� ��� �1%������ ����#���� �� �� ���#��� ����.�� ����0���.��0������1�����#1�1��#���#��������%��1��.��!���#10���0�#�.������#���������.������� ������ .�0��� ��.�������� ���� �14���� ��.�������������� 4���� 0��������������1������0��������.���#������������4�.��� ��������� ����%�#������0�#�.�������#��1���.���#����1��6���������.�.�#���.������������#���������#������1����0�01����������������$����1!�������.����������������������0��4��������� #��������� ������� ��� 0�%�.��� 01�������� 6��� �� ���1#1�1� �������#����/.������0�����1�1�����1����4��#�#����.���������+������%#������.�.�#��4��.�0�� ��.�������� ��� #��������� #���� 1� ��#��� #�������� ��;�� �����.�� �� ��#���#���#1������.����;��4�.����0��/�.����������#���0��#�!����I��!����0����������J���

����#��=����A����4��#�#�����.���������

$����1!����� ��.�������� 5� �� �.���� ��� #10�� 0�����%#�/� ����.����� �#�� ��1.�������� #����������� ��#�� ���� ��4��� ��� 1������� �#.���� ��0���� 1�����0������� ����.���� �� G���.�����M� ��4��� 1� .��� ����.�1� 0�.���� ���� ����������#.�����$����1!����� ��.������� �����������1� %���� �0���!���� ��� ����� �������.���1.���� ��4����� � � �� ���0��./������� A���� I���#�� =���J�� 0��#��1��� .�1#.1�1�#����1!������ ��.��������� 0�#��1�1 �� #10� ����� ����.��� �� ���/��� �����.��166

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 171: US - Osnovi Teorije Informacija i Kodovanje

#��������� ÏU�V� ÏU�V� T � ÏU�V �� $,C� ����.��� ��;�� ÏUcV ��4���� ���� ��� c _�� �� T �����

����#��=����A����#����1!��������.��������

��1���1%����� ��.������� D� 1� ���� .�/��!�� ��.��������� ������ ��� ��� �� ��������1����1�������4��!����������?����.�.�.�%#����4�����������?�����#��!��0���.�#���� .�� .�#���������1����0�������� ��1���1%����� ��.������� �� %�.�� #���.�� #���.1�4��#������'����������1%�������.����������.������0.��#!��������.�.�.�%#�������.�� ���� ��� ��#�� ��.������� �� ��������� 0����������� 6�#�� ��.��������0�#1����1� ��� 1��1� ������.� �1%����.�� 1� ��#�� ������� #���� 4��� 0�� �����#��0��#��.��� 0��.0�.�����1 �� #���� ����� �.���.����� ��#�������� �����.��������� #����� '� 0��#�� 0�1���1%����� ��.�������� 1� 0���������� ������.�4������ �������1� �� #��� �*(-� ������.���� #���� ����1� ����?��1� 0�����1� ����#�����4�����1�1.�������.�����������.�������������������.��������?���������0���������� '#���#�� 1� 0���!�� ��.��!�� �� ���� ������� �1�#!���� 0��!�����0�������%���#��������.��!���=�=�=�� )$6 6"�(7)�����*���(7)��$����0�������#������1�1���������.������ �������� ������#�/���1��/�.��������.��/���.�������;��0�� ��1���;��������0��#������;������.�����1#1���� �����#��4�.� ������4����4������(��0������� 0�������#���;������4����� ��4������������ 0��1#�� G��-(�2H�� %���� ����4���� G��-(55L�� 6�� ����� �.�� #��� G��-(H�� 1� #���� 1� 0��.�� ��4�%���� ���

167

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 172: US - Osnovi Teorije Informacija i Kodovanje

0����������4��������.���� ��#�!���� ��4�����/�4�.�������0��0����1���#����������4����������/.���������4�.�� ���0����1�0����.�� ���#����� ��� �0��������������#���$���%�������������������.�������Ìp�a����;�����#����1�����4���������#����3�Ìp�a Y R _ �������.���� �� ��� #����� ��� �0��������� �����#�����1� ��� �0���� .� �����#�� �� ��4���������������;�3�

Ìp�a � �¹ _ R _ ���(�� 0������� ������ #��� ��� �0��������� �����#�� #���� �������������� ��.������� B����;�����#����1���������#������4��������=�=�>�� $6($�,)(�9�7��$��#�.���!�������#��4������������#����1�����#�����������0����1���#���.����������#�����������#������������#��������;�����#����1���������#��#���������1�0����.�����1.�1���� .�� ������� 0��������� ���.�� I���#�� =��<J�� '�1.������� #��� 4���������Ë Y B�� ��� #����1!����� #��� �� "�.��4������ ��#���������� #����� �� #����1���� ���� �1%����/� �����#��� �0��������� #��� ��� *��� ��������� #��� �� �>� ��4�����#��������0������1���0�#�.#������#��#�������0��01.���"�.��4������#������

168

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 173: US - Osnovi Teorije Informacija i Kodovanje

����#��=��<�$��#�.���!����#�����1�I������Deep space standardJ�

*�� #��� ����� �� @� 4�.���� ��4������ �� .���� ��� ����� ���#���� 1� �0�������1�0�#�.#�/� �����#��� '#10��� 4������ #��#�.��������� #���� �����#�� ��� 0������1�4�������.���/�#�������������1�����0�����1�U�X�VU���X�==V � ��<<��$�������4�.�#�#��#�.�������/�#����������������#��(�#��������/������41#�����������1�.�������/��1������.������0�����1���0��4������/������!������� 0����� ��/� ��4��/� ��.���� #��#�.�������� #����� �� .��#�� ��0�����.����1��4��� ���/��� ��;���.�� �� ����� 4������� �.�� ��� ���#�� 0��4���� 1� #�������� ��������%�����0��01�����0������=�=�B�� 7) �(��*��)*�$6 6"�(7��'�9 �9 � �����1�� ��� ���� ��� 0��.�%��� ��#�� ��� #���� �� ����.����� �1���� 0���!���������1�0��� 1�����!��I0�.J�#�����%�.�������#����0��� ��� ��#������������4��������<<���$��0���X�!��%�������4��4�?1����1�����0���������#C�����#���1������4���#���#��1���1������������\g������#��.���!����I�4�%����9�������������J�� *��1�.1�1 �� ������#�� ��� :>� ���� �� 1#10��� /�������#�� ��.������� 1�����=5��-���#����.��1������������3�

�� �����������/1�� �����1/�����������.��1.�#����������!���169

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 174: US - Osnovi Teorije Informacija i Kodovanje

�� 6.�!��0�.��1������4�.�������.���;����0�����������O� ��� 4��� �������� 0��.����� 41�1 �� ��� ��� � � ����� �#1.�� �� #������� ����0��������� �����#��� 8���0��� .�1%���!�� 1� 0�#1����� ��� #���.�� 1�4�%������#������ ���� ���1�.�.� ��� 4��� ���� ������ 41�1 �� ��� 1� ����#�� 0��� �%�.����1� 9 5�� 0�������0�������0�#�.#���(�#��� �����1� ����� �������� 1.��������� ��� #���%��� ����� #�������� #���� ���.�������������#��0���������.�����������*������������/�#������6����������0����.��0����������9�*9�5�Cross Interleave Reed Solomon Code����.���������<������#��.����������#�3�

�� �#������4��4�?1�������8)9���� '#���#�� 0�#�.��� ����#�� 0���������� ���1 ��.�� 8)9�� ��#����� 0�.����������0�����������4����������� �#�� ����#�� 0���������� ���� �0��������� �� 4��������� ��#����� �#������.�� ��4���#� �� ������1��� ��� � ��.��0�������� ��4��#��� ����?1� 0�1�����/�1����/���4���#���<� '#���#������#��0�������������1 ��.����.��0���!�����#���#!�������#�������1.��������������0��4�1���������!��1��

*��1�.��.���0����������9�*9������.��1����� ���.�4�����Performanse kontrole greške CIRC-a

Maksimalno ispravljanje greške

��<�����4�.���I��=���������#1JMaksimalna interpolacija greške

���������4�.���I@���JNedetektovani uzorci greške �������������������#�/�B=��%����I��[�J�Novi diskovi imaju tipi�an stopu greške (engl. BER)

����[�9�*9� #����� #���.�� .��� ����� ��.��������� �� ��� #��#�.�������� *��� ����������#�����'�1.�������*������PU����@V�#������#����0����������PU�@��<V�#����64��#����#���.��@�D�4�.�����4�������1#10���4������#����������

170

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 175: US - Osnovi Teorije Informacija i Kodovanje

'�1.������� #��� ���� ���������� ��.��������izZ Y =�� .�#�� ��� ��;�� ��� #����1���������� ��� 0�������� ��4����� �0��������� #��� ���� .�#��������������� ��.��������izZ Y =�����1;����������0��������������#�������0���������4�����������������.����#���#�����1�1.�������#���4���10�����1�#��������1�0�#�.��/������#���9�*9� �����#�������� ��� 0�.���� �#.������10������6��� ��� #����.�����#�����#���� ����� .�������� .�1�#1� 0������� 1� ���� ��41.��� 0��#.�%��� �.��� 9 � �1�������%�� #���� ��� ������ �.�� �������� 9 � ��;�� ��� .�������� @� ��� ���#�� �10��0��41�����#������#��4����1����0��!�0.���/����#�.���

171

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 176: US - Osnovi Teorije Informacija i Kodovanje

=�>�� 2��6*�,6*�7�$��*� �VEŽBA 7.

C����������.�.���#���I���@J���1�������0�����3�C������� #��� �� ���%�� �� #���.�� ��� �0��������� �����#�� 1� *������������������1#��#������0����������1;�������4�.��0���%��1����@�4�.���������������0���.#���� 0���.���� <� 4�.�� 1� #��.������ �� ����%1����1� �� ��� ���1� 4�.��� 0���.�#���$��.������4�.���������������0�������1�����%�.�.����������0���!������C�������#�������0�����������4�.������#����0�����.�������������� ����%��3�

�� ��.��0��1#��1�0�4���������������������0�%������������ ��#��4�.�#����0���.�����.�0��������4�.�0������I������<��@J���� 6.����4�.���I���=�>��B��:J�1�4�.��0���.#�����#��4�.�0������10�.�������0���1�0����.�����10���4�.��0���.#�������4�.�0������ ���#.1��� 4������� �����.�� �� 4�.��� �� ��� 0���� ��.1�� �1��� 4�.�0���������#.1���4������������.��0���.�#����4�.����������1������.1��.����

����#��=��=���.���0���.#����#��.������4�.���

172

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 177: US - Osnovi Teorije Informacija i Kodovanje

.�� Y �ë�( �ë�( �ë<( �ë=( �ëB�

.�� Y �ë�( �ë�( �ë<( �ë>( �ëB�

.�� Y �ë�( �ë�( �ë<( �ë@�

.<� Y �ë=( �ë>( �ëB( �ë@�$�����I����@J3����� 0������ 0���.�#�� ��0����� 0����.� ��� 10�.������� ���� �#��� 4�.���0������������������!���.������������0���!������

�173

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 178: US - Osnovi Teorije Informacija i Kodovanje

����#��=��>�A����#���������C�������#���I���@J�

�#�����I����@J3�(�#���0������0��1#������%1������4�.�0����.�I������parity bitJ�����#��#10�0���.�#��0��0��0����.��0�����4�.1�0������I������check bitJ��'#���#�����������������.����������4���������#����1#���#��������0�.��������#������

174

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 179: US - Osnovi Teorije Informacija i Kodovanje

'�����0�����1�0������ ���������.�4�.�����0���!����>���

����#��=��B�A������#���������C�������#���I���@J�

�������������������%�����C���������#����I����@J�Sindrom vrednosti Parnost poruke Rezultatnulta ��0���� ���������#�nenulta 0���� #���#!������4�.�nenulta ��0���� (����#���#!������

175

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 180: US - Osnovi Teorije Informacija i Kodovanje

VEŽBA 8.

C�������4����������.�.���#���IB�<J���1�������0�����3�C������� #��� �� ����%��� ��Ub�c�V�� 0��� %��1� 4����c�0���.����� �������!�����4�.������b�1#10���4����4�.���1�#��������%���'������1�b Y Q _ c��4����Q�����%���4�������.�.��/�4�.���'#���#�����0�.��4����0���.��1�#����1�0�������%�������#���4�������.�.��/�4�.�������%1���0������1��3�

�p � c _Q _ �����#�#���������1 ��.��0���������� ���4�����4�.����4�������.�.��/�4�.����������� �� 0�� ���� '� ��.�#1� ������� ���� �1�#!��1� C��������� #����UB�<V����#������������#�����������������.�.��/�4�.���Q Y ���'#���#����0���������������������#�.3�

�� � < _ � _ ����������������01�����1�������0�����������������������#����C������� #���UB�<V�� ��� ��%� �1;���� <� 4�.��� ������� �� 4�.�� �� �������� #���1� ��%��1;����B�4�.����+��.�.���.���4�.�� ��0����#�����#��������������.��0���;�������������#��0��#��������������.�����%�����#�����C���������#�����0��� ������#1���������.��0���.1��#��!1��'�0����#���#1�������� ���������#�!���1���.��!1������.��!1�����������.�#���.�� 0�� #��������10�1�����4������� �����.�� 4������ ��� �0���� ����� ���B��(��0������� 1� 0�1� #����1� ��� 10����� 4������� �����.� ��� �#���� ��!�������0���.�����4�������

C� �� �� �� �� �� �� ���� �� �� �� �� �� ���� �� �� �� �� �� ��'� ��1���� #���#1� 0��������� ��� �1�#!��1� #��������� ���!�� #��������0���.������� �� �������� � Y ö k A �� ���� ö 0���.����� 0��1#1��A ������.���

176

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 181: US - Osnovi Teorije Informacija i Kodovanje

��.��!1�� ����#�����1� 0��1#1�� +�� �1�#!��1� #�������� ���0/����� ��� �������.��������.�����.�!1�A��-�����.�����.�!��0��#���������1�.�4�����0����6��%��������.�4������4��������.�#���.�� ��� ����.����� �����.�� �����#�!����� ��.��!�����+�.��� 0�������� ����������.�����.��!�� ��4����� ��� 0��#�� �1�#!���� ��� ��0���1� 0��� I��� Y ������ Y ������ Y ������ Y ������ Y ������ Y ������ Y �J��.�����#1�#����1������#�!�������.��!������1#�� #��1� ���� .��4�� ��� #��1����� ��� ��� 0������ 0��1#��ö Y ������ ����������;�������.��!�����#.������.����1�.�4����#����������

� � � �� �� �� �� � � � t �=

� � � � � � �= 1110000

�� �� �� �� � � � � � � � � � � ��� �� �� �� � � � � � � � � � � ��� �� �� �� � � � � � � � � � � �'� .�� ��� #���#1� ��� ���1� ��� �1�#!���� ��#�������� ���� .����� ��#������� �#�������� �� �4����� �����.��1�� 0�� 0���!�01� ����?������ ������� ��%�� ������1� #���� �� 1.�?1��� ��� ��� 0�.���� ����#�� ���� ��� 0�.����� '#���#�� ��� ���1�.�.����;�����P Y � k ���1��� #����� ��%�� .���� ��� #������� 0��1#�� 0�������� 4�������#������1#���#����������%�.��������0������.�� �����%�.������������#�����.�� ���4�.1��(�#���0������������.��4�.�����.�� ���0���!����0���������1����1���#�������� �

=

�=

u �� �� �� � � � � � � � � � � � � �� ����� �� �� � � � � � � � � � � � � ���� �� �� � � � � � � � � � � � � ��t � P Y ������0�.��������#����� �� �� � � � �������� I�����J� 1� .�4���� 0���.�����1� 4���� ������!�� 0�� �������� ��.��!�� #����0���.����� 0�������� k � �� (�� ���1� �1�#!���� ��� ��0���1� 0����.� I£6*J�����?1��������������%��

177

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 182: US - Osnovi Teorije Informacija i Kodovanje

'� ��.�#1� ���� 0������� 1������ ����#1� ��� .�� ��� 4�.1� #������� 0��1#�� ����#�������%���(�#���0������0���.�#��0��#��#��1��#�!������#������ ������#������������������#�����.�� ���0���!������������ 0��������� 1� ���1� ����?������ ������� ��%��� ��%�1� #��� 1� 0��./�������1%��1��

�=

�=

u �� �� �� � � � � � � � � � � � � �� ����� �� �� � � � � � � � � � � � � ���� �� �� � � � � � � � � � � � � ��t � P Y � �����#��0�.������� �� 0 � � � �$���������������� ���������%�P Y U���V ,���;���������#��1%�������������#��������� ��� .�� ��� 0���!����� ����� 0��������� 1� 0������1� ���1� ��#�������� #���� ���0�.����������#��1�0����1�� �#�������0��1#��ö��4����������������ö Y �� ( P������������%��� #�����1� 0��1#1� 0�������1� ��� ��1�1� .���1� #������ #����0�.��!����������;������#1������ ����!��������%������?0���.�����1�#��.������4�.������0���!��������%������� 0���.�����1��������!�����4�.��

�� �� �� �� �� � � £6*�u }\ }̀ º̀ }� º̀ º� ºê � �� �� �� �� �� � �1 1 1 0 0 0 0

º\ º̀ � º�� ºê�� � �� �� ���� �� �� �� �� � � Kraj. '���.�#1�����0������������������������.#��1���.��451������1���#513������ ��������4����1���.��451�������� ����C�������#���IB�<J���b�5�����%����1;��1� #����� ��%���Ô�5� ����%��� 4���� #��.�����/� 4�.���� ��c�5� 4���� �������!����/�4�.������������1����.��/�4�.�������#��.�����/�4�.��3�

åå��������I�â�J�178

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 183: US - Osnovi Teorije Informacija i Kodovanje

����������������������!����/�4�.��3�

åå�#�����5�����I�â�J�#�������<�

-������������#���1%�����0��1#�3�åå�0��1#�����!���.I������.I���ì<���æ���çJ�#JÄ�

����#��=��@�-���������0��1#��

$����������1���?������1�#!�����1���.��4513�åå�#������0��1#������!���I0��1#����#�ó/������X4����OóJÄ�

����#��=��:�$�������0��1#��179

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 184: US - Osnovi Teorije Informacija i Kodovanje

����� ��1������� 0����� 0��1#�� 0��#�� �1����� #������� .�#�� �.�� 1���?1�����0��������4�.���1�#�����1�0��1#13�åå�#������0��1#��1���������I#������0��1#��â��������I������æ���Ä���=��B=çJ���JÄ�(�#��� 0������ 0��#�� �1����� #������� 1.��� ���� 4���� 0�������/� 4�.��� 0��#��£6*��0���!���3�åå�æ4���-���#������#�ç���4�.���I#������0��1#���#������0��1#��1���J�

4���-���#�������B�����#��������������

����������������1���.�#!�������0��������������#�3�åå���#������0��1#������!���I#������0��1#��1��������#��ó/������X4����OóJÄ�

(��#���1�0���������0����������C���������#���� IB�<J� �� 1.�?1�������� �������#����0�����������#��I��5�0�������/�4�.��J3�åå��æ4���-���#������#�ç���4�.���I��#������0��1#���0��1#�J�

4���-���#�������������#��������

(�.��#�������������.#��1���1���#51���������1��!������9�#���������1���3�

����#��=������9�������.�� �������#�������

�����������������.����0��1#�3�180

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 185: US - Osnovi Teorije Informacija i Kodovanje

����#��=��������1�����������.���0��1#��������.�� �����=�

�����������4�����������.��%����#��1��#�!������#�����3�

����#��=�������1��!������9�#���������1���������.�� ������#�������

"����.�� ������#��1�#����1���������������!�������.�����B������!�������sid�����.�����������.����0���.�������#���1%��������4�����0�%�.���.�����0�1���������.����������������������#���181

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 186: US - Osnovi Teorije Informacija i Kodovanje

������������4��#�������%1����������#�3�

����#��=�������#������%1����������#��1�#����1�

������.��� 4��#�� �� ��#�� I���#�� =���J� #��.�����1� ����� ���������� #��0��.�����1��!�����(�#���������.���/� �����#�� ��1��!���� ��4�.�� ��1.������� �� ���1�.�.���1��!����4� ��0����?������������4��#1����0��#������1�.�.��������������4��#�����0��#������1�.�.�3�

����#��=��<����#����0��#������1�.�.����1��!����

182

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 187: US - Osnovi Teorije Informacija i Kodovanje

������.��� ����4��#��1� ��.��� ��1��!���� ����;���1�0������������ �����.���(�����1�.�.1���1��!������;���������������� ������<�:B�4�.���0��������0��1#��4����1#10�������4�.������#���'� ��.�#1� 0�����1����� ��1��!��1� 1� ��1���#51� �� ���� ������� ����.�%����#�������� .��� �.�� 1� ��1���� #����1� #���.���� ���.�.��� #��� #���� �� ��0�����.����0��#����#���������0���������.���������#���������0���������.������

����#��=��=���9�������.�� �������#������������.�.����#�����B�<�

'�0��./��������1��!���������!��I���#��=���J�#���.�������C����������.�.���#���IB�<J��(������ �����!��0��#���������0������������#����������#�����3�

����#��=��>�C���������#���������#��������#���IB�<J�

��

183

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 188: US - Osnovi Teorije Informacija i Kodovanje

'���.�#1������0����������������.����0��1#�3�

����#��=��B�-�����.���0��1#��������.�� �����=�

+�� �����#1� ��� 4��#�� ��� ����������� 0��1#�� 1� 0���� #����1�� ���� ��� 0�.��4����������.��.�#.�������.������4�����0��1%���/�4�.���1��#���.�#.1���#.���� �����0!��1� GFrame-based outputsM� �� ��� �����.� 0�����.��� GSamples per frameM�0�.��.�� �����.� <�� "�����.� <� 0���.����� 4����c����� �������!����� 4�.��� #���C������������.�.����#�����

����#��=��@�����?����������#������?1�#������4���)99�����)99�(�� ���1� ���1�.�.�� ��1��!���� 0��#������� ��� ��!�� I���#�� =��@J�� ��� �.�� 4����0�������/�0��1#������#����������������@��4�.����

184

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 189: US - Osnovi Teorije Informacija i Kodovanje

VEŽBA 9.

��.����������1�������0�����3�7����� ��� ���0�01�������/� ��%���� ��� �� #����1�1� 0�#�.#�� ����#�� ��� #���� �����#����� #���� ��4��� ����� ��� �1%������ ����#����� .�#�� �.�� �� 0��./����� #����0�.10�#� ��.��������� 0�#�.#�� ����#�� ��0���� .�#�� ��� ��������1� #��� �1%�������0������������.���� ��� .�0�� ��.�������� #���� �� ����� ������� #���.��� .�� 1� 4��#�#�� ��#����1!�������.����������'� ���� 0�����1� 0��#��� ���� 0�1���1%����� ��.�������� ��1���1%�������.�������� ��������1� ���1������ �4��!�� ���� ����?���� .�.�.�%#�� ��4���� �������?���� �#��!�� 0���.�#�� �� .�� .�#��� ����� �1���� 0�������� ��1���1%�������.���������%�.��#���.��#���.1�4��#����������� �� 0������ 1� ��.��451� ��1.�1��� #�#�� ��.������� 0�4������� 0����������#����� ��� �0��������� �����#�� 1� #��1��#�!������ #�������� �� �������������#����� '� ���� �����1� #���.���� 0�1���1%����� ��.������� �� C�������4����������.�.���#���B�<��Postavka parametara modela sa i bez primene interlivera.

����������0�%�.���.�����������.���3�åå�.�����B���Ä�.����<@��Ä�

6���?1�����0�����.������C�������#��3�åå�����BÄ�#���<Ä��

-������������#1��1%���1�0��1#1����#�������3�åå�0��1#����������.I#ì=�������.�JÄ�

$��1�����0��1#1�C���������#����3�åå�#������S0��1#������!���I0��1#����#�ó/������X4����OóJÄ��

185

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 190: US - Osnovi Teorije Informacija i Kodovanje

-�����������1%���1�0�#�.#1�����#1�����#��������0��1#��3�åå����#��������I���I#������S0��1#�JJÄ����#�I�5�3�â�J���æ�����������çÄ�

Rezultat sa primenom interlivera.

���������1�#!��1������.�������3�åå���.���������������.��I#������S0��1#��.�JÄ��

'������������1�����#1�0��#��£6*��0���!���3�åå���.������S���#����4�.���I��.����������#�JÄ��

���������1�#!��1��������.�������3�åå�����.�����������������.��I��.������S���#��.�JÄ�

�#��1�����0��1#13�åå���#������S0��1#������!���I����.���������#�ó/������X4����OóJÄ�

���#��1�����.�.�.�%#��0���.#���������#13�åå���0Ió��������#����.�0�����#�����0����������.�������3óJÄ�

åå�æ4���S����#����.�0�S���#�ç���4�.���I0��1#�����#������S0��1#�J�4���S���#����������.�0�S���#����������

Rezultat bez primene interlivera.

'������������1�����#1�0��#��£6*��0���!���3�åå�#������S0��1#�S���#����4�.���I#������S0��1#�����#�JÄ�

�#��1�����0��1#13�åå���#������S0��1#������!���I#������S0��1#�S���#����#�ó/������X4����OóJÄ�

186

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 191: US - Osnovi Teorije Informacija i Kodovanje

���#��1�����.�.�.�%#��0���.#���������#13�åå���0Ió��������#����.�0�����#���4���0���������.�������3óJÄ�

åå�æ4���S����#����.�0�S���#�ç���4�.���I0��1#����#������S0��1#�J�4���S����#��������<�

.�0�S���#���������������

187

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 192: US - Osnovi Teorije Informacija i Kodovanje

6. KRIPTOGRAFIJA – INFORMACIONO TEORIJSKI UVOD

9����������0��������1������������������������ ��0�.����3�Šta je predmet i cilj kriptografije?

Teorijska postavka problema kriptografije u okviru teorije informacija.

Šta je perfektan tajnost i kako se postiže?

Šta je ta�ka jedinstvenosti i kakav je njen zna�aj?

����#��>���$��������0��1#��1�!���1��4��4�?�����.����.�����1.��.�%��.���

�������1�#!����������������I���#��>��J3�. Y �U�� $V�

9 � �����.� �� � 0��1#�� �$ � .�����#��1%� CU9W�� $V Y ���81�#!�������������������.������.�%#����������.�����������%������?�����#������������81�#!���������������3�

ÌURUë�ËV� ËV Y ë��188

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 193: US - Osnovi Teorije Informacija i Kodovanje

�������������.���.������#��1%�����������������1�0��1#1�� ��������������.�#�?����.������.�%#���������3��UëW.� ËV Y ��

�����.���� �;�1� %������!1� �� �CU9W�� $V Y �� ��� CU�W9� $V Y � ���� ��0��!����1�CU$W�� 9V Y ���6�������0���!�0�������������1 ������#��1%��������#��������.����?1.����1�#��0.�����#���0��#����.��0��0����1����������I����������J��.�#�������0��#.�%���1�������������#��1%��;��CU$W�� 9V Y ���9����#��0.���������������.�.��0��1#����3�

�� ���������� 0�����!�� I.����.J�� �����1 �� ��� ��4�.����� ���1�.�� 4���0������������� ���������� ���.������ I�1.��.���#�!���J�� �����1 �� ��� ������.�� 0��1#1�������#�!����������.��.�1�.���4���0�����������9���� #��0.������.�%���� ��� ���4������� �.���� .����.�X�1.��.���#�!����� �����������;�������������������1�0����!�����.�����.0�.�#��#������0���.����%����13�

�� ��.10�#� ���������� �� ������������ ��� ���� 0����.� I$��#/���� 0���!�0J�#�����.�.�.�%#����.��0��1#����� (��1.���������#�����!���������1�#��1%�Ë���� 9����������.10���I���������Ë���ëJ��<� ���.����.����������.�������0���%��.�������0�������.�����#��1%��

189

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 194: US - Osnovi Teorije Informacija i Kodovanje

>���� �)*8)$,(��,�7(6�,�DEFINICIJA 6.1������#.���.����.�A����#�� �.��� ��� 0����#.���� �#�� �� ���� �#�� 1�������� �������!���� ����?1��.������0��1#������������1 ��������.��.���������#���1����������3��������

�U9�V Y ���TEOREMA 6.1

'� 0����#.���� �����#��� �.��1� ���1 �/� #��1%��� ����� 4�.�� 4����� #���#�� �����1 �/�0��1#���TEOREMA 6.2

'� 0����#.���� �����#��� �.��1� ������?���.� #��1%��CU$V���� ��������� ���#��#���#����������?���.�0��1#��CU�V�CU$V � CU�V��������!�� ��� ��� .������� 1� ��#��1%�#� ��� 1� 0����#.���� �����#��� �.������#��1%��� �����1� 4�.�� �������� #��0��#��.�� ���� ��������� �����#�� #���#�� ���#��0��#��.�0��1#���PRIMER 6.1�6��5,���5�����6�� ��� 0������ ��4��� 0����.��� 0����#.���� �����#��� �.����� '� ���� �.��1��#��1%���������#��.����%�.���1%�����4�����������$ Y $\� $` T$Z��.�#�������3�UË� Y �V Y �UË��WË\� T � Ë�[\V Y ��=����� ���b����%���� ���� �� 0��1#�� #��1� .��4�� 0����.��� A��������� �� �4����� ������1��4�������������1�4�.�3�

9z Y �z _ $z��$��1%������#���.�.�����������#��.����'0�.��4���������#��1%��1������������������������%�.��0��1#���#��0����.1��������.����

190

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 195: US - Osnovi Teorije Informacija i Kodovanje

>������ �)*8)$,()�A�8*)3� )8�(�9�7��$��� 0����#.��� ������ 0�.���� #��1%� #���� 0����#��� �#1� 0��1#1� 1� �#�� �����.� �������#�������.�� ����+���#��·��Ó3�

��në��.×o Y ���Uë�V��

����#��>���-����%#��0�����.�!����0����#.��������� �����!���3� ��

�·� Ó3�}�Uë�W.×V �Y �}�Uë�V�A��������0����#.����#�3��

�ë�.��}�U.�W�ëV �Y �}�U.V�������#�����.��3��

�ë�.��}�Uë�W�.V �Y �}�UëV��4��� 0��������� #��1%��� �#�� �����.� 0�������#�� ����.�����;�� �������.�� 4����#����.�������.�#.1���

191

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 196: US - Osnovi Teorije Informacija i Kodovanje

PRIMER 6.2 6��5,����0���������� c Y ����������������Q Y ���������������. Y ����������������

TEOREMA 6.3

6��5,����0������0����#.����������DOKAZ

+��� d � d �3��U.� Y �W.\� T �.�[\�ë\� T �ëaVY �Uë� Y �W.\� T �.�[\�ë\� T �ëaV k �UË� Y �V_ �Uë� Y �W.\� T �.�[\�ë\� T �ëaV k �UË� Y �VY ��=î�Uë� Y �W.\� T �.�[\�ë\� T �ëaV_ �Uë� Y �W.\� T �.�[\�ë\� T �ëaVð Y ��=

���%��3��U.\Wë\�T �ëaV Y ��=� ��� �U.�W.\� T �.�[\V Y ��= ���� ·� � d · d b� �0�� ��� }U.WëV Y}U.V��.���ºU.Ä ëV Y ����������

192

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 197: US - Osnovi Teorije Informacija i Kodovanje

>������ -*�8�F$���*)+)(,�9�7���)*8)$,()�A�8*)�-������������.��������1 ����#���.���������%#��������1�7�����/�������������

����?1�����.��������!����/������1�����!������ Y ����¬��

����#��>�����?1�����.��������!����������

193

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 198: US - Osnovi Teorije Informacija i Kodovanje

>������ 6$�+�A)(6(6")�,)6*)�)�6��)*8)$,(67�,�7(6�,��5�6,��

����#��>�<������#.���.����.�6��5,����0��5��

+�� �#�� 0����#.��� #��0.��.��� �� �����.����� ��#��������� �;���UËV ����UëV���7����.���.���#�������3�

�Uë�u�.�ËV �Y �������ºU.Ä ËV �� ��� � �¸� � �½��½������3�

�UËV � �¸ � ½ _ Ñ� � �½ � ½ _ Ñ� Y ��UëV��

����#��>�=� �#���A�������.�������

194

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 199: US - Osnovi Teorije Informacija i Kodovanje

>���� ()�)*8)$,(��,�7(6�,���,�F$��7) �(�,")(6�,��'�0��#�� �� %�.�� ��.10�� ���0����#.��/� ������� �4��� #��0������ ����?1������0�.��4��� .����.�� �� !���� 1�?����� ������� �����#��� �.����� A���#�� �����0��.��������#������0����#.��/�����#�/��.�����%�������#��1%����.������������0��1#����#���.�������#��4����01.����Šta možemo re�i o prakti�no upotrebljivijim, ali neperfektnim šifarskim sistemima?

A��������1���.����#��#�!���1��1�#!��1����������1����#101�0�������/�4�����3�lU�V Y CU$W9\ T9ZV����.1�.���� ��� ����� ��� �.�� ���� �����.��.������� ��� ��0�������1�� �� �� �� ����������.�������������.�#��1%����8���������.��4�����%���3�

���Z�o lU�V Y ��,�%#�������.���.�������������#������������b����#�������lU�V � ���DEFINICIJA 6.2�,�%#�������.���.���,�%#�������.���.����.���#��0.��.����������������b����#�����;�3�

�UËW.\ T.aV� � ���>������ )$"�"6$�9�7��$27'F����,�F$��7) �(�,")(6�,����� ������!����� .�%#�� �����.���.�� ��� ��������� #���%���� �����.�� #����� �������0�����.��#��0.������.�%�������4������������������#��1%�Ë���������%���� �1������%����.��������������#���%���������.��#��������1 �������.���41������4�������

195

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 200: US - Osnovi Teorije Informacija i Kodovanje

����#��>�>�,�%#�������.���.��D�0����#.�������0����#.���������

TEOREMA 6.4

�#���;�3���. �1� �.�� �1;����b ��� 0��0����1� �.��� ����4�.1�� A�������� 0��1#�� ����1�0��4��;�����#�����1�������?���.3�

CU9ZV � �� ��� ���.�����#��.����1��#����.�;��������������#��0.��.�����$��1%�����0��1#��1���������

CU�Z� $V Y CU�ZV _ CU$V���.�����1�4�%��������0���������.�������.�%#�������.���.���0��#���.���������#��1 l �U�V:UàVk��I��

��������UëV����1������0��1#��ë�#����������1�1�������������3�*U�V Y � � ��UàV��I ��

�196

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 201: US - Osnovi Teorije Informacija i Kodovanje

DOKAZ:

���.0�.�����������b������������#���.�#������;�3�CU�ZV l � k CoU�V��

�UËW.aV Y �UëaË.aV � �UëaWË.aV�������� �������¡ �¢U£2¤V �U.aV Y �UëaË.aV � �U.aVY �UëaËV � �U.aV Y �UëaV _ �UËV � �U.aVY b k �oUëV _ �UËV � b k ���Ï

�,�%#�������.���.����������������3�

�UËW.ûV Y �� ������3��

ÕU�oUëV � ���ÏV _ �UËV Y ������#�������3�

Õ Y �UËV���Ï � �oUëV Y �UËV�UëV k ���Ï��PRIMER 6.5�,�%#�������.���.�������.������ 0��1#�� 0����� ��� �����#��� ����#1� �� �B� ���#��� 1#��1%1�1 �������#�� ����?1� ��%�� �� ��������� #��1%��� #���� �� �.���� ��� ��� �������/�#���#.���������#�������4�.����,��������UËV Y ��������B���#����������#������#�1��������.��0��1������4�.��0�����#1�����1������0��1#����� ��.�� �� ��UëV Y � � �Xuvw��B� l ��=@�� ,�%#�� �����.���.�� ���� �����#����.���������.���3�

Õ Y �UËV� ���Ï Y �� k ���U�BV���U�BV � � � �=

197

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 202: US - Osnovi Teorije Informacija i Kodovanje

6��� ���1�.�.� ���%�� ��� �� 0���������� �����.�� �1;���� �#�� �=� #���#.����� #��1%���;��������.����������%���������.����������.�%#�������.���.����0���!�0��������#���%���������.���������������������%��� ����?������ #��1%��� ��?1.���� �� ����� #��#��.���� ��%��1� ����;���.������?������#��1%���������1�0��������������.�����������������%��1�A�����������������>������ �6")y�(7)�,�F$)�7) �(�,")(6�,���������������!����.�%#�������.���.�����������������������1 ����%������������0�� ��������������������1������0��1#��#����������1�1���������0�� ��������/�����.��0������.����������0��������4���������#��0�����.��0��1#��0�������������������.��������4��������1 ��#��0��������3�

CU�ZV � � ��� � ��*U�V � �� ������1 � ¢��PRIMER 6.6

,�%#�� �����.���.�� #��0.��.���� #����� �� ����1�1� 0��1#�� ��� ����4�.�� ��� :>����#����0���%��1������.��0����0��1#����4�.�X0�����#1����#������.��0����#��1%�����4�.����3�Õ Y ����� :> � � Y :����

� Y � � ���� :> Y =<�<5��PRIMER 6.7

,�%#�������.���.��#��0.��.����#�����������1�1�4�������0��1#������1�������=5����#�1�#��1%�����1;�����>�4�.����1���������1���0�����������3�Õ Y �>���= k � Y ><�

198

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 203: US - Osnovi Teorije Informacija i Kodovanje

>���� �',)(,�8�$�9�7��(�1%� ���3��

Zašto su autentifikacija i tajnost teoretski nekompatibilni?

Kako obezbediti autentifikaciju u praksi?

�1.��.���#�!�����4��4�?1�����/�������#���������;����1���.��������0���������0��1#��0���.������1.�����������4��� �1������%����#����0�������#��0.������.������������.����/�������#�������1�������������#��0.������0���.����.������1.�����������4���������������1�.�.�0������1�#���������#��0.�������.������#����1������1.�����������4���*���.��������������1�.�.�1�#��0.��������#����1.�����������1�.����.����1.��.�%��.���������%�.��#��!�0.������#��0�.�4������!���������6���.�������������� ��.��������TEOREMA 6.7

"����.�� ���¥�������#��0.������������#���������������������0���������1.�����������4������������%�����3��¥ � �[¥U9Ä�V�

����1��.�����1%��������%����#����0�����.1������1 ��#��0.��������������#��1%������0�#.�����6�������!������.�;��1�0��4�����1%��������6����� ����� ��� �����.������ �1.��.���#�!���� 0���%�� ��� �4��� ��� 1���������������!���� ����?1� #��0.������� �� #��1%������� 4�.�� ���#��� �� ��1��� .����� ��� 4������4��4������0����#.�1�.����.��.���.��1���������������!���������4�.�������#���1�������.�����.��.����.��0��1#�����1.��.���#�!����������0��.���%�1��.1�!��1�������3�

ºU.Ä ËV Y ºU.Ä ËV _ �UËV � �UëV � �UËWë�.V� 199

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 204: US - Osnovi Teorije Informacija i Kodovanje

�#��.����������3�ºU.ÄëV Y �����CU$W�� 9V Y ���

��4�����3�ºU.Ä ËV Y �UËV � �UëV��

�.��0���%�3�}� � �¢U�V[¢U£V h ���

������3�n�UËV ¦ �UëVo��

�.�����%�����#��1%������4�.������#��0��#����7��������1 �������������������4��4�����1.��.���#�!������������������1���3�

ºU.Ä ËV ¦ ����� ��� �� 0��� .���� .����.� �4��4���� ��� ���1� 0��#.�%��� .����.�� �������� ���������.��#��� #��0��#��.��� 6�� ��� ������ ��� �������� ���.�� 1� #��0.�����#���.���������������������.��#���#��0��#��.��0�01����������1.��.���#�!��1��

200

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 205: US - Osnovi Teorije Informacija i Kodovanje

7. BIBLIOGRAFIJA

A. J. Viterbi and J. K. Omura.� ����!�0��� ��� ���.��� 9���1��!�.���� ����9�������æ$�����ç��5�(�ô�²��#�3��!-��ô5C������:B:��Aiden A. Bruen, Mario A. Forcinito� 9�O0.����0/O�� �������.���� .�/��O�� ���������5!����!.����æ$�����ç��5�(�ô�7���O�3���7�/��§���O�¨���������=��Blahut, Richard E.�,/���O��������!.�!�����)�����9��.����9����æ$�����ç��5� æ���ç�3�������5§���O���:@���Dušan B. Draji�, Predrag N. Ivaniš� '��� 1� .�����1� �������!���� �� #��������æ$�����ç��5���������3��#����#�������������������:��F. Bavaud, J.-C. Chappelier, J. Kohlas� ��� ��.���1!.���� .�� �������.���� ,/���O������00��!�.����æ$�����ç��5����=�3�æ���ç��Lang, Serge.�����4���æ$�����ç��5�æ���ç�3�������5§���O���::���5�,��,/����)��.�����Lin, Shu and Daniel J. Costello, Jr.� )����� 9��.���� 9�����3� 81������.��� �����00��!�.�����)����ô����9�����æ$�����ç��5�æ���ç�3�����.�!�5C������:@���N. M. Abramson.��������.����,/���O�����9�������æ$�����ç��5�(�ô�²��#�3��!-��ô5C������:>���R. Adler.�)�����!������������0��0��.������ ������.�������O�!/������æ*����ç��5�æ���ç�3����!����������./����!���:>���5���3:�<5:����Raymond W Yueng� �� ��ô� 61.���#� ��� �/������ �������.���� ���1���æ*����ç�XX��)))�,����!.��������,��5��::���5�,���B��Shannon C. E.�����./���.�!���./���O����!���1��!�.����æF��0�ç�XX�������O.���,�/��!���7�1������5��:<@��5�.����B:5<����Van Lint, J. H.� ��.���1!.���� .�� 9������ ,/���O� æ$�����ç��5� æ���ç�3� �0������5"��������:@�����

201

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 206: US - Osnovi Teorije Informacija i Kodovanje

DODATAK A – UVOD U MATLAB OKRUŽENJE

+�� 0������#�5�������� �#�1;����� 1� ���� 1�;4���#1� ���4����� ��� ��.��4©�0������#�� 0�#�.�� ��.��4� ��� ��.��� #��� #�� ���!�� ��� GMATrix LABaratoryL�IG��4���.������ �����.��!�LJ�� ��1���� ��� ��� �:B�5�/� $��������� I9���������J�� ����#�.����� ��� �������.�#1� ��� '������.�.1� G(�����#�#�L�� 6���1 ��� 4��� �������0��#�!���� I������ RAD-rapid application developmentJ� 1� !���1� 4����� ������������#0������.����/����1�.�.�����.��4©� ���*� ��#�1;����� �� �4��4�?1�������%��� �������#�1;����� �� ���.��������4���1� 0���.�#��� ��1�����!��1� 0���.�#�� �� .������������� ������.��� #���� ��0������1�1�1������#�5.�/�����#���0�������������������4�����/�������.�����1���0������������������#������1�����0�������1�����1�;4���#1����������1�10����1�������.��1���������������0������#��#�����#���������������������.�����0�������������1���.��451�� �#����������#.���3�-�����������������1�����������13�

� åå�����æ����=�B�:���ç���;����%�������������������������.�����%���3�

� åå������3�3���� ���������������������=�����B�����:�������

,���0���������������1�����1�#����13�� åå�O����ó�� O�����������������

202

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 207: US - Osnovi Teorije Informacija i Kodovanje

�����=������B������:��������

-�����������������1��0��1������.�����=���������#���#���=��åå�+���=3=3���

��������=�����������=�����������=�������(������������������������0��#�����1�command window����;��������.�������.�.�� ��� ������.�� ���� 0������.�� �����.� .�� ��� ������.�� .�#�� �.�� ���� 1��.�������413��

åå��I�J�������=�

(��������%�����4���� �����1�0��������1�ans� #���� ����1.���.#����#���������"�����.�1���.��451�#�����1��0�������������?����������1.���.#����4���������ans.�(����4�� ��� 0������� �/� 0���������/� #���� 1� ��#�������� 1� ������� ��.��!����.��45�3�

� åå�ô/��²�1������4������3����������O�������� �

(����4�����1���1���.�������#��0������������0�����.��!��0���.�#�3�� åå�ô/��

��� (��������������������������O.���9��������..��41.��203

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 208: US - Osnovi Teorije Informacija i Kodovanje

��� �����������������������������@����14�������������������� ������������>����������������<@����14�������������������� O���������>������������������<@����14������������������� ������������>����������������<@����14���

�����#��;������������������������1���.��!���1���������� 1������413�� åå�æ���ç����I�J�

��������������>������

� åå����I�J������>�

�'#���#��;������.����������%1���������.���/�0���������/������������.��!����.��45���1���������� 1������413�

� åå��������8��������#��;������%1�.�������.����������?���/�0���������/3�

åå��������8����������#��;��������4���.����0����������#���.� ���������413�

� åå�!����������� �#�� ;������ #���.�.�� 0���������� #���� ��� �%1���� 1� ��.�.�#1�� #���.���������413�

� åå����������8�����204

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 209: US - Osnovi Teorije Informacija i Kodovanje

�#��������������!��������������.��!�3�åå�����æ�>�������Ä�=�������@Ä�:�>�B���Ä�<��=��<��ç�

�������������������������������������������������������������>������������������������=�����������������@������:�����>�����B������������<�����=�����<�������

����%1�������1���0��#����������.��!���3�� åå�1�I�J�

���������<�����<�����<�����<�,���0����������.��!���3�

åå��ó�����������������������������������������������������������

�����>�����=�����:�����<������������������>�����=������������������B�����<������������@�������������

���#���������%1�������1��������������/��������.�3�� åå�����I�J�

�������������������������������������������������������������������������>��������

205

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 210: US - Osnovi Teorije Informacija i Kodovanje

�����B��������

� åå�1�I����I�JJ����������<�

���#��������.��������.����.��;����0���!���3�� åå��I��<J��������@�

������������������.��!�3�åå�+�������I���J�+����������������������������������������

� åå�8���=ì���I���J�8����=�����=�����=���������=�����=�����=�

� åå(�����ì����I��@J��

(����>�==B<�������=B�����@�<:������:���::����>�B@B<����B�=BB<����B�<���������:����*�������D���������������#���������������.��!�����'�� �������� 1���#����!��1���.��!���������;����%1�.��1�����13�

����æ�>��������������������������=�������������@������������:���>���B��������

206

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 211: US - Osnovi Teorije Informacija i Kodovanje

�������������<����=����<������çÄ��������#��;���������1%�.����0��������1���������������1�� �������� 1�#�����13�

åå��.��!��+�.���1�����������0�����������3�

� � � åå�������������������������������������������������������������������>�������������������

�����=�����������������@������:�����>�����B������������<�����=�����<�������

$��#�.���!������.��!�����0��!��������������0������������������.��!��1�����1�� 1��������������.��!1��3�� åå�����æ���â��Ä�â<@��â�>ç�

����������������������������������������������>����������������������<@�����=�����<����<=������=�����������������@�����B����<�����<�����<�������:�����>�����B����������<������@�����:����<<������<�����=�����<�����������>����<B����<>�����������><����=�����=�����>������������:�����@�����:�����=�����=@����=:����=>�����������>�����B�����<�����=B����=<����==����>������=�����������������@�����=�����>�����>�����<:�����������������������B�

��������������.��#���1�#!�������������������.��� � åå�£���I�3�3�>JóÄ�

207

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 212: US - Osnovi Teorije Informacija i Kodovanje

åå�£������������������������������������������������������������������������£�������

������������=������B������:��������������������=�

åå�2���������I£J��������������������������������������������������������������2���������������

������=@=�����������:�������@�B<��������>::�������<=:<�������B��<�������:�>:�

������1�;�����0���.�#�����)�!�����.�.�#���(�0���.��excel���.�.�#1�0���!�������'���.�.�!���������.��0��������1���.��!1�æ<���<ç���������.�������G�/��.�H�1������G��.��!�H��'��������������4��xlsfinfoI���� �.�.�#�J���4��������.������1���1�excel���.�.�#1��

� � åå�æ.O0���/��.ç��������Ió0���!�����óJÄ�208

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 213: US - Osnovi Teorije Informacija i Kodovanje

åå�.O0��.O0�������!����.�)�!����0����/��.�

åå�/��.�/��.���ó��.��!�ó����ó�/��.�ó����ó�/��.�ó�

�#��;���������1������0���.#������.����.��!���1�����������413�åå�����������Ió0���!�����ó�ó��.��!�óJÄ�

åå��������������������������������������������������������������������������������������<�

�����������������<�����=������������<�����=�����>������<�����=�����>�����B�

�+�.��� 0��������� 0��!�� #��#�.���!���� ���� ��.��!��� �� �� 10������ 0���.#�� 1�excel���.�.�#1��

åå�����æ���â��Ä�â=��â@çÄ�åå���

������������������������������������������������������������������<�����������<�����=�����>������������������<�����=�����<�����=�����>�����B������������<�����=�����>�����=�����>�����B�����@������<�����=�����>�����B�����>�����B�����@�����:������>�����B�����@�����:�����:������������������������B�����@�����:�������������������������������

209

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 214: US - Osnovi Teorije Informacija i Kodovanje

�����@�����:�����������������������������������<������:�����������������������������������<�����=�

�åå���ô��.�Ió����!�����ó���ó��.��!�9��óJÄ�

�-���������� C��������� ��%��#�� �� C�������/� #������ (�0��� ���� excel���.�.�#1������� ������;����3�

210

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 215: US - Osnovi Teorije Informacija i Kodovanje

�'���������� �������4�����1���0���.�#��1���.��4��#�1;����3�åå�£���������Ió��������ó�ó���1#�óJÄ�

åå�0���������Ió��������ó�ó"����.��!�óJÄ��

åå�£�£�������������������������<�

åå�0�0��������=����������=�����������������������

'��.������ �������4�����0���������C�����������%��#�3�åå�*���/1�������!.I£�0JÄ�

211

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 216: US - Osnovi Teorije Informacija i Kodovanje

åå�*�����������������������������������������������������*�������æ�ç����æ��������������������ç�

����æ�ç����æ������14��ç�����æ�ç����æ������14��ç�����æ<ç����æ������14��ç�

�������C��������#�������������� ���#�������������������=���.�/�4��#���0��1#���

åå�0��1#������0��.Iæ�������������������ç���=�JÄ��$���%���#10���4����1�0��1!�3�

åå��4������æ�����çÄ��(�1��%�������?��������.�� ���������4���3�

åå����.��!����æ����������@çÄ��*�%��#����C�������#��3�

212

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 217: US - Osnovi Teorije Informacija i Kodovanje

åå��!��#���/1�������!.I��4��������.��!�JÄ��-����������#������#��!��0��#��C���������#�����3�

åå#������#��!����/1�������!�I0��1#����!��#JÄ��-������������#��������#��!��0��#��C�����������#�����3�

åå��#��������#��!����/1�������!�I#������#��!����!��#JÄ�

�213

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 218: US - Osnovi Teorije Informacija i Kodovanje

DODATAK B – JEDNA PRIMENA KODOVA ZA ISPRAVLJANJE GREŠAKA U KRIPTOGRAFIJI

'�����.#1���0��#��� ��������1�0�����1�#���������0��������������#��1���.�����.������������������#��0.����#�/�#��1%���������1�4����.���#�/�0���.�#���'����� ���1� 1�;4���#�� ��.�� 1� 1����� �����.������ ������ ��� �����%�.�� �0�#.���������������.������������������#��0.����#�/�#��1%���������1�4����.����������� #��� �� #��0��.��� 0��!�� �������� ������� �� ��.����!���� 1� .���������4����.���#���.����������� ������%#�� ����� ��� ��.��1� ������� #��0��#���� �.���� �� ��.��������0����� �/� #��0����.�� #���� ��� ����#.��� ���� ������#.��� ��%��� 1%�.1�1� 1���.1��������/�#��0����.����������������

�-�����%#��������.�����

(�� ��!�� ��� 0���.������� ������%#�� ����� 0�����;����� �������� �� ��� �����0���.������� $��0��.��� �.��� �.���� �� ��� ��� 0���.���3� 0���.��� ���#�������� ���� 4����.���#��� ������ #���� ��� ������� ��� ������.�����.����!�������/� 4����.���#�/� �.���� �� 0���.��1� ��� 0����� 0��1#�� 0��#��4����.���#��� #������ �� �1����� '� ��.�#1� ����� ��.������ �4����������214

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 219: US - Osnovi Teorije Informacija i Kodovanje

0�������%��/� 1����� �/� �������/� #��0����.�� #���� 1� ���;���� 1� ������������1�0��!����$��0����.��1��1��������4��������������������Komponenta 1� 5�0���.����� �0��!��1�#��������������#��0.����#��#��1%�����.�����%����� ���0��1%���� ��� ��� #��1%� 41��� ��������� ��� �1%����� ��%��� 0��#���������!����/� ������ � #���� ��� ���1 �� 0���� �� 1� 0��������� �#�1;�������� '���1���� �1%��1� #���� ����� .���#�� 0�01������� ���1 �� ��� #��1%� �������.�� �� ��#���0�1���1%������������.������6�#����%��������������#��1%����;��������1���4��4����.�����������.��%����#��0.��.�����Komponenta 2� 5�0���.�����0��!�����.�.����#�����������#���#!��1������#��1�#���� �� #���.�� *��5�������� #������ '� ���� 0��!�1� #��0.����#�� #��1%�����#������*��5��������#��������'���������0��!��� ������1�.��#���;��.������.������0����.�/��#��0��1��.�����0�����#��1��#�!�����������1�#���������.������ %�.��� ������ �� 0�.01��� ������� ����� ��1%���� �.��;��%#��� 0���1� 0����������G4����.���#��#��0.��������M��Komponenta 3 D� 0���.����� 0��!�� ����������� ���� #���� #���� 0��0����0���.��1� ��� #�������� ���� 4����.���#��� ������� '� ������ �1%��1� 0�!���%���0��!�� #���� 1� �4�� ���;�� ��� 0��0��!���� ���� 0��0��!�� �� ������ ���.�������1� 0��!��1�1� ��� ����������� 4����.���#��� �4��!�� #���� ��� �0���� 1�0������1���� �1������%�������;�������#�;���������������������;���0��!���������������� ���� �������!������ ������������1�#���� ���#������1��?������.����#��0��.��������������#���������%�� �1���0��0��!��0���.�����������������;���0��!�� #���� 1���� �������!����� ����� �� ��� ���1� ���1�.�.�� ��4�����/� 0��#��.�����#�5�������!����� �������� #��1��� �������!����� ����� 1� !���1� �������������#����.��.����/��������!�����(�0����1 ���� ��� ��� ��� #��.�%��� .�%#�� 1� ���� �.��1�� ���� �� ��4����� �������1�.�.� 0������ ������� ���#.��� ��� 0���.���� #��0����.��� +�0�����0���������� %�.���� �.���� ����� ��� #���.�.�� 0��!��� #�������� �����������!����������������.�����������0�����������.����1�����������1�.�����#�5�������!���1�������1���#����� ����#�����������.��1�����0������1������

215

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 220: US - Osnovi Teorije Informacija i Kodovanje

����!�����������������#����

Komponenta 4 – 0���.�������������1�.�/��#1�0��1��.1����.�������#��1��#�!�������.������� ���� ���%���1� 1����� 1� �.��1�� $���.�� �� ��� ��0�������� 0�#�.#�/������#�������������1���������������!��������?1������%�.�/�������'�����������1�#���.�� �� �1%����� ��.������� I������ Random interliverJ�� ,�/��#1� ��.���������0������ ��������#������������#������Komponenta 5 - 0���.����� ����%#1� �0���!��1� H£6*M� 1� #����� �� 4������#��0.����#�� #��1%� %�.�� ��1��� ��� ����������� ���� #��� ���� #����� ��� 0����������.�/��#�������.�������������1 ��1���1����1��4��0���.#���1%��������4�������.���#����0������������4���������.��0��� �����G6��5.����0��M�0����#.���.�����#��0.���.����Komponenta 6 - 0���.����� 0���.�#� #���� ��� ���1�.�.� G£6*M� �0���!����� �4������0���.�#�1��4��%1����#��1%��1����������1�4����.���1����1%���������������#��1%��(�����1�����0���.#����������1 ���.#��.�����������1�4����.���1�����#��1%��6���0���.�#���������������1�0���.#�����#�����.��������0�#.�����.�.��0���.��.��4����.���#�/�0���.�#���Komponenta 7 - 0���.�����0��!��1�#��������0�%�������0��!��1����1�#��������1������ #�����#� ;���� ��� ��� ���1� ����������� ���� 4����.����� ����������� #��1%�#���������#��1%���%�.�����������������������4����.��������#��1%���6���0��!���������.�%���0��!�����1�#��0����.� ���Komponenta 8 - 0���.����� 0��!�� #���� ��� ����.�%��� 0��!�1� 1� #��0����.�� <��,�/��#����.������������0��������������������������������4����.������#�����1;������������������#��1%��Ë��(�0������������1��4���1%���� ��.����������������1�����������1�4��� �����������;�����,�%������1������#�����.����#����1����0�.����0�.��4���������.�4����.���Komponente 9 i 10� 5�0���.�����1����0��������0��!���1���������1�0��!����0��#��#���/��������������#��1%�#���������#��1%���%�.��������1�#��0����.��=�

216

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 221: US - Osnovi Teorije Informacija i Kodovanje

��� ��������1�� +�.��� 0����� �� 0������1��� ����%#�� �0���!���� G£6*M� ����#������������#�������0���.#���#����1��4��%1��#��1%��+�.�����0������1���*��5�������� ��#����� #���� #����1��� �� ��.���� ����#��� '#���#�� ��� ��4������ ���1�.�.�0���� ��#������ �����#� #��1%1� #���� ��� ��������� 1� 0��!�1� I�J�� .�� ���%�� ��� ���#��0��.��� 0��!��1��� ����������� 10����� �� ��� ��� ��0������ �.��� #���� �������1 ��.����������1� �.��� ����4����.���#���0���.�#�����������#��0.����#��#��1%��������1 ��1���1����0����#.������.���0��0����4����.���#���#��0.���������������������������.����.�.�0���.�#���Analiza ekvivalentnog kanala

�������� �#�����.���� #������ 0�����1���� 0������;����� ��#��� #���%����#��1��#�!������#������ ��� .�������#��1��#�!����#����1.�?1���1����0���#��������� ���1 � 0�1����� 0����� �������!����� �� �������� 0�� ��� �����#���#.���.�#����������#����1�������������%�.������;��������.��4��� ���1.���.����#�����1�4����1�0�1�������0������0��#����1����1����1��10�.��41�#�������� �0��������� �����#�� �� ��#�����1� #���%��1� �����#�� #���� ��.���� #���� ���������!����0������� ���4������������#���������

����������#�����.����#����������� ��� ����� ��� �#�����.��� #����� 0���.����� �.�� #����� #���� ��� �0���� ��� ��������%�.�� ��%����� ��� ��� ��� 0��#������ ��� ��!�� ������� #���� ���;�� ������1� ���

217

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 222: US - Osnovi Teorije Informacija i Kodovanje

�#�����.��� #������� -������ #����� ��� ��!�� 0���.����� �#�����.��� #����� #���� ��%�.�� ��;�� ��.�� 1� #���%���� #��1��#�!������ #��������� A���� #������ ���;����#������ ��#������ ��.�������� ����.������� �� #����� �� �1����� ���1#�� #���� ��0����������#������������;�������1.�!��1��1���#�������0������1���1�0�#�.#�/������#��1����;��1�0��1#���64������������������� ���0�#�.#�������#�������0��������� .������ 0��������� ���*��5���������#��� �� ��.������� %���� ��� ����.�#������0���� ��4����#�������0��1#����� ��.�����0��1#��������0��#��#�������'� .�#1�0������0��1#���������;����1.�!��1��1���#����1.�#1���1����;���0��1#��0�#�.#������#��� $���� 0��1#�� .����� ��� 0������1� .���1�� 0������1��� �� ����.������� #������4���� #������� 0��1#�� �� �� ��� �.�� ����#��� 0���!���� #���� 1� 4���� ��#���#�����������0���������.��������#�.�#������#��#����1���.��������1����4�������� 1�����%���� ��0���?���� 0��#�� !����� ���;���� 0��1#��� '� 0��������� ������0��������*��5����������#������#����1�1�������.��������#���� ����� #����� ��� ��!�� 0���.����� 4����.���#�� #����� �� 0��1.��� �1���� A����#���������;����#��������#��������.���������#��1��#�!�����#������'�����#����1�0��1#�� ��� #��1%�Ë�#���� �� 0������ 0��#�� �1����� #����� #���� ��� ���1#���� �� ���������A1��#�������0��1.���1�#����1���0��������0��#��0�#�.#�/������#���'�!���1�0�.���������#�/�0�������������.�������#�������0������1�������.������������4�������I���������0��������������1������0���������.����J�#���������������1#1�1�#��1��#�!����� #����� �� �1����� +�.���� #��1%� Ë �#��1����� �� *��5���������#������� �� �������� #���� .�#�� #��1��#�!����� #����� ���� #����� ���� ������#��.���1� ��� ����?��� �0��� �����.�� 0�#�.#�/� �����#��� ���1#�� ��� 0�����1� ����#��1%�Ë�����#��1���*��5����������#�����������4������0��1#��0���.�����#��1%�˪�#������������#�#��1%1�Ë����0���������.��������;���� ��� ��� ��#��1%���� ��� ��� ��������� �#�����.���� #������ �������������� ���� ���� #������ 0��#�� #���� �.��1����� 0����� 0��1#�� ����#��������#�0�!�.�.����6���#����� ������4����4�����������.��%����#�������� �1���� �� ��� ���� ��%��� ��� 0�.������ A�����1� .�����1�� #���� ��� 4���� ���#��������?�����1������������0����.��������1�����:<@����������1�#������.��������#�����4��������������1 ����%���#���������������!�����������.��#��������;����0�.� ��0��;��������������#����#����������������0�������������!�������

218

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 223: US - Osnovi Teorije Informacija i Kodovanje

Uloga zaštitnog koda i interlivera

-���#��#������.��1���������1 ��1�0�.01��.����������.��������/�������1 �����.��������.���'������.�����.�0������.����!���������.�� ����.��#������#������ ������ ������� ��� �0�#.�� 0����#.������ �.����� ������� ��� 0�.������� ��#��0�1�����.��1����1��.����#���.����.���������0��.10�3�� ��4�������������#��� �0��������������#��� ��������������#��

Izbegavanje grešaka� 0�����1���� 0��%������ ��.��#�� �����#�� ��.���/� ���/�����#��� ���� ��.��#��� 0��.������� 6�#�� .�/��#�� �� ������ ��� ��4���#���.�.����/�������I����#�����J�#����1%�.1�1�1�0��!�1��#���!������#��������#��� �� ���#�.��� ��4��� ������.���� #���� 1%�.1�1� 1� �4����� ������� I#������������J����4�������������#��0�����1�����������1�#������������.�.�������������0���0�.1�1�0��������#��0����.���.�����Ispravljanje grešaka� ��� .�/��#��#�������0��%�����.���#�����#���6��.�/��#��10�������.�#.1������0��������.��������#�����;�������#�;����������.�/��#���������1 ��.�.��������!���������.�4���.������0���.#���������#����1�!���1���4������� �.���0���.#��4�������#��� 7���������;����/�#��0����.�������.����1� ���.�.��� #����� #���� 0������1����� ���� 0���.#��� I#��1%� KJ�� #���� ��� 1� .�#1�0������ ����;��� ����#����� (�� ���� ��%��� ��� ����1 ��� 0����� 1� #��.�%�����.1�!�������������.��.�0���.������!������'�0����#.����1��.����#���� �������*��5��������#����6���#����0����������#��������1���4����������������1�4�.����0�������1�����0���������#��!��.�����/�0�#�.#�/�I������burstJ������#���6�������1�����#1�0�����1�1��.����������.����/�#��1��#�!�������.���������%1�����0���.�#���*��5��������#�����1�0����10���9C� #����� �� #���� ��������/�� ��4������/� !�#��%��/� #������ *��5�������� #��� ���4��#�#���#������0���.�����#����PUb� c� ¹V�0��#��0�����-����� (2 )nGF ��*��5�������� #��� 1���� ���#1� ���1����.�1� �������!��1� I0��#�� 0������#��.�1#.1��J� �� .�#��0�.�;����#��0���������������.�#!��1� �� �0��������������#��� ��4�� �� ��� !����0��.�������0/����� ��� #���.�.�� ����#����.��.�1� �������!��1�I�����.����#���#.���.�#�J�� ���������������1�1��?���������������������!�����

219

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 224: US - Osnovi Teorije Informacija i Kodovanje

������������.�#.1������������!��������4����10����.�#�/�������.��#���� ��������;��� �����#����.��.�1��������!��1��Smanjenje grešaka� ��� 1������� ������ ��� .�/��#�� #���� 1.�%�� ��� �����������.���/������#��#������������1 ���0���.���'��������1%���1����4������������1��.1� .�/��#�� ��.�������� ��.�������� #���.�� ��.��1� 0��0��.����� �����.�� 1� ����#��1�� ��.��� ��� 0��0��.����� ��;�� ��� 41��� ���������� ��� #���.���� �1%��1�0���1.�!��1� #���� ��� ����.�� �� ��#��� ���!�������� ������ 1� #���� 0���.�����0�%�.���.�����0�1��������.�����6�#����.��������1����������.��1%����.��1���#�� ������� #���� 4��� 0�� ����� #��0��#��.��� 0��.0�.�����1 �� #���� ������.���.�������#�������������.���������#���� Motiv za uvo�enje zaštitnih kodova i interlivera

�����������.�.��/�#���������.���������������������.�����4����.���1�1�0������1��� #���%���� #��1��#�!������ #��������� 7����� ��� ����/� !������ ��� 4��� ���0����?���� �#�����.��� #����� #���� ���� �������%#�� ��4���� �� 4����.���#���#��1��#�!������ #�������� ���������#� �#�����.���� #������� ����� 4�������.�������4���0����������!���#10�����.����#�������#�������!������(����!�� �0���4����.����� ���0��.�� ������#���%����#��1��#�!������#��������� 0��1.��� �1���� '� ���� 0�����1� ��� ����� ���1#1�1� 4����.���#��#��1��#�!����� #����� 0��#�� #���� ������ !���� ��� 0�������� #��1%��� "�����.������#��1�����#����1�������1�1������.�����.������������������0��0����1����������4�� ���� 1� ��� �����%�.�/� ��4��� '� ���� �0.��#.���� �����1� 4����.���#���#���������������.�#��������#��1%��0��������0��#��#������4��������#���,�%������!���� ��� 0����#.��.�� #��1��#�!����� #����� %���� ��� ��#������� #�0�!�.�.� ����������������3�

. Y ����UËÄ Ë�V Y �

220

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 225: US - Osnovi Teorije Informacija i Kodovanje

�����.���#��#��1��#�!�����#��������1�����*������������.���#���#�����.����4�����;������#�������� ��%������!�3�6����� 0��4���� #��� 4����.���#�/� 0���.�#�� ��� �����4����.� #���� ��� 0��1.����#�� 01.� 1� 0���!���� ��#��� �#���!���� 4����.���#�/� 0���.�#��� �1���� ��%������#������4����.���#��0���.�#��������������.���4����.���#�������1���1�#������#1�����5�5���5�����/�0��./����/����#���4����.���#��0���!��������������������%�.���4����.���#����������������#1�1����<�5����>�5���$��� ������� ��� 0����1.�� 0��4���� �����4����.�� 1� 4����.����� ������ ��.���� ��������� �� �#�����!���� �� ��1���� #��1��#�!������ #��������� 6�� ������ ��� 1����0�����1����.�.��/�#�������� �0��������������#��I�������rror correcting codeJ����.�/��#�����0��1��.������4��.��#��1��#�!������$�0�!�.�.� #���� ��� �0��������� �����#�� 1� ���� �1%��1� 0���������� ��#������������1� 4�.�� .�#�� ��� ������1� ������������ #�����#�� ��� ��;����� (�� 0�������4����.���#��#��������1#�������������#�������.���4����.���#�������������1�4�.��1�.���1����0����1�0��1#1�4��������#��1��������1%��1�#��1%�Ë����#�#��������1#���� ����� ���� #��� �� �����%�.�/�4����.���#�/� ���������� ������0������#��1%�Ë�� %�#� �.�� ���� 0�;������ ��� ��� #��1%�Ë�41��� 1���.���� .�#�� ��� ��� 1���������������!����ºUËÄ Ë�V Y �������.��������0����1.�/�0�����������10�/�4��0���.����������1�.�.���Ë YY ˪����#���˪�#���.��#���#��0.����#��#��1%������������� #��0������ ����?1� 1#10��� #���%���� �������!���������� #���� �����/��� 1�������� �������!����º�����?1� �.�/� �� �����%�.�/� #����� ������ ��4�������#���������#�����1����%��1�#��1%��Ë��

221

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 226: US - Osnovi Teorije Informacija i Kodovanje

��.����������.�/��#��#������#���.�������0��������0�#�.#�/������#���������������1.�?���� ��� ���� #��� ���;�� 0�#�.#�� ����#��� 6�� .�/��#�� �� #��� #���%��/�#��1��#�!����/� #������ #���.�� ��� 0��������� 0���������� ���.�.��/� #����� ����#���������0��������������#����������;���������#��1%������������%������!������1.����1.�%1����.������������������4��.���#�����0����������� ����4����.���#��#��0.���������� �� �� .����/���1�1 ��0�.�����1�.��������������!������#����������

222

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 227: US - Osnovi Teorije Informacija i Kodovanje

RE�NIK POJMOVA

A Algoritam - �0����������������#���0��4������Arnost�D����%��������4�.���+��n-�����.�4��3�n��4������!��1��#���%��1��B BSC – 4����������.��%���#������BSS –�4����������.��%���������Blok kod�D���0������#10���%��#����1��.���1;�����0���.�����.�1#.1�1������G Generator matrica� D� ��.��!�� #���� �� #���.�� ��� #�������� 0��1#��� ���?�����#����/���%���D Dekodovanje – .��������!����#�������%��1���4����0��1#����E Entropija – �����#���%����������?���.�����I Informacioni izvor – ������.����#��!����4����#����0���.�����1�0��1#����

223

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 228: US - Osnovi Teorije Informacija i Kodovanje

K Kapacitet kanala - ��#������� 0���%��� #���%���� �������!���� ��� �����1�#������#������������#��#���%�����������!�������1���1��Kodna re��-�4��������#��!��#��������0���.��������4����������0��1#����Kriptoanaliza - 1��.��.�����1#�������4�����1���������/�0��1#����Komunikacioni kanal� -� ���������!���� �.�� �� ������ 1� 0����.��� 0��1!�� ����?1�0����������0��������.������Kompletan kod�-�0����#���#���%����#�����.�4���������;����#���� ������.����Kodovanje�-�.��������!������4����0��1#��1�#�������%����Kriptološki klju� - 4������� �#��!�� � �� �1;����� 0���1��� ��4���� �1%����/��������$���.����#���0�%�.���.�����������.���1��������������������������������Kriptograf - ��!��#���������������������Kriptoanaliti�ar - ��!��#����������������.����������4���������������Kriptografija - ��1#����0�������1�������.������������������Kriptoanaliza - ��1#�������4�����1�������.����������������� L Linearni kod – 4��#�#�� #��� %���� ��� .�1#.1��� 0���.������� �� �#.��#���0��.������M MAC - #������0����1��1.��.�%��.��0��1#���Minimalna distanca� -� 0���.����� ��������1� C������1� ��.��!1� I��� �1��J�����?1�4����#������������%�.��#�������%���

224

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 229: US - Osnovi Teorije Informacija i Kodovanje

Minimalna distanca dekodovanja� -� �#��� ��� ��#�������� 1� #����� �� �#��0�����������%���#��1���1����4��;1�#���1���%��N Nula kodna re� – #�������%��%�����������1��� O One-time pad - 0����#.���������#����0��0������10��������������.��%����#��1%����$��1%�����������������1%�������%����� ���������#1��1;��1�#�����0��1#���$��1%���������#��������0��������O�ekivana dužina koda�-��%�#����������.�����1;��1�#����/���%���Jednosmerna funkcija -� �1�#!���� #���� �� ��#�� ����%1���� 1� ������� ���1� ������%1������1����������.��#���������1 ���P Poruka - 0���.�#� #���� �� �������1��� 0��#�� #��1��#������� #������ ����?1�0����������0��������.��������;�����41���#���������1������������������Perfektna tajnost�D�.�����#����#�����#��0.�����#����/�������#�����������������%1���#��������PKI - �����.�1#.1�����������#��1%����������;��4��1�����/�#��1%���0��#��#���/��4��4�?1����1.��.���#�!��1�1��������������#������;�����PRNG - ������.��� ��� �����������0�1���1%����/�4������������1� ���!��������.�����#�����������?��������1%�������%����

225

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 230: US - Osnovi Teorije Informacija i Kodovanje

R RSA - #��0.�����#�� �.��� �� ������ #��1%���� 0�.��.����� ��� .����� *��.���A������ �� ��������� �:B>�� ���1���.� *��� ������ �� ��� ��;���.�� ��#.�����!�������#�/�4���������������#1�0�����1����0�����.��������1��-������251���S Stacionarni izvor�D��������!����������%����.�.�.�#���������������������Sindrom�D�0�������0�����������%���������#�!�������.��!����T TRNG - ������.����1%����/�4�������6�#��������.����������1 ��#��.�1��.��1�0����������������!����������������Težina re�i�D�4����������!��1�4���������#��!���F Faktorizacija � -� ��.�����������#�/�0��.�/�4��������� %����!�� ��� #10��0��.�/�4��������H Hemingovo rastojanje - #���.�� �� ��� ����?������ �����#�� ����?1� ��� ����������#���1;�����Hafmanov kod�D����#������%���#���������������!���������;����1�0��1#�����������1�0����.�/�����.�� ����4����0��1#���

226

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 231: US - Osnovi Teorije Informacija i Kodovanje

C CRC – I����� Cyclic Redudancy CheckJ�� $��� ����#�� 0�������� #���.�� �� �����.�#.�����������#���64�%���0����������������9*9���0��������Cikli�ni kod�-����������#����1�#�����#��0�������#�������%��0���.�����.�#�?��#���1���%���Š Šifra - ������.��� ��� ��������������1� ��� 0�.���� �����%�.�� .�0��� �������� 6�����0������1����#���%�����������������.��%���������.��%�����0��1.�����0��#.�%���.������Šifrat - ���1�.�.� �1�#!����������������� ���� .��������!�����.������0��1#��#���� �����������1��0���������0�����#��1%���Šifrovanje - 0��!��.��������!�����.�������.�#.��1������.��� �

227

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 232: US - Osnovi Teorije Informacija i Kodovanje

228

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Page 233: US - Osnovi Teorije Informacija i Kodovanje

Na osnovu člana 23. stav 2. tačka 7. Zakona o porezu na dodatu vrednost („Službeni glasnik RS”, br. 84/2004, 86/2004 (ispr.), 61/2005, 61/2007 i 93/2012), Odlukom Se-nata Univerziteta Singidunum, Beograd, broj 260/07 od 8. juna 2007. godine, ova knjiga je odobrena kao osnovni udžbenik na Univerzitetu.

CIP - Каталогизација у публикацијиНародна библиотека Србије, Београд

519.72(075.8)004.22(075.8)

МИЛОСАВЉЕВИЋ, Милан, 1952- Osnovi teorije informisanja i kodovanja /Milan Milosavljević, Saša Adamović. - 1. izd. - Beograd : #Univerzitet #Singidunum, 2013 (Loznica : Mladost grup). - 228 str. : ilustr. ; 24 cm

Tiraž 300. - Rečnik pojmova: str. 223-227. - Bibliografija: str. 201.

ISBN 978-86-7912-506-41. Адамовић, Саша, 1985- [аутор]a) Теорија информација b) КодирањеCOBISS.SR-ID 200845580

© 2013.Sva prava zadržana. Nijedan deo ove publikacije ne može biti reprodukovan u bilo kom vidu i putem bilo kog medija, u delovima ili celini bez prethodne pismene saglas-nosti izdavača.