US - Osnovi Teorije Informacija i Kodovanje

Preview:

DESCRIPTION

US - Osnovi Teorije Informacija i Kodovanje

Citation preview

UNIVERZITET SINGIDUNUM

����������� �������������������

������������������������������

OSNOVI TEORIJE INFORMACIJA I

KODOVANJA

����������

Beograd, 2013.

OSNOVI TEORIJE INFORMACIJA I KODOVANJA

Autori:����������������������������������

���������������������������������������������!����"�������

���� �UNIVERZITET SINGIDUNUM���#���$!���������%&'''(���#������(�)(��

�������� �������������������

����� ���������������������

��������������������������*�������

Godina izdanja:2013.

������370 primeraka

Štampa:�������+��-/���)�

4��5689;<;=<98>&<?@=<A

C�-F��#*�6H&@>%(J������������#������4��������K������-����(L�-�����)���-�������*���������)��������-�O����)����������������(

„Dobar nau�nik je onaj ko misli kao i svi

drugi, a vidi nešto što niko drugi nije

video. Genije je onaj ko vidi isto što i svi

drugi, a misli nešto što niko drugi nije

pomislio"

��4��.����.5 ������

SADRŽAJ

�� '"6 ���������������������������������������������������������������������������������������������������������������������������������

1.1. Pojam informacije ................................................................................................. 11

1.2. Informacijska hijerarhija ................................................................................... 12

1.3. Informaciono društvo .......................................................................................... 14

1.4. Teorija informacija kao akademska disciplina .......................................... 16

�� )(,*6��7�����(86*��9�7������������������������������������������������������������������������������������:

2.1. Entropija – izbori mogu�nosti sa poznatim verovatno�ama ................. 27 ������ ���.����.��0������������������������������������������������������������������������������������������������������������: ������ "�;�����.����.��0������������������������������������������������������������������������������������������������ ������ $���#.�����!������.��0����������������������������������������������������������������������������������������������� ����<� ��1%��������%����5�0���.��#������������������������������������������������������������������������������������ ����=� '�������.��0������������������������������������������������������������������������������������������������������������= ����>� '����������.��0���������������������������������������������������������������������������������������������������������>

2.2. Informacija i njena mera .................................................................................... 44 ������ 60���!����������?���������������������������������������������������������������������������������������������������<< ������ '���������������!���������������������������������������������������������������������������������������������������<> ������ -����%#��0�����.�!�����������!����5.�����#�/����%���������������������������������<@ ����<� *���.������.��0���������������������������������������������������������������������������������������������������������=�

2.3. Šenonova matemati�ka teorija informacije ................................................ 53 ������ ��������������������������������������������������������������������������������������������������������������������=< ������ A���������������0��#���!��������������������������������������������������������������������������������=< ������ )�.��0����������1�����1�����0��#���!��1������������������������������������������=> ����<� A�������.����������#��������4����14�.�#������������������������������������������������=B

2.4. Laboratorijski rad ................................................................................................. 60

III

�� )8�$��(6�$6 6"�(7)��(86*��9�7������������������������������������������������������������B�

3.1. Kodovanje jedne slu�ajne veli�ine .................................................................. 73 ������ N5�����.�4���#�����������������������������������������������������������������������������������������������������BB ������ $���.����������#�.�������������������������������������������������������������������������������������������������@�

3.2. Efikasno Kodovanje .............................................................................................. 83 ������ "����.�����(5������.�4�����������������������������������������������������������������������������������@� ������ A�������.���������#������1�4���0��1.���1�������������������������������������@B ������ C�������#�����������������������������������������������������������������������������������������������������������������:� ����<� 60.������.�C���������#��������������������������������������������������������������������������������:<

3.3. Laboratorijski rad ................................................................................................. 96

<� $�(�2��+���*)(6���(86*��9�7�������������������������������������������������������������������::

4.1. Komunikacioni kanali ...................................................................................... 100 <����� $�0�!�.�.�#����������������������������������������������������������������������������������������������������������������< <����� $�����������.��%����1�������������������������������������������������������������������������������������= <����� $�����������.��%������������������������������������������������������������������������������������������> <���<� �������0�������������������������������������������������������������������������������������������������������������������B

4.2. Kodovanje u prisustvu šuma .......................................................................... 109 <����� $���0���������������������������������������������������������������������������������������������������������������������: <����� ,���������#������1�1�0��1.1��1��������������������������������������������������������������

=� +�A,�,(��$6 6"��D�$6 6"��+�����*�"27�(7)�-*)A�$�������������������<

5.1. Osnove kodova za ispravljanje grešaka ..................................................... 115 =����� C����������.���������.�;����#����/���%��������������������������������������������������������> =����� �#���������������������.�����������#������������.����.������@ =����� �.�#!�������0��������������#������������������������������������������������������������������������������:

5.2. Linearni kodovi ................................................................................................... 122 =����� $������������������#��������������������������������������������������������������������������������������<

IV

=����� ��.��#����������������/�#���������������������������������������������������������������������������> =����� �#�������3������#�!�������.��!���������������������������������������������������������������������B =���<� 1�����#��������������������������������������������������������������������������������������������������������������������� =���=� ����������������������������������������������������������������������������������������������������������������������������������� =���>� ������������.��������������#�!�������.��!���������������������������������������������������< =���B� ��������C��������#�������������������������������������������������������������������������������������������<

5.3. Cikli�ni kodovi ..................................................................................................... 138 =����� 9�#��%���#�������0�����������������������������������������������������������������������������������������������: =����� �#��������!�#��%��/�#����������������������������������������������������������������������������������<�

5.4. Konvolucioni kodovi ......................................................................................... 147 =�<��� $��������#����1!������#�����������������������������������������������������������������������<@ =�<��� 60�.��������!����#����1!����/�#�����������������������������������������������������������������=� =�<��� ����.���0��#������.#��������������������������������������������������������������������������������������������=� =�<�<� �#������������������������������������������������������������������������������������������������������������������������==

5.5. Prakti�na primena zaštitnih kodova ........................................................... 161 =�=��� �*E�����������������������������������������������������������������������������������������������������������������������������������>� =�=��� 8)9������������������������������������������������������������������������������������������������������������������������������������>� =�=��� C�4�������*E����������������������������������������������������������������������������������������������������������������>< =�=�<� ��.������������������������������������������������������������������������������������������������������������������������������>= =�=�=� �#����������4���������������������������������������������������������������������������������������������>B =�=�>� $��#�.���!������������������������������������������������������������������������������������������������������������������>@ =�=�B� 7�����0������#��������1�9 ��������������������������������������������������������������������������������>:

5.6. Laboratorijski rad .............................................................................................. 172

>� $*��,6-*�8�7��D��(86*��9�6(6�,)6*�7�$��'"6 ���������������������������@@

6.1. Perfektna tajnost ................................................................................................ 190 >����� �����#.��������3�������!�������������������������������������������������������������������������������������������:� >����� -����%#��0�����.�!����0����#.�������������������������������������������������������������������������:� >����� �#���A�������.���������0����#.����.����.��5�6,���������������������������������:<

V

6.2. Neperfektna tajnost i ta�ka jedinstvenosti ............................................... 195 >����� )#��#�!����#��1%����.�%#�������.���.���������������������������������������������������������:= >����� ��� �����.�%#�������.���.������������������������������������������������������������������������������:@

6.3. Autentifikacija ..................................................................................................... 199

B� ���2�6-*�8�7�����������������������������������������������������������������������������������������������������������

6 �,�$���D�'"6 �'���,2���6$*'&)(7)����������������������������������������������������������

6 �,�$���D�7) (���*��)(��$6 6"��+�����*�"27�(7)�-*)A�$��'�$*��,6-*�8�7����������������������������������������������������������������������������������������������������������������������<

*)F(�$��67�6"������������������������������������������������������������������������������������������������������������������

VI

Predgovor

���� .������� �������!���� �� #�������� D� ��� 1�;4���#� #���� ��� ���������.1���.���� 8�#1�.�.�� ��� �������.�#1� �� ��%1���.�� '������.�.��������1�1�����0��0���1��0�.�����0�����.��G6����.��������������!������#�������H�� ����;�� �� #���.�.�� �� ��� ���������� ������� ��� 0�����.�� 1� #��������������!���� �����#��1%�1�1���1��#����.��1�$��0.�����������$��0.����������"��.�%#����.������!�������1�0�.��1���������.�1%����0�����.����1�#������������������0����� �� �4����� 0���.�#�� ��/.��� #��.�.�.���� ����������� �� ������1��������!����/�.�#�����'����������1��4��.��0�����1�����.�������������.�%������#�����#��#�����1;���������.�%#��� .�/�����������1�!���1��4����������������� ��0�������/�������������!����/� ���;���� 1� �#��1� �������/� ��%1���#�� #��1��#�!����/��.����� "� � 1� ����� ������!���� �������.�%���� 1�� ���� .��� 0����� D� �4�������������������0������������!����I�������!����/����;���J��+�������� ��� .�� 0��� ���� ��� 0��1� 1� ��������� ������ ���#�� #��0������� ����� .����4���� ��#��� ������ ��0���� �� ������� .�� ��� ��.�� �� ��� �4��� A��� ��� ����������� �� ����.�#3� (�0���.�� 0������� ��� ���������� �����/� ���1�.�.�� 0����������������������.��.������.���!��.�����#��0������1��.��#�� �����#1��Zadatak br. 1: �������0�������� �#��;���������.������;���1.��#�����0������������4�.�����4��������.�����%�����#���#.����������������0���.�������#�� �����1 ��I������#�����J��Zadatak br. 2: 64�����0���.�#�� �#�� ;�������� �.���� ��;���1.��#�������4�/� ��� �����#���� 0���!�� 1� 4�.��� ����4�.��������������%1�����#������;���1�0�.����1�4�.����,����4�/�1#�����#��0�����������0�.��4���0��#10���������#�/�0���.�#���Zadatak br. 3: �������0���.�#��1�!��.���1�#��0������

6�

VII

�#��;���������.������;���1.��#�������4�/���������#�������������#��������%�����.���� ������� #�#�� ��� 1� �.�� #�� ��� ��#1� 0�������� 0���.#�� #���� �� 4�.��0���������4�������#��������4����0���!������������1%�.�����#��4�/���������#�;������ ��� 0���.#�� .��4�� ���.�.�� �� �#�� .��4��� #�������.������ ��� #10�� 4��4������/�������+���1����4�/�0�.���������#��0�������#��4�/������/.�������1�������0���.#��0���������0��1.���.�����I��#������0��������1�����1���#�������;�������#�#��� ��%1���#��� ��1����� ��#���� ���4�.�J� �� ��� 0��� .���� �����.1�����0��1.�1�.����.�������!���� 4�� ��� 4���� ���1����� �#�� 4�/� ����� ��� ���������� ���#1� #���%��1������#�/�#��1%��������0���.����0����������.����������/�1���1��1���.��41!��1��(��������.��������0/����������������4�/����������.#��10������4���3�

� Šta je informacija, kako se meri? � Šta je algoritamska složenost i kako se meri? � Šta su granice kompresije jednog skupa podataka ispod koje se ne može i�i

bez gubitka dela informacije? � Šta je uzajamna informacija izme�u dva skupa podataka, odnosno koliko

jedan skup podataka sadrži u sebi informacije o onom drugom? � Šta je redundansa (suvišnost) jednog izvora informacija i kako se ona može

iskoristiti? � Kako mogu da konstruišem transformaciju podataka koje šaljem ili

memorišem, tako da na prijemu ili prilikom iš�itavanja mogu da ispravljam greške u prenosu ili prilikom memorisanja?

(�#��� ��1%������ ���� 1�;4���#��� %�.���!� �� ��4�.�� ������ �������� #���� �1�����1 ���1� ��� �� ���1�������� ����� ��� ����.#��� �.���� ��.������� ����;��� 1��#��1� 6���� .������� �������!���� �� #��������� ��� �41/�.�� ���� .�����#�����1������� �������!����/� 0��!��� #���� 1�� ���� 1� �#��� ��%1���#��#��1��#�!������ �.��1�� � � 0���.����� �� ��;��� 0��#.�%��� �0���.� #������������� �������.�%��1� ���#���� ��������� 0��4����� #���� �1� ���� �� ����;����������/.������0��#������

VIII

'�;4���#� �� �.���� ��� B� 0�������� 1#��1%1�1 �� 1��� �� 4�4���������1� #���� ������.���.1����6��� .���� ����� #��0��.��.��� ��� #���1� 1� �� �������.#�� �� ��%��#��������/� 0������� ���� ����.�#� �� ������ ��� #��.�#� 1��� 1� ��,2���� #���0������#�� �#�1;����� 1� �#��1� #���� �� ����� �;4�� ��� �#�� ��� ��1%����/�.���.#�/� !������� �1��� ����.�#� �� ������ ��� 0�����1� .������� �������!���� 1����������1����������������#�/��.�����F�.���!� ��#������������.�#�.� ��1.��#����� �� �� ���#�.��.�� .������� �������!���� 1� �0�����1� �� �������� �/� #��1%��/����������4�.��/�������1�������4��4������/������������������#����.�����6�� 0��4��� �;��.�� ��� �����.��!���� ���#���.�� ��� .������� 1� ����1����1�#��.����1����0��1.���.����.��������#����.������.��������#��1%����;��.��#�#��������1���������/�����������.�.��1�0�.���.�#���������4�����������/�101..���0����#�����.������/��.�����0.������/�0�������������������� ������ 4��4������/� ����� ��� ��.����.1�� 0�#��1��� ��� ����������!����� .�����#�� 0��.10�� ����;��� 1� ���� 1�;4���#1�� 10���� ��� ����.1���������/� 0���!�� �������� #���� � � ����� ���1� �4��4���.�� �.���� ���.�.���#��.�������� �� ���������� ������ ,���� ��� 0�.01��� ���1���� 4��4����� �������� ���#�� 41�1 �� ������ ��.����.��� #��� �0�.�� ��%1���#�� #��1��#�!����������.�1#.1���� #��1%��� ��� ������ ����.����� �#�������� �� ���� ���4����� ����.�����!������!�����(��#���1�� ��/���1������� ��!�����.�������#�������1��.������ ��0�����4����#�������1�;��������#��0��������1�1�;4���#������������������������� � � � � � � � � � � � � � � � � ����1.���

IX

1. UVOD

'� .������� �������!���� !��.������ 0�������1�����0����� �������!���� #��� �������� ��#��1��#�!����#���0��!�����.1�.��K�0���.KK�0���K��������!���������.������������4��#���K����K1%�K��K��K��.�����.��0��.K!��K��������!����1.������������.�#�0��������0��������#����?������������1%�����!�0�����,��������������!������������K!��K����0�.K�K�����K�.K��0��K����K����K1#��#������4K����4���%#���#��1��#K!�����1��K0��1�����K.��K.�#������K%1�K�#���K1#��� ������� ����#����������.�#��� ������� ��� ���#.����#�� ��� 4�4���.�#K�.K�� #K�� �� ��� /1�K��.�%#�/��K1#K� ��1��.��.�������#1���.K��.�#���K��� �������1�.���/��K1#K��������!���� ������,�����������K!�����K�����.����!�0���K��1���������1���������K#K��K1#K�0�#1�K�K������� 0�#1�KK� �K� 0��.1�K%�� .K�� #��0��#K�� 0��K��� ��� ��� 1#K�1��� �K� 0��K��������K!��K� ����� �K#�� /K.�.�� ��.�� �����.K��� 0��.1�K%�.��� ������K!��K� ��� ��%��K.��#���0���#�K� Gin formare“� �� ������� ��� ��K%��K� .K��K���� 1� ����?��1� ����1���������� �KK���� �4��#K� ��%��1�� K��� ��� .�#��� �����K� ���14��K� 0��4�.�����K%������

10

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���� �67����(86*��9�7)� K�K� ���K� �����.����� 0��.10K� �������1� ������K!����� K� ���� �K�����������K%��� �� �0�.�� 0��/K ���� ������!���� ������K!����� (��� ���� ��#���#��������!�����������!���3�

� G2�1���1�.��!��������!��������K!��KL��� G������K!��K� ���K�� 0��� ��K�� �K� ��K� ����?���� ��K��� ��K� ���K� 4�.������K!���K%���KL��� G������K!��K�����������.���K�������0��K.#���������K��4K��.���K�����#���%������!��������#������K?K�1��#������1�4�����K�����0���K.�L��� G������K!����1������������.��#�����K�0���K�!K���K�1������.����.����#�����1�����1 KK�1��K�4����������������K�K.#�L��� G������K!���� 1� K��K��K� #��K� 0�.K�1� ��.10�K� 0��� 1� ���.KK�#��1��#K!��K��K�0���1�1��4K��.K��1������.�L��� G���� K��;K�� ����� �.�� �K�����1����� K� 0������� �.��� ��#� �1� ��0���K��?KK�������#�1.�%�����K�����KL��� G������K�����!����K����K����K��.�0��K.K#KL�����

'�1������.�.#�����.��K.1����K�%�� ��������!����0���K�������K!��K�1�3�� G������K!��K� ��� ��#�����.� ��K��KL�� �������0�.��K����� ��� �K��� ��K���� ����%��1�1� K���� G������K!��K������K%�����#����������1�����0��K.#1L�� G������K!��K����#10�0��K.K#K�1���#���#��.�#.1G�� G�������!�������0�����������/� ����0��1#�M�

"K;��� ��� �K0�K�.�� �K���#1� ����?1� 0��K.#K� �� ������K!����� 0����K� #���� �� %�.��0��.�� 1�1�� (K� 0������ 4���� �B� ��� 0��K.K#� �� ��� #K�� .K#K� ���K� 0��4�����K%������ GK�K� ��� �B� %K�KL� ��� ������K!��K� ���� ��� 0��K.#1� ���������� ��#����K%������ ,K#����;����1���.�� �K� �� ������K!��K� K.���� ���0��K.#K� �� ��K%���K�#�����1���������������

11

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���� �(86*��9�7�$��C�7)*�*C�7����+��D�����!����������!�����+��������1���.�I������Data, Information, Knowledge, WisdomJ� ��� 0������� .�1#.1�������� 0���.�#��� �������!����� ������� �� �1���.�� 1�����1� �������!��#1�/������/��1������#�����������������?������.�� ������ ���0��������0��./��������

� ����.�#���������������������� �������!�����������#��.�#.���� +�������������#�#�����10�.��4�.���� �1���.��������#���������.�����10�.��4�.���

(����!��I���#�����J�0��#���������/������/��#��0����������

����#������C������/��#����������+��

��+����������.�������������1�0�.10�#�3�� podatak��������1��4��#1����4��?���/���0�;������������������� informacija����4��#1���������������������������������?1�0���.�#����� znanje����4��#1���#���.� ���������!��1��������������

12

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

� mudrost����4��#1���#����10�.��41���������#����#��1��#�!��1�#�����#��������� �� #���� �������������� 60�.�0��/� ���� ��� ���������� ��� ��� 0���.�#�����������������!��������������!�����������������������������������4����#���������������!����0�.��4������0���.�#�������#����0�.�����������!�������������;����� ����������������;��� ��1�#��� 1��� 0����� *���1� �#��1� I*1���1� �!#���1J� %���3� 0���.�#���������!����� �������� ���1������� I�������� �� �����.�%#�� 0��!�� #���� �������� ���0�.��������.�J����1���.������%�.����#�.�����������������0�����.���4�����������.�����4��������������.�����0����.����������0�.��#�.����������1���.��4���41�1 ������������������;�����.��.�.��0����!����.���#���.���.��� ���1���.��������������4�����������.����������������10�����0�� ��#������0��./�����#�.������������� 1����1���������������1�0�.��� �/����������;��.���.�����������������1���#��������1���1����1�0���1����.��#�������#.���.����.�� �.�����1� �.��.�� ���� ������� ���� 4����� ���� �������!���� ��� ���1� � �0�.��� �����������*����#������?1�������������1����������#���������?1�1%�������������������

13

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���� �(86*��9�6(6� *'A,"6�+������ ��� ���1�.�.� 1%������ ��� ���������� ����������������4���������1%�������(����������!�����.�/������������������14������������ �/�#���%����0���.�#�����������!�������0��1.��.� �������!���� ������ ��� ��� .���� ��� �������� ��1�.�� � �����%����� #��� �������!����� ��1�.��� *������ ��� .�� ��� ��;�� ���� 1��0��1.��.��� � � �� #��1%�������%��1� �������!����1� �1�#!�������1���.��� �/���1�#�/�����.��.���� ����� ��������������!���1�.�����1��.������������!���1�.�����1����1%��������������!���1� �#������1�� �������!���1� ���������1�� �������!���1� .�����1� ���� 1��#��1�.�����#������#����������!���1�����!��1���.�#���������)#0������.����� ��� 0�.�?��� ����1!�������� ���� 0��.10� ��%���1�� 0�� #���� ��1���%��!���� 4���.��� �0��� ��1���� ������ �������!���� ��� ������ �0.�������1���.������*����� .�/��%#�/� �.���� ��� 0����� ������������� �������!����/� ���;����� #����.��1���%1��������.����.���������������.�����.���#��1��#�!������.�������1�������#�.��� ��%��� 0�� ���� .�����#��� ���1�.�.���� �� ������.���� .1���������������� �������!����� #��� �� �.���� ��� ������ ���#���� #��������� 0����������������������.�.1����������� �#�������� 0������ ���� .�;��.�� #�� �������!������ �#��������� A.�� .����0���� ���%�N� '� #���%���� �#�������� !��1� ��4�� %���� #��0����.�� #��� �.�� 1�1.�������������� ������������ ��1�#�����������.���!�������.������0��������1� ��0����.���*��������.������0��������1�����#��.������� ������1�#��0����.1�1�����!���� � �� ���� ��� 0��1����� �������!���� #�#�� ���.�� ��0���.��� �� ��� ��0���������.��������������0��������I���������������������J���������� �1�����/� ���#.���� 1� #������ ����;�� ��.�.����.�� 4���� #���� ������� 1��1.����#��������������������������������!��������������1������������������

14

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

!������� 0�� #���� �� !���� ������� 0�������� 4�.�� �����#�� !���� �������!����0�.��4������0���������0��������#����10��������.�����1��1����������#.��1���6�� ������� ������0������#����0�.�?1���� �0�.��� ��.�����.����0��#���� ����������!���� ��4������ .�.1� ��1���� �.��� #��� �.�� ��� 1� #���%���� 0�������������.��.��.��������������������������1�#��������#�� �������!���� 0�.���� �������.��� ��1�� 0�������� ����.��.��� ����� �� .�����1���������0�;������1#��.�����.���� 0������ ����������� �� ���.�.�� �������!���� ������� ��� 0��� ��.��� #���#��.�%��� .�/��������� #������ �� �4��4�?1��� .�4����� ������ �� 1� #�������� ��������0.���#���������1�.�����������!����'0���� .������� �������!���� ����� .�����#�� �� 0��#.�%��� �#���� ��� ��.��1� �.����#���� �4��4�?1�1� ���#���.� �� ��0���;��.� �������!����/� ��1���� /� ���/� ��������0����1.����%����,������� �������!���� 1� .�/��%#��� ���1�� #�#�� �� ����� ���1��� �� .1��%��� ����0���#������������$�����A�������4�������/���0���������#�����1�����.#�����.����A����� ��� ��������� �1� ��!�0���1� #��� .�����1� ��� ��������� 0��4����� 0�������������0��#��#��1��#�!����/�#���������#�� �����#��0��.10������ 1����1��#��0���.�1� �#�� �� ����1���1����������������!������ I����.�%#��J� ���;���� 0��1#�� #���� �� �������1� ���� 0�������A������0��.10�0���.�������������!��.����������������.���������

15

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��<� ,)6*�7���(86*��9�7��$�6��$� )��$�� ��9��2�(��,�����1� �������!���� ��� ������� $���� A����� IClaude ShannonJ� I�:�>5����J��A��������������1��.��;��%#���!��.�1�Bell Laboratories�I�:<�5�:=>J����#������1�Massachusetts Institute of Technology�I�:=>5�:B@J��

����#������$����A�����I�:�>5����J�

A��������.��;�����������������1������.�����0�.�����.�������#��1��#�!���3��� ��#�������������#��#10�0���.�#����;��#��0�����.��I������3���.��0����������CJN��� A.�����#�������4������#��1��!��������������.��#��1��#�!�����#�����I������3�#�0�!�.�.�#������9JN�

Odnos teorije informacija i telekomunikacija - )��#.��.�/��#��I,���#��1��#�!���J�� �� A������/� ������ ��.����� �� ��� ��� �����1 �� ��.���������!����0���.�����4��������������������������.�� �������#���A�������� 1� ��� �1������.������ ���1� ��� �:<@�� ������� ���������� !���#10�1� ��1%�1��������!1� ��� ������� .���#��1��#�!���� 0�#������ ��� ��� ����#1� 0���������1 �������.��0���������������4������0�������0���#�0�!�.�.��#�������16

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

A�����������1������.����������13�• $���� A����� IC. E. ShannonJ�� GA mathematical theory of communication”,�

Bell System Technical Journal�������B��00���B:D<�������>��D>=>��71�O�����6!.�4�����:<@��• $���� A����� I�:<:J�� GCommunication Theory of Secrecy SystemsL�� Bell�

System Technical Journal,��@�I<J3�>=>DB�=��A����� ��� ������ 0�#����� ��� �������!����� ������ #��� �.�� 1� �1��#�� ���� �����0���1�1� #��0��#��.� �0��� #���� �� ������� ��/� ������ ��� ���1� ������#��0�����.��4����14�.�#���61�#��0��#��.������������.��0�����������#����������0�������.��0����1��������������������1��4��.��.����������#��� �#�����#����� ��.��0���� ������ ������ ��� #�0�!�.�.�� #������� ���1 �� ��� ���������.��#��1��#�!���1����1�#����������0.�.#��4�������#��0������������� .1�4�� #����� 0��4��;��� ��� A�������� �����!�� I��#��� #��1��#�!���� ����#����������1 ��� 4������51� 4������� #�0�!�.�.�� #������� �� �1�.��� ����#���0�����J��8���.��4��.�� ���������������.���.���I������Network coding)����;���#��������� ������� .������� ��1�.����� #��1��!������� ���� %����� 1� ����������;�������%�.���4��������1�0��1.1��1��������.�������!�����Odnos teorije informacija i ra�unarske nauke - $���������� F��.��� ����������� 1� ������� ����1� ��� ��� #��0��#��.� ������� ����� �����#�� �1;�������#�� ��� ��%1���#��� 0�������� #���� ��������� ��.�� 0���.#��� $��0��#��.� �����#��� �����#���1;����������������0��� I��#��0.����#��0��#��.J�� � ��#�������� ��� ��� ������ $������������� #��0��#��.�� 1���������� �� �������� ���#��#��.������%1������$������������� #��0��#��.� $� ��� 0��4��;��� �����#�� A�������� ��.��0���� C��1#���#�����0���.������#��!�����#��1���������%1�����1%�����1%�����1�#���1��� ��#��� ��0������� ����.�� �� #���� ���� ��.��0��1�C�� �.���� ��� ���� ����?1�A�������.��������������!������$�������������#��0��#��.����.���0����#.����Odnos teorije informacija i fizike - �.�.�.�%#�� ��/���#�� ��� ��.�� ��?�������.��0���� �� ��1���� ��#���� .����������#��� � )�.��0���� 1�#� ��.��� �1��� ��#���.����������#�������.�����#1����1������4�!�������#��.�������������.��!����0��0�.1��4�����

17

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Odnos teorije informacija i matematike - 81������.����� ���%���� .��������������!���3� ��.��0����� ����.���� ��.��0����� 1�������� �������!���� 1� ����������#����1�#!���������0����������.�� ����������.�����������%������4����0�1�1�0��������� �1��%#�/� �#��!�� �1%����/� ���%���� �� ����1 ���1� ���� 0��!��1�����.�� ����.#�/�����?����I.����������#�/������!���J��#����� ��!�����#0����.������#��I������error exponentJ�0���.�.�.�%#���.�.�����1�/�0�.�����Odnos teorije informacija i filozofskih nauka - 6#���� �#�%3�(�������.�������4���������� ������4������ �������� ��F��.��� 1�14�������1���#��1���� ��� 1���������� ���4����� 0��!��1��� 0����#!���� ���� #���� 1����� .�;��#1� 1�1�0����#!���� �/� 0�������� #���� ��4��� �4��������1� 0���.#��� (������ ��� ��� ���1����������0��!��1�����0��#.�%����41�1 ��������0������;������/�0��������#�������1�����4�������.��0���.#�������#����/.����0�.10�#��Odnos teorije informacija i ekonomije - *�0�.�.���� ���.�!���� 1� .�!��������4�����#�� .�;��.�� ���1�.1��� 1� �#0����!�������� ��.1� ��4�.#��� *�.� ��4�.#�� ����1����� ��.��0���� 4�����#��� .�;��.��� ��.���� ��������%��� ���� ����?1� .��������0.�����������.�������1�4�����#��.�;��.����.��������������!�����Odnos teorije informacija, ra�unarstva i komunikacija - ����������� ���#�/���%1����� ��� ���1� ����/� #��0����.�� ������ ��� �� ��� ��%1���#�/� �� ���#��1��#�!����/� ����.��� *�%1���.�� ��� ����.������ #��1��#�!������ ��#� 1�#��1��#�!���� ��%1���#�� ����.������� �.���� 1� �� ���1�.�.�� .������� �������!���� 1������1�#��1��#�!�����������#.����1.�!�����������%1���.���

18

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

2. ENTROPIJA I INFORMACIJA

(�#1��.1�!��1� ��������%�.��#���������?���.�1#���#��0�.�����������1 ��.���0���%��1������0����.��#���� ��������/�4�.��������������������4������+�0������������.1�!����0�.01�������?���.��1�#���������/�������1�0����?�.������1���� 1�1�������1��.�#������0�������'����������������������%���0�����������?���/��.1�!�����#�������0�%�.�����������4��#� �������� .������� �������!����� ���.0�.����� ��#1� �.1�!��1�P�1� #����� ������1 ��Q������%�.�/� �/����� 6���%���� ��� ���1 ��.�� ��RS�� RS��T � RSQ�� 6���#10� ���1 ��.�� ���� ����%�.�� ��PURS�� RS�� T � RSQV�� �� ����.�� #���%������������4����������#�����/�����1�����������1���#���0��!��� ����������1���%���� ����� ���� �� ��4��� ������ ��� ��/� ���1 ��.��� (�����?���.� ��!����������.��� ����� ��4����P�� ��.���� 1������������������� ���� �����1 ��.�� ��� ������#���� �����Q���.����.���4�.�����4������

Na koji na�in možemo izmeriti koli�inu neodre�enosti u datoj šemi izbora P?

��.1�.���� 0����� ���� ��� �.�� ��� � �� #���������.�WPW�#10��P�� ������� 4����������.������#10���� �������������?���.��+��.����������4����������.����1�����WPW�#��� ���1� ������?���.�N� ��#�� ��� .�� 1� 0���!�01� ���1 ��� ������ ��1���0��.10� ����0�#���.������.��������������.����� �4�� ���� 1� ���13� ������� �� ������ ��� ���1 ��.�� ��� #10��PURS�� RS�� T � RSQV������.�����������1�0�.�����#����1�.�#������1�����������������/���������������daXne��0�#1����0�����.������������������.�����1 ��.�� 1�#� ��;���� ����%�.�� ������ 4���������� ��� T �Q Y WPW�� .�#�� ���0�.��������1�4�.��.�0�%������� ����4��#�3�

Da li je zamišljeni broj paran?

Da li je zamišljeni broj manji od 20?

Da li je zamišljeni broj ve�i od 12?

i td��

19

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6���/� ��0�;�������1#���#������ ���0�.��4�������0�.������ ������?���.� �������4����P���� � ��� �.���� ��� ������� ��.��.�� ��� ��� 4���� 0�.����� .�0�� daXne����0/����/� ��� ����?��������0����.�� ��������������1 ��.�� ��� #10��P����4��������������?���.���������4����P��6���;��.�������#�#��0�.�����0�.���������#��1�0�.�����.�0����������������������4���������#����0���#���������������������#����0���#���������������������#������������������ .�� ���� #��0�.������1� �/�Q����1 �/�0�.������6�� ��1��������� �0.���������%��� ��4������� .�%���� �������� 1� ���������� 4���1� #���#��� ��?1.���� �#�� ���0���0�.�������������������������4�������������QX���1����������0�.���1�1;�����0��.���1� ��� 0�����1� 0�%�.��/� ���1 ��.��� �#�� �� 1� ��������� #���!������.����� ��� 0�.������� 0�.����� ��� ���� ��%���� 0�#��� �� �� ��� ��� ���4�����.��.�������������#�����'� !���1� ��.��������� 10��������� �� ���� 0�.10#���� 0��.0�.����� 0��� ��� ���1#10���4����0�%�.��/����1 ��.��.�0���4�������������������;��� Y �Z��,������;���� 0�����.��P�0�.��������� 0���� 0�.����� I��� ��� ��� ����������� 4���� � �� �����Z[\�NJ� ��� ��� #10�� �.�� ���%���3�]���� T � �Z[\^���]�Z[\ _ ��T � �Z^�� ��#�� �����/�0������� ��4�.�0���������������0����������������0�.��������#�� ��� ������� ��� 0��� 0�.����� ne�� .���� ���� �� 0�.����� ���������#10���]���� T � �Z[`^���]�Z[` _ ��T � �Z[\^�� �#�� ��� ������� ��� 0��� 0�.����� da��.���� �������� 0�.����� 0���� �����#1� ����?1� #10���]�Z[\ _ ��T � �Z[\ _ �Z[`^���]�Z[\ _ �Z[` _ ��T � �Z^ �� ���#������ 0��!�� 0�.�������� 0�.����� �� ��4���������������0��#����������������1 �������#���.�1#.1����������#�������

����#�������.�4���0�.��������������.����.�#���4�������0��.����������0����.������1 ��� 1����1#10���Q Y �a����1 ��.���

20

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��#��� 0�.���1� �������� ������ %���� ����%��� #10��� ���1 ��.������.���#����/� ��� .��� �����.��� ���� %��� ��� .���� ����%��� #10��� �/����1 ��.��P�� F����� 1� 0���� ���1� 1� ����%���� �� ��� #10�� 10���� ����������������� ��1��� ���� %����� ��� ����%��� �� %�.���� #10�� ���������� %�.���� 01.�������/����0�%�.����#10��P���.���6�������������%���1����������6������D�ne�����%������������#��������D�da�����%���������������!��1#!���������������0�%�.����#10�����1 ��.�����0�������������������#���b�#���#�� �� 1#��������� ��� .�%��� �������� �����b������ ���.�� ��1��� ���������.��� ���� Y �Z���� ���1� ��� �������� Y ���` ��� 6��� 4���� ��� ���%����������� ���Q�� �.���� �������� ���1���� 0���.��.�� #���%��1� ������?���.�� 1� �������4����P�0��� 1� ������.��� ��� ���1� ��� 4����� �/� ���1 ��.��W�W Y �Z�.����.������#�� ���1� ������?���.�� ����� ��4����P�����%���� ��/UW�WV�� .���� ��� � ��4���/UW�WV Y ��� W�W����4�����4���4�����#�������W�W�.�0�������Šta �e se desiti u opštem slu�aju kada je kardinalnost skupa P proizvoljan prirodan

broj?

��;���� 0������.�� �.1� ���1� 0�.�������� 0�.������ � .��� �����#��� �.�� �� ��#������������ #10��� ���.�� ��0����� 4���� �������.�� � �4��#���c _ ��� 0�� �� ���/���0��������������������.��0��#10������.�������%�.��#���������.��c���c _ ������#�������������.1�!����������#�������

����#�������.�4���0�.����5���������.����.�#���4�������0��.����������0����.������1 ��� 1�1��0�.����1%��1�

21

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'#���#�� ��� 4���� ���1 ��.�� 1� ����� ��4����P�� ����?1� ��� .�0���� 4����� ���.����Z d W�W e �Zf\��.������;����������4�!�.����#�����1 ��.�������1#��.�����/��4���������Z���������.����#�����1 ��.��1�!���1���4���������Zf\����1 ��.����'�0�����1%��1��������0�.��4���b�0�.��������1���1����b _ �����4�����0��������.�%��� �������� ������ .���� #���%���� ������?���.�� 1�P���� ������ ����?1� ��/������.���.���� d ���W�W e b _ ����.��������0�.���;����1��.���/UW�WV Y ��� W�W�#������1�������?���.��1��0�.����1%��1��0���%��1���������.���������0/�����!���4������#���%���1���������� 1�������!��13�DEFINICIJA 2.1 Koli�ina neodre�enosti šeme izbora.� +�� ���1� ��4����P���W�W����1 ��.���#���%����������?���.��/UW�WV����������������/UW�WV Y ��� W�W��PRIMER 2.1�IA�/�#��.�4��J�(�#�������.��0��������/�#��.�4������.����1#10���� Y >< Y �g����1 ��.�����0�.��������0������1�����.��������������1 ���������4������;��0��#���.����� Y ]���� T �><^������������%������#���4�����������0����������/�#���.�4����$���%����������?���.��1�0�.������1����������1������0����1���/�#1�.�4�1����/UW�WV Y ���W><W Y >��$��� �� �#�� ��1��� ������!����� �� ����� ������!���� ����� ������?���.�� ��� ����#���0�����������60����������4��/�������!������.�%1����/������.����#�����.����������!����1�0��#.�%����0��������������#�����1�.�����#�/����?�������1�1 �������� ��� ������!��������� ������?���.�� 0��;����� 0��� .��� �� .������� �������!������%��������������������������4�����#��.����1����(�0�����������0�.�������;����0�.����.����.�#�����0�.�����������������1 ����������� ���.0�.����� ��� 0�.����� ����1�# h �����1 �/� ��������� '� .����1%��1� �#�� 0�.����� ���� 0����1� #10�� ���Q ����1 ��.�� 1�c ����1�#.��/�0��#10��� �� 0��4��;���ij ��������.��� �#�� ���W�W Y #Z�� .���� ���� ��� 0�.��4���.�%���� Y ���jW�W�0�.�������#������01.��1������������.����������1�#��.�������/UW�WV Y ���jW�W������1 �� 1� ��1� ��� ������jW�W Y ���j � k ���`W�W�� "������ ��� ��� 0������� �����������.��� 0�� ���#.���� �#�����.��� 0������� ������!�� �������� �� .���� ����� ���1�.��#������%�����

22

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�����!����� �.���� ��4����P��� ��������1 ��� .�4��� 0�.������ #��� �.�� ��� ���� ���I���#�����J�� �.�������� �������?������.���#���������/����1 ��.���.������4����� $��� ������ ���1 ��.�� ��4������ 0�������� ��4���� �� �� �� ��� 01.1� ���#������ .�4��� ��� ��.�� ���1 ��.��� �#�� 1� 101 ���� 4������� 0�.������ .������4������ 4������� #��� ��� ��.�� �.������1 ��.��� �����.���� ��� ��� �1;���� #�����#�����1 ��.�� �����#�� ���� ���� ������������� ���� ���� ������� ���!�����4���1����/UW�WV Y ���UW�WV���6�����0���01.�1�� ������4��#������������?1������������?���.����#���������PRIMER 2.2� �������� .�4��� 0�.������ (�#�� ��� �.��� ���1 ��.�� ��.� ��� Y ]�� �� �� <� =^���(������#���%����������?���.�����/UW�WV Y ��� = l �����:�4�.��7����� ���1 �� .�4��� 0�.����� ��� ��.�� ��� I���#�� ���J�� "������ ��� #��� � ������0�����.1��� ���1 ��.�]�^�� 0��� %��1� ��� ������� �1;���� �� �����#�� ������������� ��� !����� 4���1� ���/UW�WV�� ���1 ��.�]�^����� #��� �1;���� ���]<^���� #����1;��������.���

����#�������.�4���0�.����5���������.����������1�4������/�0�.�����1��.��1���=����1 ��.���

(�4���� ����������#����������.��������4���������������?���.��/UW�WV3��� �#�� 1�P����P����� �.���� ���1 ��.�� ��WP\W Y WP`W�� .���� ��� ��mUWP\WV YmUWP`WV��������.����1.�!�������������?���.���������4�������1 ��.������������/���0��������

23

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�� �#�� 1�P����P����� �.���� ���1 ��.�� ��WP\W e WP`W�� .���� ��� ��mUWP\WV emUWP`WV�� 41�1 �� ��� ��� ������.��� ���0����1 �� �1�#!����� 6�� ��4���� ��� 1�#���1� �� ������ ��.1�.����� �%�#�������3� ������?���.� ��.�� ��0���.���4��������1 ��.����4������� �#��1�P����P������.�������1 ��.���P���������01.���������1 ��.�����P��UWP`W Y � k WP\WV�.���� 1�����1 �� ������.��� ��� ���1� ��� ��4������mUWP`WV Y mUWP\WV _ ����6������������.�����.���.���1�#!����������.�����%������!�� ��� ��� ���` � Y �� �mUWP`WV Y ���`WP`W Y ���`U� k WP\WV Y���` � _ ���`WP\W Y � _ mUWP\WV��<� �#�� ���P��.��� ���� �� ������1 ��.��� .���� �#�� ��� ���1� ������.���1������ ���1� ��� .���� ���mUWPWV Y ���` � Y ��� 6�� ������!�� ����� �������� 4�.� I������!�� 4������� �������!���J�� "������ ��� ��� ������?���.�.���� 0������� �� �������!����� �� ��� �� ���1� ������.�� 1� �.��� �������������!����� �1�1 �� ��� ��� 1� ��%1������� �������!���� 0�������� ��0�����0��� 1����.���������0�01��������.�0�0�.��������4��������=� �#�� 1� ���� ����.�� ��� �.���� ���1 ��.�� �P\nR\�\� �R\�`� T � �R\�ao��� P`UR`�\� �R`�`� T � �R`�pV �� .���� �� ��� �.���� ���1� �#��4����.�� 1������.���� �.��� ���1 ��.��� %���� 1� ���1 ��.�� �/� �b q Q�0�����rnR\�\� R`�\o� nR\�\�� R`�`�o� T � nR\�`� R`�\o� T � UR\�a� R`�pVs �� 6�#�� #10� �/�0����� �� � ������ ��#��.�� 0������� ��� #10�� �� ��0�1��� �� 1� �����3�P\ t P`� Y rnR\�\� R`�\o� nR\�\�� R`�`�o� T � nR\�`� R`�\o� T � UR\�a� R`�pVs���(��� ���� ���� ���� �.��� ��4����� �.����� �������/� ��4����� 6��� ������;��� ������ ��� �� ��4������1 ��.�� 1� �#��� ��� �.���� ���� �������� �����1���� �.����� 6�#��� ��������� ��4������ �� ��4����1� #��4����������1 ��.��� $�#�� �� #���%���� ������?���.�� #��4�������� �.���� ������0�����#���%������������?���.�� 0�������%��/� �.�������1 ��.�N�6������ �������1�����1����� ���.�1��TEOREMA 2.1� ���.���.� ������?���.��� (�����?���.� �.���� �������/���4���� �����#�� ��� 1��� ������?���.�� �.���� #��.�.1���.��� .���/UW�\ t �`WV Y/UW�\WV _ /UW�`WV��� �#��3� �#��� �� ���� ��� #���� ����� ��.�� ���.���.�� �1�#!���� ������.����������

24

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

/UW�\ t �`WV Y ���W�\ t �`W Y ���UW�\W k W�`WV Y ���W�\W _ ���W�`W Y/UW�\WV _/UW�`WV�����.��������?���.�� ����;����,������������1�0�.01��.��0���;��� ��.1�!��1���� �� ������?���.�� 1� ��� �������� �.1�!���� �4����1�� 1#���#�� 1� .�� �.1�!������?1�4������������#�����������.���1���������"��.���� �� ������1� ���� �� ��/�#��� .�4����� 1� #���� ��� ������ ��� ���������?���.����������1������!���#10������/�#���.�4���mUWPWV Y uvw� >< Y >���(�� �.����%������;�������.����� ���������?���.�0���!���� ������ ���1���1� ����������1� ���� ������� #������ �����#��uvw� @ Y ��� ��� ��� %������!�� ��;���� ���.��������?���.� 0���!���� ��� !���#10���� .�4���� 1��1;������� 1� �������� �.�����4�����.������4����0��#�������������������.���> Y uvw� >< Y uvw� @ _ uvw� @��'�0�.���������;������#.��� �����.������1%���Q��������/��.���� ��4�����,���������#��.��0��������1;����Q�

�\ t �` tkkkt �i Y rn�\�\� �`�\� T � �i�\o� T � s���������1 ���.����������/���4�����,�����������������#.���0�����1�����������0�.���1%�����1��;��.��������������������?���.����1;������.�������1 ��.��/UW�\ t �` tkkkt �iWV Y /UW�\WV _ /UW�`WV _ x_ /UW�iWV��I���J�(�#����#�!#��4�!��Q�01.������#����0�����1�������1�4�!��������������6���0��!�� ����;���������.�� 0��� 1�Q��������/� �.���� ��4�����\� T � � �i�� 0���%��1��#���.�������>����1 ��.���������I���J��1#10���������?���.��/����0����#��� 4�!����� #�!#��Q�1��.�0��/� 01.�� ��3�/UW�\ t �` tkkkt �iWV Y /UW�\WV _/UW�`WV _ x_ /UW�iWV Y � k ��� >��8����������������.1�!����������?���.��1�?�������.����P��1�#������4����������������1 ��.����������������#�����(�����?���.�0����1;�����.��1����1 ��.�������������������4������0�.�����#����.��4��0�.��.��1�!���1�����;�����.��������4�����(��������%�������������������� ������?���.�� ����;���� ��uvw� WPW�� �#�� 1� 10�.��4������ 4������� 0�.������������!�������������?���.�����4�.��

25

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��.����� 0�.�������� 0�.����� 1� ���� ����?������ ��.�� ��0����.�� ���1 ��.������1#1��� �� .�4���������1�#���� ����;�� ��������%���������.��#����#��������1 ��.�� �.����P�� 1;���� #����� 1� 0��4��;��� �����#������� ������?���.��uvw� WPW���#��1�#���� ����4�������0�.��������4������4�������#����(����������.���.�����������/����1 ��.������?1�4����4����1���

26

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� )(,*6��7�� D� �+�6*�� �6-'y(6�,�� ��� �6+(�,���")*6"�,(6y������.���� �.1�!���� 1� #������ 1� ���� 0����.�� ����.�� �� �� #������ �� 0�����������1 ��.�� 0�����1�1� 1� ��#��� 0���.������ �.��1� ���1 ��.��P�� (0��� �#����#�� #1!�� .�#.� ��� �0#��� ����#1�� 0�������� ���!�� �� 0�����1�1� %�� �� ��� ��#�/���1��/��'������ �������������.�� ��1��.������1 ��.��� Y r�\� ��`� T � ��is��������� ����.�� �� 0z ����1 ��.���� �z ���� � Y ���� T ��� �6�� ����.�� �������1����������������� ��1���3����������������������������� d 0z d �� ����� Y ���� T ��� �� { 0ziz|\ ���������������������������������I���J���.��� ��4����P��������� �� #10��� ����.�� ���� Y ]0\� 0`� T � 0i^��4���1�������.������.�����4�����8������������������������������ ����%����DEFINICIJA 2.2� �#�� ���P ��.��� ��4���� ��} �#10� ����.�� �� ����P �� #�������������� 1��� I���J�� .���� �� 0���UP� }V������� ����.����� �.��� ��4�����'#���#�� ���)� ~ ���� .������1� .���������.�����������.�� ���������������?���� �������������.�� �������.����0U)V Y { 0z������ ��

Kolika je koli�ina neodre�enosti u verovatnosnom sistemu izbora?

��;���� 0��.10�.�� ��� �.�� ��%��� 0�.��������� ����� ��������1 �/� 0�.��������?1.��������4��0���������#10��������#�/����%����4�������0.�������.��.��������������������4��4�����41/� ��������.�� ��#��������0���;���������.0�.����� �0��� ��� ��� ������ ���1 ��.�� ��!���� �RS�������� ����.����� ����/���1��/��*��1�����������/�0���0�.�.�������������1 ��.�RS�����������������������#�������.�� ���0�.���������������0������������������1��������0�.������������#�������������HneM����.���������0�.��������PRIMER�2.3�(�#�������.�����.������.�����4����UP� }V���� Y r�\� ��`� T � ���s���� Y r���� ����� ����� ����=� ����=� ����� ����=� ����=s �� 6�������1 �� 4������� .�4���0��#������ ��� ��� I���#�� ��<J�� ��#� ��� ��.����.���� .�4��� #���� 1����� 1� �4��������.�� ��� 0��#������ ��� ��� I���#�� ��=J�� 7����.����� ��%1���� ��������� ���

27

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

0���.#���������%�#�����4����0�.�����1��1%��1�4��������.�4��������1��1%��1�.�4���#����1�����1��4��������.�� ����B=��

����#����<���������.�4������0��������������%�#������4������0�.��������

����#����=���.����.����.�4������0�����������#����1�1��4����1��.������.�� ��0������������/����1 ��.���6%�#�����4����0�.����������B=��

��������!���� �%�#����� �����.�� 4����� 0�.������/� 0�.����� ����� .�������������.�#��*�����������0��4��������0����.�����������#���.��1�.�������#���������$��1%�������������0�.10#����������#10��/����1 ��.�������������0��#10���28

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�����#��#���������.���� ������#�/�����.�� ������.�������#�����������0����.���������%�#�����4����0�.������0��#���.������������{ 0ziz|\ ��� 0z��6�� ���%���� �� ������ ��.��0����� �� 0���.����� ���1� ������?���.�� #���%����������?���.�� ����.����/� �.���� ���1 ��.��� '#���#�� ��� ��#�� �������.�� ��0z Y ����1������#����!����������� k ��� � Y ����.����������%������!�������������� � ��� � Y ���DEFINICIJA 2.3�(�#�� ���UP� }V�����.����� �.������1 ��.���,���� ���#���%����������?���.��1�����1�������������.��0�����

CU�V Y ��0ziz|\ ��� 0z ���

'�������!����I���J�0�.��������?����.�0���0���������.���41�1 ������������������������� ������.���� ����� c �������.��� �������� 4���1� ���1 �/� �������� 1��#0������.1� 0�.�������� 0�.����� �� ��4������� ��������� �������� 4���� ����������������!1����������������1%���������0�01��������������1���������������!��4�.��PRIMER 2.4� ����%1������ #���%��1� ������?���.�� ��� ����.����� �.���������?���.�����0�������������CU�V Y ��0z�

z|\ ��� 0zY ���� k ��� ��� � ��� k ������� � � ��� k ������� � ���= k �������=� ���= k �������= l ��B�@B��

4�.����U}V���� ������ ��� �%�#����� �����.�� �1;���� #���� 1� 4������ .�4�1� 0�.����� ���I���#����=J��������� �"67�,"��)(,*6��7)��1�1 �� ��� ��� ��.��0���� �1������.����� 0����� .������� �������!����� ���� ���������� ������ #���#.���.�#��� '� 41�1 �� ���� ��� �.��� ���1 ��.�� ����

29

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����.�� ���� � Y r0\� ��0`� T � 0is �����%��.�� ��.��0��1� .��� �.���� ��CU�V Y Cn0\� ��0`� T � 0io������ ���� 0����.�� �0�.�� 0����� ��.��0���� �� 0������ ����� ������?���.�� ����.�������1 ��.��1�#��������1���������������.�� ��0�������/� ��4������#�����}�1�����������0���������0���/�b����1 ��.���.�������

C �\Z � � \Z � T � \Z� Y �{ \ZZz|\ k ��� \Z Y � ��� \Z Y ��� � Y /U�V���OSOBINA 2.1�)�.��0����1�����������0����������.�� ��b����1 ��.�������#����� ����� ������?���.�� ��������1 ��� �.���� ���1 ��.�� 4��� ���������/�����.�� �� ���1 �/� �/����� 6��� ���1�.�.� ��� 1� .����� ���� �� 0����.���2�0������0���!�0�����������������������#����.�������1#���#��������������.������?��������#���0���������1�������0��.0�.��.�������#������.�� �����1 �/��/�����'�.���0�����1���.��0�������0����������#��������������?���.������������.�������1 ��.��1�#������������1�0����.������.�� ��0�������/��/�����+�� ����.�� �.��� ���1 ��.�� P �1� #���� ��� W�W Y � �� ������ ��#�����1�������?���.� 1#���#�� ��� 0��������� ����.�� �� �/���� ���� �#�� 1� ������?1�4��� �����#��� ������� �;��CU�V d /U�V Y ��� ��� 6��� .�� ��;���� �������������#���.���'�.1��/1�0�.��4�������������� ��������LEMA 2.1� (�#�� 1�0\� ��0`� T � 0i����\� ���`� T � �i���� ��0������ ����.�� �� �����.���4���������1 ��.��Q��,�����;�3�

�0z k ��� �z diz|\ �0z k ��� 0zi

z|\ �0���%��1������#�.��;���#���������#�����0z Y �z�� �#���� �1�1 �� ��� ������ � Y ��� � k �� ��� ������ ������%��� 0�������� ������.��� ������1�R�� �� 41�1 �� ��� ����� ��#���#��� �1�#!����� �;�� ��� ����� � d � � ��� 61��������%��1���4���������%������!�����1���#���#��.�����%���������.���1�#!����1�#�������� �0��������� .�����.��1�4����#����� .�%#��� ���#����� .1� .�%#1� ���4������� Y ���10���� ������4�.�������1��������#�.�����.�����I���#����>J��

30

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#����>�$���#��.��1�#!������ ����.�����.��1�.�%#�������

�.������3��� �z0z d �z0z � ���0����3��

�0z k �� 0z�ziz|\ d��z ��0z� Y � �i

z|\iz|\ � Y ���

(�����1�����������#��1%1����������3��0z k ��� �z� �iz|\ ��0z k ��� 0z�i

z|\ Y ��� ���0z k �� �z0ziz|\ d ���

-������ �������#�.� �;�� �� ���#��� �����#�.�� �#�� �� ���� �#�� ����z 0z� Y �� �����#�������������#�����0z Y �z����#��0������������1�������4�����3�CU�V � ���� Y ��0z k ��� 0z�i

z|\ _�0z k ��� �� � d �� �iz|\ �

31

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�������#������#�.���;���#���������#�����0z Y � �� ���6������1��������#���������� 1�.�����1��TEOREMA 2.2

���CU�V Y ��� �������� ��� ��#��1�1� .��;��� 0�� ��� ��0�������� ����.�� �� �.���� ��Q����1 ��.��� ��#��1�� �� ��.�;�� ���� ��� ��0������ #���� �������� �����#�������.�� �����/����1 ��.���������� "�&(���"67�,"��)(,*6��7)�

�� �#�� 1�UP\� }\V���UP`� }̀ V���� ����.����� �.���� ���1 ��.�� ��� #�����;��WP\W Y WP`W���}\ Y }̀ �� .���� ��� ���U}\V Y �U}̀ V�� 6��� �� 0�.���1�����.1�.����.�������.��0������������������0����������.�� �������������0����������1 ��.��R��1���#����.��1����1 ��.����� '��;��.���������!�����n�\� ��`� T � �po Y �n�\� ��`� T � �p� �o���.��0�.�%�����#����!���� ��� ����� k ��� � Y ��� � ���1 ��.�� %���� ��� ����.�� �� �1��� ���1.�%1����1#10�1�#���%��1�������?���.���,���������1�#���1�����������.1�!������ 0��.�� ��� ��1���� ��� �� .�#�� ���1 ��.�� �� �� ��#������������.����� ����.�����������#1����1���I���#����BJ��(��0�������1��4����1������ ���1 ��.�� �� ����.�� ���� 0� �� ���50�� �#�� �� ���4���� 0������1 ��.�� ��� ��1���� ���1� �� 4���� �� ���1 ��.�� �� ����.�� ����� �� �� ����#�������4������1������1 ��.��.�����������1�������1�4���������1 ��.�� �� ����.�� ������ �� ��� ������1���� �� ��� �;��{ ��a�|\ Y�� ��� { ��a�|\ Y ��� �������.���� ��� .�� ��0��!���� 0\ _ 0` _ x0Z _ �\ _ �` _ x�i Y ��� ��������]0\� 0`� T � 0Z� �\� �`� T � �i^������0����������.�� ��b _ Q��������.���,�����;������ ������!��������?1���.��0��������������������4����

CU0\� 0`� T � 0Z� �\� �`� T � �iVY CU0� �V _ 0C�0\0 � 00̀ � � T � 0Z0 � _ �C ��\� � ��̀ � � T � �i� ���32

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#����B� ����#������.������.������1 ��.��1�#���������0�������1�4����1�������1 ��.��������.�� ����0������50���������1�������1����������1 ��.��������.�� ������ �� ����������1 ��.��������.�� ������ �� ��������� $�*�$,)*�+�9�7��)(,*6��7)�

�� �n�\� ��`� T � �ao Y �U��U\V� ��U`V� T � ��UaVV�������#1�0���1.�!��1������ �n�\� ��`� T � �ao����#��.��1������1�#!����0����������4�������� '��;��.����������#�.���n�\� ��`� T � �ao Y �n�\ _ ��`� ��� T � �ao _ n�\ _ ��`o�U ����f��� � ����f���V�������#1���0����1�����.�� ���\� ��`� T � �a�����b � ���<� � �\a � � \a � T � \a���������.������.1 ���1�#!��������������<�� �2'F�7()�")2�F�()�5��6 �),(�$�F�.�� �� ������ �.1�!���� 1� #����� �� �#��� ������.������ �/��1� ��������#0������.��0����1;1�����#�� �������4�����(�� .�#��0����1;������ �� ��������� ���0�������1� ���������� �� 1�� ���� �� �#��� �/��1�0��0�1�������?������4�.�#� �����14�.�#� ��� ����%��� $��� �.�� �� ����.�� �� ���1� ��%1��.�� ���� ��� ����?���� ���0���������?�����.�#������0����#������#�����#����/��1�������1�1���#���������

33

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

4���� ���1� 0��1%��.�� 0��� 1����� ��� ����������1� ����?���� 1����� '� .������1������������� ��������!�����DEFINICIJA ��1%��������%�����(�#�� ��� ��.� 0��.��� ����.�� �� I��8��J� �� ��#�� ������1�#!���� #���� 0����#���0��.���������.����/��/������1�#10�������/�4��������.�#������;�3�

�� �#10�] W�U V �d �^��������?���#����0��0����¡�����#������������ }] W�U V Y �¢^ Y }] W�U V �Y ¢^ Y ����

,����������1%��������%�����6�4���� I�J� �� �������������.� �� ����1 ��� ��%1������ ����.�� �� ����?���������/� ��� �1%���1� ���%��1�� 6�4���� I�J� ��� finitnost I#���%��.J� �1%��������%�������6�4���� �������� #���#.����1� ��.��0��1�� ,�� ���%�� ��� �#�� 4�� ����.�1��� �;�������� <� 1���� ��� ��#1� ���1� ������?���.����� ���� 4�� ��0��!������ #��� ����������.��0��#1����1�������?���.���'� !���1� �����/� ���������� 1�� ���� ���� 1� ��.�!��1�� "����.������ �.��1����1 ��.��UP� }V���;���� 0����1;�.�� #���%�1� �1%���1� �����4�1���� #���� 1����������.���z����� � ��U�\� ��`� T � ��iV��"����.�� ����� ����£ Y �z������.�� ��0¤U�zV�� ��}��� ������ �1.���� ����.�� �� �1%����� �����4������ �� �4��1.�� �#�� #���%����1%����������4��� ���1!���� ����������.������.������1 ��.����.����1��.������.������ �.���� ���1 ��.�� ��;���� �����.�� �� �1%������ ���%����� ��/�����.����������.��0�����1%��������%�������������.�������P����.�����������

CU£V Y �� 0¤U�V��¥ ��� 0¤U�V �������� ��.��0��1� ��;���� ��.��0��.���.�� #��� ���1� ������?���.�� ��!����1� ����.����1%���������%��������)�.��0���� �1%����� �����4��� �� ��� �/����U� Y �� � Y �V�0��#������ ��� ��� I���#����@J��

34

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#����@�)�.��0�����1%����������4���������/����

(��I���#����:J��0��#������1���.��0���������%�.����0���?���/��1%����/����%�����

����#����:�)�.��0���������%�.����0���?���/��1%����/����%����

����=�� '�26"()�)(,*6��7)�(�#�� ��� ����.� ����.����� �.��� ���1 ��.��UP� }V��� ��#�� ��� ���� �.��1���!�������1%��������%�������(�#������4���������������������������) ~ ���

Kako poznavanje ove �injenice uti�e na neodre�enost sistema?

35

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6��� ����?��� ���1#1��� ���� ����.����� �.������1 ��.��U)� ��V�� 6��� ������1���������.�� ��0¤W�U�V Y ¦§U�V¦§U�V � �����#��� � )��(�����?���.� ������ ��� ���� ���� �.��� ��� ��.�� �� 1������ ��.��0������1%��������%�������#�������0����.��¨3�CU£W)V Y �� 0¤W�U�V��� ��� 0¤W�U�V ���

(�#��������1%��������%�����������������.������.������1 ��.��UP� }V���������� Y ]������<^� ��� Y r��=� ����=� �����=� �����=s���) Y ]���^���� ������ ����?���� ,�������4��1�������.��0������.���3��U�V Y ���=�������= � ���=��������= � ����=���������= � ����=���������= Y ��B=

4�.��$�#����3��0¤U)V Y ��>�=� ��0¤W�U�V Y 0¤U�V 0¤U)V© Y ��@� ��0¤W�U�V Y 0¤U�V 0¤U)V© Y �������4�����3��U�W)V Y ��ªW«U�V�����ªW«U�V � �ªW«U�V�����ªW«U�V Y ���@�������@ � �����������l ��B��:�4�.�����>�� '+�7��(��)(,*6��7��'�����0������1���1%� ����#�#������.��0�������1;������.�������1 ��.�������������������/� 0���������/� ������ 0����� ��.��0���� #��0�����.�� �.�������1 ��.�� ���� 0�������%��/� 0���������/�� ,�#�?��� #�#�� 0��������� ��4���� 1��������#��0����.�� �.�������1 ��.�� ���� �����.�� ������0����������1.�%1����������?���.�0���.���/�#��0����.���.�������1 ��.������0���������/��(�#��1�����.���.�������1 ��.��U�P\� }\V�1��#��������������1%����������4��������.���U�P`� }̀ V�1�� #���� ��� ������ �1%����� �����4���¬�� ,���� ��;���� �������.��

36

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���1;���� �.�� n�\ t �`� ��o �� ���� ��� } ��0����� ���1;����� ��0�����������.�� ���ª�­U®�¯V�� ����������� ���� 0�������U�� OV � �\ t �`�� ,���� ��;�����������.��.�����.��0�����������.����.���3��U�� ¬V Y � � � ��� ¬U�� °V ���� ��� ¬U�� °V¯�±�®�±�

�U�V Y � � ��U�V������ ���U�V®�±� ��U¬V Y � � �¬U°V������ ��¬U°V®�±� �

U kakvom su odnosu ove tri entropije?

TEOREMA 2.3

+��4����#����0����1%����/����%��������¬��;�3��U�� ¬V d �U�V _ �U¬V�

+��#������#�.���;���#���������#��1�£���²����������1%��������%�����.������� ¬U�� °V Y ��U�V k �¬U°V�

6����� ������ ��� ��� ������?���.� ���1;����� �.���� 1�#� ������ ��� 1���������?���.�� 0�������%��/� �.����� *������ 0�.�%�� ��� ��?1�4��� �����.��I#��������.�J������¬��#����#���������1�.1���1��������%#���1���1�������?���.��1��4�������4����'��1%��1��������/�����¬������������%#��������?���.����������1��;��.��������#������#�.���,���������������;�����������.��������������������4����'��0�.����1%��1���#�������� �1%����� �#.���£ Y U�\� �`� T � �iV�� %���� ��� ��0������ ����.�� �� ��.����0¤U£V�����1;������.��0������.��0���������.���3�

�U�V Y ����U�V ��� ��® U�V ����������������0������0�������/�#��0����.���#.������1���.���3�

37

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���U��V Y � � ��U�\� �`� T � ��[\� ��f\� T �pV®��T�®³´��®�µ��T�®¶ ���1%��������%������\� �`� T � �i�1�1�������������������#���������#���;�3���U�V Y ��\U�\V k ��`U�`V kkk ��pU�pV�LEMA 2.2 +�� 4���� #���� �1%���1� ������������1� �����4�1� I�1%����� �#.��J��£ Y U�\� �`� T � �iV��;�3�

�U�V d��U��Vp�|\ �

7����#�.� �;�� ���� 1� �1%��1� 1�������� �������.�� �1%����/� �����4����\� �`� T � �i� PRIMER 2.5� (�#�� 1��\� �`� T � �i��������� �1%����� ���%���� #���� ��4����1������.�������������.�� ������=��������3����U�V Y ��=�������U�V Y ��=������· Y �� � � � � b��,������3�

�U�\� T � �aV Y b k �U�\V Y b������.�������1%��������%��������¬��(�#������0���������������!����¬ Y °��

Kako ovaj doga�aj uti�e na neodre�enost veli�ine �?

60����������¬ Y °�����������0�������0¤U�V�1�1���1���0����13���W°U�� °V Y ��� ¬U�� °V�¬U°V �

0�����1�������.��0���������#�������¬ Y °���.���3��U�W¬ Y °V Y ����W°U�� °V������W°U�� °V�® �

'�� ����#�� ������0�������3�38

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�U�W¬ Y °V � �U�W°V���#��1�����1%����������4������������.������3�

��W°U�� °V Y ��U�V��U�W°V Y ����U�V������U�V Y �U�V�® �

6������� #���� 1� � ��� ¬ ���������� �0���!���� 0���������� ¬ ���� ������������?���.� 0������������� ������ ��� 1����� ��.��0���� ��;���� �������.���%�#���1�1���1���.��0��13��U�W¬V Y��¬U°V�U�W°V¯

�.�����1�.�����%�#����������.��U�W°V�1�����1����O�� �����������1�������.���.�0��1����/���.��0���3�

• �U�W°V �D� '����� ��.��0���� �����4��� � �1� ����1� ��� ����?��� �����4���!��1�¬ Y °��• �U�W¨V�D�'�������.��0���������4�����1�����1��������?���¨�• �U�W¬V�D�6%�#����������.�1�������.��0����

TEOREMA 2.4�+��0����1%����/�0���������/�����¬�1�#��;�3��U�� ¬V Y �U�V _ �U�W¬V�

�����U�� ¬V Y �U�V _ �U¬W�V��

DOKAZ TEOREME 2.4�"�;����� ¬U�� °V Y �¬U°V��W°U�� °V��0�����.���3�

39

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�U�W¬V Y��¬U°V�U�W°V¯ Y ����¬U°V��W°U�� °V������W°U�� °V¯®Y ������ ¬U�� °V���� ��� ¬U�� °V�¬U°V Y¯®������ ¬U�� °VU������� ¬U�� °V � ��� ��¬U°VV¯®Y �U�� ¬V � �U¬V��KAROLARIJ 2.1�+���#��0����1%����/����%��������¬��;�3�

�U�W¬V d �U�V��7����#�.��;���#���������#��1�����¬����������DOKAZ KAROLARIJA 2.1� ��������� 0������ ���%������ ��.��� ,�������� ������4�����3�

�U�W¬V Y �U�� ¬V � �U¬V d �U�V _ �U¬V � �U¬V Y �U�V�0���%��1������#�.��;���#���������#��1�����¬����������KAROLARIJ 2.2�I-�������������0���������%����J�(�#��1��\� ��`� T � �i��1%��������%�����,�����;�3�

�U�\� �`� T � �pV Y �U�\V _ �U�`�W�\V_� � � _�U�pW�\� �`� T � �p[\V��DOKAZ KAROLARIJA 2.2� �#��� ����������1#!������+�������.���;�� ����.� ���.����������<�����.0�.���������;�������#�����(�#������p Y U�\� �`� T � �pV��(�����1�.���������<���0��.0�.�#�����1#!�������4�����3�

�U�\� �`� T � �p� �pf\V Y �U�p� �pf\V Y �U�pV _ �U�pf\W�pVY �U�\� �`� T � �pV _ �U�pf\W�\� �`� T � �pVY �U�\V _ �U�`W�\V _ x_ �U�pW�\� �`� T � �p[\V_ �U�pf\W�\� �`� T � �pV�$�#���;�����Q _ ����;��������#��Q��40

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

PRIMER 2.6

��� ¬U���V Y ��� ¬U���V Y ��� ¬U���V Y \� � ��� ¬U���V Y �� ��U�V Y �°U�V Y�̀ �·���U�V Y �¬U�V Y \���������3�

�U�W¬ Y �V Y ���W°U���V ��� ��W°U���V � ��W°U���V ��� ��W°U���VY ���� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V ������� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�VY ���= ��� ��= � ��= ��� ��= Y ����U�W¬ Y �V Y ���� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V � ��� ¬U���V�¬U�V ��� ��� ¬U���V�¬U�V Y ���

�U�V Y �U¬V Y ��� ��� �� � �� ��� �� l ��:�@����U�W¬ Y �V e �U�V e �U�W¬ Y �V��

�U�W¬V Y �¬U�V�U�W¬ Y �V _ �¬U�V�U�W¬ Y �V Y �� �¸·¹��U�� ¬V Y � ��� �� l ��=@=��¸·¹�

6��#�����;�����������������;��,���������<��U�� ¬V Y �U¬V _ �U�W¬V�

6�����3���=@=� Y ��:�@� _ ��>>>>�

����#�������������#��1��#�!������#������

41

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

$��������0�1���1��������0�������3�� d �¬W�U°� �V d ���� � º� ° � »����¬W�U°� �V¯ Y ��¼½�¾¿R�� � º��

#������%�.�������� �� .������������.��!��� 7����#�.� �CU£� ²V Y CU£V _ CU²W£V�����%��������!���#10���������?���.��.�����.�������������?���.��1������U�V���������?���.��0������0��#��#�������U¬W�V��PRIMER 2.7�I�����������.��%���#����J�,������������.��!�������.���3�

À Y ��¬W�U���V �¬W�U���V�¬W�U���V �¬W�U���V� Y �� � Á ÁÁ � � Á��6��#��� �� ���� ��� ���Á�����#�� 0������� (�#�� �����U�V Y �� ��U�V Y � Y � � �� ,������3�

�U�V Y �� ��� � � U� � �V ���U� � �V���¬U�V Y �¬W�U���V k ��U�V _ �¬W�U���V k ��U�V Y U� � ÁV� _ ÁU� � �V���¬U�V Y �¬W�U���V k ��U�V _ �¬W�U���V k ��U�V Y Á� _ U� � ÁVU� � �V��

�U¬W�V Y ��¬W�U���V ��� �¬W�U���V � �¬W�U���V ��� �¬W�U���VY �U� � ÁV ���U� � ÁV � Á ��� Á ���U¬W�V Y ��¬W�U���V ��� �¬W�U���V � �¬W�U���V ��� �¬W�U���VY �Á ��� Á � U� � ÁV ���U� � ÁV Y �U¬W�V�

�U¬W�V Y ��U�V�U¬W�V _ ��U�V�U¬W�V Y ��U¬W�V _ U� � �V�U¬W�V Y �U¬W�VY �U¬W�V���.�������������?������������#��������.��%����'������?������0���������1�������/����������;����0�����.������;�3�

�U�� ¬V Y �U�V _ �U¬W�V�(�#����3�

42

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Á Y ���� ��U�V Y � Y ���� ��U�V Y � Y ��@��,������3�

�U�V Y ����� ��� ��� � ��@ ��� ��@ l ��B��:�¸·¹���¬U�V Y ��: k ��� _ ��� k ��@ Y ��<>���¬U�V Y ��� k ��� _ ��: k ��@ Y ��B<��

�U¬W�V Y �U¬W�V Y ���: ��� ��: � ��� ��� ��� l ��<>:��¸·¹����� ¬U���V Y �¬W�U���V��U�V Y ��: k ��� Y ���@����� ¬U���V Y �¬W�U���V��U�V Y ��� k ��@ Y ���@����� ¬U���V Y �¬W�U���V��U�V Y ��� k ��� Y ��������� ¬U���V Y �¬W�U���V��U�V Y ��: k ��@ Y ��B���

�U�� ¬V Y ����@ ��� ���@� ���@ ��� ���@ � ���� ��� ���� � ��B� ��� ��B� l ���:�:�¸·¹��

43

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� �(86*��9�7����(7)(���)*��Šta je informacija i kako se ona meri?

6���������������������������������0�����1�������?���.���������������!�����.���������4�.�����������#���%����0�������������?���.���60���!���� �1%����� ���%���� ���� ����?���� ������ ��� ����1� �1%���1� ���%��1�0���.�����1� �������!��1�� $���%���� �������!���� ��4������ ��� ���1� �0���!�����1%����� ���%���� ���� ����?���� �� ����� ��� ���1� ���1�.1�1 �� 0�������������?���.���)�.��0������������������!����1�.����0��������������� 6��)*"�9�7)��� 6-�Â�7����%����� ����� �����.������ ��� �.���� ���1 ��.��UP� }V �� ��0�����.�������1%������0��������������#����1����������.��� � ��� � ������.�� ���0¤U�V��6�� �1%����� 0���������� �0�1��� ������ �#0������.� 1� #���� 1� �/����������?����� ����� ������?���.�� 1� ���� �� ���� �#0������.��� ��� ��.����.��0����3�

�U�V Y ���ªU�V ��� �ªU�V�®�±

$�������������#0������.������0������������?��1������.�� � ���(�#���.�������� ����� ������?���.��� ���./����� ������?���.� �U�V ����1#����� ����0�.������1� ������?���.� ��� *����#���U�V�D ��� Y ��U�V ������#�� ��� #���%�����������!���� ��4������ ���?������ ���� �#0������.��� �.���� ��� ��.��0���� �������1%����� ���%���� �����#�� #���%���� �������!���� ��4������ �0���������� ������#��#��.����������������!�����6���������������� ������;�����0�;����3�

�� �1�1 ����� ��� �������!���� �����#��0���������.��0����������������1� �.���������!����#�������.��0�������#����#�����1���������������.����������!�����������4�.��44

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�� �4������ #���%���� �������!���� ��� �.�� ��� �� ���1 �� �������!���� �1%��������%�������4����4������������������.�� ����#���������!�������#������������PRIMER 2.8����������1%�����0����������(�#�� ��� ����.�� 4������� �1%����� ���%������� #���� 0����� �����.�� �� �� �� ������.�� ���� � ��� � Y � � � �� ��0�#.����� 60���������� ������� �/����4���������#0������.�����1�.1���1���4�����1�#���%�����������!���������#�3�

�U�V Y �����uvw���D ���uvw����(��0�������1�����4�!���1���%� ����0�����������/����4�!���������4����#���%�����������!���������4�.���-������������ ���� ��� �����.������� �� ������ ���� 0���.��.�� �1%���1�0��������1�������1� ��� �.��� ���1 ��.��UP� }V�� $���%���� ������?���.�� ��� ���������U�V������� �����4��.���#0������.�����0��!��������(� �����0�����.������#.����1%���1����%��1����� �������#������?���) ~ ���6������0���.�������#1��������!��1���

Šta je sada njena mera?

60���!���� ����?����¨������� �1%���1� ���%��1���1� 1���1� 0��������1� �£W)��#�����������������������.������.������1 ��.��U)� ��V��6����������%���1���������.�� �3��ªW«U�V Y �ÃU®V�ÃU«V������#��� Y� ¨��6�������.1�!�������.�����0���!���������?����)�� ����������?���.� �����#1�1��������.��0���3��U�W¨V Y ���ªW«U�V ��� �ªW«U�V�®�« �

������ .���� �0��������� ����?����¨�� ������ ������?���.� �� 0�%�.����U�V�1��U�W¨V��$���%�����������!������4������.���0����#�����������#���U�V �� ��U�W¨V��

45

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

"��� ������������������4�.��1��0�.����1%��1���4�.�#��41�1 ������U�W¨V���;��4�.�� �� � �� ��� �U�V �� .�#�� ��� �0��������� ����?���� ¨ ���;�� ��� 0�� ��������?���.���.������������!��������.�����������!�����$���� ��¨����� ��� �0���!��1� .�%��� �����.�� ������ ������1 ��.����� .���� ����U�W¨V �Y ���� 0�� ����U�V �� ��U�W¨V �Y ��U�V�D ��� Y ��U�V�#���%���� �������!������4������.���0����#��������#����.��0�����+�.�� �� %�.�� ��.��0���� ��#�� �1%����� ���%���������� �� �������!���� �� ����� �4��I������Self-informationJ��6��������.��0�����������1%��������%�������1��������������#��#���%�����������!����0�.��4�������0��.���1%��������%����� ��4�������.���������������#��!�0.���������!�����1;���������1�������������0����3�

�� ����.��1���.��0��1������ 1������1��������!��1��������� '+�7��(���(86*��9�7������.���������1;��������.������.������1 ��.��U�\ t �`� �V���0����1;�����1%����� ���%���� � ��� ¬ �� ���.0.����� ��� ��� �0�������� ����1� �����.�² Y O � �`��� $��� �.�� ��� ������ ��� �.1�!���� ������ ������?���.� 1� 0�����1�0���������� ¬ ���� �1�1�� ���#��� ����� ��� ��� �0���!���� ���;��������UOÄ ²V Y CU²V�4�.���������!���������.����1�����1����0��./��������������¬��61����%��1� ���� ��.�� ��#����� 1�������� �������!����� ������� #���#�� �������������!�����1%��������%����¬����������1%���������%����¬�1�!���������?1.����0���!���� �¬ Y °�������� �� ��0����1�����.�� �� �1%��������%�������.�#�� �.�� ���� ���� 0�.���� 1����� ��0������ ��ªW¯U�� °V Y �Ã�ÅU®�¯V�ÅU¯V ������ �#��� � P\��6�����%�������.�#�?����������������?���.�1�0�����1��1%�����0��������������.���� �0���!����¬ Y ° �� ���;�� �������!��1� 1� ����1� ���� �� $���%���� ����������!�����������UOÄ £V Y CU£V � CU£WOV��

46

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

61� ���%��1� ���� ��.�� ��#����� 1�������� �������!���� �1%����� ���%����¬������ ����������.����#���#���������0���!����¬ Y °�������������!��������1�����1%���������%����������?���� ���� �� 0�������%��/� �0���!���� ��� �%�#����� �����.�� ��#����/�1�������/��������!�����

ºU�Ä ¬V Y��­U°V·U°Ä �V Y��­U°Vn�U�V � �U�W°Vo Y �U�V � �U�W¬V�¯¯

"���%����ºU�Ä ¬V��� ������ 1�������� �������!���� ����?1� �1%����/� ���%��������¬��6��� 0���.����� ������ ��� !��.�����/� 0������ .������� �������!����� �.��#.�������� �� ���� ����� �������!���� � � �%�#����� �����.� #���%���� �������!���� #��1���4����������#�����0�������������.��¬��(�����1�$��������������#����.����������1�#���U�W¬V d �U�V��TEOREMA 2.5�ºU�Ä ¬V � �����#�����U£Ä ²V Y ����#���������#��1�����¬���?1�4������������1%��������%����������.�����������#�����1���������������!�����UOÄ £V���;��4�.��������.�������#����1����������������#�����������.���.�%#���%�#������1�#�0���.�����(�����1���.���U�W¬V Y �U�� ¬V �� ��U�V�� ��4������ ��� �;�� �ºU�Ä ¬V Y CU£V _ CU²V �CU£� ²V�����������4���������.�������������� ��,��������TEOREMA 2.6� ºU�Ä ¬V Y ºU¬Ä �V �� �1�������� ���� ������%������� ��.��1���������������!����������������0�������.��0�����TEOREMA 2.6a

�U£Ä ²V Y CU£V � CU£W²V��U£Ä ²V Y CU²V � CU²W£V�

�U£Ä ²V Y CU£V _ CU²V � CU£� ²V���U£Ä ²V Y �U²Ä £V��U£Ä £V Y CU£V�

47

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������� -*�8�F$�� �*)+)(,�9�7�� �(86*��9�6(65,)6*�7�$�C�")2�F�(����1%�����0������������#�������������1���#��.����+������1%�����0���������������¬��A��������������!����������13��U�V� �U¬V� �U�W¬V���ºU�Ä ¬V��(�0���������������0�����.�!�����������!����5.�����#�/�������������������Æ���¬Æ�0�����������#���� ��������1� 0���������������¬�� ��0�#.������Æ Ç ¬Æ�4� �� 1���������� �.� ����1.������1����1����������.���1����1�ÈÉ�����Ê�5�0�����3�

~ ~~ ~ ~ ~ ~ ~ ~ ~ ~ ~{( ), , , ( ), ( ), ( ), ( ) , }c c cF X Y X Y X Y X Y X Y X Y �� � � � � ���3�

~ ~

~

~

~ ~

~ ~

~ ~

~ ~

*( ) ( , )

*( ) ( )

*( ) ( )

*( ) ( ; )

*( ) ( | )

*( ) ( | )

*(( ) ) ( | ) ( | )c

X Y H X Y

X H X

Y H Y

X Y I X Y

X Y H X Y

Y X H Y X

Y X H X Y H Y X

� �

� �

� �

� �

� �

�3�* ( ) 0� � � ������ 1��������0��/���.� �����#�.�� �� ����.�����1� �����1���;������4�.�� ������������������.�������#������1�0���.�������A��������������!������������� X ���Y ��1������������1���4���3������

48

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

/,;| .

H I ��� �

�6�����������������������4�����(��0�.�������%����������#�� ����?1���.��0���� ���������%#���������!�����)�.��0��������#��������������1��������!��1��,�#�������� ��� �1%����� 0���������� X ���Y ���;���� #���.�.�� A������� �������!�������������0���1� F ������� *� �����.��#���I�5�������������1%�����0���������� X ���Y ��2�#�����1���.��������4����#����.�����#������.�.�.��������!���� X ���Y ����;������4�.����������1 ��.�����#������.�.�.���������������������4�����(��0�����������������!�����.�����#������.�.�.3�

( , ) ( ) ( ) ( ; ),H X Y H X H Y I X Y� � ��������.�.�����#�������.�.�.�3�

~ ~ ~ ~ ~ ~( ) ( ) ( ) ( ).X Y X Y X Y� � � �� � � � �

'���.�#1�����������%#��0�����.�!����A������/�������0��1��.����������I�::�J��+������%#�� ��.��0���� ��� ��#��.��� �1%����� 0���������� X ���Y �� ���� ���/�����.��0���� ��#��� 1��1;������ ���������� ��� �� ( , )H X Y �� 6�� ���%�� ��� �#�� 1�0���������� ��������� ���/��� ��.��0���� 4� �� �4��� ���/��/� 0�������%��/���.��0���� ( ) ( ) ( , )H X H Y H X Y � ��0��#����������I���#������J.�

����#������� ���1%�����0����������

49

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����1����������3��( , ) ( ) ( )H X Y H X H Y� �

�3�0 ( ) log 2H X n� � �

-���n �0���.�����4�������1 �/������.�� X ����� '����� ��.��0���� ���� 1����� �������.� 0���������� X �#���� 0���������0��������1�Y �I%�.�����������#��#�!���J����0���%���1�������.��0��������Y ��6�������4���������4��#����.��0������3�

( | ) ( , ) ( ).H X Y H X Y H Y� � ������������%#��0�����.�!����������%�����I���#������J��

����#�������'�������.��0����

����1����������3�( | ) ( ),( | ) ( ).

H X Y H XH Y X H Y

��

����'���������������!���������#���%��1��������!����#��1�������1 ����4�.�����������0������������#��������0������������#�������0����.����1����6�����%��������;���1�#��1��#�!������� ���� ����;�� #���.�.�� 1� !���1� 0�� ������ ����������� #���%�����������!���� ����?1�0���.�/� ��0��������/��������� �����������%#��0�����.�!����������%�����I���#������J��

50

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#�������'���������������!����

����1����������3�ºU�Ä ¬V Y �U�V � �U�u¬V��������ºU�Ä ¬V Y �U¬V � �U¬u�V�

�����<�� *)2�,�"(��)(,*6��7������.������ ��� ����.����� �.���� ���1 ��.�� ���� �.��� #10������1 ��.������#��1�£���²�#���0�����.����1%�����0�����������.���������%���3�

ËU}ª� �­V Y���U�V ��� ��U�V�¬U�V®�± �(���������.������.��0���� ����$1�4�#�2��4�������������!����I$1�4�#52��4��������.������J� ����?1� ��0������ ��� �1%����� ���%���� £� �� ²�� ��#�� �� 1� ������� ���������#���.����.��������0����.�����������;��1������.��%��.��������3�

Ìn}ª�}­o Í ÌU}­� }ªV�� ������!������������#���1��3�

ËU}ª� }­V Y ËU}­� }ªV Y ����#���������#��13�

}ª Y }­��51

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���.����1����#����!���������3������U�X�V Y �� �����U�X�V Y �� 0�����U0X�V Y �¢� $U}ª� }­V Y ¢��

1#���#��0�.���������#�������0¤U�V h �����0ÎU�V��������.������ ���1;���� ����.����� �.��� ���1 ��.�� U� t �� �V �#���� �����!����� 0��� �1%����/� ���%����£� ² � �� ������������ �.���� U�� �¤V ��� U�� �ÎV �1����1#�������������������0������������.�� �3���U�V Y���� ¬U�� °V� �¬U°V Y���� ¬U�� °V�®¯ �

6���%�������¤ k �Î���0����1�����.�� ����U�V k �¬U°V��,�����;�3�ºU�Ä ¬V Y ºU¬Ä �V Y ËU}� }ª k }­V�ºU�Ä ¬V Y��¬U°V·U°Ä �V Y��¬U°Vn�U�V � �U�W°Vo Y �U�V � �U�W¬V�¯¯ �

�#��1����������������������������.���U�V����U�W¬V���4�����3�ºU�Ä ¬V Y���U�V ��� ��U�V _��¬U°V®�¯® ��W¬U�� °V ��� ��W¬U�� °V

Y���� ¬U�� °VU��� ��� ¬U�� °V�¬U°V � ��� ��U�V®�¯Y���� ¬U�� °V ��� ��� ¬U�� °V��U�V�¬U°V®�¯ ��(�����1���/�1�������������������1���������������!����ºU�Ä ¬V������.�0����������!���� ���1;���� ��0������ ����.�� �� 0���� U�� ¬V ���� ��0����������.�� ������0����1��1%��1����/����������.����.���� �� %�.�� �� �0��������� 1�������� �������!���� 1����� #��� �������?1�����.������1%��������%����#����1�����1������.�������.���#10����

52

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� A)(6(6"����,)��,�F$��,)6*�7���(86*��9�7)�$���� A����� IClaude E. ShannonJ� ��� 1� ���1� I�:<@J� ����1����� .�����1� ���#��0����1� 0���.�#��� A����� ��� 1.����� ��� 0�.���� �1������.����� ����.� ���#��0����1� 0���.�#�� 4��� �14�.�#��� 6�� ������%����� �� ������ .�0�� ��.��0���� ������%��������,�%��������.���.��0�������������������������!�����.�%���������.�.�.�%#�� 0������� ������� A����� .���� ��� ��� ���1 �� #��0����.�� 0��1#�� �������1�4����14�.�#���1��.�0���#��0������4���1�������������.���.�%#�������1 ��1����.��4�����������$��!�0.� ����������0�������1� .������� �������!���� ��#��1��#�!�������A�������� ���0�������� �� ��� 4�� �������� #���%��1� �#.1����/� �������!���� 1� �����#��� .�#.1����%���3�H)�.��0�������.�.�.�%#��0�����.���#���������1�����?��������1��#���#�����������������!����0��������1�0���#1�����#������.�#.��1�����#1���#��������#� 0������ 1� 4������� ����.����� ���#��54�.��� I�� ���� �J� 1� ������#��������1%��1�� ��.��0��������� ������� 4���� 4�.�� #���� �� ��/.��� 0�� ��1� ����������������#��M���,�#�?���A��������������.�����1����14�!����0����#���#��0������0���.�#���6��������� 0����.�� #��� .�0�� ��.������� 1� .�������� '� #��0������ �� �14�!�������#��0������� 0���!�� ��������1� 4�.�� �.�� #��� ����������� 0���!��� '��.�� .�������#�������.���.�������Ï����;�������.���������A��������0�#���������������?��������� �� 0����.��� .�.�.�%#��� ��4������ �� ��.��� ������ ��.�������� 0�.�����1�#!�����UÏV�#�������������1�#!�������.�01���.��������,�������#�;������#�����Ï�.������.���#���%������.�����������������UÏV���4�����.�0���#��0�������$���� �� ����� �� #��0������ 4��� �14�.�#�� I.��� 4��� ��.������� ����Ï Y �J�� ���4��������1 �� .�0��� #��0������ ����U�V Y ��I������ �� ��� ����4�.�� #��� #���%��� �����0��1#�J�� �1������%��������4��������1 ��.�0��#��0������4����14�.�#�����.�0����.��0�������,���������#��0������0���.�#��4����14�.�#����.�0����.���������������%����.�����1��� #������1� �������!������ ������� ,������� �� #������1� ������ 0�.������1������.����� ������%����� ��� 0���������� �/� ������.���� ��� #��0����1�0���.�#���,�������� ����0���4��������������#�#�����������������1� �� 0����1�1������ ��� ������.���� 6�� ��?1.���� ����� ��#�� ��.�� �� �����!�� ��� 0�.�������

53

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�0.������/� 0����������� '� ��.�#1� 0�������� ��������� ���� #�#�� ��� A�������������� ����� �������!����1�0�����1��1%������0��!��� �������1� .�����1����#��������������4����14�.�#���������� �6 )26"�(7)��+"6*��+�����������������1�4�4���.�#1�L������L��,��4�4���.�#���������#����4���#������������� �#�� =�� �������� #������� ��#�� #������ ���� 1� 0���#1� =�� �������� ���#���I���J�� ���4�� ��������1�#����1�����1%�������%����'�.��������.1�.��#������ ���#��0������ �������!����� �����1���#���+��� �����.1�����4����#����1�0���������� #1 �� ��� ��#1� ���� 0��#�� ��.����.��� ��.���.�%#��� #����1� #��1� ���4����������%������������ ����%��3��

1 2 3{ , , ,...}.X X X X� ����� X �0���.�����!��1�#����1��0������#�1�#��������� 1X ����1������#�1�#��������� 2X ��� .�#�� ������� ����� ���� ��� ����������� #���%��� #10� ��4���� ���� 0��1#�� A �I����4�.J��#�������������#������#����������!�����������

Ð Y ]½� ¸� Ñ� Ì� R� Ò� w� m� ·� Ó� c� u� Q� b� v� �� �� Ô� ¾� ¹� Õ� Ö� �� °� ¼� Ô½¼Q½c^��.�� �����������1�1���1���#�����;�������#����.��4���������������������.������#��0����1� ���4����� #������� ��� ����� 0��0�#.���� #���#.���� 1� #������ 1� �1%�����0����������#����1�����1������.���������4�.�� A ��9����#���������4�#���%��������1%����/� 0���������/� I�1%����� 0��!�J�� ��.���� ��#���#�� ��%���� #�#����;�����������.��.�.�.�%#����4����#�������������� A)(6(6"���6 )2����*6$����9�7)��������0��#���!�����1�.��������5���#��#���#.������.�.�.�%#�������.�������/���1��/�#���#.����������.�� ���/��B�#���#.����1������#����#���������������.�%���������4������#���#.����������#�����������������#��I��0�������1�0��1��.����������I�/��������:<@JJ�3�

xfoml rxkhrjffjuj zlpwcfwkcyj ffjeyvkcqsghyd qpaamkbzaacibzlhjqd

54

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�4������.�#.������0����������������.������.����4� ���*��1�.�.��������1���#���0�����!����1��%����1��������0��.�.�.1���������� �0��#���!���� 0���� ����� 5� 0����.�� ��� ��� �� 1� 0��������� ����!���� ��#������ ������1� %�� �� �����1��/��(��0������� 1� �����#��� ����#1� ���� G�H� �� G�H� 1�%�� �������G#H���G�H�� �#����1����������1��#���#.����1����������������������������1����� ���� 0�.���� ����.�� �� ��.��41!���� #���#.���� #���� �������� �����������#1��,�0�%���.�#.������������������������#�3�

ocroh hli rgwr nmielwis eu ll nbnesebya th eei alhenhttpa oobttva nah brl

������ �0��#���!������1���� ����� 5�#���0��./���������������0��.0�.����� ��.�.�.�%#���������.������������������ ���#���#.����� �.��41!����#���#.�����������;���1�0�.01��.��.�1#.1�1�����#��������1���.������0�.����#���#.����#������%�� ���������1����#��#���#.�����6�����%�����0�.���������.�����?1�#���#.�����'����������1����������#���#.�����������0��./������#���#.������������1������������� ��� �/� 0��./����/� #���#.����� (�� 0������� ���� G1L� �� ��.#�� ������I����.�� �� �� �����J�� ��?1.���� �4������ ��� ��� 0��./����� #���#.��� G�L������.�� �� #���#.���� G�L� ��� ���� ������ � �� I����.�� �� �� ��::=J�� ,�0�%���0������������������� ���������.����#�3�on ie antsoutinys are t inctore st be s deamy achin d ilonasive tucoowe at

teasonare fuso tizin andy tobe seace ctisbe

������ �0��#���!���� .�� ��� ����� 5� .�� �� ������ ��� ��.��#� ��1���� ��������0��#���!����� 6��� #���#.��� ����� ��� 0��./����� ��� #���#.����� ���� ��� 1���������������� �/�0��./����/�#���#.�����'����������1�� ��.��41!���� ������ ���.�����.��0���.�����1��,�0�%���.�#.�������������� ���������.����#�3�in no ist lat whey cratict froure birs grocid pondenome of demonstures of

the reptagin is regoactiona of cre

����� ��� ��%��.� �� �4�%��� �����#��� .�#.��� 0�0����%��� 1�%����� ��� �#��� ����������/�#���#���60�.�� ������ �0��#���!��� -� '� ���� �����1�� #������ ��� 0���������� .�!���������1%�����0��!����.�.�.�%#����4���������������1�0������#��0��#������4���������.�����0��#.�%����6��������������.�����.���������.�����#���.�����.���

55

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������� )(,*6��7���+"6*��'�6 (6�'�(����*6$����9�7'��6 )2��)�.��0���� ������ ���4����#����������������.�.�.�%#��0������� ��������#�� ��������� �����.���� ������� ����� �� ���� 4���� ��;�� ��#�� ����%1��.��� ������ ������0��������������3�

� Y ]�\� �`� ��� T ^� %���� ���������.�������.����������#������#���������0��#���!�����1�.��������5�#���#.����1�.�.�.�%#������������#����������4�.��0�������#������.�����;���� ��1��4�����(�#����41������%��������4�.���'������1%��1����.��0����������������?�������������3�

� Y ��� �Q��4�.���0��#���#.��1��+�������#��.�#.�����%��������4�.��Q Y �B�� �#�����#��������4���0��!�������������������#������#���������.��0�������������� Y <�B=�4�.���0��#���#.��1���������0��#���!����0���������5�#���#.����1�.�.�.�%#�����������1#10���4����#���#.���� �������� ���%���� ����4�.�� �� ����.�� �� �#��� i5.��� #���#.���� ���0����.���)�.��0����������1�.����1%��1���3�

� Y��� ��� �����p�|\ �

$���.� ���0��#���!��1�0������������.��0���������#���.�#.�����<��B�4�.���0��#���#.��1���#��4�����4�����������1 ����������������������0��#���!������1���������5�}×W����#��41���1���������.�� �����������#���#.����Ó��41�1 ��������0����.�0��./�����#���#.���·��)�.��0������3�

� Y�}��}�W× ��� ��}�W×�p×|\

p�|\ �

$���.� �� �0��#���!��1�������� ��1���� ������ ��.��0���� �����#��� .�#.�� �� 4�.�����>�4�.��0��#���#.��1��0���1������������������0������56

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�������0��#���!����.�� ������� -�}ØW��×��#��41���1���������.�� �����������#���#.����c��41�1 �����1�0����.��0��./��������#���#.����·� Ó��)�.��0������3�� Y�}��}×W� �}ØW×��p

Ø|\ ��� ��}ØW×�� �p×|\

p�|\ �

60�.�� ������ �0��#���!��� - Ùa�0���.����� 0���b�#���#.���� )�.��0���� 1� �0�.����1%��1���.�3�� Y ���®� �b��UÙa ��� ��UÙaVV�

�������1���� �����Qa����1 �/������.��Ùa�����#.�%�����������1 ������%1��.����.��0��1������������������1�#!������$���.� ����.�����.1�.������A��������4���1�.���1����0��!������.��0��1�����B�#���#.���������#�������4�.������������.��0����0�� ������� #���#.��1� ���� 4�.��� "���� ��.����� �� ������ ���1 �� ��� 0���� �� 1�A���������4����#1������<�� A)(6(6"��,)6*)���+��$6 6"�(7)��)+�-'��,�$��A������� .������� ��� #�������� ������ ������ �� ��� #��!�0.1� 4��#�#���#��������� ��4�� ��1.����������#��!�0.��1������0��4��� ����� �������!����1�#�����������4�.��.�����������������3�

Ð Y ]½� ¸^ ���#� #��� ��� �0��#���!��1� �1�.��� � ����� D� 1� ���� �����1� �#�� #���#.��� �����0�����1�������4�.��

ÚÛ ÜUÚÛV $�������%� 0.5 0

4 0.5 1

*���4�.57

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��PRIMER

6����������0���!�� a a a a a a a a a a b b b b b a a a a a

$��0�������0���!��0 0 0 1 1 0 1 0 0 0 1 1 1 1 1 1 0 0 0 0

�'������1%��1�#���.����������4�.������0���.�����������#���#.���������%���4����4�.���0���������#���#.��1������4�.�����#� #��� �0��#���!���� ��1���� ����� D� 1� ���������1� �#�� #���#.�����;�� ���41���0���.�����������������������.���4�.���

ÚÝ ÜUÚÝV $�������%�� 0.45 �44 0.45 ���4 0.05 ���4� 0.05 ���

*���B��4�.��PRIMER

6����������0���!� aa aa aa aa aa bb bb ba aa aa

$��0�������0���!� 0 0 0 0 0 10 10 111 0 0

58

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'������1%��1�#���.��������<�4�.������0���.�����������#���#.���������%���4����4�.���0���������#���#.��1������B�4�.������#�#����0��#���!����.�� ������� D�0��.���#���#.����1�0���.�������4���������#��!����1;�������������������.�4�.����

ÚÞ ÜUÚÞV $�������%aaa 0.405 0

bbb 0.405 10

aab 0.045 1100

abb 0.045 1101

bba 0.045 1110

baa 0.045 11110

aba 0.005 111110

bab 0.005 111111

*����==�4�.��PRIMER

6��������� 0���!� aaa aaa aaa abb bbb aaa

$��0������ 0���!� 0 0 0 1101 10 0

'������1%��1�#���.����������4�.������0���.���������@�#���#.���������%���4����4�.���0���������#���#.��1������==�4�.����

59

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��<�� 2��6*�,6*�7�$��*� �VEŽBA 1.

��������#���%�����������!�����1�������0�����3��#�� ��� ����.�� �� 0��1#�� � ��� 0��1#�� ���;�� ����1� #���%��1� �������!���� ���4��1.��� $���%���� �������!���� ���� �������!����� ���;��� 0��1#������������� ���������.��#����1�#!����3�

º® Y ��� � ��® Y � ��� ��®���������0������.�� ��0��1#�����64������ ��� #���.���� ������.��� �� ������ ���� .���� �� #���%���� �������!���������1�4�.������(�#�� �������!����� ����� ��������� <� 0��1#�� �����#�� ����.�� ��� <ß �� 6�����.��#���%��1��������!�������;����1��#���0��1!����1#10�1�#���%��1��������!����1����%�.����0��1#���

�à������` ��á��â����` ��á��â����` ��áã�â����` ��áä��������` ��ä�â����` ��ä�â����` ��ä�â����` ��ä���Y ��� _ ��� _ ��� _ ��� Y �@�¸·¹v¿½�

������ �#�� ;��������� #��1�����4������� ��� <� 0��1#��� #���.�� �� ���� �� 4�������#���I�#��0��1#�����#���������0����4�.�J3�Poruke $����

M1 ���

60

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

M2 ���M3 ���M4 ���

*�����������.#��0��#����.��45���(���������.�� ���3�

åå�0���æ���=�����=�����=�����=çÄ�$���%�����������!����1��������0��1!�3�

åå�5����I0I�JJ�������������

'#10���#���%�����������!���3�åå�5����I0I�JJ5����I0I�JJ5����I0I�JJ5����I0I<JJ�

���������@�VEŽBA 2

)�.��0�����1�������0�����3�)�.��0���� ��������� 0���%�1� #���%��1� �������!���� ��� ������ �������!����� ����� ��������������������������

� Y ���� ��� ���è[\�|�

4�.���0���������0��1!���

61

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

(�#�� ����� �������!���� ��������� >� 0��1#�� �� ���� ��� ����.�� �3���]� <ß � � <ß � � @ß � � @ß � � @ß � � @ß ^�� 6�����.�� 0�������%��� #���%���� �������!���� 1��#���0��1!���1#10�1�#���%��1��������!��������.��0��1����������������%��� #���%���� �������!���� ���;���� 1� 0��1#���� �� 1#10��� #���%�����������!���3�

�à�����` ��ä�â����` ��ä�â����` ��é�â����` ��é�â����` ��é�â����` ��é���Y ��� _ ��� _ ��� _ ��� _ ��� _ ��� Y ��>�¸·¹v¿½��)�.��0���������3�

Cà= �\ê ���`�ä ��\ê ���`�ä ��\� ���`�é ��\� ���`�é ��\� ���`�é ��\� ���`�é�=���5���=���`���=�5����=���`���=�5�����=���`����=�5�����=���`����=�5�����=���`����=�����5�������=���`����=5��������=�â���=�â����B=�â����B=�â����B=�â����B=�����=�4�.���������#��;���������#��1�����4���������/�>�0��1#���#���.�� �� ���� ��4�������#��� I�#�� 0��1#�� ��� #������� �� 0�� �� 4�.��� ��#������� 4���� 0��1#�� #������;�������#��1���������4�.�����@��

Poruke Kodovi

M1 ����M2 ����M3 ����M4 ����M5 ����

62

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

M6 ����7����.����0������#�������3����1#����ë�ë<ë>ë�Ä�$�������0��1#����������������Ä� �#�������0��1#����ë�ë<ë>ë�Ä�*�����������.#��0��#����.��45���(���������.�� ���3�

åå�0���æ���=�����=������=������=������=������=çÄ�$���%�����������!����1��#���0��1!�3�

åå�5����I0J������������������������������������������

'#10���#���%�����������!���3�åå�1�I��J����������>�

)�.��0���������3�åå�51�I0�ì����I0�â�I0�����JJJ�

����������=����

63

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

VEŽBA 3.

)�.��0����4���������������1�������0�����3�$��� 4�������� �������!������ ������� ����� ��������� ���� ��� 0��1#��� .������.��0���� ������ ����� ��� ����.�� �� 0��1#��� )�.��0���� 4�������� ��������������������������3�

� Y �� ��� � � U� � �V ���U� � �V�

���#�����<�)�.��0����4���������������������0��1#���������#�/�����.�� ��

�������� �������!����� ����� ��������� 0��1#�� �� ����.�� ���3��]� <ß � � <ß ^�� '�.����1%��1���.��0������������3�� Y �� �ê ���`ãä��U� ���êV���`U� � �êV�Y�Y ����B=����`���B=�D ����=����`���=� Y�Y ������� _ ���=� Y ���@���bitova inf./bit

'#���#��4��������������!�������������������0��1#���������#�������.�� ���3��]� �ß � � �ß ^��.���� ��� ��.��0���� ������ ��#������� �� �������� ��� 0���.������� ���I���#�����<J��'�.��������.�� ��1����� �������3����� \̀ ���`����U� �� \̀V���`U� � \̀V���

64

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Y����=����`���=�D ���=���`��=� Y�Y ���=� _ ���=� Y ��¸·¹�·bÒ�X¸·¹��������������������������.��0�������#�������I��4�.J��*�����������.#��0��#����.��45���(�����������.�� �����4�������3�

åå�0����æ��B=�����=çÄ�åå�0����æ��=����=çÄ�

)�.��0����0���������3�åå�C����5I0�I�JJì����I0�I�JJ5I�5I0�I�JJJì����I�50�I�JJ�

C���������@����)�.��0������1���������3�

åå�C����5I0�I�JJì����I0�I�JJ5I�5I0�I�JJJì����I�50�I�JJ�C����������

VEŽBA 4.

6�����.�� ��.��0��1� 4�������� �����Ð��1;���� =�� 4�.��� 1� ����1� ��� �����1�1�������1���.��41!��1��(�������������������1%�������%������#��������#���� �������.�����#���1��� �í Y îÛï��ïÛ��Ûï��ÛÛ��ïÛ��ïÛ��ïï��Ûï��ÛÛ��Ûï��Ûï��Ûï��Ûïð�

'�0����#���#1��0��4���� ������0����� �%�����������1��� �� ������!�� I��������������J��'#10���4�������1 �/�0��������<�������� ����.��.���.��#���0��1#����������.������#10��P� Y ]��� ��� ��� ��^��"�����.��#�������0���.��������ñ³�1�����.�� ��0��1#��P�1�4�����������1��

00 01 10 110.24, 0.12, 0.48, 0.16;S S S Sp p p p� � � � �

65

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

)�.��0��1� ��������?1����������%���#���1�0�����1���� ��.�����4����1������.����������4�����������4������4����0���%�1������.���.��0����0���������4�.1��00 00 01 01 10 10 11 11

log 2( ) log 2( ) log 2( ) log 2( )

0.24 log 2(0.24) 0.12 log 2(0.12) 0.48log 2(0.48) 0.16 log 2(0.16)1.7925 / 2 0.8962

s s s s s s s sH p p p p p p p p

bit

� � � � � �

� � � � � �� � �*��1�.�.������ ��@:>�� 4�.�� 0���.����� 0���%�1� #���%��1� �������!���� #���� ������;����0���������4�.51������.��4�������������#��0����;����1#10���4����4�.��������������4������������.����.��0����� Y ��@:>�����4� ����1#10���<<�@��4�.���������!�������;���������#��1%���������������������0��1.����1%�������4������������������!����������#���%��1��������!������4�.�����������������;������������������.�����.���#��.��#��0���� �� �������!����������#���� ���������.��%�.���1%�����4��������������'�0��#�����.��1��������1%��������#���.��0�1����1%�����������.�������1���������.�����.#������1���0���������������.�� 0���/� �1%����/� ������� '� .��� �1%��1� ��4������ �� 0�1�����1���.��+��0�.��1��0����.��0�1���������.��������0/��������0���.������.�.���#�������0�����;���(��,�����0����1�0�.���������4�����1%����/���������

VEŽBA 5:

2�#�������.��0��������.��0������#���1�������0�����3�GA���������.��0���H����0���01.�1����������.�����A�������:<@��)�.��0����1�.���10�.��4��.������������������#����%�#������������!��������;�����#�������?������#�� ���0����.������.�� �������#������?���� ����� ����.��0������;�� ����%1��.��#��3�

� Y �����n��U��Voò�|\ �

���������������������.�� ����4����/�.���������#���'��0��#�!�������#���.���� ������.��� ����� �� �4��� ��#���� �1#������ �� 4�������� �������!���������;������ +�� 0���.����� 0���.#�� ��4������ ���1�.�.� �� ��;�� .1��%�.�� � #�������.�������#��!��������?�����66

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

2�#����� ��.��0���� ����� ��� ��4���� ���%���� 0������� 0��#�� #���� �� ����?1�����.��0�����#���0�#����������0������������#����1#10����4���1�0�#���������!�����.����� ��������.��0��#�/������.�� iH ��������· Y Q É b����� ���#1����#�� 0�#��� ��� !��.��� ������� 0������� #���� �� 0��4��� ����?1��� �����.���.��0����� �4�����������.������;����1�0��#��������.��������������%�����������?���� ������!���������� �������!��1���4�.�� ���4�������.������������������������������%��1�0�������#�������#����.��������������������������%����0���������.��0��� �����A���������������0��#���!����#������ 0������1�1� �������������� �������!����/� ������ 0��������� ����#��� "�����.���#�������.��0������0�� ���0�� ���������%����0���������'�����0�����1�0�#��� ����#�#����;������#������������%1������������!���1������.� ��#�� � � ��#��� ��.��� #���� ���� ��� #���.���� ��� ��.��� ��� ��%1��������#�������.��0�������0������#���0�#�.����.��4����.���������4���0����.�1��4��.������4���1���#��I������Image processing).

���4�������#�3�

����#�����=�6������������#��I��4��<J�

'�;�������#��1���.��4��#�1;�������0��#��3�åå���#����������Ió�����1�1��7�-óJÄ�

åå���/�ôI��#�J�67

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

$����.��������#�����*-�������.��1�@54�.�1���#1�I������Gray-scaleJ3�åå���#������4����OI��#�JÄ�

åå���/�ôI��#�J�

����#�����>�-��O5!����I@�4�.J�

���#��#����.����� ���*-��1�����������#���.��@�4�.�������0�� �������0�#����I������� ��� 1� ��� �0���� ��� �� ��� �==J�� '� ��.�#1� 0��#��� ���� /�.������ ����������������#��!�������#��������������.���.��0������åå���/�.I��#�JÄ�

����#�����B�C�.������@54�.�����#��

68

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6���?����������.�� ������#��0�#��������!�3�åå�æ4����!����4���ç���/�.I��#�JÄ�

åå�0���4����!�X�I�==ì�<�JÄ�'#���#��0���.�������#1�#����������!������������0�#����#�����4�������;��������#����1�����0����.������.�� ��������.����.��0��1������3�

åå�C���51�I0�ì����I0�â�I0�����JJJ�C������=�@�=:�

�4������ �����.�� �0���.����� 0���%�1� #���%��1� �������!���� 0�� �������0�#��1��+�����������1���#1�4�������� ���0�.��4���nU�== k �<�V k @o Y >:=><�4�.���� ����#������� ����%1�������.��0��1� ��1#���#��#��1�����0��#��C���������������.������ #��������� 0�.��4��� ���� ���nU�== k �<�V k =�@�=:o Y =�B<>��4�.���� (�� ������%��� 0�� ���� ��� 4����1� 0������� .�#�� �.�� ��� �������� #���1� �#��!1� ����@@�@��4�.�����'����� ���#���#1�0���.�� ������#�����0��.���������.��0������������ ���!�����.�� �������� ��0�.����3�

Koji regioni slike sadrže najmanji informacioni sadržaj?

*�%1����� ��#���1� ��.��0��1� ��� ���%��1� 0������� æ:� �� :ç� �� 0��#��1����� ���1�.�.�0��#��.�0��.�����0�3�åå0��������.�1�I:JÄ�

åå�2C�����.��0O���.I��#�JÄ�åå������!I2CJÄ���1��I�!�JÄ�

69

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#�����@����#�����#�������.��0����0��#��.�0��.�����0��

*������� ��#�� ����%���� �� ��������� !����� 4���� 0���.�����1� �������� ������ ��� ��#������ ��.��0������ ��#� �� ��������� 0���� 4���� 0���.������� 1�������������#�����#��������.��0������������� �.�0��.�����.��0��#����0���0��#��#������;����0��!��������������%����������������#�����.��0������

åå���/�I2CJÄ���1��I�!�JÄ�

����#�����:�� ���.��0��#��.�0��.�����0��

70

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#�������7���������C�����������%��#�������#1����0�������=��

'�0����#������1�����������#�����4����0��1#�����1���1����#����������.�� ���71

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

3. EFIKASNO KODOVANJE INFORMACIJA

'�����0������1���.��1������#����������#��.�����������������!����1�!���1�#��0������0��1#�����.�������1�1����#���������1�������������#�����1�!���1����#����#��0�������#������1������.����������!��#��0������0���.�#������.����#��.�1#!�������#���/�#��0������/�#����������0��#.�%���0��4����#����������1 �������.����/���1�1 ��A��������#��!�0.1������ ������?���.�� ��.�� ���#���� #�������� ��#��.���� ������ �������!���� 1��������������4�������#��� �� �� ��� ��� ��.��0���� ������ �1������.����� ������%����� ��� #��0����1�0���.�#���������������������?1�����������1��%�#���1������.��1;����#����������0������������.�����0�.����3�

Šta je razlog da uopšte nešto kodujemo?

��.����.��������������������.�3��� $�������������#��0������I��4�!���������1�����J��� $�������� 1� !���1� #���.�.���� 0������ 1� 1������ �1��� ��� #����1�I������������1�����J��� $�������� ����� .����.�� 5� � 0��1#�� 1� ��.10��� ���� �1.����������#�����!����

6�� ��#!���� �� ��4��.�� 0�����0�#.������#�����#����������#��.���� �������������!�����

72

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� $6 6"�(7)�7) ()��2'F�7()�")2�F�()�������������!�������������.���0��1#����������#��!����4�����

����#������$���������������!������������

6����� ����� #�������� ������ I������ Source codingJ3� ��4��� ������'õ �1�.���1.#1�.���.�����������1���������1 1�#���1���%�+õ�����I���#�����J�����4����1�������.��#10��#������������alfabet���������!��������� je diskretan��#���������4�.�#���%���� �������������4�.������������arnost��������*����.�� ���� ���� 0��1#�� #���%��� �1;����� (�� 0������� ������ �� ���1���.��.�����������#��.������������������!�������������4�.�����.�������#�����#�1�0��1#������#��.�#.����$�����.�����������0��1#��������1�kodne re�i��$����� ��%�� 1� �#��!�� ��4���� ��� kodnog alfabeta�� #���� ��� 1� �0�.��� �1%��1������%�.��������4�.��0��1#���8����������������!����������ö÷����������ö�4�������#��¹��#�������#������#������ ������.���� .�� ��� ��0���� �1%����� 0��!�� ���� ��.��� ����4�.��� øù ��7����.��������%�����.����������1%����/����%�������øù����������.1�����4����1��#���.���1.#1�¹�������.�� ����}Uö÷ Y Õ�V������� ��� 4��� ���������� 1#���#�� ����.�� �� ��4����Õ����� ����� ��� 0�����/����.����/������.�3�

ú÷� ��úû³� øù���}Uö÷ Y Õ�Wö\ Tö÷[\V Y }Uö÷ Y Õ�V 73

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� �������!���� ��� .�!��������� 1#���#�� ����.�� �� ���.������ ��4����}Uö÷ Y Õ�V�������������������¹��$����� ��;���� 0���.��.�� #��� 0����#������+ Y �U'V���� ����4�.�� ������üý�1�#10�#����/���%��üþ���#����+É����%����#10��/�#���%��/��#��!���.������/���� ��4���� ��� #������ ����4�.��üþ�� .���� 1� #����� ��%�� ����.��� #������ ������0��#10�#10��+É��DEFINICIJA 3.1�(����1������#������$��� ������� ��#��.���� �������!������ ������ �� ������ �����1�������� #���� �������%�.�����4������������#���0�������1������%�.��#�������%���8���������

1z Í 1� � �z Í ����0��� %��1� ����z�#����� ��%� #���� #���0������� ��4��1� ������1z�� '� ���� ��#!����4�� ���������������1�������#��������PRIMER 3.1�$��������#���%������������������#����1;�����#������������/���4���%���/����#��������4�.����������#����%�������������4���3��.�%#��IkJ���!�.��I�5�J��(��0����������)���$���#��1�1���Hk H��Hk�5M���H5�k�5M����0�#.������1�1 ��������!����#������#��������0��1#��������0�������%��/���4����������.�����1� #����� #���� �� ���1� ��� �����.��� ��%��� ��#����.��� ,�#�� #����� �� ��1������������ ���� ��������%��� ��#����� #������ $��� ��/� #����� 4���� #�����#��!�� #����/� ��%�� #���0������� ��������%��� ���� ������� 0��1!���������!�������������DEFINICIJA 3.2�7�������%�����#�����#������$�����#��.�����������������!��������������������%�����#��������#���������#��4����#����#���%����#��!��#����/���%����������%������������������0��1!���������PRIMER 3.2�(���������%���#����

74

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

(�#����������.�������.�����4����a��b���c�����1#����������������#������#�������.����������.�����4������0���aaabcaacc��$������������0����#�������� � ����4 � �����! � ���

�������������%����(��0�������0����#���#�������������aaaa����4� ����#�������%��������.������.��#��������#��1���������cc��(��0�.������%���0����#�����#��������#���� ��4�.��1�.���1���������#1����.�����#�������0��1#���aaaa�����cc��PRIMER 3.3�7�������%�����#����#����(�#�����������������!����#���1�0��./������0�����1��(�#�����#��������������

½ � ����¸ � �����Ñ � �����;������#���.����� �������#��� ��������%����(0�����������������#��1���1�����abb�������������1�cb����?1���������%����#����������0��4�������%����1�.���0����#���#�����I������Prefix – Free CodeJ��7����� ����¼��1;����b�Ub � �V���� 0����#� ��#��� ��1���� ���������#�� �� ���� �#�� ���0��/�b���4����1���������#������#.������1�¼��(0���½¸¸½����0����#������½¸¸½¸Ñ��DEFINICIJA 3.3������#���#������+��������#�����#�;��������0����#����#��1�����1����������#�������%������0����#���#����1����#��������%���PRIMER 3.4������#���#����(�#�� ��� ��.� ����� �� .��� ��4����½��¸���Ñ�� +�� ���� ����� 0������ ������� 0����#����#��������

½ � ����¸ � �����Ñ � �����#�#��3�

½ � ����¸ � �����Ñ � ��������0����#����41�1 ����������#��������4���a���.����������0����#�1����1�����#����0���.�����#���1���%�������4���c��

75

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Odakle poti�e naš interes za prefiksnim kodovima?

6��������;��1������4����������������OSOBINA 3.1

��#�� 0����#��� #��� ��� ��������%��� ��#����� "�;��� ��� ��0����1.�� ��� 0�.������������%���#�����#������1�0����#����#����.������.��0�#��1���������������DEFINICIJA 3.4�,���1.�����#�����#����$��� ��� .���1.��� ��#���� �#�� �� ���� �#�� �� �#�� #����� ��%� 1� 4���� #��� ���1�#����/���%����;����#����.��1��.��������.1�#���������.���1.�#����#�������%���OSOBINA 3.2

$������.���1.�����#�����#�� �������#�� ���0����#����,���1.�����#�����#�������� ��/.���1������������ 0��0���� #����/� ��%�� ���� %�#����� ��0� �� ���/� ��� 4����#�������� 4���� �4�������� 6��� �� �.���� �� ����� �� �������#�� 0��.�����#�������$����#�����#���������������0���������?1�4���������#������I���#�����J���

����#������$�����0����/�#�����

��

76

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������� N5�*(���,��2��$6 6"������������%���0���.�������1%������0����#��/�#�����1�n5�����.�4����(����!��I���#�����J���.��1��.����������.���������.�4����

����#��������������.������������/����.�4���DEFINICIJA 3.5 N-�����.�4����N-�����.�4������.�4���1�#�����#��1�1.�������%�����������.�b�����������������#.���b�%����5��!��� ��.01��� n-����� .�4��� ��� n-����� .�4��� 1� #���� ����.�������1��.1��14��1��PRIMER 3.5�N5�����.�4����

����#����<���������.�4���I���J��,��������.�4���I���J����.01���.��������.�4���

77

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

F����\�0�#����%����`��1#���#��01.����#�����������`����;��%����\��OSOBINA 3.3

'� 0�.01���� n-������ .�4�1� �14����Ì � ����#�� %��� �14������U� d � d ÌV�0�#����.�%�����[����.����DEFINICIJA 3.6�$�����.�4���$����� .�4��� ��� n-����� .�4��� %���� 1� ������ ����%���� ������ ��.��� ����4�.������������������.�#����%���������#������0�����1������������01.�1������������������%������$����� ��%����������1��#��!��������#���������1;�01.������#�����������.����PRIMER 3.6�$�����.�4����

����#����=�,��������#�����.�4���

,�������� #����� .�4��3� #����� ��%� 0���.������� ��.��� �� ��� ac�� ��#� ��.� ��0���.�����#���1���%�c��I���#����=J��DEFINICIJA 3.7�N-�����#����$���%��������4�.�����b�������������n-�����#����OSOBINA 3.4

+���#��n-�����0����#���#���0�.����4�����������n-�����#�����.�4���.�#������#�� #����� ��%� �������� �#��!�� ����#�� ��� �����.����� 01.1� ��� #������.�4��������.������4��1.����#��#�����.�4������������������0����#���#����$�����78

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��%������0����#����#����1�����?�����#��!�������#���01.��������#����������#�����.��#������.�4����'#��.#���#�����.�4�����0����#���#���1��#�����.����4��#.���PRIMER 3.7

$�����.�4���#������������#��1����0���������<�½ � ����¸ � �����Ñ � ���

����#����>�$�����.�4���

������.����������#����!����0��#�����������.���1�����%������4��������������� #����� ��%�� �� ��4����1� #��� ������ ����#�� ������ ��� 01.������� ��� #������ �����.���������.���� ��� ��0�����.�!����� 0����#��/� #����� 0��� 1� #����/� .�4����� ��#����.��� ��� #���0�������1� ��������� #������ ��%��� ,�#�� ��.��� �� ������1���#���� ������.����(�� 0������� 4������� #����� .�4��� #���� �������� #��1� ]�����^� ���� ������#���� ������.���

79

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#����B�$�����.�4�����������#���� ������.��

+��.��������������������#���0�������1����������#��������%��0���.������#�����DEFINICIJA 3.8�$��0��.���#����$�����������#���� ���/� ��.���1���������1 ���n-������#������.�4�1�� #�����������#��0��.���#����������� $*�8,6"��()7) (�$6�,������ 1�����0�.��4���1���� #������������41�1� �01���������4�� ������0����#���#���0�.�������0�.�������������$���.����������#�.�0�.��4�������������1����TEOREMA 3.1��$���.����������#�.��+���#�� 5�����0����#���#��������#����/���%��%����1��1;����0���.����!����4������]�\� �`� T � ��^��������;�.�3�

�Ï[ò³ d ��f\ �

�� �4��1.��� �#�� 1� ��.�� �1;���� #����/� ��%�� #���� ����������1� �1� �������#�.��0�.����0����#���#�����#��������%������.���1;�����$����1�I���J��;�������#�.��.�������#���#��0��.����PRIMER 3.8

80

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

+��4�������IÏ Y �J�#��0��.���0����#���#������0���������<�]�������^��;�3�� [��z|\ Y �[\ _ �[` _ �[` Y �� _ �< _ �< Y ��

$���.����������#�.�����#�;�����0�.����4�����������.��������0����#���#���%����1��1;����#����/���%��������<����.���.���;�3��[\ _ �[` _ �[` _ �[ê _ <@@� � ��=B e ��

6���#������4��4���#��0��.����$���%���0��������10�.��4��$���.����������#�.�������������������0�.�������������� #��� �� ����.����1;������ #����/� ��%�� 0����#����6�� �������#�.� ���� ����������������!��1�#������;��0�.���.��������0����#���#����(��0�������0���#������0���������<��������� ������0����#�����#����3�

�Ï[ò³ Y �[\ _ �[` _ �[` Y ��,�������������������#�;�����0�.����0����#���#��� �.�/��1;����#����/���%��� �����.�����0�.��������.����1��.���0�����1���<��.���#����������� ��PRIMER 3.9

Da li postoji binarni prefiksni kod sa dužinama kodnih re�i u\ Y �, u` Y �, u� Y �, uê Y ��·�u� Y <�?

6��������� ���0��.����3���[�|\ Y �< _ �< _ �< _ �@ _ �> Y �=�> e ���

��������������.�#���#���������.����I���#����@J��

81

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#����@�$�����.�4���4��������0����#����#����� �Û �Ý �Þ �� ��� �� �� �� ��� ����

PRIMER 3.10

Da li binarni prefiksni kod sa dužinama kodnih re�i 1,2,2,3,4 postoji?��6���������()��41�1 ������;�3�

��[�|\ Y �� _ �< _ �< _ �@ _ ��> Y �:�> h ���

82

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� )8�$��(6�$6 6"�(7)�6�����!�������#�����#�����������#����������.����������������!����.�#����������������1;����#������������������������0�.���1��������� ����� �������!�����#���� 1� #���� 1�#� �01������ 1� 0��#��� ��������!���� ������� �1;���� #���� ����#�����.�����������!�����%�#������1;����#�����DEFINICIJA 3.9�6%�#������1;����#�����(�#�� ��� ��.� ������ %���� �� ��4����1z����.1�1� �� ����.�� ����0z��U� d � d (V�����#��1��z��1;����#����/���%���6%�#������1;����#�������������%�#������1;����#����/���%�������.���3�

¨î�ð Y���u��|\ �

(���!���� ������0����?����0����#���#���#��������¨î�ð��.��������1 ���������7��������������#�� ���#��������%����.��4��#����.���������.�������4�����Kako odrediti dužine kodnih re�i?

Koja je najmanja teorijska vrednost za ¨î�ð?

������� ")*6"�,(6�(6�(5�*(�6��,��26������#���#����� �����1��������.��n-������.�4�����1�#�������#��#�������%������������������.1�.�4����������������.�����01.1����#���������.�����.����1�1 �� ��� ����� ���.1��� ��4���� �� ����?���������.�� ����� ����� ��� ��� �� ���#��#�������%�����������.�����.��.�%�������?��1�����.�� 1��(��#���� �������.�������0��#����!����������1�1�����.�� �������#�����(�#��� ����%������ ��.��� ��������1 ��� ����.�� ����� ��;���� ��%1��.�� ������.�� ��1�1.������/�%��������#1�����������.���#��#����1������1 ��1�#�1���1� ��� ��� ����.�� �� ������� %���� �����#�� 1��� ����.�� �� ������/� ��!�5%������(�#������0��!��1�����4�����������.�����n-�����.�4����

83

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

DEFINICIJA 3.10��"����.�����n-�����.�4����"����.����� n-����� .�4��� ��� n-����� .�4��� %����� %������� 1� ��������������.�� ��������� ����%��3�

�� $����1������������������.�� ������� "����.�� �� �/� �.���/� %������ 1#��1%1�1 �� �� #������ �����#�� ��� 1�������.�� ��������/���!�5%������PRIMER 3.11

+�� 4������� 0����#��� #��� ��� 0������� ��:�� ��#�� 1� ����.�� �� #����/� ��%���\ Y �` Y ���� ���` Y �ê Y ��������� Y ��<��,����#������1�.�.���4����������.�����4�������.�4��3�

����#����:�*�������0������������

�����.���� ��� 1� ����.������ n-������ .�4�1� 1��� ����.�� �� �/� ��.��������4�.�������#�����LEMA 3.1��2�����1;����01.���

84

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'�����.������n-������.�4�1��0���%���I�%�#����J������.��14������.��������#�� ��� 1��� ����.�� �� 1�1.������/� %����� I�#��1%������� ��.��� ��1#��1%�������#�����J��PRIMER 3.12�2�����1;����01.�����0������������+�� 0������ ���� ����.������ 4�������� .�4���� �%�#����� �14���� ��.��� ��������#��� _ ��� _ ��B _ ��� _ ��� Y ��<���������� �%�#����� �1;���� #����/� ��%�� ���� q ��� _ � q ��� _ � q ��< _ � q ��� _ < q��� Y ��<��DEFINICIJA 3.11�)�.��0������.���n-����������.������.�4����(�#�� �����4���� ��.��� ����.������ n-������ .�4��� �� ��#�� 1�0\� 0`� T � 0�����/��� ����.�� ��� ���� ��.��0����� ��.��� 0�����1��� ���� ��.��0��1���������1��3�

� Y��� ��� ���

OSOBINA 3.5

+�� ����.����� n-����� .�4��� #���� �������� 0����#���� #��1� �������!������������'���;�3�� Y �UöV�

DOKAZ OSOBINE 3.4

(�#�� �����0����#���#��� ������ö�����������!���� ����.�� ��0z��������.�� �� �5.��#�������%���0�� ���.����� Y CU+V������1���.�����41�1 ����� ���#��������1��������������� Y ÒUöV��������#.����0����#��������U�V Y �UöV���.�������� Y �UöV� DEFINICIJA 3.12�)�.��0��������������(�#�����ë�4����1�1.������/�%���������.�������5.�4�������#��1��\� �̀ � T �à����/��� ����.�� ��� (�#�� 1� ��\� ��`�T���a³ � �����.�� �� �z �%����5��!��I1#��1%1�1 ������.��J�1�1.��������%����%�����������.�� ���z��)�.��0�������������Cz�1��.���%��1������.���3�

85

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�� Y���×}� ��� ��×}� ����}� Y���×a³×|\ �a³

×|\ �PRIMER 3.13

(�#�����ë Y =�%���������.������.�4������0���������:�.�#���1���������������\ Y ����̀ Y ������� Y ��B���ê Y �������� Y �����,������3�� Y �����

�|\ ��� �� � ������¸·¹��b\ Y ������\\ Y ��������\` Y ��B��

�\ Y ���� ��� ��� � ��B ��� ��B � ��@@��¸·¹��b` Y ������`\ Y ��������`` Y �����

�\ Y ���� ��� ��� � ��B ��� ��B � ��:�@�¸·¹���� � ��:@=�¸·¹� �ê � ��:�@�¸·¹� �� Y ���

TEOREMA 3.2�)�.��0������.����)�.��0���� ��.��� ����.������ n-������ .�4��� �����#�� ��� 1��� 0�� ���1�1.�������� %������� 1#��1%1�1 �� #������ ��.��0���� ��������� %����� ��.�;��#�����#.�����������#������/��������.�� �����.��3�

� Y�}�����|\ �

PRIMER 3.14

�#����.�������0��������������0�����.������������;�3�� Y � k �\ _ ��� k �` _ ��B k �� _ ��� k �ê _ ��� k ��� ��@@� _ ��� k ��:�@ _ ��B k ��:@= _ ��� k ��:�@ _ � � ������¸·¹�A.������;��������#.������%1��������4��������1�0�����1�������

86

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

TEOREMA 3.3

+��4����#�������0����#���#�������� �.��� �������!������ ��������#���#���� ����#�� 1� �%�#���1� �1;��1� ���� � 1� ��.��0��1� ��4����� $��0��������� �������������!����0�� �����.��0��1���4������������� A)(6(6"��,)6*)���6�$6 6"�(7'��)+��*��'�,"��A'���$���.� ���������������1�.�.���1�.���1���������������� �1������.���1�����1������!1��%�#����������.��0����#��/�#�������.����������!�������������TEOREMA 3.4�A�������.�������#�������� �����+�� 4���� #���� ��#��.��� ����� �������!���� 4��� ��������� %���� ��� ��.��0�����UöV���%�#������1;���� 5������0����#�����#����¨î�ð�.�������������������3�

¨î�ð � �UöV���Ï��,������� ��<� ����� ����1� ����1� �����!1� ��� �%�#���1� �1;��1� #���� ��.��� �������������!�����

Kakva je ta granica?

Da li ima i drugih granica (npr 1)?

7���� ������ ���� ���1�.�.� 0�.���� ��#��������� �����#��0�#�;������� ��� .�������!�� ���4����� ���1 �� ������ �����!��� �� 4�� ��� ��� 0�#������� 0�.��4��� ���#��.�1��.�� #��#��.��� #��� %���� �� �%�#����� �1;���� #����/� ��%�� 0����������.�%���0��4��;������������!������� ����#��.�1��.�����#����0����#���#����#������#��������0.�������1��0�.����1%��1� �� ����������4���0��4��;���������� �����!�� �%�#����� �����.�� #����/���%��������������������4����1;�����z��#�������%���1z�.�#������;�3�

u� Y �� ��� ��������87

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����î�ð�����%���!���4����1������.�.�#1������3�� d î�ð d � _ ���

6�#��#�����������A����58�����#����41�1 �����������A�������0��!�.�������1�������1�����:<@�����������8�����������#0��!�.���#��.�1�����• Da li ovakav kod uvek postoji?

6������ ��� ������.���� ��� ���1� $���.��� �������#�.��� +��.�� 0�� ������!�����0���!������3�u� � � ��� �������

0����3��Ï[ò³� d �Ï���³��� Y�Ï�����³ Y ��� Y ����� �

����� �����.��;�.��#���#���������#�����4���1�����1�����%�#���1��1;��1�#��������������!�����;�3�u� e � ��� �����Ï _ ���

�#���4��.�����0����;������0z���1�������0��·����4�����3����u�� e �{ �� ��� ������Ï _����� �

¨î�ð e �UöV���Ï _ ���"�������������%�#����������.�#����/���%��A����58�����#����1��������������������� ��4��� ��� ������ �����!�� ��.�� ,�������� ��<�� ,�� ���%�� ��� ��� ���� #���0����%�����4��� ������.�� �����.��0���� ������� ����� �����4��������?1.�������������.��0�������������1 �����0���� �����.���4�����#����TEOREMA 3.5�A�������.�������#��������� ������

88

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

+�� 4���� #���� ��#��.��� ����� �������!���� 4��� ���������� %���� ��� ��.��0�����UöV��0�.����4����������� 5�����0����#�#���%��������%�#������1;����#����/���%��¨î�ð���.���3�¨î�ð e �UöV���Ï _ ���

PRIMER 3.15

*����.�����4�������UÏ Y �V�A����58����� #��� ��� �����ö��� %�.���� ��4���� %����1�����.�� ���� Y ��<���� Y ������� Y �������< Y �����$�������%��1���.���1;�����3�

u� Y �����` ���< Y ���u` Y �����` ���� Y ���u� Y �����` ���� Y ���u� Y �����` ���� Y <��

$���#��.�1������������1�0�.10#����.���1���#��1�$���.����������#�.���Kako se konstruiše kodno stablo U!Ø"#V ?

(�#��1�����.���1;����#����/���%���\���`���������2 Y ���z ��z _ ��$��.�1��.��0�.01���#�����.�4����14����2��U,�"÷�ûa"V��+��%�����#����0���������#��������%���������.��0�.#����������������1 ���0��.�4����0���.���%�����

89

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#���������.01���#�����.�4���

(�.��#�0����������=��

����#�����������������=��

(�����1�2�������1;����01.��������3��î�ð Y � _ ��B _ ��� _ ��� _ ��� Y ��<��

���#.�����%1������3��UöV Y ��< ��� ��< _ ��� ��� ��� _ ��� ��� ��� _ ��� ��� ��� � ��@�¸·¹��

"������������������������������#�.3�90

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

¨î�ð e �UöV���Ï _ ���6��������< e ��@ _ � Y ��@����?1.����������������#���������0.��������$����4�����10�.��4����<�#�������%���1;�������������4�����#�� 1��%�#���1��1;��1�#����¨î�ð Y ���������� C�8��(6"�$6 �C������� ������.��� #�������� ������ �������!���� 4��� ���������� 0��� 1� 5������ 0����#���� #����� ����� �0.������� #��� ���������� ���1 �� �%�#����������.��#����/���%���(�#�� �����ö �����b ���4����Õ�� Õ�� � � � � Õb �� �� ��������1 ��� ����.�� ������� ��� � � � � � �b��Hafmanov kod

��� �.��.1����� �� �/� �� %������ #���� �� ��� #���1� #�������� 4�.�� ��.���� +�.��������%1�������.�.�#���0����������1�� � b���Ï � ���I�����.����������b�0������Ô� ��1�#�4�.���1��J�'%�������/�b�%�����GaktivnimM����� 8�������������� %���� %���� 1���!�5%����� 5����������� ����.��/��#.���/�%�������Ô����#���� ���/�%�����I��.��J��

����#��������.�4���C���������#����

91

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6���%�.�� 5�� �#.���/� %�����#��� GneaktivneM��(���#�������� %�������%�.�� #���GaktivanM�� �����.�� ���#��������� %��1� ����.�� 1� �����#1� 1��� 10�������#.������/� 5��%����������#��0�.�������� �������#.����%��� .������0��!��1����#��%����,���%��� ���1������ �� #����� #���%���� #������ .�4���� '� 10��.����� 0�.��.��Ô Y ���� � �� ���#���#���������#���#���#�������1�.1���1��0������0��!��1�����������C�������#����41�1 ��������10�����0�����������.���0�������C������=�5.�/��������££��#���PRIMER 3.16���������C�������#����(�#�������.������ö3��

� �Û �Ý �Þ �$ �� ��Ü% ���= ��� ���=� ���B ���� ����7�����C�������#�����������ö������.��3�

����#��������.�4���C���������#���������.��0������

&Û &Ý &Þ &$ &� &�ïïïï ���� ��� �� �� ��"����.�� ��1�1.������/�%�����1���.��1�.�4���3�

92

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'Û Y �Û ( �Ý 'Ý Y 'Û ( �Þ 'Þ Y �� ( �� '$ Y 'Ý ( �$ '� Y '$ ( 'Þ ï� Û� ���� ��<� ��=B �������.���������3�

¨î�ð Y �U��� _ ���� _ ���BV _ �U���=V _ <U��� _ ���=V Y ��<=�����0��� 1�2�����1;����01.�3�

¨î�ð Y � _ ��=B _ ��<� _ ���� _ ���= Y ��<=� �#������.��0����������ö3�

�UöV Y��� ��� �� Y ��<��¸·¹�g�|\ �

PRIMER 3.17��,��������C�������#����(�#�� ��� ����� �������!����ö�� #��� 1� 0��./������ 0�����1� ���>�� �#�� 10�.��4����.��������#���Ï Y ����.�.�#����� � b _ � � > Y =�0����������1���Ï � � Y � � � Y��������Ô Y ���I��������= Y �� q � _ �J���.����.��4��1�.�� ���������#���� ������.��C�������#���1������1%��1������.��3�

����#�����<�$�����.�4������0���������B�

93

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

&Û &Ý &Þ &$ &� &�))* ½½Ñ ½¸ Ñ ½Ñ ¸�

'Û Y �Û ( �Ý 'Ý Y 'Û ( �Þ ( �� 'ÞY 'Ý ( �� ( �$ ï� Û� ��=�� �¨î�ð Y � _ ��= _ ���= Y ��>=�

�UöV��� � Y ��<���=: Y ��=�������<�� 6�,���2(6�,�C�8��(6"6-�$6 ������� ���� ��� !���� ��� 0�#�;������� ���C������� #��� �0.�������� �� .�� ���%�� ��� ���0�.���� ��#�� ��1��� 0����#��� #��� %���� ��� �%�#����� �1;���� #����/� ��%�������� ����%�#������1;����#����/���%��C���������#�����"�;��� ��� 1�%�.�� ��� 0�.���� ��#�� 01��� �0.������/� #������ ��#�� 0���1.�!����#����/� ��4���� ������� �0.�������� #����� .�#����� ����� �0.������� #���� ��#���������#����/���%��#������������1������#�����.������4��������.����������.�#�?�� ��� �0.������� #���� C������� ������.��� #��.�1���� ���� ������ ��� ���/������ �������.����.���0.������/�#������+��������#��� ������ ���������0.�������1#���#�����{ 0z�zZz|\ ��������������1 �����#101� �/� 0����#��/� #����� ��.��� ������ �������!����� ���� ��� ���z�����%�����1;����#�������%����4����1z��#���������.1���������.�� ���0z��LEMA 3.2

+���#���0.�������#�����������b����1 �/���4������;�3�0z h 0� + �z d ��� ����� � Y ���� T ���

LEMA 3.3

94

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�������.���1� 5������.�4�1����� _ c�UÏ � �V���������c�4����1�1.������/�%������1#��1%1�1 ��#������LEMA 3.4

+����.��������������!����ö��1�#������.�4�1�#�������������0.�������� 5������0����#���� #��1� ���ö�� 0�.���� �������Ï � �����#���� ���/� ��.��� �� �� �� ����������������#���������14����#������.�4����A.�� ����� 0�.���� �0.������� 5����� #��� ���ö�� 1� #���� 1� �� ���#���� ���� ��.������!����������.�������.���#���%�����LEMA 3.5

��������#���� ���/���.���1�#������.�4�1�#�������������0.�������� 5������0����#���� #��1� ������ö���b���4���� ��� �����#� 0���.����� �.�.#1� ���������b � ����Ï � ���LEMA 3.6

��.�����0.������� 5�����0����#���#���������ö�������4����Ub � �V�.�#������� 5���������������.��/�#����/���%�������#1�������0��0�����������4��1���������Ô��.�.�#���������� � b���Ï � ��I.�������Ï � Ô � �J��TEOREMA 3.6

C�������� #�������� ��� �0.�������� �.�� ���%�� ��� �#�� �����������C������� #����������!������ ������ö �� �� � ���1��� ��������%��� #��� �.��� ������� .���� ���)î2¤ð � )î2þð��

95

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� 2��6*�,6*�7�$��*� �VEŽBA 6.

C�������#���D���.��0��#��#���������1�������0�����3�)�.��0��#��#�������� �����.�����������?������ ��������%����#���������������1;����� ������������ �1;���� #���� ����1 � �� ��#�����1� 4����1� 0�������������!���� 0��#�� #��1��#�!������ #������� 6����� ������ �� 0��.0�.�#�� ��� ���0��1#����� �������.�� ���41�1�#���������#�� ���#����������#�0��1#���������������.�� ���41�1�#��������1;���#��������(�#�� �������!����� ����� P ���������� >� 0��1#�� �� ���� ��� ����.�� �3�� Y ]��<:� ���>� ����� ���<� ���<� ����� ����^���'#���#����������.�� �������0����.�����.��0�������������� Y ��� �UBV����1������1%��1��#1�0��1#1�4����#�����������4�.�3�

� Y ��@�B<�¸·¹v¿½�)�.��0�������������0����.������.�� ����3�

C¥ Y ������@�¸·¹v¿½�'#10���#���%�����������!���3�

�¥ Y ������ _ ���:<� _ ����>� _ �<�><� _ �<�><� _ �=��>� _ �=�>�� Y ��>���¸·¹v¿½������� ��.��� ��� �����.���� ����������� C��������� ���#����� #����� +�����������������#���������0�.��4�����%1���#��0��������

96

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�*�����������.#��0��#����.��45���(���������.�� ���3�

åå�0���æ��<:�����>�����������<�����<������������çÄ����4����0��1#�3�

åå���4������!���.�I!/��Ió�ó��ó�ó��ó�ó��ó<ó��ó=ó��ó>ó��óBóJJÄ�-����������C�����������%��#�3�

åå�æ��!��#����.��0���ç���/1�������!.I��4�����0JÄ�

����#�����=�C���������%��#�

97

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

(�� ��!�� ������ I���#�� ���=J�� 0��#����� ��� .����� 0���������� ��%��#�� #���� �������������0��#����.��45����1�#!����huffmandict(). '�0����#������1���������0��1#��ë Y ]�� �� �� <� =� >� B^����1���1����#������1�0���.�������#�������%��#������������1��������!�����������.���#��0��1#����������#��������0��#���������������%��#�3����1#�3�

>>>�>B���>B���==�B=B��B��$��������0��1#�3�

åå�0��1#����!���.�I!/��Ió>ó�ó>ó�ó>ó�ó�ó�ó>ó�óBó�ó�ó�ó�ó�ó�ó�ó>ó�óBó�ó�ó�ó�ó�ó�ó�ó=ó�ó=ó�ó�ó�óBó�ó=ó�óBó�ó�ó�ó�ó�óBó�ó�óJJÄ�åå�#������S0��1#����/1�������!�I0��1#�����!��#JÄ�

$�������0��1#�3��� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� �� ����)�.��0����#�������0��1#�3�

åå���.��0OI#������S0��1#�J����������:::>�4�.���

�#��������0��1#�3�åå���#������S0��1#����/1�������!�I#������S0��1#�����!��#JÄ�

�#�������0��1#�3�åå���#������S0��1#��

ó>óó>óó>óó�óó>óóBóó�óó�óó�óó>ó�óBóó�óó�óó�óó=ó�ó=óó�óóBóó=óóBó�ó�óó�óóBóó�ó�98

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

4. KANALI ZA PRENOS INFORMACIJA

9����������0��������13��� ������.�����������#���������������!����/�������1�!���1�0�1�������0�������%�#���1�0��1.1��1������ 8��������!����0�������������!����0��#��0�����#�������� '0��������������4���%���0��������������0�����1�0��1.1��1���3�#�0�!�.�.�#��������4������0�������<� 81������.����������!������#��0������1�0��1.1��1����

99

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

<���� $6�'(�$�9�6(��$�(�2���������������!����0�����1�����������/���0�������������������.�%#��1���1�1��������/���0����������#�����������������0�������������������.�%#�������1������#��1��!�����������?1������4�����.��������1�����������;�����#����0������0����������#����������������������#������;���� ��� ��#����������#��������1�� �� ��.��� ������� ��%�.������ 1� ��#���41�1 ���.���1.#1���������'��4���1%�����1�� ��������0��4������0�1�������0�������������!�����#�#��1������������� �1�������#����1� ���0������ .�#�� �� 1�����.�.#1��������#���0��.����������������#�������0��1.��� �1���� ��� #�������� 0������ ���1� �����.�� ��� ������ ��� ���� �/���%���3�

�� '� 1������ ��1��.��� ��#��� �1�������� 1�0�.�����1 �� �4��.�� 0�1�����0�����0��1#������ (����1������.�#�����������1 ��0����.��0��1#����0��/�.�����������������#��1�0����1���� ���1 �����0����.��0��1#��������.�� �������#��#��������;��1%���.��0��;����� ������ 0�������� #����� ��� �0��������� �����#��� 6����� ���������.�.����#�����������������������1������1�#��������0��1#���.�#�������0����������#��1�0����1�0���.��������������0���������/��������!����1�#��������0��1#����������1�#���/� ����;�� ��#��.�1��.��0���.��0��1#���������.�������������#����#��.�1#!������

����#��<���������#��1��#�!������#������

100

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

$��1��#�!����� #������ ���� #�� �� #������ ��0�����.1��� �� �.�� ����;�� ������.�� ��0��1#���1�.�#1��������0���������0�������#�����0�������#��I���#��<��J�����1#�����������4��������4������������.�#10��#����������������4�.��*����.����� ���� #���%��� ����4�.��� '������ �#��!��£\� £`� T�� I�#��!�� #��1�.��4�� 0����.�J� ��� ����?���� 1� 0�.01��.�� � �������!������ �������� ���������#��!��²\� ²`� � � �I0��������� �#��!�J� ��� ����?���� 1������ ������ �������������0����.��1������.���� ��� 1� ��.���.�%#��� ���1� #����� ����?��� 1������ ����.�� ���������%�.�/� 0��������/� �#��!��� 0��� 1����� 0����.�/� �#��!�� #���� �� ����1�� .���UO\� O`� T � OZW�\� �`� T � �ZV��DEFINICIJA 4.1� �#��.��� #����� 4��� ��������� I �9� D� Discrete Memoryless ChannelJ� �#��.���#�����4�����������������������.������#��1��#�!�����#������8���������������?�����.������%����� �#��.���1����������4�.�,¤��%����1�������.����4�����/�1�����/� 0��1#�� ������ £�� �#��.��� �������� ����4�.�,Î�� %���� ������.�� 0���.�����1����1 ��0�����������4�������������#��!��#�������+���#��£ � ,¤��1���������.�� ��0UOW�V�����#10���,Î��.�#������������#��b Y ������ � � ���

0UOZW�\� �`� T � �Z� O\� O`� T � OZ[\V Y 0UOZW�ZV�6����������1�.��������������.�� ��#������� �����!����<���������.���.�%#������1��!����%������!�������� �9�4�������������6����.�� �������.������������0���.���1��5.���#���� ���1�#������ ���������������������.����������1�0��./����/�b � ��10�.��4��#������������.���� ��� ��� �9� �����#�� ��0���������� 0��.�� ��0������ ����.�� ��0UOZW�ZV������������b��$����1�,¤���,Î�#���%����#���������;��0���.��.�������������1�#���3��� %�����������.�������������1�1�����������4�.1�-ª���� %������������.�������������1��������������4�.1�-­���

101

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�� ������#����0���1�1�%��������·�°×�1�����%����1����������.�� �����U°×W��V������1��1%�������#����1��������.�� �������#������#��������������1 �������������.�������.������PRIMER 4.1������������.��%���#������I��9�D�Binary Symmetric ChannelJ��(��0��.���� �9� ��� 4������� ���.��%��� #����� I��9J� #��� #���� 1�,¤ Y ,Î Y ]���^��4����������

�¬W�|�U�V Y �¬W�|\U�V "�����.�� Y �¬W�|�U�V Y �¬W�|\U�V��� ������ ����.�� �� ����#�� I����� error rateJ� �� .�� ��� 1������ ������� 0�����.��� ��9�� 41�1 �� ��� ���� Y �¬W�|�U�V Y�¬W�|\U�V����9���0�����.1������� ���������������

����#��<��� ��������4�����������.��%����#������I��9J�

PRIMER 4.2�������0��#����9�1�0��1.1��1�������.0�.�������� ;���������0������������0��1#�3� ����� �����������������������������������+�.����0��.0�.��������������#����1����0�����0��1.����1���.�#����� �1�0���#1����#����5.�� ��4���0�������1�10��.��� I��1��� ������1��J��,�#��#����������9���0�����.����� Y �����

Kolika je verovatno�a da prenesemo jednu poruku korektno?

�����4�����#������0��1#���������������.�� �������3�U� � �V� Y ��:� Y ��B�:�

102

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

A.�� �������� ����.�� �� ��� .��� 01.�� 0�������� ������ 4�.� 4��� � ����#���6�������1 ������.�� ������#������5��B�:����@�����#���0����%�����#������.0�.����� ���� #�������� 1� #���� ��� �#�� 4�.� 0��./������ #���� 0��������I1�����J��

Poruka 000 001 010 011 100 … 111

Kod ������ ������ ������ ������ ������ T ������������ ��� ����.�� �� .�%���� 0������� ������ 0��1#��U� � �Vg Y ��=���� 6����������.�� �� ����#����<>:�� �.�� ��� � �� ����� 1� 0��./������ �1%��1�� ��?1.����0�.��4��� ��� �����.��.�� ���� ������ .�0� �����#��� ������ #���#�� ��� ����.�� ��0���������0�������#�����������;����.�#.��.���6���.1�!������.����#������0��������0��������4������0���1��.�����������0�������������'��0�.��� � �1%��1�0�������������<� ���� �/�>���4�������������0���������0�������#�����������;�������#��.�����.�%����0��������"����.�� ��0������������4���������.���3�

���� �`U� � �Vê Y ��`U� � �Vê��"����.�� �� 0������� <� ��4���� ��� ��.�� ����êU� � �V`�� �� #���%��� ����.�� ��0������� >� ��4���� ��� ��.�� ���g�� '#10��� ����.�� �� ����#�� #���� �� �����;����.�#.��.�������.���4����3�

��`U� � �Vê _ ��êU� � �V` _ �g Y �������6������.�� �����0����%���������+�#��1%�#�����������������1 ���#�����������;��0�4�����.��0�����0��1#��0��#��#���������#�������1�1��1�����+��#�����#�;����������4���0���.���0�����1#���#����0����������.�� ��1������������������������������������3�

��aW�\� T � �a[\� °\� T � °a[\ Y ��aW�\� T � �a[\�TEOREMA 4.1

+�� �9�4���0���.���0������;�3�103

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�U¬\ T¬aW�\ T�aV Y��U¬�W��Va�|\ �

<������ $���9�,),�$�(�2��$�0�!�.�.� #������ ����� 0��4��.� ������� #������ ��� 0������ �������!����� ,�� �����#�������0���%���#���%�����������!����#����1����#��������;��0����.������������DEFINICIJA 4.2�$�0�!�.�.�#�������$�0�!�.�.��.���#��.����#������4�����������������#���3�

. Y ����ª ºU�Ä ¬V�����������1����1�#�������0������0�����������.�� ��0¤U�V����#����¬�������#�������PRIMER 4.3�$�0�!�.�.���9�����������!���3�

. Y ����ª n�U¬V � �U¬W�Vo������1 ��1���1������3�

}U¬ Í �V Y ����}U¬ Y �V Y � � �� ������������3�

�U¬W�V Y �� ���U�V � U� � �V ���U� � �V Y3 mÆ�����������������ªU�V��.�#��������#���%��3�

.Y ����à n�U¬Vo � mÆU�V� $�#�����¬�4��������1%�����0������������;��CU²V d ��� ����������CU²V d ��4�.���

Da li se ova granica može dosti�i za neku raspodelu �ªU�VN�6�������������1#���#�������1�����������0����������104

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

,���������3��­U�V Y � k �ªU�V _ U� � �V k �ªU�V Y ��=� _ ��=U� � �V Y ��=�

A.�� ���%�� ��� ���¬�.�#�?�� 1��������� ��0���������� ������� ��� ����U¬V Y ��4�.���.����������ª�U¬V Y ��4�.����������#���%���. Y � � mÆU�V�I1�4�.����J������������������������<������ $�(�2��������),*�F(���'2�+6��DEFINICIJA 4.3

�9�#�������������.��%����1������1#���#�������0����������.�� ������#���.�������1��������4������������1#���#�����#10�]�­W®³U°V3 � ø­^������������PRIMER 4.4 $����������.��%����1�������

����#��<���$����������.��%����1�������������.��%�������������

����#��<�<�������� �9�#������������.��%��������������������.��%����1�������

��9����#����������.��%����1�������105

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

LEMA 4.1

+���#�� �9������.��%����1��������U�W¬V�����������������0������0¤U�V�����U¬W�V Y �U¬W��V ����#���� � ø­���.���� ��� ����;����� ��0������ ����.�� �� 1����� ��� #��1� �� ��.�;�� #�0�!�.�.�����.��%���� �9� #������� �#�����.��� ����;���1� 1����� #���� ��#����1���������?���.���������OSOBINA 4.1

+���#�� �9������.��%����1��������;�3�. Y ���/0 î�U¬Vð � ����

��������� Y �U¬W� Y ��V�����#���� � ø­��<������ $�(�2��������),*�F(����+2�+6��$�����������.��%����1������1�����%��������.�� ���������#������01�.��1��#��1��������4���1���������1�#������1��.������#����4���I�.��������0���1.�!��1������J������� ���� �����.��.�� #������ #��� #���/� 1� ����.�� �� ������ #���� ������� ����������/���4������.��I�.��������0���1.�!��1������J��DEFINICIJA 4.3a�$�����������.��%������������� �9���������.��%������������#�������#10�]�­W®U°�V3 � � øª^������������Oz���PRIMER 4.5

��9�#��������0�������<�����������.��%�������������LEMA 4.2

106

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

$��� �9� �� ���.��%���� ��������� 1��������� ��0������ ����.�� �� 1�����U0¤U��V�����.������#���zV����1�.1���1�1������������0����������.�� ����������1�U0ÎU°�V�����.������#��OzV��OSOBINA 4.2

+���#�� �9������.��%�������������;�3�����à �U¬V Y ���Wø­W ��

DEFINICIJA 4.4�����.��%���#������ �9� ��� ���.��%��� �#�� ��� �.�������� �� ���.��%���� 1������ �� �� ���.��%�������������TEOREMA 4.2

$�0�!�.�.����.��%����#�����������.��3�. Y ���Wø­W � ������������� Y �U¬W� Y ��V�����#��1��������4����� � øª��

PRIMER 4.6

��9����0�������<���������.��%���#�����#���#������3��� Y mÆU�V Y �� ��� � � U� � �V ���U� � �V��

�.������3�.1±2 Y ��� � � mÆU�V Y � � mÆU�V�U1�4�.����V��

<���<�� �*+�(���*)(6���DEFINICIJA 4.5

������� 0������ I��� ���1� 4J� #���� #����� �� #��1��� ��#��.��� �����ö���W,ýW�0��1#���%����1�#�������%����#����1;��������������������3�107

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�3 Y ���3WøªWb �������.���� ��� ���W,ýW��.�������� �� 4���� ���1 �/� #����/� ��%�� ��.������.�%#�/������1�����/�#���������0����1��������¸������%1������4������#����1����������������#������.��#�����PRIMER 4.7

'� 0�����1� <��� I4������� #��� �� @� #����/� ��%�� �� �1;����� #����/� ��%�� >J�� 4������0��������3�� Y ��� @> Y �> Y ����6�������������1������41�1 �������1�����#��1�#���.�����01.������4�.��������.�����.1���������

108

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

<���� $6 6"�(7)�'��*��'�,"'�A'���6��1� 0�������� %���� G,������� �� #������1� 1� 0��1.1� �1��H� I������ Noisy Coding TheoremJ�� #���� 1.�?1��� 1���� 0��� #������ ��� ���1 � 0�1����� 0������������!�����(�#�������0����������� ���3�

Koja je maksimalna brzina pouzdanog prenosa po kanalu sa šumom uz upotrebu kodova za ispravljanje grešaka?

Koja je maksimalna koli�ina grešaka koja se �ini kada se informacije prenose brzinom ve�om od maksimalne?

<������ $6 ��6(�"27�(7�� � ���� 0������ ������� ����� �����.����� �� ������� #���� ��� �0��������������#��� ������� 0���/����� �1;�� ��� ���� 0�#�;�� ���1 ��.� #��.�1#!��������#�����#�����/�#�������������� #��� 0�����������������.���� �#�� 1������ 4������� ��4��� 0�������b Y �c _ ��01.��c h ��� � $����\���� �0���� 1� 0�����1� <���� *����.�� ���� ������0�����4����0�����������41�1 �������.�#��#�������#��1�1�������1�� ��#������#����'�����#����#���������.�� ��0�����������#����������������#������.�� ��������������������c _ �������#��1������.������4��#1�0���.�#���*����.������.1�!��1�1�#�����������#���#���.�����#��1��!�������0����9�#����1������� �����#�� ��� ��0�������� 0�� 4������������ ��0������ �� 0�����.�����Ub� �V��6%�#����������.���/������#������0���������� e ��=���%�#�����4���������#����������� ���c _ ��=�� �.�� ���%�� ��� ����.�� �� ��� �� ���� ���������c _ ������#��1�1.���������#�������%��.�;���1���#����c�I�������.�����bJ�.�;��4�#���%��.��� �1������%��������.�� ��0�����������#��������.�;���1����#����0�� �����4����0����������I�������.������1;����#����/���%�J�

109

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������.�����1�.���1�������#��0���1������14�.#��1�����1�������#����1����0��������������� 1#���#�� 0��������� �������� ���#� 4���� 0�������������?1.����!����#���������.��0�� ��������#���.���������.�#���#�������\Z �����.�;���1���#������b�0�� ����+�����#��b��.�������0��/�.�������#��4������0�������<������ ,)6*)���6�$6 6"�(7'�'��*��'�,"'�A'���TEOREMA 4.3�'#���#�� ���4������� ���.��%��� ���������4��������1����1� �9�4���0���.���0�����#�0�!�.�.��.���1#���#������� h �.�� .�����������.�� ������#����4���������1�#��������.���3�

}3 � mÆ[\ �� � .���������3�mÆ[\U�V Y ���]03�0 ���U�V � U� � �V ���U� � �V Y �^��

/Æ[\�����%��� ������1� 4�����1� ��.��0��#1� �1�#!��1�� 0��� %��1� ��� ���� 1������4��������.���.�����������1�#!�����

����#��<�=���������4���������.��0��#���1�#!����

"�;���0�����!����� .������� ������#��������;���� h �.��0�.����0���.���������������!�� ��� ����.�� 1� ����#���4�#��1� ��� ������ �.��� #��������� 4��� �4�����#���#�����4���#��0��#��������;��0����� ���110

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

PRIMER 4.9

(�#�����#�0�!�.�.�������� �9��. Y ���=�4�.�����0�����0��1#��������������#����0���������4�������� Y ��=��.����������1��1�#!����I}3J��������.�� 1�����#����������1�#��������4����������#1������������5��41�1 �������3�}3 � mÆ[\ �� � ��� Y �����

,�� ���%�� ��� �� ��������� ��5� 4�.�� 4�.�� 0�������� ��#������� 4��� �4����� #�#��#�������0��������������#��0����������Kako stoji stvar sa DMC sa povratnom spregom?

��#��1��� �� ��� �� 1� �1%��1� �9� �� 0���.���� 0������� �������#�.� �;��� 6��%������!�� �� ����;��� .���� ��� 0���.��� 0����� �����;�� ��� 0�� �� #�0�!�.�.� �9����?1.����.��������%�����0���.���0�������������%�����$����������0�������� 4���������� e �. �� 10�.��4�� 0���.��� 0����� 0�� 0����1� 0������.���1���#������������#��������������1 ���0�.�������;�����������#����#���������TEOREMA 4.4�$��������1� �9�1��0��1.���1����*����.����� 0����� 0��1#�� 4���������0��#�� �9� 4��� 0���.��� 0������ %���� ���#�0�!�.�.�.��+������ e �.�����6 h ���0�.����#������ �0��������������#��4��������������#����#���������4 e 7��'�0�.��������� ������;���.�������.��������#�����4��������������1 ����%���#�������� �������!���� ��� ����.�� #������ ��;�� �� 0�.� �� 0�� ;����� ����� ����#����#����������������0�������������!�����*����.�������9�������.�� �������#�����%�������#�0�!�.�.�.����. Y � � m8�U�V��

Da li za zadate �,. i �, date u tabeli postoje kodovi koji ispunjavaju ove zahteve?

Kanal Ü � Ûï5. ��@�� ��>B=�Kod � �X� �X< :X�� �X� �X< :X���}3U���5V � ��� � ��� � ��� � ��� � ���� �� ����

Da li postoji? � �111

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#��<�>����#��0���.���������������0�.�����������

64���������3��#�� ���* e .���1���� ��� ��� 0�.���� #��� � %���� ��� ����#�� ��#�������� 4�.���4�0��;������������#������ h .������#����#�������������;��4�.��/8U�4V e � � 9:����#������ h .�����/8U�4V � � � 9:��������;�������.��������������#��1%�.���0��.���������.1�!�������1 ��I�����1�#��.����#!������.��������<��J������������������������#��#��.����#��������������4�������#��1%����������.�#��#������.����;��0�.���.���'�.�4����#������������.�������������������1���/�0��1?�������

Kanal Ü �5. ��@��Kod � �X� �X< :X��}3U 5V � ��� � ��� � ����; e .N da da neÛ � <X; - - ����:=>U?*V - - ���@� ���=��

Postoji! da da da da ne možda

112

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Kanal � ��5. ��>B=Kod � �X� �X< :X��}3U 5V � ��� � ��� � ����; e .N da ne neÛ � <X; - ����� ���=�=>U?*V - ���@� ���=� ���@� ���=��

Postoji! da da ne možda ne ne

,������� <�<�� ��� 4���� ���#�� ������?����� 1� A�������� ���1� IC. E. Shannon3� A mathematical theory of communication��Bell System Technical Journal�������B��00���B:D<���and�>��D>=>��July and October���:<@J���4����������:<@���������������������1�.�.����.����������1�!���1�0�1�������0�������������������.��4����1�0������������#�����.���0�� ��.������������X�1���A����� ��� �1���� ������.� 0�#��1�1 �� ��� �#�� ��� 4������ 0������ �0��� #�0�!�.�.��#������� 0�� ����� 0�1�����.�� 0������ �� ��;�� 1� 0�.01��.�� �.���.��#��.�1#!�����#��0��#����/� �.���� #�������� �� ��#��������� 4��� 0�.��4�� ���������������������X�1���6�� .������� ����� 0��#.�%�1� ��������1�� '� ����� ��1� ��.�� ��!�0.�� #�#�� ���#����#��.�1��.�� ��4���#������(��0����������.�� �����#�;��#���#�� ����1;����#����/���%����1��1�#!����0�����.���Á���.���� ��� ��.���� %�.��� ��!�0����� #���� �� ���� ,������� #�������� I������ Coding TheoryJ�� %���� ��� !���� ������������� ���#���/� ���.�.��/� #������ ������� #����� �.��� ��4���������.������������#����#����������

113

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

5. ZAŠTITNI KODOVI – KODOVI ZA ISPRAVLJANJE GREŠAKA

9����������0��������1������������������������ ��0�.����3�Šta su blok kodovi?

Kako se meri rastojanje izme�u kodnih re�i?

Šta je težina kodne re�i?

Šta je minimalno rastojanje i minimalna težina jednog koda?

Kako se odnose ove veli�ine prema broju grešaka koje kodovi mogu da detektuju ili isprave?

114

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=���� 6�(6")�$6 6"��+�����*�"27�(7)�-*)A�$��$���� �� ������ #����� ��%��z�0������ 0�� ��#��� #����1� �� �1������ �� ��� �����1�#������0������@��.��������������1 ������#��1�0����1���4����#��������#��� Y �@5��z��$��1%��� ����������4��#���#�������� ����������������4��#��.�1#.1���1�#101�#����/���%��.�#�����������#����;����#��������.��0��� 1��0���!����#�����������1�.1�����4��#1�.�1#.1�1��PRIMER 5.1�*����#��4������/��#��!��������������������#��4������/��#��!���������.��0��#��£6*��0���!����� �#����;�3�

����� � ����� Y ������,�/��%#�� ����� �� �0���!���� ��1�������� ��� 0������� =��� �������� ���.��.�!�� � 0�����1�1� ��� ������� ��������1 �� ����4��#�� .�1#.1��� ��� 0����� -�����A¡U�V��$����� ��%�� �1;����b�1� .��� �1%��1� 0��0����1� �#.��#���0��.��1�-8U�VZ��6���#��!�0.� �� ����#.��� 0�����1��� ��� 5����� #����� #���� ������ ���.��.�#�� 0�����1�1� ��DEFINICIJA 5.1����#�#���� 5����� 4��#� #��� �1;����b���� ��0������ 0��#10� �#.��#��� 0��.���� �5.��#��-8U VZ��7����.��������%����.��1� 5�������%���1;����b�0���.�����#����#.����#�������PRIMER 5.2����#�#�����#10�]����� ����� ����^����������0������4��������4��#�#����� �1���0������4��#�#�������.��������#�������4����������������.�#��������� _ � Y ���� _ � Y ���� _ � Y ���� _ � Y ���� _ � Y ��I���.��.�#�� 1�A¡U�VJ�� %���� 1� #�������%��]���� ���� ���� ���^���#10�]���� ���� ��^������4��#�#����41�1 �����#�������%����1��.���1;������

115

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=������ C)��(-6"6�*��,67�(7)���,)&�()�$6 (�C�*)F��DEFINICIJA 5.2�C����������.��������C�������� ��.��������U�z� ��V�� ������1� ��� ��%���z�������.�� �1;����� ������� ���������1;����b�����4������4����I0���!���J�1�#��������.�����#�������%�������#1�1��PRIMER 5.3�C�����������.��������C�������� ��.������� ����?1����������������������� 0��.�� �� ��� ��� ��%�������#1�1�����������0���!�����C����������.������� ����?1����������������<��0��.������������%�������#1�1�1����0���!�������C�������� ��.������� ����?1������ �������������������������41�1 ����� 1� ��%�������%�.���1;�����C�������� ��.������� ��� ���.�� � ��.������� 1� .������ ��.���.�%#��� ���1�I���������� .��� �#����� ��.��%#��� ��.������� D� ���.������ �1�.�� ��.������� ���������#�.�.��1���J�DEFINICIJA 5.3�,�;����#����/���%���,�;������������%�������#�����4���1����1�.�/���4����1�.�����%���PRIMER 5.4�,�;����#����/���%��,�;���� ��%����������� ��� ��#� ��� .�;���� � ��%����������������#�� ��� ,�;���� ��%������������������#�����OSOBINA 5.1

C����������.����������#�������%�������#�����.�;�������/��������#������������n�z� ��o Y ôU�z� � ���V��

�����ÌU�V�����%���C����������.����������ÖU�V�.�;��1���%���PRIMER 5.5

116

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6���0������0�#��1����#�����.��.�C�����������.���������.�;���������#�3�ÌU�����������V Y ��

ÖU����� � �����V Y ÖU�����V Y ���OSOBINA 5.2

,�;����#����/���%�����1�#�0���.�������������#���1����DEFINICIJA 5.4

(1���#�������%����#�������%��.���������������1����6���%����������OSOBINA 5.3

,�;����������#�������%������1�����#���������#�����#�������%��1���#�������%��OSOBINA 5.4

,�;���� 1� ���.��%��� �1�#!����� ������� ôU�zV Y ôU��zV �� ���� �� 0��� ��z�0�����1������%�1�#���������#����4������������10��.������4������PRIMER 5.6�����.�����.�;�����*����.�����.��������#�������4��������������1�A¡U�V��,�������

ÖU��������V Y ÖU�������V Y = Y ÖU�������V�������.����������1�4���������1%��1���z Y��z�U�� Y ���� Y �V��OSOBINA 5.5

+���#1�#���1���%��z�������;�3�ôU�zV _ ÖU¼×V � ôU�z� _ ���V��

PRIMER 5.7

'� 4�������� �1%��1� ������ ÖU������V _ ÖU������V Y < _ � Y B� � � YÖU������V Y ÖU������ _ ������V��117

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

*����.�����.��������#�������4�������������3�ÖU��������V _ ÖU��������V Y > _ < Y �� � = Y ÖU�������� _ ��������V��

Zašto su Hemingova rastojanja i težine re�i važna za algebarske kodove za ispravljanje grešaka?

-���#�� �� #���� ��.���� 0��� 0����1� �����#�� ���� Y �@�5��z�� ���� ����z����.����� ���@�0���������#�������%������������#��0���0����1������.������������#�.�;������%��R���������ÖU¼B �� �¼�V�� 6�� �����.� ��� 1������ �����#�� C��������� ��.�����1�ÌU¼B�� ¼�V�����?1����.�������0���������#�������%����.���� ��� ��.�#.������ ����#�� �#�����.��� �� ��.�#.������� ��� �1�.�� .�;����� ���0��������� �����#�� ���� �� ��� ����%1������� �����#��R�� 4��� 0����������z��41�1 �����������0�����1�0����.�������@��=������ )$6 6"�(7)� ��(���2(6-� *��,67�(7�� �� ��$����2()�")*6 6�,67(6�,��

Na koji na�in se dekoduju blok kodovi?

��������� ��.1�.���� #��.����1�� ��� ��#�������� � ��� ��������!���� ����#����#��������� �������ÖURV�� �� ��1��� .����� ������ ��� ��� ��� .�� ��������!�����#�����.��� ����;���1� ���4��;�� #����� ��%�� 1� ����1� ��� 0�������1�� ���������������!����ÌU¼B�� ¼�V��(��0��������#��1����1 ��#�������%������ ���������0�����������%� �������� .���� ����#�� ������� ��#�#1� ����.�1� �������!��1�� ��#������� ��%� ����� ���� ���ÌU�������V Y ���ÌU�������V Y �����#�������������4��;��#�������%��DEFINICIJA 5.5� �#���������������������.��������$�;�� �� ��� #���.�#���.�� ��#�������� ����������� ��.������� �#�� ��� ���1#��Ï�0����#�����#������������#1�0�������1���%��@����4��;��#�������%��.���

U�@V Y ������C�9 �U�� �@V���

118

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����.������ ���� 0��!�� ��#�������� �� .�����.�� �����#�� ����.�����0�.�#��0��4������$�������0�����������%��@���������.��������.�����#�������%�¼��������#������#����1�������.�� 1��U£ Y �W² Y �@V�� ���� �����1����� ��¬������� ���#�������6�� ����.�� �� �� ��� ��;�� ����%1��.�� 4��� 0��������� �0������� ����.�� �����.������ #����/� ��%���U£ Y �zV�� �.���� �� �4�%���1���� ��#��0��.0�.�#��� ���#���/� ��� ���1���� ���� 0�� #����� �� �� #����� ��%�� ���.1�1� �� �����#�������.�� ����I.���0��.0�.�#����#���������.��0���J��,�����;�3�����½�D�2 �U£ Y �W¬ Y ¼BV Y ����½�D�2

}U¬ Y ¼BW� Y ¼V}U� Y ¼V}U¬ Y ¼BVY ����������½�D�2 }U¬ Y ¼BW£ Y �V�U£ Y �V Y ����½�D�2 }U¬ Y ¼BW£ Y �V�F�����U² Y �@W£ Y �V���� ��#��� ��� ����%1������� ����� 0�%�.��� �������U£ Y �W² Y �@V��(�� 0������ 1� �1%��1� ��9� ���� %���� �� ���� ��� 0�������� .���������/�����.�� ������#����4�����#�� ��� ��9� .�#�� ��� �� ��4���� ����1� �����#1� ����.�� 1� ����#����� ���� %����0�.���3�

�U£ Y �W² Y �@V Y 0�UC�C@VU� � 0VZ[�UC�C@V��41�1 �� ��� ��� ��U�� �@V���4���� 0�������� �� ����#��� �� �b � ��U�� �@V���4���� .�%���0����.���2�#��������.�����#�������%�#������#���������U² Y �@W£ Y �V��������#�����������������.�������ÌU�@�� ¼�J��6������1������0�#��������������#��������0����.��1��������������.�����������#������������.����.���#�����.���1��1%��1���9��=������ ),)$9�7�������*�"27�(7)�-*)A�$��

Da li postoji na�in da se unapred za zadati kod može re�i koliko grešaka može detektovati, a koliko ispraviti?

119

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6������ ��� 0���.���� �� ������ �� ��� �;���� ��.1� 4��#� #����3� ���/�����������������.��������DEFINICIJA 5.6�������������.�������#�����������������.�������#����9 Y ]�\� �`� T � �à^��������������C����������.��������izZU9V�����?1�4����#������������%�.��#�������%�3�

���izZU9V Y ���zE� �U�z� ��V��(������� .������� 0�#��1��� ���.�� ��� ���������� ��.������� ������� #���� ���!��.����������%����1�.�������#���������0��������������#���TEOREMA 5.1�$�0�!�.�.���.�#!�������0��������������#������#�#����1;����b�����#�����������������������.����������;�����4����#�������4�����¹���¾�� .�#�� ��� ���� d . d �� ���� d d � � .�� ��� �0���� �� �4��#�� �����������#����1#10���¹����������������#���������.�#.1������4��#�������������#����. _ ��T � . _ ������#����#���������#�����������������.�������#����.��#.���� ������. _ ��OSOBINA 5.6���#�������#�0�!�.�.���.�#!���������#������#�#���.�#����#���.����.�#!��1�������1�����������������.�����1����;����10�.��4�.�� ��� ��.�#!��1� �/� �4��#�� ������ �����#�� �� 1#10��� ������ ����izZU9V � �������#����DOKAZ

'�.�������=���.��4��.��.��. Y �� Y �izZU9V � ���OSOBINA 5.7���#�������#�0�!�.�.��0��������������#������#� #��� . �#���� #���.�� ��#�������� �������� ��� 0���!�01� �������������.�������� ��;�� ��� �� 10�.��4�� ��� �0��������� �/� �4��#�� ������ �����#�� ��1#10���U�izZU9V � �VX�����������������#���������;������0�������4��#�������������#����1#10���� _ U�izZU9V � �VX�������#���

120

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

(�0�������� ��� ��� ��������� �� �� 1� �������� ��������� .��� )1#���#�� �������!���4���������������I1�����!��F�X�G��.��!���4������������������J��DOKAZ

'�.�������=���.��4��.��.��. Y U�izZU9V � �VX���������'���������%�����U�izZU9V � �VX��������#�������¹�#��������;��10�.��4�.��1�����.��������PRIMER 5.8

���#�#������������������.��������@���;����10�.��4�.��������� ������.#�3��� �0���������������#������.�#.������<�����#��U¹ Y �� ¾ Y �V��� �0������������������������#������.�#.����������=������#��U¹ Y �� ¾ Y �V��� �0���������������#������.�#.����������>������#��U¹ Y �� ¾ Y =V�<� �.�#.���������������������#��B������#��U¹ Y �� ¾ Y BV�

���#�#������������������.��������B���;����10�.��4�.��������� ������.#�3��� �0�������������������#������.�#.������<�����#��U¹ Y �� ¾ Y �V��� �0������������������������#������.�#.����������<������#��U¹ Y �� ¾ Y �V��� �0���������������#������.�#.����������=������#��U¹ Y �� ¾ Y <V�<� �.�#.���������������������#��>������#��U¹ Y �� ¾ Y >V�

PRIMER 5.9

��4��4��#�#�������������0������������#1���������������������.������������4�.��4��������

121

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=���� 2�()�*(��$6 6"��2��������#�����0���.�����1�����1����������%������/�#����#������4������/��������.���.������#����0�����.�!�����(�1%� ���3�

Šta su Ub�QV D-arni linearni kodovi?

'� ���� #���� #����� ��� ���������� ��.������� �#�����.��� �� �����������.�;�������Kako se vrši kodovanje pomo�u generator matrica?

Šta je sistematska forma generator matrica ovih kodova?

Kako se vrši dekodovanje na osnovu verifikacionih matrica i sindrom tabela?

Kako se izra�unava minimalno rastojanje linearnih kodova?

Šta su binarni Hemingovi kodovi i kako se koriste?

DEFINICIJA 5.7�2��������#����Ub�QV� 5����� ��������� #���U� d � d �V���� �5����������� 0��0��.��� �#.��#���0��.����-8U VZ��5����������/��#.����1�A¡UÏV�� �#���� ���������#����� 1�4��#�#�����#����1��#.��#��0��.����PRIMER 5.10�2��������#����$���]��������������^���.�1�0�����1�=�����������������#����0��.������������#�������%�����#�������.����������#.��#��0��.������������ #���]���������� ����� ����^���� ��������� #��� 0��.�� ��� 4���� #���� ���������#��4���!����#����/���%�� .�#�?��#�������%�� ������ .�� ���U<��V�4������� ���������#���0��.����������������#.��#���0��0��.�����������������1;����<������������ ��.������� ���� #���� ��� ��� 0�� ����;�� #���.�.�� ��� �0��������� ��������������#��I0�����.�������=��J��

122

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

OSOBINA 5.8

��#�����������#������;���1���#���1���%��6����.������#.�����������%������!�����������������#����#.��#��I0��J0��.����Koliko kodnih re�i sadrži jedan Ub�QV D-arni linearni kod?

OSOBINA 5.9

Ub�QV� 5����� ��������� #��� ���;�� i������%�.�/� #����/� ��%��� 1#��1%1�1 �� �� �1���#���1���%��6����4���� �������������4��1�0����1���� ��� ��� ������#�����0���������4������#����/���%�� I����� .�0������ÏJ� ���������#����,�#�?����������1�������.����#��0���?��Q�D�����������4�����#�����DOKAZ

���.�� ��� ��������� #��� �#.��#�� 0��.��� ����������Q�� �#�� #����� ��%� �� ��4����#��� ��������� #��4���!����Q�4���%��/� #����/� ��%�� I.�� ��� 1������ ������ 4���� �����#.��#���0��.���J��+��UQ� bV� 5�����#��������1#10��� i������%�.�/�#����/���%�����0�����/� i����1 �/���������/�#��4���!�����OSOBINA 5.10������������������#������������0����������������Ub�QV�#������3�

* Y iZ���DOKAZ

����.������������4������ 5������#������������ë������%�.�/�0��1#����#��������%�����1;����b���.���3�* Y ��HàZ ���

�Koliko se razli�itih poruka može kodovati UQ� bV linearnim kodom?

123

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6����#��#���#������#����/���%�����.����� i����.������3��* Y ��H IJZ Y iZ��

TEOREMA 5.2�)#�����.��.��������������.�������������������.�;�����+���#�����������#���.3�

�izZU9V Y ôizZU9V���������ôizZU9V�����������.�;����#���������������������.�;�������1�.�/�#����/���%�3�ôizZU9V Y ���C�9CE� ôU�V��6������1�.�.�������%�������.���.���������#����#�������%1��.��1�0��#��ôizZU9V�������izZU9V��

PRIMER 5.11

U����V�4�������#��������������������������������������������������������������������� ������������� ������������� ����������� � ���� ��������1�.�;��1�=���������.�����������������.�������=���.��������#�����;������0�������4��#�������������#����1#10�������������#��I���.����4��1�=�BJ��������.���������������#�������������=������ $6 6"�(7)�2�()�*(���$6 6������� ���� 0�#���.�� #�#�� �� 0��1#�� .���������1� 1� #����� ��%�� ���������� #������#�� �� �� #����/� ��%�� ���4���� ��� 4��1� Ub�QV ����������� #���� ����%�� ���\� �`� T � �i���.������4����#����#�������%��z���;����0��.��1��4��#13�

�z Y � 1z�j�jj|ij|\ �

124

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����1�1z�j�#��0����.���z����4���%��/��#.�����j��'�#��0�#.�����4��#1��#���.� ���������1�����4�1������3��z Y n1z�\�� T � 1z�io k - Y 1z k -���

�������1z��#.�������n1z�\�� T � 1z�io���-���.��!��%����1��������\� �`� T � �i��������.�����0��1#��1z��1;��������4������#��1���#��������%�1��z����;����������.��!���A���.��������.��!��A�������������.�����.��!����.���#�����DEFINICIJA 5.8�-�����.�����.��!���Q���b���.��!��A���� ������.�����.��!��Ub�QV����������� #����.��#�� �� ���� �#�� 1������/�Q��#.���� ������ 4����� �#.��#��� 0��.����.�� $�������� 0��1#�� 1��1;����Q�������������;������ Y 1 k -��PRIMER 5.12�-�����.�����.��!���(�#�� ��� ��.�U<��V�4������� ��������� #��� ��� 0������� =����]����� ����� ����� ����^��6���#�������%�.����#�������%������;�����#��1���%�.����0��1#�3�%�.����4���������%����� 0�� ��� 4�.��1� Y ��� �1\ Y ��� 1` Y ��� 1� Y ������������ #�������� 0��� 1�������.�����.��!���7����� ���1 �� 4���� ���� #���� ����\ Y ����� ��` Y ������ �.�� ����� ������.�����.��!13�

- Y K��������������L��,������1\�#��1���13�1\ k - Y U���V k M��������������N Y U�������V Y �\��

���%���0�.10�������.�������������1`�1���`��1��1��������1��1�������������.���� ��� ��������� #��� 1�#� #��1��� �1��� 0��1#1� 1� �1��� #���1� ��%�� 6�� ���0�����!����������.��#������������%������!�����������������#����#.��#��0��.�����

125

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=������ ���,)��$��86*���2�()�*(�C�$6 6"��6���/����1 �/�������.�����.��!��� ������ ����0��4����4��#���#��0�.�����,�� ����.���.#���������DEFINICIJA 5.9���.���.#���������-�����.��� ��.��!��A�Ub�QV����������� #���� ��� �.���.#�� ������ �#�� �� ��;����0��.��1��4��#13�

- Y O�i��P YQRRRRS���� T ��0\�\� T 0\�Z[i������ T ��0`�\� T �0`�Z[iTTTTTTTTTT �TTTTTTTTTT � ������T��0i�\� T 0i�Z[iTUU

UUV������� ����i�������%��� ��.��!�� ����������Q�� ��#� ���}�Q���Ub � QV���.��!�� #���� ��%�.����������.��!��0����.��I������Parity MatrixJ�������.����� ��� 1#���#�� 0�.���� �.���.#�� ������ ������.��� ��.��!�� ����������#�����������������.�����DEFINICIJA 5.10���.���.#�����������#����2�������� #��� #���� #���.�� ������.��� ��.��!1� 1� �.���.#��� ������ �� �������.���.#��I��������J�#����$����Ub�QV���������� #��� #���.�� �.���.#1� ����1� ������.��� ��.��!��� .���� ���0��/�Q���4���� ��� 1#10���b���4���� #����� ��%�� ����#.��� �����#� ��4������0��1#�3�

�z Y U1z�\� 1z�`� T � 1z�i� �z�if\� T � �z�ZV��� �1���� ��%����� �.���.#�� #��� 0��� ������ ��#�����1� 0��1#1�� �� ��.���Ub �QV�#����/���4�������0�.��4����.�#!�������0��������������#���PRIMER 5.13

"��.���� �� ��� 0������ =����� �1������1 �� ��4��� 4����� ����\ Y ����� ��` Y �������.������3�126

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

- Y K��������������L�A.�����1�������.���.#��������������.�����.��!������#�����PRIMER 5.14���.��0������0����.���+��4�������0��1#��4�.�0������0����.�����4�.�#������������0����.��4�.��0��1#���.�����������1���4�.��0��1#���(��0�������4�.�0������0����.�����0��1#1����������� _ � _ � Y �����#�������0��1#1������������#�� _ � Y ���$����������4�.���0������0����.�����.���������.����1�����1���#�������0��1#�� ����#���� �����4�.�0����.���'� .��������� .�������#�������������������UQ _ ��QV�4������������������#��1��%�������������.�����.��!�3�

- YQRRRS�i

�����TUUUV���

#���� ���1��.���.#��� ������������.����������������������.�����������#������I0�����.�������=��J���.�����%���������#�����;�������.�#.1�����������1�����#1�I���.��.�����1�=��J��=������ )$6 6"�(7)3�")*�8�$�9�6(����,*�9��

Na koji na�in linearni kodovi detektuju i ispravljaju greške?

���.0�.�������������������.��!1�¡�� .�#1��������#1�#���1���%�¼��;����� ���� k 8 Y���,������#����0����#���0������¼���������#��R���.�����%�����������0�����1��@ Y � _ �� ������3��@ k 8 Y U� _ �V k 8 Y � k 8 _ � k 8 Y � _ � k 8 Y � k 8��

6������1�.�.� ���������#��#���.���0��.��0��������@ k 8������������������.�����#�������%��¼�������������������#��R����������������������������������������#��1� 0����1� �����#�� ���������� #��4���!������ ������ ��.��!�� ¡ �� '� !���1��0��������� �X���� ��.�#.������ �����#��� 0�.��4��� ��� �����.���� �#.���� ���127

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�#.��#��� 0��.���� ����������� ����������.��!��¡�0����#�.�� 1� ��������1 ��#���������I������.�#.����J�0��1#��� ������.���.�%#�/��������������%����� k 8 Y����1�#������1��4��#13�� k CW� Y ���

DEFINICIJA 5.11�"�����#�!�������.��!�����.��!��������������Ub � QV���b���������#�!�������.��!�����Ub�QV� 5��������������#���.���#���������#���;�3�

ú� � �-8U VZ��������� k CW Y � X � � 9�� �1������%����������#�!�������.��!��#����.�����������I#�����J�#����.�������.������� ������#�����;�� ���.�����������%�.�/������#�!����/���.��!�����#����.��!�� %���� 1� ������ 4���� �#.��#���0��.���� #���� ��� ��.������������ ���������#�����������#�!�������.��!��.����#�����

Kako na�i verifikacionu matricu?

'��1%��1��.���.#���#���������#�!�������.��!�������������#���TEOREMA 6.3

+���.���.#�����������UQ� bV�#���.��%���� ����.���.#��������������.�����.��!����.���3�- Y O�i���P��

��.��!���4��#�3�C Y �W���Z[i�������#�!�������.��!���

�����.����������1��1%��1�0�����A¡U�V� �} Y }��PRIMER 5.15

*����.������.���.#��#���%�������������.�����.��!����.���3�128

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

A Y M������������������N�M�` ����������N��,�������Ub Y =�Q Y �V3�

C Y �K����������LW ��� Y Y����������������������������Z�������������1 �������#�!�������.��!��#����.��Kako se dobija verifikaciona matrica u opštem slu�aju, kada generator matrica nije

u sistematskoj formi?

(�#�� ����������#�!����� ��.��!��Ub�QV� 5������ ���������� #���� �� ������.�����.��!���A�� %���� 1� ������ ��\� �`� T � �i� ����;���� �� �� ��� ���1� ���� ���������.��3��� +��· Y Q _ �� � � � � b�����4��.��¼��#��� 0���������� �#.��� 1�A¡UÏVa���������������������¼\� ¼`� T � ¼�[\����� ����%1��.��������1���.��!1�ë[\���.��!��ë�%����1�������¼\� ¼`� T � ¼a����� ������.���[ �#���0�������/�b � Q�#��������.��!��ë[\��

PRIMER 5.16�"��.���������0������=������U<��V�#����%�������������������.�����.���

A Y K��������������L�(�?����0�������#.������������������0��./������������4�������0����������������,������3��

129

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

� YQRRRS����������������������������TUU

UV���[\�QRRRS����������������������������TUU

UV�6��#�������3�

CW�QRRRS������������TUU

UV��.���C Y M��������������N��

=���<�� '�2(��$6 6"��"�����#�!����� ��.��!��Ub�QV� 5������ ���������� #����.����Ub � QV���b���.��!����.�#�� ��� ���cRÔU�V������#�.3�cRÔU�V Y .�� (�� ���1� �1������.����� .������� �������������� �#.��#��� 0��.���� Ì·QUcRÔU�VV _ Ô½bcU�V Y b� Ì·QU.V _Ô½bcU�V Y b�·u·�Ô½bcU�V Y b �Q�������� .����b � Q������� ��.��!�������������b � Q��������������� 0��0��.���AUÏa��.���Ub� b � QV����������#����6���#������������1�����#���#����.�I���4��1.�J��OSOBINA 5.11 � 1�����#����1������#����.�������#���.��OSOBINA 5.12�-�����.�����.��!���������#������������#�!�������.��!�����������1������#�������4��1.���=���=�� ��( *6����������������������#��1%�����������������/�#�������#�����¼��#�������%�#������0������� ��R �����#�� 0����#��� 0������� 0��������� ��%� ����@ Y � _ �� ��#�� ����������#�!�������.��!��#���� �����#���������0��������������#���.������3�

130

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

¼\ k �[ Y U¼ _ RV k �[ Y ¼ k �[ _ R k �[ Y � _ R k �[ Y R k �[

6����1.�1����;�1�%������!1�������¼B k �[ ��������������#.��������#��R������������ 0�������� #����� ��%��¼B �� �.���� ��� ���%����¼B k �[ ���� 0��4��� �;��.�� 1���#������1������������������I¼B�1�����1�����J�� )8�(�9�7��=�������������������������%���@�1�����1���������#�!���1���.��!1������0��������@ k CW��OSOBINA 5.13

�������� Y��@ k CW�0��������� ��%�� ��@�1�����1���������#�!���1���.��!1���#����.������ ���� ��� ����#�� 1� 0����1�� Y��@ � �z�� �� ��� �� ��� 0��������� #����� ��%���z���z � 9��-���#��R�����;����#��0����.��1�������.���������#�� I����#����������#�����4���J�� ������� �#.��� ����#�� ���� ���� #��0����.��� Y U�\� T � �ZV�� #���� �����1�������.���3�¾U¼\V Y ¼\ k �[ Y R k �[ Y�RØmØØ �

�������mØ�#5.��#��������.��!���� ��� Y îm\�T � mað�� �� 4�� �� ������ #���#.��� I10��.��� ��� ����#�J� �������� ��� �� �� #���#.���� #������������1�0�������%��������#������0������������������#��������1�����������������1 �/�#���#.�������0�������%�������#���$���������� �� ��#��� ���� 1� ��� #���#�3� ��0�������� #������ ��.��!��� �1�#���#.���� I#���� �� 0��.�� 1� ��������J�� ���������� ������!�� ��� ��������1 �����1�.��0���!�������������PRIMER 5.17�$���#!�����.�4��!������������������������(�#����3��

C Y Y����������������������������Z�131

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�����#�!�������.��!������.���4��������#�����,������������1�#��������.��!��C����������� ��#���#.�����.�4�����0�����

Tabela a Tabela bSindrom $���#.�� ������� $���#.���

101 ����� ��� ��������� ������111 ����� ��� ��������� N100 ����� ��� ��������� ������010 ����� ��� N001 ����� ��� ������

�����.���� ������� ��%�.������� #������ ��.��!����� I.�4���� �J�� �#�� ��������1��?�����0����������������#�#����.��1�0��#����#���.����4������I.�4��1�4J�������.�������� �3�(1��� ���������1�#���0���� �������#�����������������1�������!����=�����+������������#���#.�������������.���1�����0�����1��(��0�����3���� Y ��� _ ������.�������������U����� _ �����V����� Y ��� _ ������.��������������*������ ��� .�� ��;�� 1� %������!�� ��� ���� #��� �������������� ��.������� �� ����;�����#����1�������������#1���������4��#���#.��������#����1#10������������������#���6����������������.����������1����������#����1�0����1��'�0��#���0��.�� �� .�4���� �������� ����������1 �/�#���#.�����60�.��0��!��1�����#��������0���������0��1#���@�������� �3�

�� ����%1��.����������¾U¼BV Y ¼B k �[ ��132

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�� ����%1��.�� #���#.��� Ñ Y �R �� ��� ���1� ��������/� #��4���!�������������/�#���#.������� �����.����#��������¼ Y ¼B�_Ñ��PRIMER 5.18� �#����������������/�#������(�.�������0��������=��B��1�#�������������.�����.��!����.���3�

- Y M������������������N�����.0�.�������� ��0������Õ Y ����6��0��1#�� �� #��1���1� ��%�¼ Y ������� ����.��� ����������U=��V�#������ ���.0�.����� ��� ����@� Y ������� ������� ��� ���0����#��� 0������ 0��� 4�.� 0�������� 0����.�� *�%1����� �������U�@V Y ¼B k CW Y������.������#��#���#.��1�! Y ����������.��I.�4��1��J����0�������=��B�� �#��������������0������1����@ _ ! Y ����� _ ����� Y ������ ��.�������1�0������4�.����#�����1�0��1#1�����0��.�����#���� ����.���.#��4�������#������#����.��������������������������������0��1!�����1���1�1�#������KONTROLNO PITANJE

A.�� ��� ����������� 0��1#��� �#�� ��� 0��������� 0��1#�� ����������� �����#�!�������.��!��10�.��4�������#���������.���3�C Y

QRRRS��������������������������������������������������������������������TUU

UV��ODGOVOR

6����������0��1#������������U�@V Y ¼\ k CW Y �������.����������.�� ���#������1�����.�� ���%�� ��� �� ����#�� ������ ��� .�� ��� 0���!����� �.���� ��� ���.����� #����� ��%�����������I0��������� ��� .�� �� 4�.J�� �� 41�1 ����� ���#��� �.���.�%��� I���.���J�������������0��1#�����������I1��.��0��/�Q Y : � < Y =�4�.�J��

133

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=���>�� ��(���2(6�*��,67�(7)���")*�8�$�9�6(����,*�9��$��� ��������/� #����� ���1 �� ��� ����%1��.�� ���������� ��.������� ��� ���1������#�!�������.��!���TEOREMA 5.4�"�����#�!�������.��!����������������.���������#�� ����������#�!����� ��.��!��Ub�QV� 5������ ���������� #����.�U� d Q d bV��.���� ��� ���������� ��.������� #�����izZU9V������#�� ���������� 4���1� ��������������/�#������1����+��4������� ���������#�����.��������#�!��������.��!���������� ���1�.�.����%������ �3�

�� C�������1���#��������������Ìp�aU.V h �� ���� �#��C���������01.���.1�#����1��Ìp�aU.V� h ���PRIMER 5.19

�����������������#����������#�!��������.��!��3�C Y ]���������������������������^��

������.����������+��.�����������1���#����1���.�����01.���.1�#����1��0�����.�����izZU9V h ���'���0�.����.������������������#������/\� /����/���OSOBINA 5.14

+��Ub�QV����������#���.���;�3��izZI9Jd � � �_ ���

=���B�� ��(�*(��C)��(-6"��$6 6"������� ������1%��.����4���4�������#�����#�������1����#����1��� ����1�����#1�����.�� ;������ ��� �0������ ���� ����1� ����#1�� �������� ��� ��� ������� �����

134

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#�!��1�������.������#���������� �#��������������������������#.��������0���!��1���0������ �������0�1�0���!��1����� � ���������1�1����� � �������.�� 1����.�������.�������������������#�����0���!����c���������������1�#�������c5.��#��������.��!�����6��%������!������#�������������#��.�1���������#�!�������.��!��%����1�#������4���������0������.�!�������/��/�0���!�����A.����������1�#����������3�

Koju dimenziju treba da ima ova verifikaciona matrica?

Da li ova konstrukcija zaista daje verifikacionu matricu koda?

Da li ovako konstruisan kod može zaista da koriguje sve vektore grešaka sa ukupno jednom greškom?

A.�� �� .�%�� 0���� 0�.������ 0���.���� �� ��� ��� ������� ����������Ub�QV�#�����1;����b � Q�� �#�� ������� ����#.��� #��1��� 0���!��1� ����#��� .��4���� 4�� �����0�����.1����Z[i � ��0���!����� ������ .����� �#�� �� ���4���� ��� ��� �1;���� #�������%��b Y ��Z[i � ��� ��0���!���� ����������#�� ��4�.�� ��.10������1������#�!��������.��!���'��������.�4����1���.�����1 �������.���������������#����#������

_ ` a Y _�`b < �Û� �� <ÞÛ �> =�Þ =B >� � �� � �(����������0������������#�!����/���.��!������1;����#����b Y B���b Y �=��

�� Y Y� � �� � �� � ������ � �� � �� � �����

���Z

135

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�ê Y c� � �� � ������ � �� � ������ � �� � ������ � �� � ������ �� ������� � �� � ������ � �� � ������ � �� � ������ � �� � ������ �� ������d� �1���0�.���������0���.��������������#������#��.�1#!������������������������#���� 41�1 �� ��� 1� ��.��!�� #���� ���1�.1�1� 1� ���� #��.�1#!���� 01���� ��������������Ô½bcU�V Y b �Q�� 6�� �� ��;�� 0�#���.�� .�#�� �.�� �� ��#�� ��;��#��.�1��.��������%�����.��!��ºa[p����#��������.�/���.��!��I1�����������������<���@��������#�����J��6��������������������������#������������.��!��Q���.�������Ub�QV����������#���� �� 4�� ��� ���������� ��� 0�������� 0�.����3� ��� ��� ���� #�����;�� ��� �0���� ���4��#�� �#.���� �����#�� �� 1#10��� ������� ����#���� �������� ��� ����%1��.��������������.��������"�����#�!�������.��!����4����������#��.�1#!�������#����� �����.���1���#����1���.������.��#��������.�#��������1��;��.��Ìp�aU.V � �������1��� .����� 0��� .��� #������ ��� ��.��!�� 0���.�����1� 4�����1� ��0�����.�!��1�4����������������#���.�#��1�1�#�����������������6����������������������������.�����������#����1�#��� �������;����� �0�������4��#���#.���������#����1#10��������������#����6���#�����������4�������C�������#����DEFINICIJA 5.13�C�������#����C������� #��� ��� U�e � �� �e � � � �V �4������� ��������� #���� U� � �V �� %���� ��������#�!�������.��!����.���3�

Ce Y î4eU�VW�4eU�VWT4eU�Võð Y c� �f f ���x �g f� �� ����T �T �d����� ���4ZU�V�4������� ��0�����.�!���� 4����� �� 0��� 1� �54�.��� ��%�� I�0���4êU=V Y�����J��OSOBINA 5.15

��#�� 4������� C������� #��� ��;�� ��� #����1��� �� �4��#�� �#.���� ����#�� ��1#10��������������#����136

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

PRIMER�5.20�C�������#����'������������Ô Y ����#��.�1������C�������4�������#���UB�<V��,���������3�

�� Y Y� � �� � �� � ������ � �� � �� � �����

���Z� ��4�����������������.�����.��!1��0�.��4���������0����?����<��#.����¼��.�#�/�������� k CW Y ���,��1����0�������#.����I�����������1 �/��������J3�

¼\ Y ��������¼` Y ��������¼� Y ��������¼ê Y ��������

�.�������������.�����.��!13�A Y c��������������������������������������������������������������������d����.0�.����� ��� ��� 0���.�� 0��1#��Õ Y ������ 6��� �� #��1��� 1� #���1� ��%�� Y 1 k - Y ���������(�#����1�.�#1�0��������������#�����.�� ���4�.1��.�#��������0���������#�������%������@ Y ���������

Kako se ona dekoduje?

��������U�������V Y �@ k CW Y ������������ 4������� ��0�����.�!���� ��� ��� �.�����%�� ��� �� ������ ������ ����#�� ��� ��� 4�.1�� �.���� ��� ���1�.�.� ��#���������@ � ������� Y �����������#���#�������%�#�������.�������0���.���

137

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=���� 9�$2�F(��$6 6"��(�1%� ���3�

Šta su cikli�ni kodovi?

Kako se kodovi prezentuju pomo�u polinoma?

Kako se vrši kodovanje i dekodovanje pomo�u cikli�nih kodova?

DEFINICIJA 5.14

9�#��%��� #��� ��� ��������� 4��#� #��� .�#�� ��� �#�� ����z�#����� ��%� ��b���4�����z Y �z�\� �z�`� T � �z�Z��� .���� ��� �� ��%��z�`� �z��� T � �z�Z���z�\�#���� �� ��4���� !�#��%����0���1.�!�����I0����.�����#���0���������1����J���4����#�������%���z��.�#�����#�������%���.���!�#��%����#�����6�� 0��#.�%��� ���%�� ��� ��� �#�� !�#��%��� 0���1.�!���� #����� ��%�� .�#����� #�������%��PRIMER 5.21�9�#��%���#��������� �����������4��#�#������!�#��%���#��3�

�\� Y �������`� Y �������� Y ������ê� Y ���������� ��#��������!�#��%���#��3��

�\� Y �������`� Y �������� Y ������ê� Y ��������.��!�#��%���0���1.�!����#�������%����������1�#101�#����/���%���9�#��%��� #����� 1� �;��� #���� ��������/� #������ 0��.�� ��� 1� ���� #��� ���1 ��#��.�1��.�����#����0��!��1���#������������#����������

138

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=������ 9�$2�F(��$6 6"�����62�(6���9�#��%��� #����� ����1� ����.��� ������%����� ��� #����� ��%�� I�#�� #����� ��%� ���!�#��%���0���1.�!������#��#�������%�J���.���/�1�0�����1�����4��#��.�1#.1���%����#��0��.������ ��� �#.��#�/� 0��.����� ����4��� ���� 0���������� ��� 0���������.���.�%#���0���.�������/�1���0�����.�!��1��(�#������z�#�������%�������4�����z Y �z�\� �z�`� T � �z�Z�0���.�������0���������

�zU£V Y �z�\ k £Z[\ _ �z�`� k £Z[`� _ x_ �z�Z��6������ Ó �.�� ��4����z�� �#����� ��%�� �z ��1;����b ���� #����!����.� 1�� .�0���£Z[����������1 ���0���������zU£V��

Šta je onda � k ¼�U�V�QvÌÕuv�U�a � �V?

��#��� ���� ��� ��� �0���!���� �������� !�#��%���� 0�������1� 1� ���� ��4����#�������%���z���DOKAZ

� k ¼�U�V Y � k h�¼��×a×|\ k �a[\i Y�¼��× k �a[×f\a

×|\ Y � ¼��Øf\a[\Ø|� k �a[Ø

Y ¼��× k �a _� ¼��×fØ k �a[Øa[\Ø|\

���1��£Z � ��������.���� ���%�� ���£Z��������� ���£Zf\���������£�� �� .��� �.�����z�\ k £Z�����1���£Z � �����������z�\��.�#����������������3�� k ¼�U�V Y ¼��\ _� ¼��Øf\ k �a[\a[\

Ø|\ Y � ¼��Øf\ k �a[Ø _ ¼��\ k �a[aa[\Ø|\ �

A.�����.����������#��������%���z�`� �z��� T � �z�Z���z�\� ��������!�#��%����0������1�1�����#�������%���z��139

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

PRIMER 5.22�����1��£Z � �����.��.�#���(�������������0������������.��.�#�3�

U�` _ �V k U� _ �V Y �� _ �` _ � _ � Y � _ �` _ � _ �����U�� � �VY £` _ £ _ U� _ �V����U£� � �V Y £` _ £����U£� � �V�0��.�����1�4���������1%��1�� _ � Y ���PRIMER 5.23���������������0�����.�!����!�#��%��/�#����������.������4��������!�#��%����#�������0��./������0������3�

�\� Y �������`� Y �������� Y ������ê� Y �������������������0�����.�!��������#���������.���3�¼\U�V Y ��¼`U�V Y � k �` _ � k � _ � Y �` _ ��¼�U�V Y � k �` _ � k � _ � Y � _ ��¼êU�V Y � k �` _ � k � _ � Y �` _ �������.���������3�

� k ¼`U�V Y ¼�U�V����U�� � �V���.�����%�����������!�#��%���0�������1�����#�������%���`����.����3�Šta su polinomijalne prezentacije slede�ih kodnih re�i?

�� ����������� �������� ��������<� �����6������3�

140

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�� ���� �ê _ ���� ��<� �� _ �` _ � _ ����.����3�����.���������#�������%���\���`��������!�#��%����#������

Šta je onda ¼\ k ¼` u slede�im slu�ajevima?

�� ¼\ Y ������� ��¼` Y ��������� ¼\ Y ����� �������¼` Y ������� ¼\ Y ������ ����¼` Y ������6������3�

�� U�ê _ �` _ �V k �` Y��ê _ �� _ � Y ������� �QvÌU�g � �V��� U�� _ �VU�` _ �V Y �� _ �� _ �� _ � Y � _ � Y �� ��QvÌU�ê � �V��� U�ê _ �� _ �VU�� _ �V Y �j _ �g _ �� _ �� _ �ê _ � Y �` _ � _ �� _� _ �ê _ ���ê _ �� _ �` _ ��������OSOBINA 5.16

�#�� ���¼U�V�0������� #���� �������� #������ ��%��¼�!�#��%���� #���� �1;����b�� .������#�� 0������� 0U£V� �0U£V k �U£V������U£Z� � �V ��������� 0������1� %�������������1 �� #����� ��%� 0��0���� .��� �.��� !�#��%���� #��1� I!�#��%��� 0������� 1�����0�1����������#��4���!���J��TEOREMA 5.5

+���#��!�#��%���Ub�QV�#���.�0�.����0��������9U£V�.�0����b � Q��.�#�������3�. Y ]w2U�V k �3 � � A¡U�V� ���U�V e Q^�6�������#��0�������#�������%�����1���;�#��9U£V����4��1.���,�����%��������#���.����������0��� 1��9U£V���6���0���������������������.�����#����.��$����������%��1�0��� 1�!�#��%����#����.����.����1�����1��U£V Y 1U£V k �9U£V���

141

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

$��� �.�� ������� 1�#� ��� 0�;������ ���.�� �.���.#�� #��� 1� #���� 0��� ��4������������1� 0��1!��� +��Ub�QV�!�#��%��� #���� .���� 0��!��1��� #�������� �41/�.������ ��#���#�3��� ���;����� 0�������� 0��1#��ÕU�V����a[p�I!�#��%��� 0��������� 1� ���� ���b � Q���.�J�������.�����������5��.�0���������.������� ���������a[p k ÕU�V���������.�����wU�V�����4��������.�.#��ÔU�V���� $�������� ÕU�V ���� .���� ¼U�V Y �a[pÕU�V � ÔU�V �� %���/� Q �������/���4����������������4����0��1#��Õ��

�PRIMER 5.24���.���.#��#��������!�#��%����#�����������.������UB�<V�4�������!�#��%���#��3�

¼\ Y ������� ¼` Y �������� ¼� Y �������� ¼ê Y ���������¼� Y �������� ¼g Y �������� ¼j Y �������� ¼� Y ���������¼k Y �������� ¼\� Y �������� ¼\\ Y �������� ¼\` Y ���������¼\� Y �������� ¼\ê Y �������� ¼\� Y �������� ¼\g Y ���������

6��� #��� ���� ������.����U£V Y �`U£V Y £� _ £ _ ��� 9���� ���� ��� ��� 0��������0��1#1�Õ Y �������������'U£V Y £� _ £` _ ������������0���£�1U£V Y £g _ £� _ £�����U£V��(�#��������������4�����3�

��ÕU�V Y U�� _ �` _ � _ �VwU�V _ ���6������#�������%���3�

¼U�V Y ��ÕU�V _ � Y �g _ �� _ �� _ ����.�� ��������������� �� �� 1������3� 0��1#������ ��� #��1��� 1�������� �������.���� ��� 1� 0��� %�.���� 4�.�� �����#�� ������������ 0��1!�� 1�� �.�� ��� �� 4��� !�����.���.#���#���������

• � k ��g _ � k ��� _ � k �ê _ � k ����������������������������������������������� ªãfªf\ªã �142

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

• � k ��g _ � k ��� _ � k �ê _ � k ���• � k ��g _ � k ��� _ � k �ê _ � k ��������������������������������������������� ªãfªf\ªãfª� �• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �`�• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �`��������������������������� ªãfªf\ªãfª�fª�����• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k ��������������� ªãfªf\ªãfª�fªf\�• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k ��• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k � _ ��• � k ��g _ � k ��� _ � k �ê _ � k �� _ � k �` _ � k � _ � �� 555555555�� �.�.�#������������• ��ÕU�V Y U�� _ �` _ � _ �VwU�V _ ��

TEOREMA 5.6

-�����.���!�#��%����#�����1;�����������#.���0��������£Z � ���TEOREMA 5.7

��#�� ��#.��� 0��������£Z � ��.�0��������� ������.��� �������U�� � � �V�!�#��%����#�����=������ )$6 6"�(7)�9�$2�F(�C�$6 6"����.10�#���#��������!�#��%��/�#��������.����1����� ��3�

�� ���� �� ����%1���� ���������� ���1�0��������� ��%�� I0���.���� ����������������������������#����������������.�����#�������%���������#�����1����#�����0�����������%������#��#��������%�J���� ����%1�������#���#.����I#�������10��.����������#�J���� $���%����0������1�����#���#.������0�������1���%��143

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

$��.�1#!���� ���������@U£V��� ���� ��� ����%1������� �.�.#�� ����������@U£V���������.�����#�����U£V��+��.��� ��� ������ ��� !�#��%��� #����� ��� ��� �#�� #����� ��%��U£V��1�.�0�� ���������.�����U£V�� �.���� ��� �.�.�#� �������� ��U£V _ �U£V�� ���U£V���.�� #��� �.�.�#�����������������U£V���U£V Y lU£V k �U£V��U£V Y mU£V k �U£V _ U£V� ����#�������������3��U£V _ �U£V Y îlU£V _ mU£Vð k �U£V _ U£V��0���%��1������� �nU£Vo e ���n�U£Vo��7�������������#��.�1#!�����������������U£V��1����#���������#������@U£V�#�������%� I��������1�.�0�� ����U£VJ�� $���#.���� #���� ��������1� ���1�.��� ���������������1���4�.��������������wU�V���������1���1����� �3�

� �������1�����#1���.�0����· e b � Q�����������������.��������� �������1�����#1��a[p�������������a[p � wU�V��

PRIMER 5.25� �#��������!�#��%��/�#������(�.����� �� 0��./������ 0�������3� 0��1#���������� #������� 1�����������0���.��0��#����.���#����������.0�.�������������1���4�.�0����������.�#��������0�����������%����������

Kako se odvija dekodovanje?

�����������������@U£V Y £g _ £� _ ���%������������������wU�V���4���3�

�6����������������£` _ £ _ ���144

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Sindrom KorektorÛ �n �nÝ �`�n _ Û ���nÝ _ n �ê�nÝ _ n_ Û ���nÝ _ Û �g����/� <� ��� ��4������ ��� ���1� ����.�/� ��0�;������ ��#� 1� 0�������� �� ��4��������������������#����������.�����wU�V��(�����������#���#.��������4�.��£�����#����#���%�����#���������%3�

¼U�V Y ¼\U�V _ �� Y �g _ �� _ �� _ ��� ����������1�1 ����� ���#���� ����.���.�%���#����0��/�<���4�������#�������%�� 1�0���%�.������4���������������0��1#�3�������PITANJE

*����.�����UB�<V����������#����%�������������.����U£V Y £� _ £` _ ���Kako �e se dekodovati slede�e poruke?

�� ���������� ���������� ��������ODGOVORI

�� ������������ Y £g _ £� _ £ _ � Y U£� _ £` _ £ _ �VU£� _ £` _ �V�

6�����%��������������������#���I�.�.�#������������wU�VJ����41�1 ���������������.���.#���#��1��0���<�4�.��0���������#�������%��1������#��0��1!����� �����

145

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������� Y �g _ �ê _ �� _ � Y U�� _ �`VwU£V _ �` _ ��Sindrom KorektorÛ �n �nÝ �`�n _ Û nÞ nÝ _ n �ê�nÝ _ n_ Û ���nÝ _ Û �g�

�������X#���#.���.�4�������������.����U£V Y £� _ £` _ ��������� .����� ����%1��.��� ������1�£` _ ��� �������� #���#.���£��� �#�������0��1#������4������1���������0���������#�������%��������#���������3�

�g _ �ê _ �� _ � _ �� Y ���������"�������4����.���.�%��.��#����������0��1#���������

�� ����������6����������������������������.�������#���#.���.�#�?�����0�������#���������%��� _ � Y �����������0��1#��������

146

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=�<�� $6("62'9�6(��$6 6"��(�1%� ���3�

Šta su konvolucioni kodovi?

Kako se vrši kodovanje konvolucionim kodovima?

Šta je stanje i dijagram stanja?

Šta je rešetkasta prezentacija vezana za predstavljanje ovih kodova?

Kako koristiti Viterbijev algoritam na rešetkama, u cilju dekodovanja minimalnim rastojanjem?

Kako izra�unati minimalno rastojanje konvolucionih kodova?

$����1!����� #����� ��� 0��0����1� #���� 4��#� #������ ��/������� #��������0��.�� 0��./����� #������� ��4����� '� ������� ���1� �� ���1� .��.���.�� #�����������%����4��#�#���������!��#������������#�������������%����������#1���� ���#��1����#���������4��#�#���������������� �� ��%��1� #�������� #����1!������ #������� ���� ��0�%�.�� �������0��������#���������A����#������������4�����0�����������.�I���#��=��J��*��������4��������#��1��

����#��=�����#����4���0��1#��Õ����#��1���1������4����¼`�[\���¼`��

147

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'��#��������#���.���1.#1�������������4���0��1#��1z�1�����1�#��������#������4����#�������%���`z[\�����`z������.1�1���������1 Y U1\� 1`� T � 1z� T V���#��1���1�� Y U�\� �`� T � �`z[\� �`z� T V���.�������4����������#�����X������!��#�����������0��������I���#��=��J�����;���0��.���3��`z[\ Y 1z _ 1z[`��`z Y 1z _ 1z[\ _ 1z[`�1z � U1z[` _ 1z� ��1z[` _ 1z[\ _ 1zV�6�������%���������1�0���.��.����#�����#��.���#����1!����1�������#��!�����#��!�������������������������������������������

����%1��.�� ����°îbð���������� #����1!����� �������îbð���mîbð���.�/� ��� ���������#���3�°îbð Y � �îcðmîb � cðo

Ø|o �=�<���� $6 6"�(7)�$6("62'9�6(���$6 6"������#�� �� ��.���� ��� 0��./����� 0������ ��0��� ���� ��� 0��!�� #�������� ����� 1�0�.01��.������?�������#����1!������41�1 �����������1�0����.��0��./����������.��1z[`���1z[\�� 6������� .�� ��� �#�����.��� 0�.���1� �.�� 1� 0�%�.��� .������.����1�.���1.#1�.��N������������1���.���1�.��0�%�.���.��������#���1[\ Y ����1� Y ��� ��4�� ������4��4������ �� ��� �#1�������1�#���1� ��%�����0/����� ������#�������#��� #�������� 0��./����� #����� ��%�� 0��?�� 1� ��� �1�.�� 0�%�.��� .������ ,�����%������#��0��1#��#����1�����1�#�������������#���1�������;�����������1������4����������������.������.����1��1�.��0�%�.���.������

148

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'�0��./�������0�����1�.�����%�������#���������#����%���������#�����������������1����PRIMER 5.26 $��������#����1!������#��������.��4������#����.��0��1#1�Õ Y ����0��� 1�#����1!������#������0��#����������I���#��=��J�� ��4��������������0��!��#�������������%1��������������.������%�����6���1���.��1��������.�4�����

% �% Stanje U�%[Û�%[ÝV &Ý%[Û&Ý%Û � �� ��Ý � �� ��Þ � �� ��$ UïV �� ��� UïV �� ��

6�� 1� ����.�� �1�.�� ��4���� 1� !���1� �� ����� #������ 1� �1�.�� .������ �.���� �����������1 ��#�������%�������������*����.����������0�.��0�.10�#������������#����0��� 1�#��������I���#��=��J��(�#�� ��� 0��1#�� �1;���� �� 4�.��� ������� ��#�� ���1 Y U1\� 1`� 1�V�� �.�� ���%�� ��� 1�0�.10#1� #�������� .����� 1%�.1��� 0��1#�� �1 Y U1\� 1`� 1�� ���V �� 1;������������1 �� #����� ��%�� ���� k = Y ����'� ��.��%���� ������� ���1� �� ��0��.�� ������� ����%��3�

U¼`�[\� ¼`�V Y UÕ�[`� Õ�[\� Õ�V k Y� �� �� �Z�$��0��.���#�������%�¼�����4�������;������1 Y U1\� 1`� 1�� ���V�����.��!��3�A� Y QRR

RS���������������������������������������������������������������������������������������������������������TUUUV�

���������.����������;������1 Y U1\� 1`� 1�V�����.��!��3�149

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

A� Y Y���������������������������������������������������������������Z�� �#����¼ Y Õ k A���+��0��1#���1;��������������1�������;�������������.������ Y 1 k -i���������-i������U�� _ <V���.��!����0��������.�#�����1���������.��!����;����1����������������.�������#����������0��������1������������#�������

Y� �� �� �Z � ��������������������A� Y Y�Û�Û�ï�Û�Û�Û�ï�ï�ï�ï������Û�Û�ï�Û�Û�Û�ï�ï����������Û�Û�ï�Û�Û�Û�Z��

=�<���� 6�A,)� )8�(�9�7)�$6("62'9�6(�C�$6 6"��DEFINICIJA 5.15

Ub� c� ÔV� 5����� #����1!����� #��� ��� ��������%���� ��������� #���� %���� ������.�����.��!���������� 1�I4�#���%�1J�����13�A� Y c�¡��¡\�¡̀ �T��¡p������î�ð�î�ð���î�ð�x��î�ð�¡��¡\ �T��¡p[\�¡p ��î�ð���î�ð�x��î�ð�î�ð¡� T�¡p[`��¡p[\¡p��î�ð�x� d��-���1�8z�c���b���.��!����î�ð�c���b��1�����.��!�����#��#10����#���������.��!��A�����.��#���0��./�������0��������������.��1�������

DEFINICIJA 5.15�(�.��#����1#��1��1;������1 Y U1\�T � � 1iV���#��1���0�.10#������� Y 1q k -ir ����������1q��#.����1;������ Y �#� �� Y sij t��

150

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

1q Y U1\� T � � 1i� �� T ��V���-ir ���������������0����.��!����.��!��-����������3��c���bUÔ _ �V��

�����.����������1q Y 1����������� Y ����#�����Q��1�.�0�����c�I��#��������1�����;��1�0��4�����1%��1�c Y �J�'� 1������� ��.�!������ 1� �����!���� =��=��c��������� 4���1� ��4���� 0��1#�� #����1�����1�#����� Ic�1�����/� ������J��b���������4���1���4���� ��������#�������%��0���������1���1�Ib��������/�������J����#�������#�������4�����������#�/��������.��I�1;��������.���J������������1���������������PRIMER 5.27

$��������I���#��=��JI���0�����.����U�����V�#����1!�����#��3�c Y ��1�����/���������Ô Y ���������������1 ��b Y ��4�.��#����/���%������#��1������4�.�� $��� �.�� ��� ������ 1� 0��./������ �����#1�� ��� 1������ 0��1#�� ��� �� ��4�����������.�����.��!��������������.��!���

A� Y Y�Û�Û�ï�Û�Û�Û��������������Û�Û�ï�Û�Û�Û��������������Û�Û�ï�Û�Û�Û�Z��'�#����� ��� ���.��c Y ������� ��0��������� ������1������ ������ �����0���!�����'�����1�����0�.1�������!��1�������.�����.��!��������.��!1�-���;�3�8� Y O���P� ���.�����������#����!����.�������1z�8\ Y î���ð�����������#����!����.�������1z[\�8` Y î���ð����������#����!����.����1z[`�������.���� ��� 1� #����1!����� #����� ���������� ����� #���� ��������� #��4���!����#����/� ��%�� ��� .�#����� #����� ��%�� 1�� #����!��1� ��� �� #�� �� #����� ��%���������%���1�0������1;���������������1������#���1��

151

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=�<���� �*) �,�"���*)$6�*)A),$���.�������������.�������#10���.����/�0�����.����I���;��������.������������������J�#����1����0/������������%1���������������������.��1������(��0����������#������� I���#�� =��J�� .����� 1� .���1.#1� �� ��� .���1.��� ���;��� ��� ���������� �������� Y U1z[\� 1z[`V��*���#������ ��� ����?��� � .������ �� 1�������$����1!����� #����� ���������� .�����I������State machineJ��*���.�#�/��.�����������?��������������.�������DEFINICIJA 5.16 ��������.������ �������� .����� #������ ��� gtaf� %���� 1� %����� �� ���1 �� 1�1.������� .�����#�������-���������?1�%�����P����P×�1���������1�0�����.1���%������!1����0�.����1���� #���� .�����P� �0������ 1�P× �� -����� �� 0�� 0����1� ����%���1� 1���������4����������������1 ��������������4�������PRIMER 5.28� ��������.�����+��#�������I���#��=��J����������.����������.��3�

����#��=��� ��������.�����

152

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� ����#�� 1� 1����� #���� ������1� .������ ��#� 1� !����� ����#�� ��������1 ����4���� �������� (�� 0������� �#�� �� 1� .���1� ��� 0����� #��� 1���� ��4��� ��� .�����0�.������������������1���0�����1�1������4���������#10�#����/���%��#����1!������#����I��#��J���������1 ��0��1#���1;������4�.���������� ������1 ��� 01.������� �1;�����U� _ sij tV�1� ��������1� .����� �� #����.��.1�1�����1�.���.��������� ��1���1�.���1�.��.��������� 01.����� 1� ��������1� .����� �.�� �1;�����U� _ sij tV���������� 1� �����1�� ��������1�����.#��������������#����1!������#����I��#��J��PRIMER 5.29�*���.#��+��U�����V�#����1!����� #��� ��� 0��./������ 0�������� ����.#�� ���������� ��� #������0�����.1���#���������/�0��1#���1;������4�.�������.��������� �����������13�

����#��=�������.���0��#������.#���-�����������������#��%������������1�������4�.1�������������������1�������4�.1���� ���� .��� #������ ������ ��������1� #������1� �� 4�.�� 0��1#��� �� ��� 0��������#������ ������ ��������1� �������� �1������ 0�� .���� ����1� ���� ������ �������������������������1 ��%������PRIMER 5.30�$��������1�����.#���$��������0��1#��Õ Y ������������������ 1�01.���13�

153

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#��=�<�$��������1�����.#��

6��#�������������������������#�������%�¼ Y ������������(�����������������0����������.#��I1�#�������1�������������%���J3�

����#��=�=�*���.#��1�#���������������1�����%����

'��������.�4����1���.��#�������%�����.�����1��#���������1 �/��.1�!���3�154

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

u%v�% ï Û000 ���� ����001 ���� ����010 ���� ����011 ���� ����100 ���� ����101 ���� ����110 ���� ����111 ���� ����

=�<�<�� )$6 6"�(7)�$��� �.�� ��� ������ #������ ��%���� ��������1� 01.����� ��� .��.���� %���� ���#��������%����1�����.#��� �#�����������.����1�����;���1����0���������01.�����#���� �������� 0���������� #������ ��%��� '� .��������� ��#�������� �������������.������������������#���������#�������%���������������4�����������#������0��������� 01.����� �� ��������� #��� 01.����� �� ����������� C�����������.��������1�����1����0��1#1�#��������#��1�����(���;����� .�� ���4��;�� 01.����� �� ��;�� �4��.�� ������%#��� 0����������������������"�.��4������������.�����"�.��4����������.�����#��1��� �����������1����4��#���#����/���%��I���������4�.��0��1#����#���0��./����/�4��#���0��1#�J��0��.� ��1��#���#���#1�������#������0.����������������6�����������.�������1��#���%��1�1�#������#������������.�#1 ���4��#1���#���������0��.�����4�����01.���1�#��������������.���%�����(�� #���1�� ���4����� 01.����� 0����?���� ��� 0�������� %��� ��� 1������ ��#�������0��1#���6����.������;�����#���������"�.��4����������.���������.��������4�������4����/� 01.����� ��� �#�� �����#�� #���#�� � 1�#������� ���� �����#� 4���1� .�����#��������.���� ��� "�.��4���� ������.��� ��������� � 1��.�� �#0����!������� #��0��#��.��������� ������.��� ��#�������� #���� 4�� �� �.����� 1� 0���?���1� �/� 01.����� ��0��1#���#��1�.��4����#����.���

155

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���?���������.���������0��"�.��4������������.����'������0�����#������#���wzUV� � ����4�������#��������I����������������1 �������#���J��1;������#�������������1�.���1�¾3�

x�U¾V Y ���D��T�D�y�z{�|}{~�J���� ÌU¼\ T ¼`�� ¼\� T¼`��V $��0��.��� ��#�������� � ��������wWC@WU��V��W�@W��â��� ���� ���W�@W��1;���� 0��1#��#��������#��1����2�#��������.���������#��0���.�����U� �V��;�3�

x�U¾V Y ���D��T�D�y�z{�|}{~�J����UÌn¼`�[\¼`�� ¼B̀ �[\¼B̀ ³o _ x�[\U¾�VV�6������#��"�.��4������������.�13��UïïV Y ï

for i from 1 to W&@W do

for all � do

�%U�V Y ���&Û�T�&Ý���������������U�n&Ý%[Û&Ý%� &@Ý%[Û&@Ý%o _ �%[ÛU��VV end for

end for

*�#��.�1#!�����0.��������01.������4����1����������#�����������0�%�.����.������PRIMER 5.31

���.0�.�����������0��#��#���������1����0���.��#�������%�¼ Y ��������������#����0�����������%��@ Y �������������������������1����������#���,���� ��"�.��4����������.���0�� ��#�������� ��#���#���

156

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��

����#��=�>�$���!��1�"�.��4������������.�1�

'� 0���� #���#1� ����� "�.��4������ ������.���� �����.���1� �� ���� ��� ���1 ��01.�3�157

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

� *����.����� 0��� #����� ��4��� ��� ��� �.�� ���� ��� .����� ��� #�� .���1� ����,���������.1��������0����������������#���41�1 ��������0�������������� *����.�����0�����4��� �������.���������.��������#��.���1�����,���������.1��������0����������������#���41�1 ��������0�������������

'���1����#���#1��0�.��������������01.������.��������#������.�����I������0�.���� <� .�#�� 01.�J�� ���������� 4���� �����#�� ��� �#�� ��� ��� %�.���� .����� ��������#� ����������� 4���1� �����#�� 0��./����/� .����� 0�1� 4���� �����#����������1 ��01.�����I������������#�������?1����.����/���0��������/���4���J��(��0��������#���������.���01.�����?1�.������������������������.����������#���41�1 �������.�������.1���������0����������������6������#�������������4���1������#��1�.���1����1�#���#1���w`U��V Y � _ � Y ���'� #���#1� .���� ������ ��� ���1 �� 01.����� ��� �#�� .������ ������.��� ����;������� 0�� ����1� ��.����.�1� #���� 0�������� ������ 4���� �����#��� 6.���� ������ 1�����%�����0��#�������4��?�������������������.��� ����� ��� �.��.���� 0���!�01� �� ��� 0��������� #���#��� 1� #���� ����.�;���1�.��.������������������4�����������#�������#��������������� #���#� ��� ��#��.�1#!���� 01.����� 1������ I0���� ������J�� 6�� 01.�������������#��������%��������������(�#�����4�������#�������%������0/����������#��.�1��.�����������1�0��1#1��6����;�����4��.��0��.� ������#��������I�������J������?������0.��������01.������ ����1��������� 0���� 4�.�� �#��� .����� #���� #���� 0������� �0.������� 01.����� 1��������1����#�����01.�����#��0�%�.#1���+������0���������0.�����1�01.���1�����%��1�0�����4��������4���������������������4�!������������������1���#������1�����0��1#�����4������#���%���0��1#1�������.�����������������������0���.���0��1!���

158

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#��=�B����#����0.�������01.�����

PRIMER 5.31 a

+��#��������0��./������0����������#����.��������������������������������

����#��=�@����������#�����������0��./�����0������

159

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����������0��1#������:������#���)��.�����#�������%�����������������������������������������.����������#��������0��1!������������������������������0��1!���������1�1 ����� 1�#����1!�����#����� ���������#������ 0���������� ���,�������=��� ��0�����#��������������������.�������������#�������������.�;�����OSOBINA 5.17�����������.�;����#����1!������#��������������� .�;���� ������� #����1!������ #���� �����#�� ��� ����������� 4���1����1�.�/���4�������01.�����#����0�����������������1��1�.���.���1��+��#��������0��./������0�����������������������izZU9V Y :� �(�����������!������������.#�� #�������� ��������� #����� ��%� #���� ���� .�;��1� �����#1� ��������������1 ���.�;����:��������#����1!�����#����

����#��=�:�$�������%�����������.�;����

160

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=�=�� �*�$,�F(���*��)(��+�A,�,(�C�$6 6"��(�� ��!�� I���#�� =���J� 0��#������ ��� �0.��#.��� ����� ����.������ #��1��#�!�������.���� �� ��0�����.������� #��0����.���� ��� ���.�.��� #��������� (�� .�����0�������!�� 10�.��4����� ��� #������ ��#� ��� .����� 0�����!�� ������� �� ��#������(��� ����������#��0�01������.�/��#��#���������

�� �*E� IAutomatic Repeat RequestJ� D� �1.���.#�� ��������� ��/.��� ���0�����������0��1#���� 8)9� IForward Error CorrectionJ� D� ��#�������� 0��������� �#��!�� #������4��;��#�������%���� C�4�������*E�<� ��.��������=� �#����������4��������>� $��#�.���!����#������

����#��=���� ���.�����#��1��#�!������.���=�=���� �*E�+��.�.��� #�������� �� �4����� .�#�� ��� � #��� ��� 0�� �4�� ��� �0������ � � ������.�#.1��� ����#��� $���� �� ������� ��.�#!���� ����#��� ������ �� ��/.�� ���0�����������0��1#���

161

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'�0�����1�����#����#����������*E����4��������8)9��41�1 �������0���������#�������%�� � 0��/�.��1� ���� �#�� 1� 0����.�� 4��� ����#�� I��#��� ����#�� ��#�������� ����1��J�� 0��� 1����� ��� ��.�#!���� �����#�� �� 1�#� �4����� �0������ 6�� �� �����4����4�0��.����9�������0�� ������;�������4������0������� ���.���0�����.��*E��������#�������.��������#��������1�0���?���1���8)9���*E� ��/.��� ����.��� 0���.��� #������ #���� ������ ��� 0������� �� !��������#��1��!������������1�#������0�������1��'� 0�����1� ���.������ �*E� ��� ��.����� 41�1 �� ��� ���.����� ��;�� 4�.�� .�#�������������� ��� �� 1�#� ������ 0�� ��#�� ����#�� 1� �#��� #������ ��%��� 60.��������.1�!������.�%#��������.�����.�%����������0��#����������������1�����#1�1��������#��������%���%����4����.��#�������%���0��#����������.��������.�������.�0���*E3�

�� �.������%�#����� (�0��#������.���� �� %�#��� �*E�� ��������#� ������ ����1� #���1� ��%� �� %�#�� 0���.��1� 0�.��1��0������ 0������� I�9$J� ���� ����.���� 0�.��1� I(�$J�� 0��� ����� �.�� 0�������������1�#���1���%�� �4���.�����.������%�#����*E����0�.��4�����0��1�10��#����#�������� (���.���� .����� .���� �� %�#��� �*E� ��� .�������� ������� ��� %�#�����0�.������.����;����#�����.�1�4����1�0�������(�0��#����� �*E� ��/.��� �10��#��� #������ .�#�� �.�� �� #����� ��%�� 0�� �������#����1���0��#���������1�����#���0����1����#����1����0�����(�$����.���������%�����4�����(�$5�3��*E� �� ������� 1������ 5� ���#���� �� 0����� ������ #������ ��%� 1� #����� �����.�#.����� ����#�� 0�1� � �� #����� ��%�� 1������� ������.������� ����?1��� ������1�1#10����#���������#������1��4���������(��0�������#������.�!�������/��.���.#�/�#�������#�����������;��4�.���������#������ =<�� ��!�� ��������#� ����� ��� �����������#����/� ��%�� 0��������/� 1� �#��1��������������.����/.������#1��������1��

162

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#.���� �*E -� #��� #���� �� 0������ 0����� ���� #����� ��%� 1� #����� �����.�#.����� ����#��� %���� �� ��4���� � �� 4������ 0������ �����1� �1%��1��*E� ���������1������D����64�� .�0�� ��0��#�������*E������ � 1� 4����1� 0������ 1� ����1� ��� .���� �� %�#����*E�������%1��� �/��������#�/���/.����=�=���� 8)9�8)9����0����������0�������1�#������#�����#��������4�.��.�%�1�0��1#1����0����������� ������� 1� ����������� �� ���1������ I������ BroadcastJ� #������� ��������#���������0��������������#��0��0����1�������������#�.���������3�

�� 4��#�#���������� #����1!������#���������(��0�01��������4��#�#�����1�*�������������#�����5�*���#���������������1��54�.��/� ��4����� �� ��� ��� ���1� 4�.��� �1�1 �� ��� *�� #����� �0������1� ����#�� ������1� ��4����� �� ��� 4�.��� 0������� 1� ��� �0��������� #��!��.�����/�� 0�#�.��/�I������burstJ������#����(��0�����3���D���4�����*��#�������@�4�.���0����4��1�����1�#������.����0�#�.�� �����#�� ��� �>� 4�.��� ���� ������� ���� �� #���.�� 1� 7,� �� D� �����.������1�����14�#��#���������#��0�#.���#�5�9 �0��������$����1!�����#�����1����1����������4�.��0��1#��1�0�����%#������.����1;����Ô����������/�#����������������%����Ô��"� ��Ô���������#������#����������.�����.���1��;�������#������������.���� ���� ��.���� ��#�������� #����1!����/� #������ ���� ��� ����������0��.����������"�.��4����������.�����.#������:>B�����������.����������ô�"�.��4����� ���������0���;��1��������%�01�����?�����"2���.�/�����������"�.��4���� ��#����� ��� �����#���� �� ��0��#.�%��� ��� ���#��Ë�� +�� ���#��Ô��UÔ e :V�%�� ����#���.����1���������.�����#��������#�������������#��!���������#������

163

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

,�� �� 0�.10�#� ��#�������� ��� ��#����� �� 0���.���� 0������� 0������� ���#��������0�#�.��������#�������#� ������.�����4���/�0�����������#��1�����#�����#����1��1%�������0����������-��������� �� ��;�� �� �� ��� #����1!����� #����� ���1� 4����� ���1�.�.�� ��� 4��#�#����� �����#�� #��0��#��.�� #�������� �� ��#��������� ���4���� �� ���#�������#�������������������.��������0�.��4�������0�������0��01����0�����������#�� #���#�� ��/.���1� ����.�� 4�.�� 0����.�� I���1����.��� 4�.�J� �#�� ;������ �������;����4����1�0��������#������/�0��1#���.�����:B>�� ������� -�.������ '����4�#� IGottfried UngerboeckJ� ��� �.#���� #��1� #�����#���� ��.�����1� �1�#!��1� #�������� �� ���1�������� 0��� %��1� �.0���� ��/.�� ���0����������� ���#��.���� �0���� 0������� 6�� #����� 1� ������� '����4�#���#����� ���� trelis� #����������1��!���� I,9�J���1#����� ���������#���� ��������.������#���������������4��������� ������:�>�#4X�!������#���.��,9����=�=���� C��*� (���*E�C�4������ �*E� #��4��1�1� #����� ��� ��.�#!��1� �� #����� ��� �0��������� �����#���%������0�� ������#���.�#���� �����#�������'�0�������#1���0���0�#1����1��0���.��������#��1�0����������#��������%���'#���#����1�.�������10���#���.�������������0����1.��.����*E�.�/��#�������.�������1��C�4������ �*-� �� �.�� ������ �� ���0/����� 4�.��� 0����.�� ��� ��.�#!��1� ���0��������������#���C�4�������*E�����.������1�����4�.���0����.�����0/����������.�#!��1������#���� %1��1� 1� ������� 4�.��� 0����.�� ��� �0��������� �����#��� $���� 0�������#���.�#.1��� ����#1�� ��/.��� ������ 4�.��� ��� #���#!��1� �����#�� �� ��� ���1� ���/�0�#1���� ��� �0���� ����#�� 0��� ����� �.�� 0������� ��/.�� ��� ��.�������1�!���#10��� #����� ��%��� C�4������ �*E� ��� �.�� ��� ���� ���#���� ��� #������ #���� ��#���#.����1� ��4���� .������� #���� 1� � ��#�� 1� ����1� ��� � ��?�� ����� .�����#�������

164

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=�=�<�� �(,)*2�")*��7����� ��� ���0�01�������/� ��%���� ��� �� #����1�1� 0�#�.#�� ����#�� ��� #���� �����#����� #���� ��4��� ����� ��� �1%������ ����#����� .�#�� �.�� �� 0��./����� #����0�.10�#� ��.��������� 0�#�.#�� ����#�� ��0���� .�#�� ��� ��������1� #��� �1%�������0������������.�������.�0����.���������#������������������#���.�3��

�� ���#���.����������� $����1!�������.������������!�� ��.�����������;���� �0��.�� ��� ���� �� ��%���� (�� 0��������� .����� 0�����1�#!���� #��������� ���� #������ ��%���� 0������1����� �1�#!��1� ��.����������+�.��� 0��1#1� �������� #���� #��1��#�!����� #����� 1� #���0�.���� ����.�� �� �����.���#�0�#�.#�/������#���(��#���1�����.�����0�����!��0������1��������������1�#!�����������.������������4������0��1#����0����?1����1�#!���������#��������#���� ��;�� ��� �0���� �� �1%����� ��0���?���� ����#��� ��1%����� ��0�����������#��0�.�;����0����������.����������

����#��=����7�����0������4��#�#�����.���������

���#�#����.��������5���0�01���������#����/���%����;���/�0�������������#��#�������%�����1;����b�I���#��=���J��6�/���#����/���%������.���������0��#���������165

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#���!���#10�����.�����������0�������(�#���.��������.�������0�����01�������0�%���������!�#�1��(�� 0�����1� �� #����� ��%�� ����.�������1�1� 0��� ��#��������� ��#�.��� ����#���1;����������������4�.������������1����������4�.������#��1�4����#�����#��������%��� �#����� #���� ��4��� ����� ��� �1%������ ����#���� �� �� ���#��� ����.�� ����0���.��0������1�����#1�1��#���#��������%��1��.��!���#10���0�#�.������#���������.������� ������ .�0��� ��.�������� ���� �14���� ��.�������������� 4���� 0��������������1������0��������.���#������������4�.��� ��������� ����%�#������0�#�.�������#��1���.���#����1��6���������.�.�#���.������������#���������#������1����0�01����������������$����1!�������.����������������������0��4��������� #��������� ������� ��� 0�%�.��� 01�������� 6��� �� ���1#1�1� �������#����/.������0�����1�1�����1����4��#�#����.���������+������%#������.�.�#��4��.�0�� ��.�������� ��� #��������� #���� 1� ��#��� #�������� ��;�� �����.�� �� ��#���#���#1������.����;��4�.����0��/�.����������#���0��#�!����I��!����0����������J���

����#��=����A����4��#�#�����.���������

$����1!����� ��.�������� 5� �� �.���� ��� #10�� 0�����%#�/� ����.����� �#�� ��1.�������� #����������� ��#�� ���� ��4��� ��� 1������� �#.���� ��0���� 1�����0������� ����.���� �� G���.�����M� ��4��� 1� .��� ����.�1� 0�.���� ���� ����������#.�����$����1!����� ��.������� �����������1� %���� �0���!���� ��� ����� �������.���1.���� ��4����� � � �� ���0��./������� A���� I���#�� =���J�� 0��#��1��� .�1#.1�1�#����1!������ ��.��������� 0�#��1�1 �� #10� ����� ����.��� �� ���/��� �����.��166

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

#��������� ÏU�V� ÏU�V� T � ÏU�V �� $,C� ����.��� ��;�� ÏUcV ��4���� ���� ��� c _�� �� T �����

����#��=����A����#����1!��������.��������

��1���1%����� ��.������� D� 1� ���� .�/��!�� ��.��������� ������ ��� ��� �� ��������1����1�������4��!����������?����.�.�.�%#����4�����������?�����#��!��0���.�#���� .�� .�#���������1����0�������� ��1���1%����� ��.������� �� %�.�� #���.�� #���.1�4��#������'����������1%�������.����������.������0.��#!��������.�.�.�%#�������.�� ���� ��� ��#�� ��.������� �� ��������� 0����������� 6�#�� ��.��������0�#1����1� ��� 1��1� ������.� �1%����.�� 1� ��#�� ������� #���� 4��� 0�� �����#��0��#��.��� 0��.0�.�����1 �� #���� ����� �.���.����� ��#�������� �����.��������� #����� '� 0��#�� 0�1���1%����� ��.�������� 1� 0���������� ������.�4������ �������1� �� #��� �*(-� ������.���� #���� ����1� ����?��1� 0�����1� ����#�����4�����1�1.�������.�����������.�������������������.��������?���������0���������� '#���#�� 1� 0���!�� ��.��!�� �� ���� ������� �1�#!���� 0��!�����0�������%���#��������.��!���=�=�=�� )$6 6"�(7)�����*���(7)��$����0�������#������1�1���������.������ �������� ������#�/���1��/�.��������.��/���.�������;��0�� ��1���;��������0��#������;������.�����1#1���� �����#��4�.� ������4����4������(��0������� 0�������#���;������4����� ��4������������ 0��1#�� G��-(�2H�� %���� ����4���� G��-(55L�� 6�� ����� �.�� #��� G��-(H�� 1� #���� 1� 0��.�� ��4�%���� ���

167

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

0����������4��������.���� ��#�!���� ��4�����/�4�.�������0��0����1���#����������4����������/.���������4�.�� ���0����1�0����.�� ���#����� ��� �0��������������#���$���%�������������������.�������Ìp�a����;�����#����1�����4���������#����3�Ìp�a Y R _ �������.���� �� ��� #����� ��� �0��������� �����#�����1� ��� �0���� .� �����#�� �� ��4���������������;�3�

Ìp�a � �¹ _ R _ ���(�� 0������� ������ #��� ��� �0��������� �����#�� #���� �������������� ��.������� B����;�����#����1���������#������4��������=�=�>�� $6($�,)(�9�7��$��#�.���!�������#��4������������#����1�����#�����������0����1���#���.����������#�����������#������������#��������;�����#����1���������#��#���������1�0����.�����1.�1���� .�� ������� 0��������� ���.�� I���#�� =��<J�� '�1.������� #��� 4���������Ë Y B�� ��� #����1!����� #��� �� "�.��4������ ��#���������� #����� �� #����1���� ���� �1%����/� �����#��� �0��������� #��� ��� *��� ��������� #��� �� �>� ��4�����#��������0������1���0�#�.#������#��#�������0��01.���"�.��4������#������

168

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#��=��<�$��#�.���!����#�����1�I������Deep space standardJ�

*�� #��� ����� �� @� 4�.���� ��4������ �� .���� ��� ����� ���#���� 1� �0�������1�0�#�.#�/� �����#��� '#10��� 4������ #��#�.��������� #���� �����#�� ��� 0������1�4�������.���/�#�������������1�����0�����1�U�X�VU���X�==V � ��<<��$�������4�.�#�#��#�.�������/�#����������������#��(�#��������/������41#�����������1�.�������/��1������.������0�����1���0��4������/������!������� 0����� ��/� ��4��/� ��.���� #��#�.�������� #����� �� .��#�� ��0�����.����1��4��� ���/��� ��;���.�� �� ����� 4������� �.�� ��� ���#�� 0��4���� 1� #�������� ��������%�����0��01�����0������=�=�B�� 7) �(��*��)*�$6 6"�(7��'�9 �9 � �����1�� ��� ���� ��� 0��.�%��� ��#�� ��� #���� �� ����.����� �1���� 0���!���������1�0��� 1�����!��I0�.J�#�����%�.�������#����0��� ��� ��#������������4��������<<���$��0���X�!��%�������4��4�?1����1�����0���������#C�����#���1������4���#���#��1���1������������\g������#��.���!����I�4�%����9�������������J�� *��1�.1�1 �� ������#�� ��� :>� ���� �� 1#10��� /�������#�� ��.������� 1�����=5��-���#����.��1������������3�

�� �����������/1�� �����1/�����������.��1.�#����������!���169

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�� 6.�!��0�.��1������4�.�������.���;����0�����������O� ��� 4��� �������� 0��.����� 41�1 �� ��� ��� � � ����� �#1.�� �� #������� ����0��������� �����#��� 8���0��� .�1%���!�� 1� 0�#1����� ��� #���.�� 1�4�%������#������ ���� ���1�.�.� ��� 4��� ���� ������ 41�1 �� ��� 1� ����#�� 0��� �%�.����1� 9 5�� 0�������0�������0�#�.#���(�#��� �����1� ����� �������� 1.��������� ��� #���%��� ����� #�������� #���� ���.�������������#��0���������.�����������*������������/�#������6����������0����.��0����������9�*9�5�Cross Interleave Reed Solomon Code����.���������<������#��.����������#�3�

�� �#������4��4�?1�������8)9���� '#���#�� 0�#�.��� ����#�� 0���������� ���1 ��.�� 8)9�� ��#����� 0�.����������0�����������4����������� �#�� ����#�� 0���������� ���� �0��������� �� 4��������� ��#����� �#������.�� ��4���#� �� ������1��� ��� � ��.��0�������� ��4��#��� ����?1� 0�1�����/�1����/���4���#���<� '#���#������#��0�������������1 ��.����.��0���!�����#���#!�������#�������1.��������������0��4�1���������!��1��

*��1�.��.���0����������9�*9������.��1����� ���.�4�����Performanse kontrole greške CIRC-a

Maksimalno ispravljanje greške

��<�����4�.���I��=���������#1JMaksimalna interpolacija greške

���������4�.���I@���JNedetektovani uzorci greške �������������������#�/�B=��%����I��[�J�Novi diskovi imaju tipi�an stopu greške (engl. BER)

����[�9�*9� #����� #���.�� .��� ����� ��.��������� �� ��� #��#�.�������� *��� ����������#�����'�1.�������*������PU����@V�#������#����0����������PU�@��<V�#����64��#����#���.��@�D�4�.�����4�������1#10���4������#����������

170

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'�1.������� #��� ���� ���������� ��.��������izZ Y =�� .�#�� ��� ��;�� ��� #����1���������� ��� 0�������� ��4����� �0��������� #��� ���� .�#��������������� ��.��������izZ Y =�����1;����������0��������������#�������0���������4�����������������.����#���#�����1�1.�������#���4���10�����1�#��������1�0�#�.��/������#���9�*9� �����#�������� ��� 0�.���� �#.������10������6��� ��� #����.�����#�����#���� ����� .�������� .�1�#1� 0������� 1� ���� ��41.��� 0��#.�%��� �.��� 9 � �1�������%�� #���� ��� ������ �.�� �������� 9 � ��;�� ��� .�������� @� ��� ���#�� �10��0��41�����#������#��4����1����0��!�0.���/����#�.���

171

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

=�>�� 2��6*�,6*�7�$��*� �VEŽBA 7.

C����������.�.���#���I���@J���1�������0�����3�C������� #��� �� ���%�� �� #���.�� ��� �0��������� �����#�� 1� *������������������1#��#������0����������1;�������4�.��0���%��1����@�4�.���������������0���.#���� 0���.���� <� 4�.�� 1� #��.������ �� ����%1����1� �� ��� ���1� 4�.��� 0���.�#���$��.������4�.���������������0�������1�����%�.�.����������0���!������C�������#�������0�����������4�.������#����0�����.�������������� ����%��3�

�� ��.��0��1#��1�0�4���������������������0�%������������ ��#��4�.�#����0���.�����.�0��������4�.�0������I������<��@J���� 6.����4�.���I���=�>��B��:J�1�4�.��0���.#�����#��4�.�0������10�.�������0���1�0����.�����10���4�.��0���.#�������4�.�0������ ���#.1��� 4������� �����.�� �� 4�.��� �� ��� 0���� ��.1�� �1��� 4�.�0���������#.1���4������������.��0���.�#����4�.����������1������.1��.����

����#��=��=���.���0���.#����#��.������4�.���

172

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

.�� Y �ë�( �ë�( �ë<( �ë=( �ëB�

.�� Y �ë�( �ë�( �ë<( �ë>( �ëB�

.�� Y �ë�( �ë�( �ë<( �ë@�

.<� Y �ë=( �ë>( �ëB( �ë@�$�����I����@J3����� 0������ 0���.�#�� ��0����� 0����.� ��� 10�.������� ���� �#��� 4�.���0������������������!���.������������0���!������

�173

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#��=��>�A����#���������C�������#���I���@J�

�#�����I����@J3�(�#���0������0��1#������%1������4�.�0����.�I������parity bitJ�����#��#10�0���.�#��0��0��0����.��0�����4�.1�0������I������check bitJ��'#���#�����������������.����������4���������#����1#���#��������0�.��������#������

174

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'�����0�����1�0������ ���������.�4�.�����0���!����>���

����#��=��B�A������#���������C�������#���I���@J�

�������������������%�����C���������#����I����@J�Sindrom vrednosti Parnost poruke Rezultatnulta ��0���� ���������#�nenulta 0���� #���#!������4�.�nenulta ��0���� (����#���#!������

175

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

VEŽBA 8.

C�������4����������.�.���#���IB�<J���1�������0�����3�C������� #��� �� ����%��� ��Ub�c�V�� 0��� %��1� 4����c�0���.����� �������!�����4�.������b�1#10���4����4�.���1�#��������%���'������1�b Y Q _ c��4����Q�����%���4�������.�.��/�4�.���'#���#�����0�.��4����0���.��1�#����1�0�������%�������#���4�������.�.��/�4�.�������%1���0������1��3�

�p � c _Q _ �����#�#���������1 ��.��0���������� ���4�����4�.����4�������.�.��/�4�.����������� �� 0�� ���� '� ��.�#1� ������� ���� �1�#!��1� C��������� #����UB�<V����#������������#�����������������.�.��/�4�.���Q Y ���'#���#����0���������������������#�.3�

�� � < _ � _ ����������������01�����1�������0�����������������������#����C������� #���UB�<V�� ��� ��%� �1;���� <� 4�.��� ������� �� 4�.�� �� �������� #���1� ��%��1;����B�4�.����+��.�.���.���4�.�� ��0����#�����#��������������.��0���;�������������#��0��#��������������.�����%�����#�����C���������#�����0��� ������#1���������.��0���.1��#��!1��'�0����#���#1�������� ���������#�!���1���.��!1������.��!1�����������.�#���.�� 0�� #��������10�1�����4������� �����.�� 4������ ��� �0���� ����� ���B��(��0������� 1� 0�1� #����1� ��� 10����� 4������� �����.� ��� �#���� ��!�������0���.�����4�������

C� �� �� �� �� �� �� ���� �� �� �� �� �� ���� �� �� �� �� �� ��'� ��1���� #���#1� 0��������� ��� �1�#!��1� #��������� ���!�� #��������0���.������� �� �������� � Y ö k A �� ���� ö 0���.����� 0��1#1��A ������.���

176

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��.��!1�� ����#�����1� 0��1#1�� +�� �1�#!��1� #�������� ���0/����� ��� �������.��������.�����.�!1�A��-�����.�����.�!��0��#���������1�.�4�����0����6��%��������.�4������4��������.�#���.�� ��� ����.����� �����.�� �����#�!����� ��.��!�����+�.��� 0�������� ����������.�����.��!�� ��4����� ��� 0��#�� �1�#!���� ��� ��0���1� 0��� I��� Y ������ Y ������ Y ������ Y ������ Y ������ Y ������ Y �J��.�����#1�#����1������#�!�������.��!������1#�� #��1� ���� .��4�� ��� #��1����� ��� ��� 0������ 0��1#��ö Y ������ ����������;�������.��!�����#.������.����1�.�4����#����������

� � � �� �� �� �� � � � t �=

� � � � � � �= 1110000

�� �� �� �� � � � � � � � � � � ��� �� �� �� � � � � � � � � � � ��� �� �� �� � � � � � � � � � � �'� .�� ��� #���#1� ��� ���1� ��� �1�#!���� ��#�������� ���� .����� ��#������� �#�������� �� �4����� �����.��1�� 0�� 0���!�01� ����?������ ������� ��%�� ������1� #���� �� 1.�?1��� ��� ��� 0�.���� ����#�� ���� ��� 0�.����� '#���#�� ��� ���1�.�.����;�����P Y � k ���1��� #����� ��%�� .���� ��� #������� 0��1#�� 0�������� 4�������#������1#���#����������%�.��������0������.�� �����%�.������������#�����.�� ���4�.1��(�#���0������������.��4�.�����.�� ���0���!����0���������1����1���#�������� �

=

�=

u �� �� �� � � � � � � � � � � � � �� ����� �� �� � � � � � � � � � � � � ���� �� �� � � � � � � � � � � � � ��t � P Y ������0�.��������#����� �� �� � � � �������� I�����J� 1� .�4���� 0���.�����1� 4���� ������!�� 0�� �������� ��.��!�� #����0���.����� 0�������� k � �� (�� ���1� �1�#!���� ��� ��0���1� 0����.� I£6*J�����?1��������������%��

177

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'� ��.�#1� ���� 0������� 1������ ����#1� ��� .�� ��� 4�.1� #������� 0��1#�� ����#�������%���(�#���0������0���.�#��0��#��#��1��#�!������#������ ������#������������������#�����.�� ���0���!������������ 0��������� 1� ���1� ����?������ ������� ��%��� ��%�1� #��� 1� 0��./�������1%��1��

�=

�=

u �� �� �� � � � � � � � � � � � � �� ����� �� �� � � � � � � � � � � � � ���� �� �� � � � � � � � � � � � � ��t � P Y � �����#��0�.������� �� 0 � � � �$���������������� ���������%�P Y U���V ,���;���������#��1%�������������#��������� ��� .�� ��� 0���!����� ����� 0��������� 1� 0������1� ���1� ��#�������� #���� ���0�.����������#��1�0����1�� �#�������0��1#��ö��4����������������ö Y �� ( P������������%��� #�����1� 0��1#1� 0�������1� ��� ��1�1� .���1� #������ #����0�.��!����������;������#1������ ����!��������%������?0���.�����1�#��.������4�.������0���!��������%������� 0���.�����1��������!�����4�.��

�� �� �� �� �� � � £6*�u }\ }̀ º̀ }� º̀ º� ºê � �� �� �� �� �� � �1 1 1 0 0 0 0

º\ º̀ � º�� ºê�� � �� �� ���� �� �� �� �� � � Kraj. '���.�#1�����0������������������������.#��1���.��451������1���#513������ ��������4����1���.��451�������� ����C�������#���IB�<J���b�5�����%����1;��1� #����� ��%���Ô�5� ����%��� 4���� #��.�����/� 4�.���� ��c�5� 4���� �������!����/�4�.������������1����.��/�4�.�������#��.�����/�4�.��3�

åå��������I�â�J�178

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����������������������!����/�4�.��3�

åå�#�����5�����I�â�J�#�������<�

-������������#���1%�����0��1#�3�åå�0��1#�����!���.I������.I���ì<���æ���çJ�#JÄ�

����#��=��@�-���������0��1#��

$����������1���?������1�#!�����1���.��4513�åå�#������0��1#������!���I0��1#����#�ó/������X4����OóJÄ�

����#��=��:�$�������0��1#��179

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����� ��1������� 0����� 0��1#�� 0��#�� �1����� #������� .�#�� �.�� 1���?1�����0��������4�.���1�#�����1�0��1#13�åå�#������0��1#��1���������I#������0��1#��â��������I������æ���Ä���=��B=çJ���JÄ�(�#��� 0������ 0��#�� �1����� #������� 1.��� ���� 4���� 0�������/� 4�.��� 0��#��£6*��0���!���3�åå�æ4���-���#������#�ç���4�.���I#������0��1#���#������0��1#��1���J�

4���-���#�������B�����#��������������

����������������1���.�#!�������0��������������#�3�åå���#������0��1#������!���I#������0��1#��1��������#��ó/������X4����OóJÄ�

(��#���1�0���������0����������C���������#���� IB�<J� �� 1.�?1�������� �������#����0�����������#��I��5�0�������/�4�.��J3�åå��æ4���-���#������#�ç���4�.���I��#������0��1#���0��1#�J�

4���-���#�������������#��������

(�.��#�������������.#��1���1���#51���������1��!������9�#���������1���3�

����#��=������9�������.�� �������#�������

�����������������.����0��1#�3�180

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#��=��������1�����������.���0��1#��������.�� �����=�

�����������4�����������.��%����#��1��#�!������#�����3�

����#��=�������1��!������9�#���������1���������.�� ������#�������

"����.�� ������#��1�#����1���������������!�������.�����B������!�������sid�����.�����������.����0���.�������#���1%��������4�����0�%�.���.�����0�1���������.����������������������#���181

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������������4��#�������%1����������#�3�

����#��=�������#������%1����������#��1�#����1�

������.��� 4��#�� �� ��#�� I���#�� =���J� #��.�����1� ����� ���������� #��0��.�����1��!�����(�#���������.���/� �����#�� ��1��!���� ��4�.�� ��1.������� �� ���1�.�.���1��!����4� ��0����?������������4��#1����0��#������1�.�.��������������4��#�����0��#������1�.�.�3�

����#��=��<����#����0��#������1�.�.����1��!����

182

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������.��� ����4��#��1� ��.��� ��1��!���� ����;���1�0������������ �����.���(�����1�.�.1���1��!������;���������������� ������<�:B�4�.���0��������0��1#��4����1#10�������4�.������#���'� ��.�#1� 0�����1����� ��1��!��1� 1� ��1���#51� �� ���� ������� ����.�%����#�������� .��� �.�� 1� ��1���� #����1� #���.���� ���.�.��� #��� #���� �� ��0�����.����0��#����#���������0���������.���������#���������0���������.������

����#��=��=���9�������.�� �������#������������.�.����#�����B�<�

'�0��./��������1��!���������!��I���#��=���J�#���.�������C����������.�.���#���IB�<J��(������ �����!��0��#���������0������������#����������#�����3�

����#��=��>�C���������#���������#��������#���IB�<J�

��

183

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

'���.�#1������0����������������.����0��1#�3�

����#��=��B�-�����.���0��1#��������.�� �����=�

+�� �����#1� ��� 4��#�� ��� ����������� 0��1#�� 1� 0���� #����1�� ���� ��� 0�.��4����������.��.�#.�������.������4�����0��1%���/�4�.���1��#���.�#.1���#.���� �����0!��1� GFrame-based outputsM� �� ��� �����.� 0�����.��� GSamples per frameM�0�.��.�� �����.� <�� "�����.� <� 0���.����� 4����c����� �������!����� 4�.��� #���C������������.�.����#�����

����#��=��@�����?����������#������?1�#������4���)99�����)99�(�� ���1� ���1�.�.�� ��1��!���� 0��#������� ��� ��!�� I���#�� =��@J�� ��� �.�� 4����0�������/�0��1#������#����������������@��4�.����

184

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

VEŽBA 9.

��.����������1�������0�����3�7����� ��� ���0�01�������/� ��%���� ��� �� #����1�1� 0�#�.#�� ����#�� ��� #���� �����#����� #���� ��4��� ����� ��� �1%������ ����#����� .�#�� �.�� �� 0��./����� #����0�.10�#� ��.��������� 0�#�.#�� ����#�� ��0���� .�#�� ��� ��������1� #��� �1%�������0������������.���� ��� .�0�� ��.�������� #���� �� ����� ������� #���.��� .�� 1� 4��#�#�� ��#����1!�������.����������'� ���� 0�����1� 0��#��� ���� 0�1���1%����� ��.�������� ��1���1%�������.�������� ��������1� ���1������ �4��!�� ���� ����?���� .�.�.�%#�� ��4���� �������?���� �#��!�� 0���.�#�� �� .�� .�#��� ����� �1���� 0�������� ��1���1%�������.���������%�.��#���.��#���.1�4��#����������� �� 0������ 1� ��.��451� ��1.�1��� #�#�� ��.������� 0�4������� 0����������#����� ��� �0��������� �����#�� 1� #��1��#�!������ #�������� �� �������������#����� '� ���� �����1� #���.���� 0�1���1%����� ��.������� �� C�������4����������.�.���#���B�<��Postavka parametara modela sa i bez primene interlivera.

����������0�%�.���.�����������.���3�åå�.�����B���Ä�.����<@��Ä�

6���?1�����0�����.������C�������#��3�åå�����BÄ�#���<Ä��

-������������#1��1%���1�0��1#1����#�������3�åå�0��1#����������.I#ì=�������.�JÄ�

$��1�����0��1#1�C���������#����3�åå�#������S0��1#������!���I0��1#����#�ó/������X4����OóJÄ��

185

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

-�����������1%���1�0�#�.#1�����#1�����#��������0��1#��3�åå����#��������I���I#������S0��1#�JJÄ����#�I�5�3�â�J���æ�����������çÄ�

Rezultat sa primenom interlivera.

���������1�#!��1������.�������3�åå���.���������������.��I#������S0��1#��.�JÄ��

'������������1�����#1�0��#��£6*��0���!���3�åå���.������S���#����4�.���I��.����������#�JÄ��

���������1�#!��1��������.�������3�åå�����.�����������������.��I��.������S���#��.�JÄ�

�#��1�����0��1#13�åå���#������S0��1#������!���I����.���������#�ó/������X4����OóJÄ�

���#��1�����.�.�.�%#��0���.#���������#13�åå���0Ió��������#����.�0�����#�����0����������.�������3óJÄ�

åå�æ4���S����#����.�0�S���#�ç���4�.���I0��1#�����#������S0��1#�J�4���S���#����������.�0�S���#����������

Rezultat bez primene interlivera.

'������������1�����#1�0��#��£6*��0���!���3�åå�#������S0��1#�S���#����4�.���I#������S0��1#�����#�JÄ�

�#��1�����0��1#13�åå���#������S0��1#������!���I#������S0��1#�S���#����#�ó/������X4����OóJÄ�

186

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

���#��1�����.�.�.�%#��0���.#���������#13�åå���0Ió��������#����.�0�����#���4���0���������.�������3óJÄ�

åå�æ4���S����#����.�0�S���#�ç���4�.���I0��1#����#������S0��1#�J�4���S����#��������<�

.�0�S���#���������������

187

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6. KRIPTOGRAFIJA – INFORMACIONO TEORIJSKI UVOD

9����������0��������1������������������������ ��0�.����3�Šta je predmet i cilj kriptografije?

Teorijska postavka problema kriptografije u okviru teorije informacija.

Šta je perfektan tajnost i kako se postiže?

Šta je ta�ka jedinstvenosti i kakav je njen zna�aj?

����#��>���$��������0��1#��1�!���1��4��4�?�����.����.�����1.��.�%��.���

�������1�#!����������������I���#��>��J3�. Y �U�� $V�

9 � �����.� �� � 0��1#�� �$ � .�����#��1%� CU9W�� $V Y ���81�#!�������������������.������.�%#����������.�����������%������?�����#������������81�#!���������������3�

ÌURUë�ËV� ËV Y ë��188

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�������������.���.������#��1%�����������������1�0��1#1�� ��������������.�#�?����.������.�%#���������3��UëW.� ËV Y ��

�����.���� �;�1� %������!1� �� �CU9W�� $V Y �� ��� CU�W9� $V Y � ���� ��0��!����1�CU$W�� 9V Y ���6�������0���!�0�������������1 ������#��1%��������#��������.����?1.����1�#��0.�����#���0��#����.��0��0����1����������I����������J��.�#�������0��#.�%���1�������������#��1%��;��CU$W�� 9V Y ���9����#��0.���������������.�.��0��1#����3�

�� ���������� 0�����!�� I.����.J�� �����1 �� ��� ��4�.����� ���1�.�� 4���0������������� ���������� ���.������ I�1.��.���#�!���J�� �����1 �� ��� ������.�� 0��1#1�������#�!����������.��.�1�.���4���0�����������9���� #��0.������.�%���� ��� ���4������� �.���� .����.�X�1.��.���#�!����� �����������;�������������������1�0����!�����.�����.0�.�#��#������0���.����%����13�

�� ��.10�#� ���������� �� ������������ ��� ���� 0����.� I$��#/���� 0���!�0J�#�����.�.�.�%#����.��0��1#����� (��1.���������#�����!���������1�#��1%�Ë���� 9����������.10���I���������Ë���ëJ��<� ���.����.����������.�������0���%��.�������0�������.�����#��1%��

189

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

>���� �)*8)$,(��,�7(6�,�DEFINICIJA 6.1������#.���.����.�A����#�� �.��� ��� 0����#.���� �#�� �� ���� �#�� 1�������� �������!���� ����?1��.������0��1#������������1 ��������.��.���������#���1����������3��������

�U9�V Y ���TEOREMA 6.1

'� 0����#.���� �����#��� �.��1� ���1 �/� #��1%��� ����� 4�.�� 4����� #���#�� �����1 �/�0��1#���TEOREMA 6.2

'� 0����#.���� �����#��� �.��1� ������?���.� #��1%��CU$V���� ��������� ���#��#���#����������?���.�0��1#��CU�V�CU$V � CU�V��������!�� ��� ��� .������� 1� ��#��1%�#� ��� 1� 0����#.���� �����#��� �.������#��1%��� �����1� 4�.�� �������� #��0��#��.�� ���� ��������� �����#�� #���#�� ���#��0��#��.�0��1#���PRIMER 6.1�6��5,���5�����6�� ��� 0������ ��4��� 0����.��� 0����#.���� �����#��� �.����� '� ���� �.��1��#��1%���������#��.����%�.���1%�����4�����������$ Y $\� $` T$Z��.�#�������3�UË� Y �V Y �UË��WË\� T � Ë�[\V Y ��=����� ���b����%���� ���� �� 0��1#�� #��1� .��4�� 0����.��� A��������� �� �4����� ������1��4�������������1�4�.�3�

9z Y �z _ $z��$��1%������#���.�.�����������#��.����'0�.��4���������#��1%��1������������������������%�.��0��1#���#��0����.1��������.����

190

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

>������ �)*8)$,()�A�8*)3� )8�(�9�7��$��� 0����#.��� ������ 0�.���� #��1%� #���� 0����#��� �#1� 0��1#1� 1� �#�� �����.� �������#�������.�� ����+���#��·��Ó3�

��në��.×o Y ���Uë�V��

����#��>���-����%#��0�����.�!����0����#.��������� �����!���3� ��

�·� Ó3�}�Uë�W.×V �Y �}�Uë�V�A��������0����#.����#�3��

�ë�.��}�U.�W�ëV �Y �}�U.V�������#�����.��3��

�ë�.��}�Uë�W�.V �Y �}�UëV��4��� 0��������� #��1%��� �#�� �����.� 0�������#�� ����.�����;�� �������.�� 4����#����.�������.�#.1���

191

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

PRIMER 6.2 6��5,����0���������� c Y ����������������Q Y ���������������. Y ����������������

TEOREMA 6.3

6��5,����0������0����#.����������DOKAZ

+��� d � d �3��U.� Y �W.\� T �.�[\�ë\� T �ëaVY �Uë� Y �W.\� T �.�[\�ë\� T �ëaV k �UË� Y �V_ �Uë� Y �W.\� T �.�[\�ë\� T �ëaV k �UË� Y �VY ��=î�Uë� Y �W.\� T �.�[\�ë\� T �ëaV_ �Uë� Y �W.\� T �.�[\�ë\� T �ëaVð Y ��=

���%��3��U.\Wë\�T �ëaV Y ��=� ��� �U.�W.\� T �.�[\V Y ��= ���� ·� � d · d b� �0�� ��� }U.WëV Y}U.V��.���ºU.Ä ëV Y ����������

192

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

>������ -*�8�F$���*)+)(,�9�7���)*8)$,()�A�8*)�-������������.��������1 ����#���.���������%#��������1�7�����/�������������

����?1�����.��������!����/������1�����!������ Y ����¬��

����#��>�����?1�����.��������!����������

193

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

>������ 6$�+�A)(6(6")�,)6*)�)�6��)*8)$,(67�,�7(6�,��5�6,��

����#��>�<������#.���.����.�6��5,����0��5��

+�� �#�� 0����#.��� #��0.��.��� �� �����.����� ��#��������� �;���UËV ����UëV���7����.���.���#�������3�

�Uë�u�.�ËV �Y �������ºU.Ä ËV �� ��� � �¸� � �½��½������3�

�UËV � �¸ � ½ _ Ñ� � �½ � ½ _ Ñ� Y ��UëV��

����#��>�=� �#���A�������.�������

194

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

>���� ()�)*8)$,(��,�7(6�,���,�F$��7) �(�,")(6�,��'�0��#�� �� %�.�� ��.10�� ���0����#.��/� ������� �4��� #��0������ ����?1������0�.��4��� .����.�� �� !���� 1�?����� ������� �����#��� �.����� A���#�� �����0��.��������#������0����#.��/�����#�/��.�����%�������#��1%����.������������0��1#����#���.�������#��4����01.����Šta možemo re�i o prakti�no upotrebljivijim, ali neperfektnim šifarskim sistemima?

A��������1���.����#��#�!���1��1�#!��1����������1����#101�0�������/�4�����3�lU�V Y CU$W9\ T9ZV����.1�.���� ��� ����� ��� �.�� ���� �����.��.������� ��� ��0�������1�� �� �� �� ����������.�������������.�#��1%����8���������.��4�����%���3�

���Z�o lU�V Y ��,�%#�������.���.�������������#������������b����#�������lU�V � ���DEFINICIJA 6.2�,�%#�������.���.���,�%#�������.���.����.���#��0.��.����������������b����#�����;�3�

�UËW.\ T.aV� � ���>������ )$"�"6$�9�7��$27'F����,�F$��7) �(�,")(6�,����� ������!����� .�%#�� �����.���.�� ��� ��������� #���%���� �����.�� #����� �������0�����.��#��0.������.�%�������4������������������#��1%�Ë���������%���� �1������%����.��������������#���%���������.��#��������1 �������.���41������4�������

195

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����#��>�>�,�%#�������.���.��D�0����#.�������0����#.���������

TEOREMA 6.4

�#���;�3���. �1� �.�� �1;����b ��� 0��0����1� �.��� ����4�.1�� A�������� 0��1#�� ����1�0��4��;�����#�����1�������?���.3�

CU9ZV � �� ��� ���.�����#��.����1��#����.�;��������������#��0.��.�����$��1%�����0��1#��1���������

CU�Z� $V Y CU�ZV _ CU$V���.�����1�4�%��������0���������.�������.�%#�������.���.���0��#���.���������#��1 l �U�V:UàVk��I��

��������UëV����1������0��1#��ë�#����������1�1�������������3�*U�V Y � � ��UàV��I ��

�196

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

DOKAZ:

���.0�.�����������b������������#���.�#������;�3�CU�ZV l � k CoU�V��

�UËW.aV Y �UëaË.aV � �UëaWË.aV�������� �������¡ �¢U£2¤V �U.aV Y �UëaË.aV � �U.aVY �UëaËV � �U.aV Y �UëaV _ �UËV � �U.aVY b k �oUëV _ �UËV � b k ���Ï

�,�%#�������.���.����������������3�

�UËW.ûV Y �� ������3��

ÕU�oUëV � ���ÏV _ �UËV Y ������#�������3�

Õ Y �UËV���Ï � �oUëV Y �UËV�UëV k ���Ï��PRIMER 6.5�,�%#�������.���.�������.������ 0��1#�� 0����� ��� �����#��� ����#1� �� �B� ���#��� 1#��1%1�1 �������#�� ����?1� ��%�� �� ��������� #��1%��� #���� �� �.���� ��� ��� �������/�#���#.���������#�������4�.����,��������UËV Y ��������B���#����������#������#�1��������.��0��1������4�.��0�����#1�����1������0��1#����� ��.�� �� ��UëV Y � � �Xuvw��B� l ��=@�� ,�%#�� �����.���.�� ���� �����#����.���������.���3�

Õ Y �UËV� ���Ï Y �� k ���U�BV���U�BV � � � �=

197

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

6��� ���1�.�.� ���%�� ��� �� 0���������� �����.�� �1;���� �#�� �=� #���#.����� #��1%���;��������.����������%���������.����������.�%#�������.���.����0���!�0��������#���%���������.���������������������%��� ����?������ #��1%��� ��?1.���� �� ����� #��#��.���� ��%��1� ����;���.������?������#��1%���������1�0��������������.�����������������%��1�A�����������������>������ �6")y�(7)�,�F$)�7) �(�,")(6�,���������������!����.�%#�������.���.�����������������������1 ����%������������0�� ��������������������1������0��1#��#����������1�1���������0�� ��������/�����.��0������.����������0��������4���������#��0�����.��0��1#��0�������������������.��������4��������1 ��#��0��������3�

CU�ZV � � ��� � ��*U�V � �� ������1 � ¢��PRIMER 6.6

,�%#�� �����.���.�� #��0.��.���� #����� �� ����1�1� 0��1#�� ��� ����4�.�� ��� :>����#����0���%��1������.��0����0��1#����4�.�X0�����#1����#������.��0����#��1%�����4�.����3�Õ Y ����� :> � � Y :����

� Y � � ���� :> Y =<�<5��PRIMER 6.7

,�%#�������.���.��#��0.��.����#�����������1�1�4�������0��1#������1�������=5����#�1�#��1%�����1;�����>�4�.����1���������1���0�����������3�Õ Y �>���= k � Y ><�

198

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

>���� �',)(,�8�$�9�7��(�1%� ���3��

Zašto su autentifikacija i tajnost teoretski nekompatibilni?

Kako obezbediti autentifikaciju u praksi?

�1.��.���#�!�����4��4�?1�����/�������#���������;����1���.��������0���������0��1#��0���.������1.�����������4��� �1������%����#����0�������#��0.������.������������.����/�������#�������1�������������#��0.������0���.����.������1.�����������4���������������1�.�.�0������1�#���������#��0.�������.������#����1������1.�����������4���*���.��������������1�.�.�1�#��0.��������#����1.�����������1�.����.����1.��.�%��.���������%�.��#��!�0.������#��0�.�4������!���������6���.�������������� ��.��������TEOREMA 6.7

"����.�� ���¥�������#��0.������������#���������������������0���������1.�����������4������������%�����3��¥ � �[¥U9Ä�V�

����1��.�����1%��������%����#����0�����.1������1 ��#��0.��������������#��1%������0�#.�����6�������!������.�;��1�0��4�����1%��������6����� ����� ��� �����.������ �1.��.���#�!���� 0���%�� ��� �4��� ��� 1���������������!���� ����?1� #��0.������� �� #��1%������� 4�.�� ���#��� �� ��1��� .����� ��� 4������4��4������0����#.�1�.����.��.���.��1���������������!���������4�.�������#���1�������.�����.��.����.��0��1#�����1.��.���#�!����������0��.���%�1��.1�!��1�������3�

ºU.Ä ËV Y ºU.Ä ËV _ �UËV � �UëV � �UËWë�.V� 199

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�#��.����������3�ºU.ÄëV Y �����CU$W�� 9V Y ���

��4�����3�ºU.Ä ËV Y �UËV � �UëV��

�.��0���%�3�}� � �¢U�V[¢U£V h ���

������3�n�UËV ¦ �UëVo��

�.�����%�����#��1%������4�.������#��0��#����7��������1 �������������������4��4�����1.��.���#�!������������������1���3�

ºU.Ä ËV ¦ ����� ��� �� 0��� .���� .����.� �4��4���� ��� ���1� 0��#.�%��� .����.�� �������� ���������.��#��� #��0��#��.��� 6�� ��� ������ ��� �������� ���.�� 1� #��0.�����#���.���������������������.��#���#��0��#��.��0�01����������1.��.���#�!��1��

200

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

7. BIBLIOGRAFIJA

A. J. Viterbi and J. K. Omura.� ����!�0��� ��� ���.��� 9���1��!�.���� ����9�������æ$�����ç��5�(�ô�²��#�3��!-��ô5C������:B:��Aiden A. Bruen, Mario A. Forcinito� 9�O0.����0/O�� �������.���� .�/��O�� ���������5!����!.����æ$�����ç��5�(�ô�7���O�3���7�/��§���O�¨���������=��Blahut, Richard E.�,/���O��������!.�!�����)�����9��.����9����æ$�����ç��5� æ���ç�3�������5§���O���:@���Dušan B. Draji�, Predrag N. Ivaniš� '��� 1� .�����1� �������!���� �� #��������æ$�����ç��5���������3��#����#�������������������:��F. Bavaud, J.-C. Chappelier, J. Kohlas� ��� ��.���1!.���� .�� �������.���� ,/���O������00��!�.����æ$�����ç��5����=�3�æ���ç��Lang, Serge.�����4���æ$�����ç��5�æ���ç�3�������5§���O���::���5�,��,/����)��.�����Lin, Shu and Daniel J. Costello, Jr.� )����� 9��.���� 9�����3� 81������.��� �����00��!�.�����)����ô����9�����æ$�����ç��5�æ���ç�3�����.�!�5C������:@���N. M. Abramson.��������.����,/���O�����9�������æ$�����ç��5�(�ô�²��#�3��!-��ô5C������:>���R. Adler.�)�����!������������0��0��.������ ������.�������O�!/������æ*����ç��5�æ���ç�3����!����������./����!���:>���5���3:�<5:����Raymond W Yueng� �� ��ô� 61.���#� ��� �/������ �������.���� ���1���æ*����ç�XX��)))�,����!.��������,��5��::���5�,���B��Shannon C. E.�����./���.�!���./���O����!���1��!�.����æF��0�ç�XX�������O.���,�/��!���7�1������5��:<@��5�.����B:5<����Van Lint, J. H.� ��.���1!.���� .�� 9������ ,/���O� æ$�����ç��5� æ���ç�3� �0������5"��������:@�����

201

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

DODATAK A – UVOD U MATLAB OKRUŽENJE

+�� 0������#�5�������� �#�1;����� 1� ���� 1�;4���#1� ���4����� ��� ��.��4©�0������#�� 0�#�.�� ��.��4� ��� ��.��� #��� #�� ���!�� ��� GMATrix LABaratoryL�IG��4���.������ �����.��!�LJ�� ��1���� ��� ��� �:B�5�/� $��������� I9���������J�� ����#�.����� ��� �������.�#1� ��� '������.�.1� G(�����#�#�L�� 6���1 ��� 4��� �������0��#�!���� I������ RAD-rapid application developmentJ� 1� !���1� 4����� ������������#0������.����/����1�.�.�����.��4©� ���*� ��#�1;����� �� �4��4�?1�������%��� �������#�1;����� �� ���.��������4���1� 0���.�#��� ��1�����!��1� 0���.�#�� �� .������������� ������.��� #���� ��0������1�1�1������#�5.�/�����#���0�������������������4�����/�������.�����1���0������������������#������1�����0�������1�����1�;4���#1����������1�10����1�������.��1���������������0������#��#�����#���������������������.�����0�������������1���.��451�� �#����������#.���3�-�����������������1�����������13�

� åå�����æ����=�B�:���ç���;����%�������������������������.�����%���3�

� åå������3�3���� ���������������������=�����B�����:�������

,���0���������������1�����1�#����13�� åå�O����ó�� O�����������������

202

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�����=������B������:��������

-�����������������1��0��1������.�����=���������#���#���=��åå�+���=3=3���

��������=�����������=�����������=�������(������������������������0��#�����1�command window����;��������.�������.�.�� ��� ������.�� ���� 0������.�� �����.� .�� ��� ������.�� .�#�� �.�� ���� 1��.�������413��

åå��I�J�������=�

(��������%�����4���� �����1�0��������1�ans� #���� ����1.���.#����#���������"�����.�1���.��451�#�����1��0�������������?����������1.���.#����4���������ans.�(����4�� ��� 0������� �/� 0���������/� #���� 1� ��#�������� 1� ������� ��.��!����.��45�3�

� åå�ô/��²�1������4������3����������O�������� �

(����4�����1���1���.�������#��0������������0�����.��!��0���.�#�3�� åå�ô/��

��� (��������������������������O.���9��������..��41.��203

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��� �����������������������������@����14�������������������� ������������>����������������<@����14�������������������� O���������>������������������<@����14������������������� ������������>����������������<@����14���

�����#��;������������������������1���.��!���1���������� 1������413�� åå�æ���ç����I�J�

��������������>������

� åå����I�J������>�

�'#���#��;������.����������%1���������.���/�0���������/������������.��!����.��45���1���������� 1������413�

� åå��������8��������#��;������%1�.�������.����������?���/�0���������/3�

åå��������8����������#��;��������4���.����0����������#���.� ���������413�

� åå�!����������� �#�� ;������ #���.�.�� 0���������� #���� ��� �%1���� 1� ��.�.�#1�� #���.���������413�

� åå����������8�����204

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�#��������������!��������������.��!�3�åå�����æ�>�������Ä�=�������@Ä�:�>�B���Ä�<��=��<��ç�

�������������������������������������������������������������>������������������������=�����������������@������:�����>�����B������������<�����=�����<�������

����%1�������1���0��#����������.��!���3�� åå�1�I�J�

���������<�����<�����<�����<�,���0����������.��!���3�

åå��ó�����������������������������������������������������������

�����>�����=�����:�����<������������������>�����=������������������B�����<������������@�������������

���#���������%1�������1��������������/��������.�3�� åå�����I�J�

�������������������������������������������������������������������������>��������

205

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�����B��������

� åå�1�I����I�JJ����������<�

���#��������.��������.����.��;����0���!���3�� åå��I��<J��������@�

������������������.��!�3�åå�+�������I���J�+����������������������������������������

� åå�8���=ì���I���J�8����=�����=�����=���������=�����=�����=�

� åå(�����ì����I��@J��

(����>�==B<�������=B�����@�<:������:���::����>�B@B<����B�=BB<����B�<���������:����*�������D���������������#���������������.��!�����'�� �������� 1���#����!��1���.��!���������;����%1�.��1�����13�

����æ�>��������������������������=�������������@������������:���>���B��������

206

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�������������<����=����<������çÄ��������#��;���������1%�.����0��������1���������������1�� �������� 1�#�����13�

åå��.��!��+�.���1�����������0�����������3�

� � � åå�������������������������������������������������������������������>�������������������

�����=�����������������@������:�����>�����B������������<�����=�����<�������

$��#�.���!������.��!�����0��!��������������0������������������.��!��1�����1�� 1��������������.��!1��3�� åå�����æ���â��Ä�â<@��â�>ç�

����������������������������������������������>����������������������<@�����=�����<����<=������=�����������������@�����B����<�����<�����<�������:�����>�����B����������<������@�����:����<<������<�����=�����<�����������>����<B����<>�����������><����=�����=�����>������������:�����@�����:�����=�����=@����=:����=>�����������>�����B�����<�����=B����=<����==����>������=�����������������@�����=�����>�����>�����<:�����������������������B�

��������������.��#���1�#!�������������������.��� � åå�£���I�3�3�>JóÄ�

207

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

åå�£������������������������������������������������������������������������£�������

������������=������B������:��������������������=�

åå�2���������I£J��������������������������������������������������������������2���������������

������=@=�����������:�������@�B<��������>::�������<=:<�������B��<�������:�>:�

������1�;�����0���.�#�����)�!�����.�.�#���(�0���.��excel���.�.�#1�0���!�������'���.�.�!���������.��0��������1���.��!1�æ<���<ç���������.�������G�/��.�H�1������G��.��!�H��'��������������4��xlsfinfoI���� �.�.�#�J���4��������.������1���1�excel���.�.�#1��

� � åå�æ.O0���/��.ç��������Ió0���!�����óJÄ�208

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

åå�.O0��.O0�������!����.�)�!����0����/��.�

åå�/��.�/��.���ó��.��!�ó����ó�/��.�ó����ó�/��.�ó�

�#��;���������1������0���.#������.����.��!���1�����������413�åå�����������Ió0���!�����ó�ó��.��!�óJÄ�

åå��������������������������������������������������������������������������������������<�

�����������������<�����=������������<�����=�����>������<�����=�����>�����B�

�+�.��� 0��������� 0��!�� #��#�.���!���� ���� ��.��!��� �� �� 10������ 0���.#�� 1�excel���.�.�#1��

åå�����æ���â��Ä�â=��â@çÄ�åå���

������������������������������������������������������������������<�����������<�����=�����>������������������<�����=�����<�����=�����>�����B������������<�����=�����>�����=�����>�����B�����@������<�����=�����>�����B�����>�����B�����@�����:������>�����B�����@�����:�����:������������������������B�����@�����:�������������������������������

209

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�����@�����:�����������������������������������<������:�����������������������������������<�����=�

�åå���ô��.�Ió����!�����ó���ó��.��!�9��óJÄ�

�-���������� C��������� ��%��#�� �� C�������/� #������ (�0��� ���� excel���.�.�#1������� ������;����3�

210

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�'���������� �������4�����1���0���.�#��1���.��4��#�1;����3�åå�£���������Ió��������ó�ó���1#�óJÄ�

åå�0���������Ió��������ó�ó"����.��!�óJÄ��

åå�£�£�������������������������<�

åå�0�0��������=����������=�����������������������

'��.������ �������4�����0���������C�����������%��#�3�åå�*���/1�������!.I£�0JÄ�

211

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

åå�*�����������������������������������������������������*�������æ�ç����æ��������������������ç�

����æ�ç����æ������14��ç�����æ�ç����æ������14��ç�����æ<ç����æ������14��ç�

�������C��������#�������������� ���#�������������������=���.�/�4��#���0��1#���

åå�0��1#������0��.Iæ�������������������ç���=�JÄ��$���%���#10���4����1�0��1!�3�

åå��4������æ�����çÄ��(�1��%�������?��������.�� ���������4���3�

åå����.��!����æ����������@çÄ��*�%��#����C�������#��3�

212

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

åå��!��#���/1�������!.I��4��������.��!�JÄ��-����������#������#��!��0��#��C���������#�����3�

åå#������#��!����/1�������!�I0��1#����!��#JÄ��-������������#��������#��!��0��#��C�����������#�����3�

åå��#��������#��!����/1�������!�I#������#��!����!��#JÄ�

�213

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

DODATAK B – JEDNA PRIMENA KODOVA ZA ISPRAVLJANJE GREŠAKA U KRIPTOGRAFIJI

'�����.#1���0��#��� ��������1�0�����1�#���������0��������������#��1���.�����.������������������#��0.����#�/�#��1%���������1�4����.���#�/�0���.�#���'����� ���1� 1�;4���#�� ��.�� 1� 1����� �����.������ ������ ��� �����%�.�� �0�#.���������������.������������������#��0.����#�/�#��1%���������1�4����.����������� #��� �� #��0��.��� 0��!�� �������� ������� �� ��.����!���� 1� .���������4����.���#���.����������� ������%#�� ����� ��� ��.��1� ������� #��0��#���� �.���� �� ��.��������0����� �/� #��0����.�� #���� ��� ����#.��� ���� ������#.��� ��%��� 1%�.1�1� 1���.1��������/�#��0����.����������������

�-�����%#��������.�����

(�� ��!�� ��� 0���.������� ������%#�� ����� 0�����;����� �������� �� ��� �����0���.������� $��0��.��� �.��� �.���� �� ��� ��� 0���.���3� 0���.��� ���#�������� ���� 4����.���#��� ������ #���� ��� ������� ��� ������.�����.����!�������/� 4����.���#�/� �.���� �� 0���.��1� ��� 0����� 0��1#�� 0��#��4����.���#��� #������ �� �1����� '� ��.�#1� ����� ��.������ �4����������214

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

0�������%��/� 1����� �/� �������/� #��0����.�� #���� 1� ���;���� 1� ������������1�0��!����$��0����.��1��1��������4��������������������Komponenta 1� 5�0���.����� �0��!��1�#��������������#��0.����#��#��1%�����.�����%����� ���0��1%���� ��� ��� #��1%� 41��� ��������� ��� �1%����� ��%��� 0��#���������!����/� ������ � #���� ��� ���1 �� 0���� �� 1� 0��������� �#�1;�������� '���1���� �1%��1� #���� ����� .���#�� 0�01������� ���1 �� ��� #��1%� �������.�� �� ��#���0�1���1%������������.������6�#����%��������������#��1%����;��������1���4��4����.�����������.��%����#��0.��.�����Komponenta 2� 5�0���.�����0��!�����.�.����#�����������#���#!��1������#��1�#���� �� #���.�� *��5�������� #������ '� ���� 0��!�1� #��0.����#�� #��1%�����#������*��5��������#��������'���������0��!��� ������1�.��#���;��.������.������0����.�/��#��0��1��.�����0�����#��1��#�!�����������1�#���������.������ %�.��� ������ �� 0�.01��� ������� ����� ��1%���� �.��;��%#��� 0���1� 0����������G4����.���#��#��0.��������M��Komponenta 3 D� 0���.����� 0��!�� ����������� ���� #���� #���� 0��0����0���.��1� ��� #�������� ���� 4����.���#��� ������� '� ������ �1%��1� 0�!���%���0��!�� #���� 1� �4�� ���;�� ��� 0��0��!���� ���� 0��0��!�� �� ������ ���.�������1� 0��!��1�1� ��� ����������� 4����.���#��� �4��!�� #���� ��� �0���� 1�0������1���� �1������%�������;�������#�;���������������������;���0��!���������������� ���� �������!������ ������������1�#���� ���#������1��?������.����#��0��.��������������#���������%�� �1���0��0��!��0���.�����������������;���0��!�� #���� 1���� �������!����� ����� �� ��� ���1� ���1�.�.�� ��4�����/� 0��#��.�����#�5�������!����� �������� #��1��� �������!����� ����� 1� !���1� �������������#����.��.����/��������!�����(�0����1 ���� ��� ��� ��� #��.�%��� .�%#�� 1� ���� �.��1�� ���� �� ��4����� �������1�.�.� 0������ ������� ���#.��� ��� 0���.���� #��0����.��� +�0�����0���������� %�.���� �.���� ����� ��� #���.�.�� 0��!��� #�������� �����������!����������������.�����������0�����������.����1�����������1�.�����#�5�������!���1�������1���#����� ����#�����������.��1�����0������1������

215

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

����!�����������������#����

Komponenta 4 – 0���.�������������1�.�/��#1�0��1��.1����.�������#��1��#�!�������.������� ���� ���%���1� 1����� 1� �.��1�� $���.�� �� ��� ��0�������� 0�#�.#�/������#�������������1���������������!��������?1������%�.�/�������'�����������1�#���.�� �� �1%����� ��.������� I������ Random interliverJ�� ,�/��#1� ��.���������0������ ��������#������������#������Komponenta 5 - 0���.����� ����%#1� �0���!��1� H£6*M� 1� #����� �� 4������#��0.����#�� #��1%� %�.�� ��1��� ��� ����������� ���� #��� ���� #����� ��� 0����������.�/��#�������.�������������1 ��1���1����1��4��0���.#���1%��������4�������.���#����0������������4���������.��0��� �����G6��5.����0��M�0����#.���.�����#��0.���.����Komponenta 6 - 0���.����� 0���.�#� #���� ��� ���1�.�.� G£6*M� �0���!����� �4������0���.�#�1��4��%1����#��1%��1����������1�4����.���1����1%���������������#��1%��(�����1�����0���.#����������1 ���.#��.�����������1�4����.���1�����#��1%��6���0���.�#���������������1�0���.#�����#�����.��������0�#.�����.�.��0���.��.��4����.���#�/�0���.�#���Komponenta 7 - 0���.�����0��!��1�#��������0�%�������0��!��1����1�#��������1������ #�����#� ;���� ��� ��� ���1� ����������� ���� 4����.����� ����������� #��1%�#���������#��1%���%�.�����������������������4����.��������#��1%���6���0��!���������.�%���0��!�����1�#��0����.� ���Komponenta 8 - 0���.����� 0��!�� #���� ��� ����.�%��� 0��!�1� 1� #��0����.�� <��,�/��#����.������������0��������������������������������4����.������#�����1;������������������#��1%��Ë��(�0������������1��4���1%���� ��.����������������1�����������1�4��� �����������;�����,�%������1������#�����.����#����1����0�.����0�.��4���������.�4����.���Komponente 9 i 10� 5�0���.�����1����0��������0��!���1���������1�0��!����0��#��#���/��������������#��1%�#���������#��1%���%�.��������1�#��0����.��=�

216

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��� ��������1�� +�.��� 0����� �� 0������1��� ����%#�� �0���!���� G£6*M� ����#������������#�������0���.#���#����1��4��%1��#��1%��+�.�����0������1���*��5�������� ��#����� #���� #����1��� �� ��.���� ����#��� '#���#�� ��� ��4������ ���1�.�.�0���� ��#������ �����#� #��1%1� #���� ��� ��������� 1� 0��!�1� I�J�� .�� ���%�� ��� ���#��0��.��� 0��!��1��� ����������� 10����� �� ��� ��� ��0������ �.��� #���� �������1 ��.����������1� �.��� ����4����.���#���0���.�#�����������#��0.����#��#��1%��������1 ��1���1����0����#.������.���0��0����4����.���#���#��0.���������������������������.����.�.�0���.�#���Analiza ekvivalentnog kanala

�������� �#�����.���� #������ 0�����1���� 0������;����� ��#��� #���%����#��1��#�!������#������ ��� .�������#��1��#�!����#����1.�?1���1����0���#��������� ���1 � 0�1����� 0����� �������!����� �� �������� 0�� ��� �����#���#.���.�#����������#����1�������������%�.������;��������.��4��� ���1.���.����#�����1�4����1�0�1�������0������0��#����1����1����1��10�.��41�#�������� �0��������� �����#�� �� ��#�����1� #���%��1� �����#�� #���� ��.���� #���� ���������!����0������� ���4������������#���������

����������#�����.����#����������� ��� ����� ��� �#�����.��� #����� 0���.����� �.�� #����� #���� ��� �0���� ��� ��������%�.�� ��%����� ��� ��� ��� 0��#������ ��� ��!�� ������� #���� ���;�� ������1� ���

217

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�#�����.��� #������� -������ #����� ��� ��!�� 0���.����� �#�����.��� #����� #���� ��%�.�� ��;�� ��.�� 1� #���%���� #��1��#�!������ #��������� A���� #������ ���;����#������ ��#������ ��.�������� ����.������� �� #����� �� �1����� ���1#�� #���� ��0����������#������������;�������1.�!��1��1���#�������0������1���1�0�#�.#�/������#��1����;��1�0��1#���64������������������� ���0�#�.#�������#�������0��������� .������ 0��������� ���*��5���������#��� �� ��.������� %���� ��� ����.�#������0���� ��4����#�������0��1#����� ��.�����0��1#��������0��#��#�������'� .�#1�0������0��1#���������;����1.�!��1��1���#����1.�#1���1����;���0��1#��0�#�.#������#��� $���� 0��1#�� .����� ��� 0������1� .���1�� 0������1��� �� ����.������� #������4���� #������� 0��1#�� �� �� ��� �.�� ����#��� 0���!���� #���� 1� 4���� ��#���#�����������0���������.��������#�.�#������#��#����1���.��������1����4�������� 1�����%���� ��0���?���� 0��#�� !����� ���;���� 0��1#��� '� 0��������� ������0��������*��5����������#������#����1�1�������.��������#���� ����� #����� ��� ��!�� 0���.����� 4����.���#�� #����� �� 0��1.��� �1���� A����#���������;����#��������#��������.���������#��1��#�!�����#������'�����#����1�0��1#�� ��� #��1%�Ë�#���� �� 0������ 0��#�� �1����� #����� #���� ��� ���1#���� �� ���������A1��#�������0��1.���1�#����1���0��������0��#��0�#�.#�/������#���'�!���1�0�.���������#�/�0�������������.�������#�������0������1�������.������������4�������I���������0��������������1������0���������.����J�#���������������1#1�1�#��1��#�!����� #����� �� �1����� +�.���� #��1%� Ë �#��1����� �� *��5���������#������� �� �������� #���� .�#�� #��1��#�!����� #����� ���� #����� ���� ������#��.���1� ��� ����?��� �0��� �����.�� 0�#�.#�/� �����#��� ���1#�� ��� 0�����1� ����#��1%�Ë�����#��1���*��5����������#�����������4������0��1#��0���.�����#��1%�˪�#������������#�#��1%1�Ë����0���������.��������;���� ��� ��� ��#��1%���� ��� ��� ��������� �#�����.���� #������ �������������� ���� ���� #������ 0��#�� #���� �.��1����� 0����� 0��1#�� ����#��������#�0�!�.�.����6���#����� ������4����4�����������.��%����#�������� �1���� �� ��� ���� ��%��� ��� 0�.������ A�����1� .�����1�� #���� ��� 4���� ���#��������?�����1������������0����.��������1�����:<@����������1�#������.��������#�����4��������������1 ����%���#���������������!�����������.��#��������;����0�.� ��0��;��������������#����#����������������0�������������!�������

218

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Uloga zaštitnog koda i interlivera

-���#��#������.��1���������1 ��1�0�.01��.����������.��������/�������1 �����.��������.���'������.�����.�0������.����!���������.�� ����.��#������#������ ������ ������� ��� �0�#.�� 0����#.������ �.����� ������� ��� 0�.������� ��#��0�1�����.��1����1��.����#���.����.���������0��.10�3�� ��4�������������#��� �0��������������#��� ��������������#��

Izbegavanje grešaka� 0�����1���� 0��%������ ��.��#�� �����#�� ��.���/� ���/�����#��� ���� ��.��#��� 0��.������� 6�#�� .�/��#�� �� ������ ��� ��4���#���.�.����/�������I����#�����J�#����1%�.1�1�1�0��!�1��#���!������#��������#��� �� ���#�.��� ��4��� ������.���� #���� 1%�.1�1� 1� �4����� ������� I#������������J����4�������������#��0�����1�����������1�#������������.�.�������������0���0�.1�1�0��������#��0����.���.�����Ispravljanje grešaka� ��� .�/��#��#�������0��%�����.���#�����#���6��.�/��#��10�������.�#.1������0��������.��������#�����;�������#�;����������.�/��#���������1 ��.�.��������!���������.�4���.������0���.#���������#����1�!���1���4������� �.���0���.#��4�������#��� 7���������;����/�#��0����.�������.����1� ���.�.��� #����� #���� 0������1����� ���� 0���.#��� I#��1%� KJ�� #���� ��� 1� .�#1�0������ ����;��� ����#����� (�� ���� ��%��� ��� ����1 ��� 0����� 1� #��.�%�����.1�!�������������.��.�0���.������!������'�0����#.����1��.����#���� �������*��5��������#����6���#����0����������#��������1���4����������������1�4�.����0�������1�����0���������#��!��.�����/�0�#�.#�/�I������burstJ������#���6�������1�����#1�0�����1�1��.����������.����/�#��1��#�!�������.���������%1�����0���.�#���*��5��������#�����1�0����10���9C� #����� �� #���� ��������/�� ��4������/� !�#��%��/� #������ *��5�������� #��� ���4��#�#���#������0���.�����#����PUb� c� ¹V�0��#��0�����-����� (2 )nGF ��*��5�������� #��� 1���� ���#1� ���1����.�1� �������!��1� I0��#�� 0������#��.�1#.1��J� �� .�#��0�.�;����#��0���������������.�#!��1� �� �0��������������#��� ��4�� �� ��� !����0��.�������0/����� ��� #���.�.�� ����#����.��.�1� �������!��1�I�����.����#���#.���.�#�J�� ���������������1�1��?���������������������!�����

219

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

������������.�#.1������������!��������4����10����.�#�/�������.��#���� ��������;��� �����#����.��.�1��������!��1��Smanjenje grešaka� ��� 1������� ������ ��� .�/��#�� #���� 1.�%�� ��� �����������.���/������#��#������������1 ���0���.���'��������1%���1����4������������1��.1� .�/��#�� ��.�������� ��.�������� #���.�� ��.��1� 0��0��.����� �����.�� 1� ����#��1�� ��.��� ��� 0��0��.����� ��;�� ��� 41��� ���������� ��� #���.���� �1%��1�0���1.�!��1� #���� ��� ����.�� �� ��#��� ���!�������� ������ 1� #���� 0���.�����0�%�.���.�����0�1��������.�����6�#����.��������1����������.��1%����.��1���#�� ������� #���� 4��� 0�� ����� #��0��#��.��� 0��.0�.�����1 �� #���� ������.���.�������#�������������.���������#���� Motiv za uvo�enje zaštitnih kodova i interlivera

�����������.�.��/�#���������.���������������������.�����4����.���1�1�0������1��� #���%���� #��1��#�!������ #��������� 7����� ��� ����/� !������ ��� 4��� ���0����?���� �#�����.��� #����� #���� ���� �������%#�� ��4���� �� 4����.���#���#��1��#�!������ #�������� ���������#� �#�����.���� #������� ����� 4�������.�������4���0����������!���#10�����.����#�������#�������!������(����!�� �0���4����.����� ���0��.�� ������#���%����#��1��#�!������#��������� 0��1.��� �1���� '� ���� 0�����1� ��� ����� ���1#1�1� 4����.���#��#��1��#�!����� #����� 0��#�� #���� ������ !���� ��� 0�������� #��1%��� "�����.������#��1�����#����1�������1�1������.�����.������������������0��0����1����������4�� ���� 1� ��� �����%�.�/� ��4��� '� ���� �0.��#.���� �����1� 4����.���#���#���������������.�#��������#��1%��0��������0��#��#������4��������#���,�%������!���� ��� 0����#.��.�� #��1��#�!����� #����� %���� ��� ��#������� #�0�!�.�.� ����������������3�

. Y ����UËÄ Ë�V Y �

220

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

�����.���#��#��1��#�!�����#��������1�����*������������.���#���#�����.����4�����;������#�������� ��%������!�3�6����� 0��4���� #��� 4����.���#�/� 0���.�#�� ��� �����4����.� #���� ��� 0��1.����#�� 01.� 1� 0���!���� ��#��� �#���!���� 4����.���#�/� 0���.�#��� �1���� ��%������#������4����.���#��0���.�#��������������.���4����.���#�������1���1�#������#1�����5�5���5�����/�0��./����/����#���4����.���#��0���!��������������������%�.���4����.���#����������������#1�1����<�5����>�5���$��� ������� ��� 0����1.�� 0��4���� �����4����.�� 1� 4����.����� ������ ��.���� ��������� �� �#�����!���� �� ��1���� #��1��#�!������ #��������� 6�� ������ ��� 1����0�����1����.�.��/�#�������� �0��������������#��I�������rror correcting codeJ����.�/��#�����0��1��.������4��.��#��1��#�!������$�0�!�.�.� #���� ��� �0��������� �����#�� 1� ���� �1%��1� 0���������� ��#������������1� 4�.�� .�#�� ��� ������1� ������������ #�����#�� ��� ��;����� (�� 0�������4����.���#��#��������1#�������������#�������.���4����.���#�������������1�4�.��1�.���1����0����1�0��1#1�4��������#��1��������1%��1�#��1%�Ë����#�#��������1#���� ����� ���� #��� �� �����%�.�/�4����.���#�/� ���������� ������0������#��1%�Ë�� %�#� �.�� ���� 0�;������ ��� ��� #��1%�Ë�41��� 1���.���� .�#�� ��� ��� 1���������������!����ºUËÄ Ë�V Y �������.��������0����1.�/�0�����������10�/�4��0���.����������1�.�.���Ë YY ˪����#���˪�#���.��#���#��0.����#��#��1%������������� #��0������ ����?1� 1#10��� #���%���� �������!���������� #���� �����/��� 1�������� �������!����º�����?1� �.�/� �� �����%�.�/� #����� ������ ��4�������#���������#�����1����%��1�#��1%��Ë��

221

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

��.����������.�/��#��#������#���.�������0��������0�#�.#�/������#���������������1.�?���� ��� ���� #��� ���;�� 0�#�.#�� ����#��� 6�� .�/��#�� �� #��� #���%��/�#��1��#�!����/� #������ #���.�� ��� 0��������� 0���������� ���.�.��/� #����� ����#���������0��������������#����������;���������#��1%������������%������!������1.����1.�%1����.������������������4��.���#�����0����������� ����4����.���#��#��0.���������� �� �� .����/���1�1 ��0�.�����1�.��������������!������#����������

222

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

RE�NIK POJMOVA

A Algoritam - �0����������������#���0��4������Arnost�D����%��������4�.���+��n-�����.�4��3�n��4������!��1��#���%��1��B BSC – 4����������.��%���#������BSS –�4����������.��%���������Blok kod�D���0������#10���%��#����1��.���1;�����0���.�����.�1#.1�1������G Generator matrica� D� ��.��!�� #���� �� #���.�� ��� #�������� 0��1#��� ���?�����#����/���%���D Dekodovanje – .��������!����#�������%��1���4����0��1#����E Entropija – �����#���%����������?���.�����I Informacioni izvor – ������.����#��!����4����#����0���.�����1�0��1#����

223

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

K Kapacitet kanala - ��#������� 0���%��� #���%���� �������!���� ��� �����1�#������#������������#��#���%�����������!�������1���1��Kodna re��-�4��������#��!��#��������0���.��������4����������0��1#����Kriptoanaliza - 1��.��.�����1#�������4�����1���������/�0��1#����Komunikacioni kanal� -� ���������!���� �.�� �� ������ 1� 0����.��� 0��1!�� ����?1�0����������0��������.������Kompletan kod�-�0����#���#���%����#�����.�4���������;����#���� ������.����Kodovanje�-�.��������!������4����0��1#��1�#�������%����Kriptološki klju� - 4������� �#��!�� � �� �1;����� 0���1��� ��4���� �1%����/��������$���.����#���0�%�.���.�����������.���1��������������������������������Kriptograf - ��!��#���������������������Kriptoanaliti�ar - ��!��#����������������.����������4���������������Kriptografija - ��1#����0�������1�������.������������������Kriptoanaliza - ��1#�������4�����1�������.����������������� L Linearni kod – 4��#�#�� #��� %���� ��� .�1#.1��� 0���.������� �� �#.��#���0��.������M MAC - #������0����1��1.��.�%��.��0��1#���Minimalna distanca� -� 0���.����� ��������1� C������1� ��.��!1� I��� �1��J�����?1�4����#������������%�.��#�������%���

224

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Minimalna distanca dekodovanja� -� �#��� ��� ��#�������� 1� #����� �� �#��0�����������%���#��1���1����4��;1�#���1���%��N Nula kodna re� – #�������%��%�����������1��� O One-time pad - 0����#.���������#����0��0������10��������������.��%����#��1%����$��1%�����������������1%�������%����� ���������#1��1;��1�#�����0��1#���$��1%���������#��������0��������O�ekivana dužina koda�-��%�#����������.�����1;��1�#����/���%���Jednosmerna funkcija -� �1�#!���� #���� �� ��#�� ����%1���� 1� ������� ���1� ������%1������1����������.��#���������1 ���P Poruka - 0���.�#� #���� �� �������1��� 0��#�� #��1��#������� #������ ����?1�0����������0��������.��������;�����41���#���������1������������������Perfektna tajnost�D�.�����#����#�����#��0.�����#����/�������#�����������������%1���#��������PKI - �����.�1#.1�����������#��1%����������;��4��1�����/�#��1%���0��#��#���/��4��4�?1����1.��.���#�!��1�1��������������#������;�����PRNG - ������.��� ��� �����������0�1���1%����/�4������������1� ���!��������.�����#�����������?��������1%�������%����

225

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

R RSA - #��0.�����#�� �.��� �� ������ #��1%���� 0�.��.����� ��� .����� *��.���A������ �� ��������� �:B>�� ���1���.� *��� ������ �� ��� ��;���.�� ��#.�����!�������#�/�4���������������#1�0�����1����0�����.��������1��-������251���S Stacionarni izvor�D��������!����������%����.�.�.�#���������������������Sindrom�D�0�������0�����������%���������#�!�������.��!����T TRNG - ������.����1%����/�4�������6�#��������.����������1 ��#��.�1��.��1�0����������������!����������������Težina re�i�D�4����������!��1�4���������#��!���F Faktorizacija � -� ��.�����������#�/�0��.�/�4��������� %����!�� ��� #10��0��.�/�4��������H Hemingovo rastojanje - #���.�� �� ��� ����?������ �����#�� ����?1� ��� ����������#���1;�����Hafmanov kod�D����#������%���#���������������!���������;����1�0��1#�����������1�0����.�/�����.�� ����4����0��1#���

226

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

C CRC – I����� Cyclic Redudancy CheckJ�� $��� ����#�� 0�������� #���.�� �� �����.�#.�����������#���64�%���0����������������9*9���0��������Cikli�ni kod�-����������#����1�#�����#��0�������#�������%��0���.�����.�#�?��#���1���%���Š Šifra - ������.��� ��� ��������������1� ��� 0�.���� �����%�.�� .�0��� �������� 6�����0������1����#���%�����������������.��%���������.��%�����0��1.�����0��#.�%���.������Šifrat - ���1�.�.� �1�#!����������������� ���� .��������!�����.������0��1#��#���� �����������1��0���������0�����#��1%���Šifrovanje - 0��!��.��������!�����.�������.�#.��1������.��� �

227

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

228

______________________________________________________________________________________Osnovi teorije informacija i kodovanja

Na osnovu člana 23. stav 2. tačka 7. Zakona o porezu na dodatu vrednost („Službeni glasnik RS”, br. 84/2004, 86/2004 (ispr.), 61/2005, 61/2007 i 93/2012), Odlukom Se-nata Univerziteta Singidunum, Beograd, broj 260/07 od 8. juna 2007. godine, ova knjiga je odobrena kao osnovni udžbenik na Univerzitetu.

CIP - Каталогизација у публикацијиНародна библиотека Србије, Београд

519.72(075.8)004.22(075.8)

МИЛОСАВЉЕВИЋ, Милан, 1952- Osnovi teorije informisanja i kodovanja /Milan Milosavljević, Saša Adamović. - 1. izd. - Beograd : #Univerzitet #Singidunum, 2013 (Loznica : Mladost grup). - 228 str. : ilustr. ; 24 cm

Tiraž 300. - Rečnik pojmova: str. 223-227. - Bibliografija: str. 201.

ISBN 978-86-7912-506-41. Адамовић, Саша, 1985- [аутор]a) Теорија информација b) КодирањеCOBISS.SR-ID 200845580

© 2013.Sva prava zadržana. Nijedan deo ove publikacije ne može biti reprodukovan u bilo kom vidu i putem bilo kog medija, u delovima ili celini bez prethodne pismene saglas-nosti izdavača.

Recommended