КОЛИЧЕСТВО ИНФОРМАЦИИ

КОЛИЧЕСТВО ИНФОРМАЦИИ, КАК МЕРА УМЕНЬШЕНИЯ НЕОПРЕДЕЛЁННОСТИ ЗНАНИЯ

Возможные события

Произошедшее событие

События равновероятны,

если при возрастающем числе опытов количества

выпадений «орла» и «решки» постепенно

сближаются.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность.

С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орёл» или «решка».

Перед броском существует неопределённость нашего знания (возможны два события), а после броска наступает полная определённость.

Неопределённость нашего знания уменьшается в два раза, так как из двух возможных равновероятностных событий реализовалось одно.

Определение. Количество информации, которое содержится в сообщении о том, что произошло одно из двух равновероятных событий, принято за единицу информации и называется 1 бит.

Существуют два подхода к измерению количества информации:

вероятностныйалфавитный.

Вероятностный подход в свою очередь рассматривает:

1) Равновероятные события2) Не равновероятные события

Пример равновероятного события – бросание монеты.

Пример не равновероятного события– в коробке лежат 2 белых карандаша и 4 черных.

РАВНОВЕРОЯТНЫЕ СОБЫТИЯ:КОЛИЧЕСТВО ВОЗМОЖНЫХ СОБЫТИЙ

И КОЛИЧЕСТВО ИНФОРМАЦИИ

Количество i информации, содержащееся в сообщении о том, что произошло одно из N

равновероятностных событий, определяется из решения показательного уравнения

2i = N

Если известно количество информации i, то количество возможных событий N легко определить.

Например, если i = 5, то N = 2i = 32.

Если известно количество возможных событий N, то для определения количества информации нужно решить показательное уравнение относительно i.

Степени двойки20 21 22 23 24

1 2 4 8 16

25 26 27 28 29

32 64 128 256 512

Задачи:

При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события.

Какое количество информации получит человек при выпадении одной из граней?

При бросании шестигранного игрального кубика существует 6 равновероятных событий.Какое количество информации получит человек при выпадении одной из граней?

Ответ

2i = N

N=4 I = 2

Ответ: 2 бита информации

2i = N

N=6 I = 3

Ответ: 2 бита информации

Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок.

N = 128

i - ?

Дано:

Задача. В рулетке общее количество лунок равно 128. Какое количество информации мы получим в зрительном сообщении об остановке шарика в одной из лунок.

N = 128

i - ?

Дано: Решение:

2i = N

2i = 128

27 = 128

i = 7 бит

Ответ: i = 7 бит

ОБРАТНАЯ ЗАДАЧА

2i = N

Если известно количество информации i, то количество возможных событий N легко определить.

Например, задача:

Сколько карт в колоде, если при вытаскивании из колоды карт короля пик человек получил 5 бит информации

Решение:

i = 5, то N = 2i = 32.

Ответ: 32 карты

Задачи:Задача 1.Какой объем информации вы получаете в

ответ на вопрос «Вы выходите на следующей остановке?».

Задача 2.Поезд находится на одном из 8 путей.

Сколько бит информации содержит сообщение о том, что поезд находится на четвертом пути?

Задача 3.Вы подошли к светофору, когда горел

желтый свет. После этого загорелся зеленый. Какой объем информации вы при этом получили?

Ответы:Задача 1.Человек может ответить только «Да» или «Нет»,

т.е. выбрать один из двух возможных ответов. Поэтому N=2 значит I=1 бит, т.к. 2=21.

Ответ: 1 бит. Задача 2.Из восьми путей нужно выбрать один. Поэтому

N=8, а I=3, т.к. 8=23. (Номер пути не влияет на количество информации. ).

Ответ: 8=23 – 3 бита.Задача 3.Из двух сигналов красного и зеленого нужно

выбрать один – зеленый. поэтому N=2, а I=1 бит.

Ответ: 1 бит. Все задачи из книги О.Л.Соколовой «Поурочные разработки по информатике»

Задачи:Задача 4.При угадывании целого числа в некотором

диапазоне было получено 8 бит информации. Сколько чисел содержит данный диапазон.

Задача 5.Сообщение, Петя живет во втором

подъезде, несет 3 бита информации. Сколько подъездов в доме?

Задача 6.Сколько информации содержит сообщение,

уменьшающее неопределенность знаний в 8 раз?

Ответы:Задача4.N=28=256.Ответ: 256 чисел.Задача 5.Поскольку номера подъездов не повторяются,

то все события равновероятны. Следовательно, N=23=8.

Ответ:8 подъездовЗадача 6.Так как неопределенность знаний

уменьшается в 8 раз, значит, существовало 8 равновероятных событий. Сообщение о том, что произошло одно из них несет в себе 3 бита информации (8=23).

Ответ: 3 бита.

Когда не можем найти целую степень двойки, то берем ближайшую большую!

Задача 2.Поезд находится на одном из 10 путей. Сколько бит информации содержит сообщение о том, что поезд находится на четвертом пути?

Из десяти путей нужно выбрать один. Поэтому N=10, а I=4, т.к. 23=.8 24=.16 Ответ: 4 бита

Решение задач, в условии которых события не равновероятны

(1/p) =2i

P=k/Nгде I – количество информации;P – вероятность события;N – общее число возможных исходов какого-то процесса;K - величина, показывающая, сколько раз произошло интересующее нас событие.

Пример:Задача . В корзине лежат 8 черных шаров и 24 белых.

Сколько информации несет сообщение о том, что достали черный шар?

Дано: Кч=8, Кб=24.Найти: Iч – ?Решение:N=Кч+Кб=8+24=32 – всего шаровPч=Кч/N=8/32 = 1/4 -- вероятность того, что

достанут черный шар(1/p) =2i

(1/(1/4))= 2i. 4= 2i I=2

Пример:В коробке лежит 64 цветных карандаша.

Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке?

Дано:N=64; Iб=4.Найти: Кб – ?Решение:(1/ Pб) =2i= 24

Pб=1/16 – вероятность доставания белого карандаша

Pб=Kб/N; Кб=Pб/N=1/16/64=4 белых карандашаОтвет:4 белых карандаша

Задача:В классе 30 человек. За

контрольную по математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении, что Андреев получил пятерку?

Решение:В классе 30 человек. За контрольную по

математике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации в сообщении, что Андреев получил пятерку?

Дано:N=30; K5=15; K4=6; K3=8; K2=1Найти: I4 – ?Решение:P5=15/30=1/2 – вероятность получения оценки

«5»(1/1/2)= 2i 2= 2i I=1Ответ: 1 бит

Задача:Известно, что в ящике лежат 20 шаров.

Из них – 10 синих, 5 – зеленых, 4 – желтых и 1 – красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали синий шар, зеленый шар, желтый шар и красный шар?

Дано: Кс=10, Кз=5, Кж=4, Кк=1, N=20Найти: Iс, Iз, Iж, Iк

Решение: Pc=Kc/N = 10/20=1/2 – вероятность доставания

синего шара Pз=Kз/N = 5/20=1/4 – вероятность доставания

зеленого шара Pж=Kж/N = 4/20=1/5 – вероятность доставания

желтого шара Pк=Kк/N = 1/20=1/20 – вероятность доставания

красного шара Iс=log2(1/1/2)=log22=1 бит I3=log2(1/1/4)=log24=2 бита Iж=log2(1/1/5)=log25=2,236=3 бита Iк=log2(1/1/20)=log220=4,47213=5 бит Ответ: Iс=1 бит; Iз=2 бита; Iж=3 бита; Iк=5 бит

Задача:Задача 23.В ящике лежат белые и черные

перчатки. Среди них – две пары черных. сообщение о том, что из ящика достали пару черных перчаток несет 4 бита информации. Сколько пар белых перчаток в ящике?

Дано: Кч=2; Iч=4 битаНайти: Кб – ?

Решение:1/Pч= 2i= 24

Pч=1/16 – вероятность доставания черных перчаток

Pч= Кч/NN= Кч/Pч=2/(1/16)=32 – всего

перчаток в ящикеКб=N - Кч=32-2=30Ответ: 30 пар белых перчаток

АЛФАВИТНЫЙ ПОДХОД К ИЗМЕРЕНИЮ ИНФОРМАЦИИ

Второй способ измерения информации называется алфавитный.

При алфавитно-цифровом представлении информации любое слово, являющееся последовательностью символов, становится информацией. Число символов в слове называется его длиной.

Определение. Полный набор символов, который может встретиться в кодируемой последовательности, называется алфавитом, а количество символов в алфавите – предельной мощностью алфавита.

ФОРМУЛА нахождения количества информации при алфавитном подходеN=2m, где N – мощность алфавита, а m – количество информации,

необходимое для кодирования 1 символа.

Если в сообщении K символов, то количество информации, которое несет сообщение – i=K х m

Пример:Для передачи текста размером 50

символов потребовалось 300 бит. Какова предельная мощность алфавита? (Сколько символов в алфавите?)

Решение:На один символ приходится 300 / 50

=6 бит. Мощность алфавита составит 26=64

символа.Ответ:64 символа

Пример:Задача 2.Найти объем текста, записанного на

языке, алфавит которого содержит 128 символов, а в сообщении 2000 символов.

Решение:N=2m 128 =2m m=7 бит – объем

одного символаIс=m*K=7*2000=14000 бит – объем

сообщения Ответ:14000 бит

Задача:Вожди племени обменялись

письмами. Письмо Тумбо содержало 50 символов. Юмбо – 30 символов. Количество информации, переданное в письме Тумбо содержало 250 бит информации. А письмо Юмбо на 50 бит больше. Сколько символов в алфавитах племен Тумбо и Юмбо?

Решение:1. 1 символ Тумбо несет

250/50=5бит информации.2. 1 символ Юмбо несет

(250+50)/30=10бит информации.

3. Nт=2m

mт=5 Nт=25 =324. Nю=2m

mю=10 Nт=210 =1024