Содержательный Содержательный подход к измерению подход к измерению

информации. информации.

Формула Шеннона.

Информация для человекаИнформация для человека – это мера уменьшения

неопределенности знаний.

Единица количества Единица количества информации, которое информации, которое содержит сообщение, содержит сообщение,

уменьшающее уменьшающее неопределенность в два неопределенность в два

раза.раза.

Вероятность и Вероятность и информация.информация.

События События равновероятныравновероятны ,,

если ни одно из них не имеет

преимущества перед другими.

Выпадение орла или решки при бросании монеты.

Выпадение одной из шести граней кубика.

Выпадение шара при розыгрыше лотереи.

Вероятность и Вероятность и информация.информация.

События События неравновероятннеравновероятн

ыы ,, если одно из событий имеет

преимущества перед другими.

Выпадение дождя или снега летом.

Получение пятерки и двойки для ученика – отличника.

Выпадение грани при бросании несимметричной монеты.

Количество Количество информацииинформации

Если события Если события равновероятны, то:равновероятны, то:

I = LogI = Log22 N NI = LogI = Log22 N N

I – количество информации

N – количество возможных

событий

Формула получена Ричардом

Хартли (1928 год).

Количество Количество информацииинформации

Если события Если события неравновероятны, то:неравновероятны, то:

I – количество информации

N – количество возможных событий

Формула получена Клодом

Шенноном (1948

год).I = -I = - PPi i ** LogLog22PPii∑

=

N

1i

Pi – вероятность i-го события

Вероятность Вероятность ii - го события - го события

Pi – вероятность i-го события – численная

мера объективной возможности появления

этого события.PPii = = mmnn

m – число элементарных событий, благоприятствующих этому событию.

n – общее число всех элементарных событий.

Объявляются оценки экзамена по информатике (2, 3, 4 или 5).

Какое количество информации будет нести сообщение об оценке учащегося А, который выучил половину билетов, и сообщение об оценке учащегося В, который выучил все билеты.

1. Опыт показывает, что для учащегося A все четыре

оценки (события) равновероятны и тогда

количество информации, которое несет сообщение

об оценке можно вычислить по формуле Хартли:

I = LogI = Log22 N N = = LogLog22 4 = 2 бит.4 = 2 бит.

Ответ:Ответ: I I (А)(А)= = 2 бит2 бит

2. На основании опыта можно также предположить, что для

учащегося B наиболее вероятной оценкой является «5». Вероятность оценки «4» в

два раза меньше, а вероятности оценок «2» и «3»

еще в два раза меньше.

P1 = 1 / 2 P2 = 1 / 4

P3 = Р4 = 1 / 8

3. Так как события неравновероятны, воспользуемся

для подсчета количества информации в сообщении формулой

Шеннона:

I = -(1/2*log21/2 + 1/4*log21/4 + 1/8*log21/8

+ 1/8*log21/8) Ответ:Ответ: I I (В)(В)= = 1,75 бит1,75 бит

В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков.

Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика.

Ответ:Ответ:I = I = 1,85 бит1,85 бит

Какое количество вопросов достаточно задать вашему собеседнику, чтобы точно

определить день и месяц его рождения?

Ответ:Ответ: 5 вопросов о дне5 вопросов о дне

4 вопроса о месяце4 вопроса о месяце