Моделирование гуманитарных Моделирование гуманитарных процессовпроцессов

"Небесное яблоко действительно должно быть совершенным, - ответил Насреддин, - но, учитывая твои нынешние способности вообще и способность судить о небесном яблоке в частности, а также то, что ты, как и все мы, находишься сейчас в этом обиталище разложения, можешь считать, что ты все равно не увидел бы райское яблоко в ином виде"

(история про Ходжу Насреддина)

Лекция 3

Что это такое?Что это такое?

I.I.Термодинамическая Термодинамическая энтропияэнтропия

Рудольф Клаузиус

Понятие энтропии было впервые введено в 1865 году Рудольфом Клаузиусом. Он определил изменение энтропии термодинамической системы при обратимом процессе как отношение изменения общего количества тепла δQ к величине абсолютной температуры T:

T

QdS

Рудольф Клаузиус дал величине S имя «энтропия», происходящее от греческого слова τρoπή, «изменение» (изменение, превращение, преобразование). Данное равенство относится к изменению энтропии, не определяя полностью саму энтропию.

где dS — приращение (дифференциал) энтропии, а δQ — бесконечно малое приращение количества теплоты.

Термодинамическая энтропияТермодинамическая энтропия

Позже Больцманом и Планком было показано, что Позже Больцманом и Планком было показано, что термодинамическая энтропия связана с вероятностными термодинамическая энтропия связана с вероятностными характеристиками распределения молекул в веществе. Формула характеристиками распределения молекул в веществе. Формула Больцмана-Планка имеет следующий видБольцмана-Планка имеет следующий вид

где где kk- постоянная Больцмана, Г - число микросостояний - постоянная Больцмана, Г - число микросостояний реализующих рассматриваемое макросостояние системы, реализующих рассматриваемое макросостояние системы, SS - - энтропия термодинамической системы в данном макросостоянии. энтропия термодинамической системы в данном макросостоянии. В этой формуле фигурирует понятие макросостояния и В этой формуле фигурирует понятие макросостояния и микросостояния его реализующие.микросостояния его реализующие.

lnkS

II. II. Информационная энтропияИнформационная энтропия

Клод Шеннон

Шеннон предложил в качестве параметра распределения с плотностью , характеризующего степень его “неопределенности” использовать величину, вычисляемую по формуле:

dxH ln

Информационная энтропияИнформационная энтропия

По Шеннону с понятием энтропии тесно связано понятие информации. Информация согласно определению Шеннона - это числовая величина, на которую изменилась энтропия системы, после получения некоторого сообщения о состоянии этой системы.

i

ipipxH )(log)()( 2

В дискретном случае

Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i, умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме).

Информационная энтропияИнформационная энтропияШеннон предположил, что прирост информации равен утраченной неопределённости, и задал требования к её измерению:

1. мера должна быть непрерывной; то есть изменение значения величины вероятности на малую величину должно вызывать малое результирующее изменение функции; 2. в случае, когда все варианты равновероятны, увеличение количества вариантов должно всегда увеличивать значение функции; 3. должна быть возможность сделать выбор в два шага, в которых значение функции конечного результата должно являться суммой функций промежуточных результатов.

Эксперимент с монетамиЭксперимент с монетамиP=1/2

P=1/2

P=1/2

P=1/4

P=1/4

1

1

3

3

III. III. Пример вычисленияПример вычисленияЗадачаЗадача: : Предположим, что вы перед экзаменом выучили все билеты кроме 1 из 32. Допустим, что это соответствует действительности. Тогда можно предположить, что вероятность того, что вы сдадите экзамен равна 31/32, а не сдадите – 1/32. Предположим, что преподаватель после очередного студента его билет не возвращает в общую стопку, из которой вы берете билет. Пусть теперь перед вами в аудиторию зашел ваш товарищ и взял некоторый билет. После выхода из аудитории он сообщает вам, что вытянул билет, который a) вы не знали, б) вы знали. Оценим количество информации, которое вы получили от вашего товарища в каждом из случаев.

Часто количество информации оценивают в битах. Эта величина в теории информации, есть приращение энтропии, вычисляемой по основанию 2. В общем случае базовая единица измерения количества информации, равная количеству информации, содержащемуся в опыте, имеющем два равновероятных исхода.

Например энтропия броска монеты -2(0.5log20.5) = 1 бит.

Пример вычисления энтропииПример вычисления энтропии

Рассмотрим случай а) тогда энтропия будет вычисляться Рассмотрим случай а) тогда энтропия будет вычисляться

2006.032

1log

32

1

32

31log

32

3122 H

После получения сообщения а) энтропия H1 стала равна 0. Поэтому количество полученной информации равно 0.2 бита. В случае же б)

2056.032

1log

32

1

32

30log

32

3022 H

Как видно, энтропия увеличилась. Следовательно, вы получили отрицательную информацию I=H0-H1=0.2006-0.2056=-0.05 бит, которая увеличила вашу неопределенность в сдаче экзамена. Если взять величину информации по модулю, то можно сказать, что в первом случае вы получили в двадцать раз больше информации, чем во втором случае, да еще и с отрицательным знаком во втором случае.

Демон МаксвеллаДемон МаксвеллаМысленный эксперимент 1867 года, а также его главный персонаж — гипотетическое разумное существо микроскопического размера, придуманное Джеймсом Максвеллом с целью проиллюстрировать кажущийся парадокс Второго начала термодинамики.

Эксперимент состоит в следующем: предположим, сосуд с газом разделён непроницаемой перегородкой на две части: правую и левую. В перегородке отверстие с устройством (так называемый демон Максвелла), которое позволяет пролетать быстрым (горячим) молекулам газа только из левой части сосуда в правую, а медленным (холодным) молекулам — только из правой части сосуда в левую. Тогда, через большой промежуток времени, горячие молекулы окажутся в правом сосуде, а холодные — в левом.

Связь термодинамической энтропии Связь термодинамической энтропии и количества информациии количества информации

Связь термодинамической энтропии Связь термодинамической энтропии и количества информациии количества информации

Обнаружение частицы в одной из половин сосуда меняет информацию о частице

Процесс измерения уменьшает энтропию частицы и ровно настолько же увеличивает информацию о ней.

Энтропия и распределения с Энтропия и распределения с максимальной неопределенностьюмаксимальной неопределенностью

Рассмотрим все возможные распределения вероятностей дискретной случайной величины, принимающей конечное число значений

X1 , X2 , … , XN

при фиксированном N

Обозначим вероятности появления соответствующих зна чений случайной величины через p1,p2,…,pN. Покажем, что распределением с мак симальной неопределенностью, характеризуемой энтропией является равно мерное распределение для которого p1=p2=…=pN=1/N

энтропия такой случайной величины равна H=-Σpilnpi

Кроме этого все возможные допустимые положительные числа должны удовле творять условию нормировки.

Энтропия и распределения с Энтропия и распределения с максимальной неопределенностьюмаксимальной неопределенностью

Задача отыскания распределения дискретной случайной величины с заданным числом исходов N и максимально возможным значением энтропии сводится к отысканию экстремума H при условии нормировки Эту задачу решаем с помощью метода множителей Лагранжа.

где λ - множитель Лагранжа. Дифференцируя по каждому pi в отдельности, получаем систему уравнений следующего вида

Отсюда находим:

Значение λ определяется из условия нормировки. В результате получаем:

Энтропия и распределения с Энтропия и распределения с максимальной неопределенностьюмаксимальной неопределенностью

В случае непрерывной случайной величины рассматриваются всевозможные В случае непрерывной случайной величины рассматриваются всевозможные распределения с заданными средним значением и дисперсией. распределения с заданными средним значением и дисперсией.

Распределение с максимальной энтропией имеет вид Распределение с максимальной энтропией имеет вид

Это соотношение в точности соответствует плотности нормального распределения Это соотношение в точности соответствует плотности нормального распределения вероятностей со средним значением вероятностей со средним значением aa и дисперсией и дисперсией δδ22

Поэтому наиболее часто встречающееся в Природе распределение это нормальное или гауссово распределение. Из всех других законов распределения с фиксированной дисперсией оно обладает наибольшей энтропией и следовательно реализуется чащу других.

Энтропийная модель распределения Энтропийная модель распределения миграционных потоковмиграционных потоков

В городе имеется n районов, Ni - число жителей в i-том районе, Wj - число работающих в j-том районе, Xij - число живущих в i-том районе, но работающих в j-том районе. Величины Xij представляют собой по сути поток пассажиров из i-того района в j-й во время проезда на работу. Эти потоки удовлетворяют уравнениям:

Задача заключается в вычислении матрицы Xij, наиболее вероятной с точки зрения усредненных наблюдений за потоками.

Энтропийная модель распределения Энтропийная модель распределения миграционных потоковмиграционных потоков

Обозначим вероятности того, что наугад взятый человек в городе живет в i-том районе, а работает в j-том. через pij . В этом случае величины Pi и Qj:

представляют собой вероятности того, что наугад взятый житель живет в i-том районе (Pi) и работает в j-том районе (Qj) соответственно. При этом очевидно, что

Энтропийная модель распределения Энтропийная модель распределения миграционных потоковмиграционных потоков

Для того чтобы гарантировать независимость результатов от наши собственных суждений. Требуется найти максимум величины

Согласно методу множителей Лагранжа, условный экстремум эквивалентен безусловному экстремуму следующей функции

Дифференцируя данную функцию по pij находим необходимые условия ее экстремума:

Отсюда получаем ответ

Учитывая условия для Pi и Qj находим, что матрица вероятностей может быть представлена в виде:

Закон ЦипфаЗакон ЦипфаЗакон Ципфа (Зипфа) — эмпирическая закономерность распределения частоты слов естественного языка: если все слова языка (или просто достаточно длинного текста) упорядочить по убыванию частоты их использования, то частота n-го слова в таком списке окажется приблизительно обратно пропорциональной его порядковому номеру n (так называемому рангу этого слова, см. шкала порядка). Например второе по используемости слово встречается примерно в два раза реже, чем первое, третье — в три раза реже, чем первое, и т. д. Джон Ципф

n – частота появления слова в тексте. l – число слогов (букв) в слове.

ЛитератураЛитература

Р.Л. Стратанович. Теория информации. Р.Л. Стратанович. Теория информации. М.:Сов. Радио, 1975М.:Сов. Радио, 1975

В.И. Опойцев. Нелинейная системостатика. М.: Наука, 1986, стр. 219-225