28
МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО к.т.н. доцент кафедры «Прикладная математика» НГТУ С.Н. Постовалов

МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

  • Upload
    nate

  • View
    70

  • Download
    0

Embed Size (px)

DESCRIPTION

МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО. к.т.н. доцент кафедры «Прикладная математика» НГТУ С.Н. Постовалов. Вычисление числа . Вычисление числа . R. Вычисление числа . Генераторы псевдослучайных чисел. Генератор псевдослучайных чисел. - PowerPoint PPT Presentation

Citation preview

Page 1: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ

ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ

ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

к.т.н. доцент кафедры «Прикладная математика» НГТУ

С.Н. Постовалов

Page 2: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление числа Вычисление числа

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 2

Page 3: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление числа Вычисление числа

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 3

2

2

2

2

4

" "

44

квадрата

круга

S R

S R

P попасть в круг

R

R

R

Page 4: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление числа Вычисление числа

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 4

" "

4

4

P попасть в круг

Число точек в круге

Общее число точек

Число точек в круге

Общее число точек

Page 5: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Генераторы псевдослучайных чисел

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 5

№ Генератор Формула

1 Метод Фибоначчи с запаздываниями

2 Линейный конгруэнтный генератор

3 Мультипликативный конгруэнтный генератор

4 Линейная рекуррентная последовательность порядка P над конечным полем 2P

5 Регистр сдвига с линейной обратной связью (LSFR)

1 ( )mod , 0,1,...t tx ax c N t

1 ( )mod , 0,1,...t tx ax N t

pxaxaxax ktkttt mod11211

Page 6: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Генератор псевдослучайных чисел

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 6

№ Генератор Год, авторы Период

1 RANDU 1960

2 MERSENNE TWISTER M. Matsumoto, T. Nishimura, 1997

219937−1

3 Well equidistributed long-period linearWELL512WELL1024WELL19937WELL44497

F. Panneton, P. L'Ecuyer, and M. Matsumoto, 2006

2512−121024−1219937−1244497−1

Page 7: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Сколько бросить точек?Сколько бросить точек?

Число точек Попало в круг Оценка (Первые 16 знаков числа 3.141592653589793)

36 28 3,1 1111111111111

2 191 1720 3,14 011866727522

2 212 1737 3,141 04882459313

2 218 1742 3,1415 6898106402

2 726 2141 3,14159 941305943

29 585 23236 3,141592 02298462

29 599 23247 3,1415926 2137234

32 763 25732 3,14159265 024570

963 235 756523 3,141592653 92142

1 923 758 1510916 3,1415926535 4582

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 7

Для вычисления числа использован генератор WELL44497

Page 8: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление вероятности появления некоторого случайного события

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 8

Пусть требуется вычислить вероятность P появления некоторого случайного события A. В каждой из реализаций процесса количество наступлений события является случайной величиной , принимающей значение 1 с вероятностью P, и значение 0 с вероятностью (1-P) .

Page 9: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление вероятности появления некоторого случайного события

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 9

Математическое ожидание и дисперсия случайной величины равны

(1 )M xp y p p

2 2

2 2

( ) ( ) (1 )

(1 ) (0 ) (1 ) (1 )

D x M p y M p

p p p p p p

Page 10: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление вероятности появления некоторого случайного события

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 10

В качестве оценки для искомой вероятности P принимается частота M/N наступлений события A при N реализациях

1

1 N

ii

Mx

N N

Page 11: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление вероятности появления некоторого случайного события

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 11

В силу центральной предельной теоремы теории вероятностей частота при достаточно больших имеет распределение, близкое к нормальному:

(0,1)(1 )

M N M M N pN N N

D p p

Page 12: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление вероятности появления некоторого случайного события

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 12

Поэтому

( ) ( ) 2 ( ) 1(1 )

M N pN t t t t

p p

(1 )p pM N p t

N

1 1

2t

- квантиль стандартного нормального распределения

Page 13: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Вычисление вероятности появления некоторого случайного события

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 13

Таким образом, -доверительный интервал имеет вид:

,

(1 )

M MP p

N N

p pt

N

Отсюда количество реализаций N, необходимое чтобы доверительный интервал имел длину 2, равно

22 )1(

pp

tN

Page 14: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Сколько бросить точек?Сколько бросить точек?

Число точек

Попало в круг

Оценка 99%-доверительный интервал

36 28 3,1 1111111111111 2,4744 3,7478

2 191 1720 3,14 011866727522 3,0585 3,2217

2 212 1737 3,141 04882459313 3,0598 3,2223

2 218 1742 3,1415 6898106402 3,0605 3,2227

2 726 2141 3,14159 941305943 3,0684 3,2148

29 585 23236 3,141592 02298462 3,1194 3,1638

29 599 23247 3,1415926 2137234 3,1194 3,1638

32 763 25732 3,14159265 024570 3,1205 3,1627

963 235 756523 3,141592653 92142 3,1377 3,1455

1 923 758 1510916 3,1415926535 4582 3,1388 3,1443

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 14

Для вычисления числа использован генератор WELL44497

Page 15: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Сколько бросить точек?Сколько бросить точек?Половина длины

доверительного интервала Требуемое число точек

для вычисления числа 1,00E-01 1,5 E+03

1,00E-02 1,5 E+05

1,00E-03 1,5 E+07

1,00E-04 1,5 E+09

1,00E-05 1,5 E+11

1,00E-06 1,5 E+13

1,00E-07 1,5 E+15

1,00E-08 1,5 E+17

1,00E-09 1,5 E+19

1,00E-10 1,5 E+21

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 15

Page 16: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Сколько бросить точек?Сколько бросить точек?

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 16

2 0 02

(1 )p pN t

Если в эксперименте одновременно оцениваются разные вероятности (например, в случае построения эмпирической функции распределения), то можно взять максимум функции P(1-P) = 0,25:

На практике вероятность P обычно неизвестна. Поэтому для определения количества реализаций выбирают N0=50-100, по результатам реализаций определяют P0 и затем определяют требуемый объем моделирования:

22

1

(2 )N t

Page 17: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Применение метода Монте-Карло в математической статистике

• Аналитическими методами как правило можно получить результаты в крайних случаях: – при малых объемах выборки наблюдений– в асимптотике при

• Методом Монте-Карло можно получить результаты с приемлемой для практики точностью для «реальных ситуаций»

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 17

n

Page 18: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Применение метода Монте-Карло в математической статистике

• Исследование свойств методов оценивания параметров законов распределения

• Исследование робастности статистических процедур

• Определение законов распределения статистик критериев проверки статистических гипотез

• Исследование мощности критериев проверки статистических гипотез

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 18

Page 19: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Исследование распределений статистик критериев согласия

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 19

, ,sup ( ) ( )n N n Nx

D F x F x

Page 20: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Исследование распределений статистик критериев согласия

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 20

, ,sup ( ) ( )n N n Nx

D F x F x

Page 21: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Исследование распределений статистик критериев согласия

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 21

y = 0,372x-1,33

R² = 0,997

0

0,002

0,004

0,006

0,008

0,01

0,012

0,014

0,016

0,018

0,02

10 100 1000

Dis

tan

ce (D

n)

Sample size (n)

Page 22: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Исследование мощности критериев согласия

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 22

Page 23: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Лабораторный практикум

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 23

№ Тема

Лабораторный практикум №1 Проверка статистической гипотезы о виде распределения:• критерии согласия типа Хи-квадрат;• непараметрические критерии согласия;• критерии нормальности.

Лабораторный практикум №2 Проверка статистических гипотез об однородности:• критерии однородности распределений;• критерии однородности средних;• критерии однородности дисперсий.

Page 24: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Индивидуальная работаИндивидуальная работа

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 24

Дата Работа

19.09.2011 Понедельник Выдача заданий для индивидуальной работы

20.09.2011 Вторник Самостоятельное выполнение индивидуальных работ

21.09.2011 Среда Консультация по выполнению индивидуальных работ

22.09.2011 Четверг Подготовка презентации для защиты индивидуальной работы

23.09.2011 Пятница Защита индивидуальных работ

24.09.2011 Суббота Награждение участников, выдача удостоверений о повышении квалификации слушателям, успешно защитившим индивидуальную работы

Page 25: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Индивидуальная работаИндивидуальная работа

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 25

1. Проверка гипотезы о виде распределенияВ следующей таблице приведены результаты измерений прочности провода на разрыв в деканьютонах.

235 235 230 232 226 230 231 229 237 235238 234 229 231 240 237 239 231 233 240235 239 234 230 236 231 240 232 231 228234 233 235 227 226 231 230 232 237 238238 236 230 235 231 230 235 228 233 240

Требуется проверить гипотезу о согласии полученной выборки са) нормальным распределением;б) распределением Лапласа;в) логистическим распределением.Определить достигаемый уровень значимости критериев методом Монте-Карло.

Page 26: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Индивидуальная работаИндивидуальная работа

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 26

2. Проверка гипотезы однородностиПрепарат нифедипин обладает способностью расширять сосуды. Ш. Хейл предположил, что нифедипин можно использовать и при поражении сердца, вызванном кокаином. Собакам вводили кокаин, а затем нифедипин, либо физиологический раствор (плацебо). Показателем насосной функции сердца служило среднее артериальное давление. Были получены следующие данные.

Проверить гипотезу:а) об однородности распределений двух выборок;б) об однородности дисперсий двух выборок.Влияет ли нифедипин на среднее артериальное давление? Определить достигаемый уровень значимости критериев методом Монте-Карло.

Плацебо 156 171 133 102 129 150 120 110 112 130 105

Нифедипин 73 81 103 88 130 106 106 111 122 108 99

Page 27: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Индивидуальная работаИндивидуальная работа

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 27

3*. Применение метода Монте-Карло в задачах теории вероятностей и математической статистики

В городе проживает n+1 человек. Один из них, узнав новость, сообщает ее другому, тот – третьему, и т.д., причем каждый человек передает новость наугад выбранному жителю, за исключением того от, которого он ее услышал. Пусть – случайная величина, равная числу передач новости от одного человека к другому до момента возвращения к тому человеку, который узнал ее первым.

1. Написать программу для моделирования закона распределения . 2. Вычислить необходимый объем выборки N для заданной точности .3. Выполнить моделирование распределения статистики, вычислить среднее значение и дисперсию, исследовать зависимость от n.4*. Решить задачу аналитически. Сравнить аналитические результаты с результатами моделирования.

Page 28: МЕТОДИКА ИССЛЕДОВАНИЯ СТАТИСТИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ МЕТОДОМ МОНТЕ-КАРЛО

Спасибо за внимание!

19.09.2011 Молодежная школа "Прикладные методы статистического анализа" 28