Математическая статистика, весна 2016: Лекция 3. Точечные оценки для случая конечной генеральной совокупности

Лекция 3. Доверительные интервалы

Грауэр Л.В., Архипова О.А.

CS Center

Санкт-Петербург, 2016

Грауэр Л.В., Архипова О.А. (CSC) Лекция 3. Доверительные интервалы Санкт-Петербург, 2016 1 / 44

Cодержание

Содержание

1 Оценка параметров конечной генеральной совокупности

2 Стратифицированные выборки

3 Распределения χ2, Стьюдента, ФишераРаспределение χ2

Распределение СтьюдентаРаспределение Фишера

4 Доверительные интервалыОбщая схема построения доверительных интерваловТочные доверительные интервалы для нормальной генеральнойсовокупностиТочность интервального оцениванияАсимптотические доверительные интервалыДоверительное оценивание по вариационному рядуДоверительный интервал для медианы


Оценка параметров конечной генеральной совокупности


Рассмотрим генеральную совокупность конечного объема N.Пусть x1, x2, . . ., xN — элементы генеральной совокупности.Математическое ожидание генеральной совокупности:

µ =1

N

N∑i=1

xi .

Дисперсия генеральной совокупности

σ2 =1

N

N∑i=1

(xi − µ)2.



Наиболее простой способ сэмплирования - простое случайноесэмплирование:

элементы генеральной совокупности выбираются случайнымобразом без возвращения,все случайные выборки объема n имеют одинаковые вероятностиреализации.

Рассмотрим выборку объема n X1, . . . ,Xn из генеральнойсовокупности.Если все элементы генеральной совокупности различны, тоP(Xi = xj) = 1

N , ∀ i , j .По выборке X1, . . . ,Xn найдем оценки µ и σ генеральной совокупностии исследуем их свойства.



В качестве оценки математического ожидания возьмем выборочноесреднее

X̄ =1

n

n∑i=1

Xi .

Найдем математическое ожидание X̄

E X̄ =1

n

n∑i=1

EXi = µ.

Найдем дисперсию X̄

Var(X̄ ) =1

n2

n∑i=1

n∑j=1

Cov(Xi ,Xj).



Если бы элементы выборки извлекались с возвращением, тоCov(Xi ,Xj) = 0, i 6= j и

VarX̄ =1

n2

n∑i=1

Var(Xi ) =σ2

n

Однако выборка без возвращений порождает зависимости междуX1, . . . ,Xn.Можно показать, что

Cov(Xi ,Xj) = − σ2

N − 1, i 6= j



Таким образом,

Var(X̄ ) =σ2

n

(N − n

N − 1

)=σ2

n

(1− n − 1

N − 1

)

Коэффициент(

1− n−1N−1

)называется коррекционным коэффициентом

генеральной совокупности.

Как правило, n << N, в этом случае

Var(X̄ ) ∼ σ2

n.



Найдем оценку дисперсии генеральной совокупности σ2.В качестве оценки возьмем выборочную дисперсию

σ̂2 =1

n

n∑i=1

(Xi − X̄ )2.

Найдем математическое ожидание выборочной дисперсии

E (σ̂2) = σ2

(n − 1

n

)N

N − 1.

Оценка смещенная.

Несмещенной оценкой дисперсии σ2 будет оценка вида

s̃2 =

(1

n − 1

)N − 1

N

n∑i=1

(Xi − X̄ )2.



Тогда несмещенной оценкой Var(X̄ ) будет

s2X̄

=1

n(n − 1)

(1− n

N

) n∑i=1

(Xi − X̄ )2.



Стратифицированные выборки




Разобьем генеральную совокупность на подклассы или страты.

Примерысовокупность людей можно сгруппировать в страты погеографической принадлежностипользователей интернета — по используемому браузеруфинансовые транзакции — по величине транзации: большая,маленькая, средняя

Зачем?Правильная стратификация может уменьшить разброс значенийоценок неизвестных параметров. Стратификация гарантируетприсутствие в выборке представителей всех страт.



Рассмотрим генеральную совокупность объема Nx1, x2, . . . , xn.Разобьем множество ее значений на L страт объемом N1, . . . ,NL:

N = N1 + . . .+ NL.

Wk — доля страты k в генеральной совокупности.

Обозначим через µk и σ2k математическое ожидание и дисперсию

страты k .Пусть xik — i-й элемент страты k . Тогда математическое ожиданиегенеральной совокупности

µ =1

N

L∑k=1

Nk∑i=1

xik =1

N

L∑k=1

Nkµk =L∑

l=1

Wkµk .



В рамках каждой страты k возьмем простую случайную выборкуобъема nk (X1k , . . . ,Xnkk).Выборочное среднее внутри страты k обозначим

X̄k =1

nk

nk∑i=1

Xik .

Очевидно, что EX̄k = µk .

В качестве оценки мат. ожидания генеральной совокупностирассмотрим оценку вида

X̄S =L∑

k=1

Nk X̄k

N=

L∑k=1

Wk X̄k . (1)



Оценка X̄S является несмещенной оценкой µ:

EX̄S =L∑

k=1

WkEX̄k =1

N

L∑k=1

Nkµk = µ.

Несложно показать, что

Var(X̄S) =L∑

k=1

W 2k Var(X̄k) =

L∑k=1

W 2k

(1

nk

)(1− nk − 1

Nk − 1

)σ2k .

Если nk << Nk , то

Var(X̄S) ∼L∑

k=1

W 2k σ

2k

nk



Какими выбрать объемы выборок из страт?

Теорема 1Объемы выборок n1, . . . , nk такие, что

nk = nWkσk∑Lk=1 Wkσk

, (2)

k = 1, . . . , L, n = n1 + . . .+ nL,минимизируют дисперсию Var(X̄S).

Такое распределение называют оптимальным или Неймана.Соответствующую оценку обозначим X̄SO .

Var(X̄SO) =

(∑Lk=1 Wkσk

)2

n.



Пропорциональное распределениеОбъем выборки для каждой страты определяется правилом

nk = nNk

N= nWk , k = 1, . . . , L, n = n1 + . . .+ nL. (3)

Соответствующую оценку обозначим X̄SP . Так как Wk/nk = 1/n,

X̄SP =L∑

k=1

Wk X̄k =1

n

L∑k=1

nk∑i=1

Xik

Дисперсия оценки XSP будет равна без учета поправки на конечностьгенеральной совокупности

Var(X̄SP) =1

n

L∑k=1

Wkσ2k .



Чем больше разница дисперсий между стратами, тем больше разницамежду дисперсиями оценок XSO и XSP и, следовательно, большепреимущество у оценки XSO .

XSP всегда имеет дисперсию меньше, чем дисперсия оценки X̄ ,полученной простым случайным выбором, если страты имеют разныематематические ожидания.


Распределения χ2, Стьюдента, Фишера

Распределения χ2, Стьюдента, Фишера


Распределения χ2, Стьюдента, Фишера Распределение χ2

Распределение χ2

Определение 1

Пусть ζ1,. . .,ζk — взаимно независимые случайные величины,подчиняющиеся стандартному нормальному распределению.Распределение случайной величины

τk = ζ21 + . . .+ ζ2

k

называется распределением хи-квадрат с k степенями свободы иобозначается через χ2

k .

Распределение хи-квадрат с k степенями свободы представляет собойгамма-распределение с параметрами формы k/2 и масштаба 1/2:

fτ (x) =

( 12 )

k2xk2 −1

Γ( k2

)e−

x2 , x > 0;

0, x ≤ 0.


Распределения χ2, Стьюдента, Фишера Распределение Стьюдента

Распределение Стьюдента


Пусть заданы случайные величины ζ ∼ N(0, 1) и τk ∼ χ2k . Пусть

случайные величины ζ и τk взаимно независимы. Распределениеслучайной величины

ξ =ζ√τkk

называется распределением Стьюдента с k степенями свободы иобозначается через Tk .

Очевидно, что если ζ ∼ N(0, 1) и ζ1,. . .,ζk — взаимно независимыеслучайные величины, подчиняющиеся стандартному нормальномураспределению, независимые с ζ, тогда

ζ√ζ2

1 +...+ζ2k

k

∼ Tk .


Распределения χ2, Стьюдента, Фишера Распределение Стьюдента

Плотность распределения Стьюдента с k степенями свободы имеетвид:

f (z) =Γ(k+1

2 )√πkΓ(k2 )

1

(1 + z2/k)k+1

2

. (4)

Можно показать, что для плотности f (z) из выражения (4) имеетместо сходимость:

f (z) −−−→k→∞

1√2π

e−z2

2 .


Распределения χ2, Стьюдента, Фишера Распределение Фишера

Распределение Фишера


Пусть случайные величины η ∼ χ2m, ξ ∼ χ2

n независимы. Будемговорить, что случайная величина

ζ =η/m

ξ/n∼ Fm,n

подчиняется распределению Фишера со степенями свободы числителяm и знаменателя n.

Плотность распределения случайной величины ζ ∼ Fm,n имеет вид:

fζ(z) =

Γ(m+n

2 )

Γ(m2 )Γ(n2 )

mm2 n

n2 z

m2−1

(n + mz)m+n

2

, если z > 0;

0, если z 6 0.


Доверительные интервалы

Доверительные интервалы


Доверительные интервалы Общая схема построения доверительных интервалов

Общая схема построения доверительных интервалов

Пусть задана генеральная совокупность ξ с функцией распределенияFξ(x , θ). Имеется выборка X[n] = (X1, . . . ,Xn) из этой генеральнойсовокупности и неизвестный параметр распределения θ ∈ Θ ⊂ R.


Пусть для некоторого α ∈ (0, 1) существуют статистики S−(X[n], α) иS+(X[n], α) такие, что

P{S−(X[n], α) < θ < S+(X[n], α)

}= 1− α,

тогда интервал(S−(X[n], α),S+(X[n], α)

)называется доверительным

интервалом для параметра θ с уровнем доверия (1− α).



Укажем общий метод построения доверительных интервалов, которыйбудет использован далее.Пусть известна функция Y (S(X[n]), θ), содержащая оцениваемыйпараметр θ и его точечную оценку S(X[n]) со следующими свойствами:

1 Функция распределения FY (x) случайной величины Y известна ине зависит от θ.

2 Функция Y (S(X[n]), θ) непрерывна и строго монотонна по θ.



Зададим уровень значимости α.Обычно доверительный интервал строят так, чтобы дополнительныеинтервалы (− inf, S−(X[n], α)), (S+(X[n], α),+ inf) накрывали θравновероятно (с вероятностью α/2).

Находим квантили yα/2 и y1−α/2 распределения случайной величиныY порядка α/2 и 1− α/2 и далее получаем

P(yα/2 < Y (S(X[n]), θ) < y1−α/2) = F (y1−α/2)− F (yα/2) = 1− α.



Пусть для опреденности, функция Y (S(X[n]), θ) строго возрастает поθ. Тогда обратная функция Y−1(y) для Y (S(X[n]), θ) также будетстрого возрастающей. Тогда неравенство

yα/2 < Y (S(X[n]), θ) < y1−α/2 (5)

эквивалентно неравенству

Y−1(yα/2) < θ < Y−1(y1−α/2). (6)

Получаем доверительный интервал для θ

P(S−(X[n], α) < θ < S+(X[n], α)) = 1− α,

где S−(X[n], α) = Y−1(yα/2), S+(X[n], α) = Y−1(y1−α/2).Для случая строгого убывания Y (S(X[n]), θ) по θ знаки неравенства в(5), (6) будут противополжного смысла.


Доверительные интервалы Точные доверительные интервалы для нормальной...

Точные доверительные интервалы для нормальнойгенеральной совокупности

Теорема 2

Пусть задана выборка X[n] из генеральной совокупности ξ ∼ N(a, σ).Справедливы следующие утверждения:

1 Статистика X̄−aσ

√n подчиняется стандартному нормальному

распределению.

2 Если s̃2 = 1n−1

n∑i=1

(Xi − X̄ )2, тогда статистика X̄−as̃

√n подчиняется

распределению Стьюдента с n − 1 степенью свободы.3 Статистика (n−1)s̃2

σ2 подчиняется распределению хи-квадрат с n − 1степенью свободы.

4 Если s2 = 1n

n∑i=1

(Xi − a)2, тогда статистика ns2

σ2 подчиняется

распределению хи-квадрат с n степенями свободы.Грауэр Л.В., Архипова О.А. (CSC) Лекция 3. Доверительные интервалы Санкт-Петербург, 2016 28 / 44


Точные доверительные интервалы для математического ожидания aнормальной генеральной совокупности можно построить последующим правилам:

Если σ2 известно, то доверительный интервал для a будет иметьвид:

P

{X̄ − σ√

nz1− ε

2< a < X̄ +

σ√nz1− ε

2

}= 1− ε,

где z1− ε2— квантиль стандартного нормального распределения.

Если σ2 неизвестно, тогда:

P

{X̄ − s̃√

nt1− ε

2< a < X̄ +

s̃√nt1− ε

2

}= 1− ε,

где t1− ε2— квантиль распределения Стьюдента с n − 1 степенью

свободы.



Точные доверительные интервалы для дисперсии σ2 нормальнойгенеральной совокупности можно построить по следующим правилам:

Если a неизвестно, то:

P

{(n − 1)s̃2

u1−ε/2< σ2 <

(n − 1)s̃2

uε/2

}= 1− ε,

где u1−ε/2 — квантиль распределения хи-квадрат с n − 1 степеньюсвободы уровня 1− ε/2, uε/2 — квантиль распределенияхи-квадрат с n − 1 степенью свободы уровня ε/2,Если a известно, тогда доверительный интервал

P

{ns2

v1−ε/2< σ2 <

ns2

vε/2

}= 1− ε,

где vε/2 — квантиль распределения хи-квадрат с n степенямисвободы уровня ε/2, v1−ε/2 — квантиль распределения хи-квадратс n степенями свободы уровня.


Доверительные интервалы Точность интервального оценивания

Точность интервального оценивания

Точностью интервального оценивания называют ∆ =S+ − S−

2.

Увеличение (1− α) влечет увеличение ∆, ухудшает точность.


Доверительные интервалы Точность интервального оценивания

Зависимость точности интервального оценивания от n

X[n] из ξ ∼ N(176, 7)


Доверительные интервалы Асимптотические доверительные интервалы

Асимптотические доверительные интервалы


Пусть для некоторого α ∈ (0, 1) существуют статистики S−(X[n], α) иS+(X[n], α) такие, что

limn−→∞

P{S−(X[n], α) < θ < S+(X[n], α)

}= 1− α,

тогда интервал(S−(X[n], α), S+(X[n], α)

)называется асимптотическим

(приближенным) доверительным интервалом.

Построение асимптотических доверительных интервалов основано наасимптотически нормальных оценках.



Предположим, что оценка θ̂ = θ̂(X[n]) является асимптотическинормальной, т. е.

√n(θ̂ − θ)

d−−−−→n−→∞

ς ∼ N(0, σ2),

где дисперсия σ2(θ) — коэффициент асимптотического рассеивания.Предположим, что функция σ2(θ) непрерывна на Θ и отлична от нулядля любого θ ∈ Θ.

Лемма 1

Случайный вектор (√n(θ̂ − θ), θ̂)

d−−−→n→∞

(ζ, θ), где ζ подчиняется

нормальному распределению N(0, σ(θ)).



Рассмотрим функцию от двух переменных

H(x1, x2) =x1

σ(x2)

Она непрерывна на R×Θ. Случайный вектор (ζ, θ)T ∈ R×Θ,следовательно, можем воспользоваться теоремой непрерывности:

Теорема 3

Пусть для последовательности случайных векторов имеет местосходимость по распределению:ηn = (η

(1)n , . . . , η

(m)n )

d−−−−→n−→∞

η = (η(1), . . . , η(m)). Пусть задана функция

H : Rm −→ Rl непрерывная на Rm, тогда H(ηn)d−−−−→

n−→∞H(η).

H(√n(θ̂n − θ), θ̂n) =

√n(θ̂ − θ)

σ(θ̂)

d−−−→n→∞

H(ζ, θ) =ζ

σ(θ)∼ N(0, 1).



Тогда справедливо следующее соотношение:

P

{−z1−α

2<

√n(θ̂ − θ)

σ(θ̂)< z1−α

2

}−−−−→n−→∞

1− α =1√2π

z1−α2∫

−z1−α2

e−y2

2 dy ,

где z1−α2— квантиль стандартного нормального распределения уровня

1− α/2, то есть, F (z1−α2

) = 1− α/2, где F (x) — функциястандартного нормального распределения.Получаем асимптотический доверительный интервал с уровнемдоверия 1− α:

P

{θ̂ − z1−α

2

σ(θ̂)√n< θ < θ̂ + z1−α

2

σ(θ̂)√n

}≈ 1− α.



Пример 1Рассмотрим схему Бернулли, в которой n испытаний. Пусть m — числоуспехов. Выборка X[n] = (a1, . . . , an) состоит из последовательностинулей и единиц, тогда функция правдоподобия имеет вид:

L(X[n], p) = pmqn−m, p ∈ Θ = (0, 1),

где m — число единиц в выборке. Логарифмическая функцияправдоподобия имеет вид:

ln L = m ln p + (n −m) ln(1− p).

Найдем оценку максимального правдоподобия:

∂ ln L

∂p=

m

p− n −m

1− p=

m −mp − np + mp

p(1− p)= 0.



Следовательно, получаем оценку:

p̂ =m

n.

Убеждаемся, что p̂ максимизирует функцию правдоподобия:

∂2 ln L

∂p2= −m

p2− n −m

(1− p)2< 0.

Следовательно, p̂ = mn — точка максимума или оценка по методу

максимального правдоподобия.Нетрудно показать, что оценка p̂ асимптотически нормальна:

√n(mn− p)

=m − np√

n=

n∑i=1

ξi − np

√n

=

=

n∑i=1

(ξi − p)

√n

d−−−→n→∞

ζ ∼ N(0,√pq),

где P{ξi = 1} = p, P{ξi = 0} = q = 1− p, σ2 = pq = p(1− p).Грауэр Л.В., Архипова О.А. (CSC) Лекция 3. Доверительные интервалы Санкт-Петербург, 2016 38 / 44


Воспользуемся доказанным утверждением:√n(θ̂ − θ)

σ(θ̂)

d−−−→n→∞

η ∼ N(0, 1).

Тогда имеет место сходимость:√n(mn − p)√mn (1− m

n )

d−−−→n→∞

η ∼ N(0, 1).

Следуя приведенным выше рассуждениям, получаем доверительныйинтервал с уровнем доверия 1− α для вероятности p:(

m

n− z1−α

2

√mn (1− m

n )√n

,m

n+ z1−α

2

√mn (1− m

n )√n

)


Доверительные интервалы Доверительное оценивание по вариационному ряду

Доверительное оценивание по вариационному ряду

Пусть задана выборка X[n] = (x1, · · · , xn) некоторой случайнойвеличины ξ. Построим вариационный ряд выборки x (1) < · · · < x (n)

Вероятность попасть в любой из (n + 1) - го интервалов значенийслучайной ведичины ξ одинакова и равна 1

n+1 . Тогда вероятность того,что случайная величина ξ приняла значение из интервала (x (k), x (l)),где l > k будет равна:

P{x ∈ (x (k), x (l))

}=

l − k

n + 1.


Доверительные интервалы Доверительное оценивание по вариационному ряду

Выясним, чему должен быть равен размер выборки n, чтобывероятность попасть в интервал (min

i(xi ),max

i(xi )) составила 95%?

Подставляя значение для доверительной вероятности в формулувыше, получим:

0.95 = P{x ∈ (x (1), x (n))

}=

n − 1

n + 1,

откуда n = 39.Таким образом, при достаточном для заданной доверительнойвероятности числе измерений случайной величины ξ по набору еепорядковых статистик может быть оценен диапазон принимаемых еюзначений.


Доверительные интервалы Доверительный интервал для медианы

Доверительный интервал для медианы

Пусть задана выборка X[n] = (x1, · · · , xn) некоторой случайнойвеличины ξ. Пусть x̃ — медиана генеральной совокупности.

События xi < x̃ и xi > x̃ равновероятны и P(xi < x̃) = P(xi > x̃).Порядковые статистики x (k+1) и x (n−k) являются границамидоверительного интервала для медианы с некоторой доверительнойвероятностью:

x (k+1) < x̃ < x (n−k).

Событие x̃ ≤ x (k+1) эквивалентно событию µ ≤ k , где µ — числовыборочных элементов, меньших медианы.

P(x̃ ≤ x (k+1)

)= P(µ ≤ k) =

k∑i=0

C in

1

2n


Доверительные интервалы Доверительный интервал для медианы

По симметрии P(x̃ ≤ x (k+1)

)= P

(x̃ ≥ x (n−k)

)P(x (k+1) < x̃ < x (n−k)

)= 1− 2

k∑i=0

C in

1

2n.

Выбрав уровень значимости α, определим наибольшее k (max k = m),такое что

k∑i=0

C in

1

2n≤ α/2

и получим приближенный доверительный интервал для медианы x̃

P(x (m+1) < x̃ < x (n−m)

)≥ 1− α.


Documents

Математическая статистика, весна 2016: Лекция 3. Точечные оценки для случая конечной генеральной совокупности