Математическая статистика: Доверительные интервалы/Критерии однородности(продолжение)

Лекция 5. Доверительные интервалы

Грауэр Л.В., Архипова О.А.

CS Center

Санкт-Петербург, 2014

Грауэр Л.В., Архипова О.А. (CSC) Лекция 5. Доверительные интервалы Санкт-Петербург, 2014 1 / 31

Cодержание

Содержание

1 Доверительные интервалыОбщая схема построения доверительных интерваловАсимптотические доверительные интервалыТочные доверительные интервалы для нормальной генеральнойсовокупностиДоверительное оценивание по вариационному рядуДоверительный интервал для медианы

2 Критерии однородности: продолжениеКритерий однородности Колмогорова–СмирноваКритерий однородности хи-квадратКритерий Краскела-Уоллиса


Доверительные интервалы Общая схема построения доверительных интервалов

Общая схема построения доверительных интервалов

Пусть задана генеральная совокупность ξ с функцией распределенияFξ(x , θ). Имеется выборка X[n] = (X1, . . . ,Xn) из этой генеральнойсовокупности и неизвестный параметр распределения θ ∈ Θ ⊂ R.

Определение 1

Пусть для некоторого α ∈ (0, 1) существуют статистики S−(X[n], α) иS+(X[n], α) такие, что

P{S−(X[n], α) < θ < S+(X[n], α)

}= 1− α,

тогда интервал(S−(X[n], α),S+(X[n], α)

)называется доверительным

интервалом для параметра θ с уровнем доверия (1− α).



Укажем общий метод построения доверительных интервалов, которыйбудет использован далее.Пусть известна статистика Y (S(X[n]), θ), содержащая оцениваемыйпараметр θ и его точечную оценку S(X[n]) со следующими свойствами:

1 Функция распределения FY (x) случайной величины Y известна ине зависит от θ.

2 Функция Y (S(X[n]), θ) непрерывна и строго монотонна по θ.



Зададим уровень значимости α.Обычно доверительный интервал строят так, чтобы дополнительныеинтервалы (− inf, S−(X[n], α)), (S+(X[n], α),+ inf) накрывали θравновероятно (с вероятностью α/2).

Находим квантили yα/2 и y1−α/2 распределения случайной величиныY порядка α/2 и 1− α/2 и далее получаем

P(yα/2 < Y (S(X[n]), θ) < y1−α/2) = F (y1−α/2)− F (yα/2) = 1− α.



Пусть для опреденности, функция Y (S(X[n]), θ) строго возрастает поθ. Тогда обратная функция Y−1(y) для Y (S(X[n]), θ) также будетстрого возрастающей. Тогда неравенство

yα/2 < Y (S(X[n]), θ) < y1−α/2 (1)

эквивалентно неравенству

Y−1(yα/2) < θ < Y−1(y1−α/2). (2)

Получаем доверительный интервал для θ

P(S−(X[n], α) < θ < S+(X[n], α)) = 1− α,

где S−(X[n], α) = Y−1(yα/2), S+(X[n], α) = Y−1(y1−α/2).Для случая строгого убывания Y (S(X[n]), θ) по θ знаки неравенства в(1), (2) будут противополжного смысла.


Доверительные интервалы Асимптотические доверительные интервалы

Асимптотические доверительные интервалы

Определение 2

Пусть для некоторого α ∈ (0, 1) существуют статистики S−(X[n], α) иS+(X[n], α) такие, что

limn−→∞

P{S−(X[n], α) < θ < S+(X[n], α)

}= 1− α,

тогда интервал(S−(X[n], α), S+(X[n], α)

)называется асимптотическим

(приближенным) доверительным интервалом.

Построение асимптотических доверительных интервалов основано наасимптотически нормальных оценках.



Предположим, что оценка θ̂ = θ̂(X[n]) является асимптотическинормальной, т. е.

√n(θ̂ − θ)

d−−−−→n−→∞

ς ∼ N(0, σ2),

где дисперсия σ2(θ) — коэффициент асимптотического рассеивания.Предположим, что функция σ2(θ) непрерывна на Θ и отлична от нулядля любого θ ∈ Θ.

Лемма 1

Случайный вектор (√n(θ̂ − θ), θ̂)

d−−−→n→∞

(ζ, θ), где ζ подчиняется

нормальному распределению N(0, σ2(θ)).



Рассмотрим функцию от двух переменных H(x1, x2) = x1/σ(x2), онанепрерывна на R×Θ. Случайный вектор (ζ, θ)T ∈ R×Θ,следовательно, можем воспользоваться теоремой непрерывности:

Теорема 1

Пусть для последовательности случайных векторов имеет местосходимость по распределению:ηn = (η

(1)n , . . . , η

(m)n )

d−−−−→n−→∞

η = (η(1), . . . , η(m)). Пусть задана функция

H : Rm −→ Rl непрерывная на Rm, тогда H(ηn)d−−−−→

n−→∞H(η).

H(√n(θ̂n − θ), θ̂n)

d−−−→n→∞

H(ζ, θ) =ζ

σ(θ)∼ N(0, 1).

Таким образом, имеет место сходимость:√n(θ̂ − θ)

σ(θ̂)

d−−−→n→∞

η ∼ N(0, 1).



Тогда справедливо следующее соотношение:

P

{−z1−α

2<

√n(θ̂ − θ)

σ(θ̂)< z1−α

2

}−−−−→n−→∞

1− α =1√2π

z1−α2∫

−z1−α2

e−y2

2 dy ,

где z1−α2— квантиль стандартного нормального распределения уровня

1− α/2, то есть, F (z1−α2

) = 1− α/2, где F (x) — функциястандартного нормального распределения.Получаем асимптотический доверительный интервал с уровнемдоверия 1− α:

P

{θ̂ − z1−α

2

σ(θ̂)√n< θ < θ̂ + z1−α

2

σ(θ̂)√n

}≈ 1− α.

Ширина доверительного интервала характеризует точностьинтервальной оценки.



Пример 1Рассмотрим схему Бернулли, в которой n испытаний. Пусть m — числоуспехов. Выборка X[n] = (a1, . . . , an) состоит из последовательностинулей и единиц, тогда функция правдоподобия имеет вид:

L(X[n], p) = pmqn−m, p ∈ Θ = (0, 1),

где m — число единиц в выборке. Логарифмическая функцияправдоподобия имеет вид:

ln L = m ln p + (n −m) ln(1− p).

Найдем оценку максимального правдоподобия:

∂ ln L

∂p=

m

p− n −m

1− p=

m −mp − np + mp

p(1− p)= 0.



Следовательно, получаем оценку:

p̂ =m

n.

Убеждаемся, что p̂ максимизирует функцию правдоподобия:

∂2 ln L

∂p2= −m

p2− n −m

(1− p)2< 0.

Следовательно, p̂ = mn — точка максимума или оценка по методу

максимального правдоподобия.Нетрудно показать, что оценка p̂ асимптотически нормальна:

√n(mn− p)

=m − np√

n=

n∑i=1

ξi − np

√n

=

=

n∑i=1

(ξi − p)

√n

d−−−→n→∞

ζ ∼ N(0, pq),

где P{ξi = 1} = p, P{ξi = 0} = q = 1− p, σ2 = pq = p(1− p).Грауэр Л.В., Архипова О.А. (CSC) Лекция 5. Доверительные интервалы Санкт-Петербург, 2014 12 / 31


Воспользуемся доказанным утверждением:√n(θ̂ − θ)

σ(θ̂)

d−−−→n→∞

η ∼ N(0, 1).

Тогда имеет место сходимость:√n(mn − p)√mn (1− m

n )

d−−−→n→∞

η ∼ N(0, 1).

Следуя приведенным выше рассуждениям, получаем доверительныйинтервал с уровнем доверия 1− α для вероятности p:(

m

n− z1−α

2

√mn (1− m

n )√n

,m

n+ z1−α

2

√mn (1− m

n )√n

)


Доверительные интервалы Точные доверительные интервалы для нормальной...

Точные доверительные интервалы для нормальнойгенеральной совокупности

Теорема 2

Пусть задана выборка X[n] из генеральной совокупности ξ ∼ N(a, σ2).Справедливы следующие утверждения:

1 Статистика X̄−aσ

√n подчиняется стандартному нормальному

распределению.

2 Если s̃2 = 1n−1

n∑i=1

(Xi − X̄ )2, тогда статистика X̄−as̃

√n подчиняется

распределению Стьюдента с n − 1 степенью свободы.3 Статистика (n−1)s̃2

σ2 подчиняется распределению хи-квадрат с n − 1степенью свободы.

4 Если s2 = 1n

n∑i=1

(Xi − a)2, тогда статистика ns2

σ2 подчиняется

распределению хи-квадрат с n степенями свободы.Грауэр Л.В., Архипова О.А. (CSC) Лекция 5. Доверительные интервалы Санкт-Петербург, 2014 14 / 31


Точные доверительные интервалы для математического ожидания aнормальной генеральной совокупности можно построить последующим правилам:

Если σ2 известно, то доверительный интервал для a будет иметьвид:

P

{X̄ − σ√

nz1− ε

2< a < X̄ +

σ√nz1− ε

2

}= 1− ε,

где z1− ε2— квантиль стандартного нормального распределения.

Если σ2 неизвестно, тогда:

P

{X̄ − s̃√

nt1− ε

2< a < X̄ +

s̃√nt1− ε

2

}= 1− ε,

где t1− ε2— квантиль распределения Стьюдента с n − 1 степенью

свободы.



Точные доверительные интервалы для дисперсии σ2 нормальной генеральнойсовокупности можно построить по следующим правилам:

Если a неизвестно, то:

P

{(n − 1)s̃2

u1−ε/2< σ2 <

(n − 1)s̃2

uε/2

}= 1− ε,

где u1−ε/2 — квантиль распределения хи-квадрат с n − 1 степеньюсвободы уровня 1− ε/2, uε/2 — квантиль распределенияхи-квадрат с n − 1 степенью свободы уровня ε/2,Если a известно, тогда доверительный интервал

P

{ns2

v1−ε/2< σ2 <

ns2

vε/1

}= 1− ε,

где vε/2 — квантиль распределения хи-квадрат с n степенямисвободы уровня ε1, v1−ε/2 — квантиль распределения хи-квадрат сn степенями свободы уровня.


Доверительные интервалы Доверительное оценивание по вариационному ряду

Доверительное оценивание по вариационному ряду

Пусть задана выборка X[n] = (x1, · · · , xn) некоторой случайнойвеличины ξ. Построим вариационный ряд выборки x (1) < · · · < x (n)

Вероятность попасть в любой из (n + 1) - го интервалов значенийслучайной ведичины ξ одинакова и равна 1

n+1 . Тогда вероятность того,что случайная величина ξ приняла значение из интервала (x (k), x (l)),где l > k будет равна:

P{x ∈ (x (k), x (l))

}=

l − k

n + 1.


Доверительные интервалы Доверительное оценивание по вариационному ряду

Выясним, чему должен быть равен размер выборки n, чтобывероятность попасть в интервал (min

i(xi ),max

i(xi )) составила 95%?

Подставляя значение для доверительной вероятности в формулувыше, получим:

0.95 = P{x ∈ (x (1), x (n))

}=

n − 1

n + 1,

откуда n = 39.Таким образом, при достаточном для заданной доверительнойвероятности числе измерений случайной величины ξ по набору еепорядковых статистик может быть оценен диапазон принимаемых еюзначений.


Доверительные интервалы Доверительный интервал для медианы

Доверительный интервал для медианы

Пусть задана выборка X[n] = (x1, · · · , xn) некоторой случайнойвеличины ξ. Пусть x̃ — медиана генеральной совокупности.

События xi < x̃ и xi > x̃ равновероятны и P(xi < x̃) = P(xi > x̃).Порядковые статистики x (k+1) и x (n−k) являются границамидоверительного интервала для медианы с некоторой доверительнойвероятностью:

x (k+1) < x̃ < x (n−k).

Событие x̃ ≤ x (k+1) эквивалентно событию µ ≤ k , где µ — числовыборочных элементов, меньших медианы.

P(x̃ ≤ x (k+1)

)= P(µ ≤ k) =

k∑i=0

C in

1

2n


Доверительные интервалы Доверительный интервал для медианы

По симметрии P(x̃ ≤ x (k+1)

)= P

(x̃ ≥ x (n−k)

)P(x (k+1) < x̃ < x (n−k)

)= 1− 2

k∑i=0

C in

1

2n.

Выбрав уровень значимости α, определим наибольшее k (max k = m),такое что

k∑i=0

C in

1

2n≤ α/2

и получим приближенный доверительный интервал для медианы x̃

P(x (m+1) < x̃ < x (n−m)

)≥ 1− α.


Критерии однородности: продолжение Критерий Колмогорова–Смирнова

Критерий однородности Колмогорова–Смирнова

Пусть имеется две выборки X[n] = {X1, . . . ,Xn} и Y[m] = {Y1, . . . ,Ym}из генеральных совокупностей ξ и η соответственно.Объемы выборок могут быть различны, но, не нарушая общности,предположим, что m 6 n.Функции распределения этих генеральных совокупностей равны F (x) иG (x) соответственно. Наложим дополнительное ограничение: функциираспределения F (x) и G (x) непрерывны.

Критерий Колмогорова–Смирнова проверяет гипотезу о равенствефункций распределения двух генеральных совокупностей ξ и η, изкоторых извлечены выборки X[n] и Y[m] соответственно:H0 : F (x) = G (x) для всех x ∈ R,при альтернативной H1 : F (x) 6= G (x).



Критерий основан на использовании эмпирических функцийраспределения F ∗n (x) и G ∗m(x).

Теорема 3

ПустьDm,n = sup

x∈R

∣∣G ∗m(x ,Y[m])− F ∗n (x ,X[n])∣∣ .

Если истинная функция распределения F0(x) = F (x) = G (x)непрерывна, тогда

P0

{√mn

m + nDm,n 6 z

}−→ K (z) =

∞∑j=−∞

(−1)je−2j2z2(3)



Статистика Смирнова определяется следующей формулой:

Dm,n = sup|x |<∞

|G ∗m(x)− F ∗n (x)| (4)

На практике значение статистики Dm,n рекомендуется вычислять поформулам:

D+m,n = max

16r6m

[ rm− F ∗n (y(r))

]= max

16s6n

[G ∗m(x(s))− s − 1

n

], (5)

D−m,n = max16r6m

[F ∗n (y(r))− r − 1

m

]= max

16s6n

[ sn− G ∗m(x(s))

], (6)

Dm,n = max(D+m,n,D

−m,n), (7)

где X(s) и Y(r) — элементы вариацонных рядов X(1) 6 X(2) 6 . . . 6 X(n)

и Y(1) 6 Y(2) 6 . . . 6 Y(m), построенных по выборкам X1, . . . ,Xn иY1, . . . ,Ym.



При справедливости нулевой гипотезы и неограниченном увеличенииобъемов выборок исправленная статистика√

mn

m + nDm,n (8)

асимптотически подчиняется распределению Колмогорова с функциейраспределения K (z) из правой части (3).Критическая область для гипотезы H0 при использовании статистики8 имеет вид: S = (k1−α,∞), где k1−α — квантиль уровня 1− αраспределения Колмогорова 3.


Критерии однородности: продолжение Критерий однородности хи-квадрат

Критерий однородности хи-квадрат

С помощью критерия χ2 можно анализировать однородность любогоконечного числа выборок.Пусть имеется s независимых выборок, содержащих соотвественноn1, n2, . . . , ns элементов: ξ1 : X 1

[n1], . . . , ξs : X s[ns ]. Сформулируем

гипотезы:H0 — выборки взяты из одной и той же совокупностиFξ1 = . . . = Fξs = Fξ,H1 — выборки взяты из разных генеральных совокупностей.

Каждую выборку разобьем на k групп ∆i , i = 1, . . . , k .Пусть nij — число элементов j-ой выборки, попавших в множество ∆i ,i = 1, . . . , k , j = 1, . . . , s.



Пусть верятность попадания случайной величины ξ в множество ∆i

равна pi : pi = P(ξ ∈ ∆i ), i = 1, . . . , k .

Пусть nj =k∑

i=1

nij — общее число элементов j-ой выборки, j = 1, . . . , s.

Если гипотеза H0 верна, то относительная частотаnijnj

попадания

элементов j-ой выборки в множество ∆i будет близка к вероятности pi .Статистикой критерия является величина

k∑i=1

njpi

(nijnj− pi

)2

=k∑

i=1

(nij − njpi )2

njpi,

а для всех выборокs∑

j=1

k∑i=1

(nij − njpi )2

njpi. (9)



Вероятности pi , i = 1, . . . , k , неизвестны. Их оценки находим методоммаксимума правдоподобия.

p̂i =νin, νi =

s∑j=1

nij , i = 1, . . . , k .

Подставляя полученные оценки в (9) вместо вероятностей pi получаем

χ2 = ns∑

j=1

k∑i=1

(nij − njνi/n)2

njνi= n

s∑j=1

k∑i=1

(n2ij)

2

njνi− 1

(10)



Статистика (10) асимпотитически при n→∞ распределена по законуχ2 с числом степеней свободы r = (s − 1)(k − 1).Критическая область для гипотезы H0 при использовании статистики10 имеет вид: S = (χ2

1−α,∞), где χ21−α — квантиль уровня 1− α

распределения χ2.

В случае проверки гипотезы об однородности двух выборок (s = 2)статистика принимает вид

χ2 = n1n2

k∑i=1

1

νi

(ni1n1− ni2

n2

)2

=k∑

i=1

1

ni1 + ni2

(ni1

√n2

n1− ni2

√n1

n2

).

Число степеней свободы статистики χ2 равно r = k − 1.


Критерии однородности: продолжение Критерий Краскела-Уоллиса

Критерий Краскела-Уоллиса

Пусть имеются k независимых выборок X 1[n] = (X 1

1 , . . . ,X1n1

),X 1

[n] = (X 21 , . . . ,X

2n2

), . . . , X k[n] = (X k

1 , . . . ,Xknk

) из k > 2 генеральныхсовокупностей с непрерывными функциями распределения равнымисоответственно F1, F2, . . . , Fk .

Сформулируем гипотезы:H0 : F1(x) = F2(x) = . . . = Fk(x) для всех x ∈ R.H1 : F1(x) = F2(x − δ2) = . . . = Fk(x − δk) для всех x ∈ R

Упорядочим все N =∑k

i=1 ni элементов выборок по возрастанию иобозначим R j

i ранг j-го элемента i-й выборки в полученномвариационном ряду.



Статистика критерия Краскела-Уоллиса для проверки гипотезы оналичии сдвига в параметрах положения сравниваемых выборок имеетвид

H =k∑

i=1

(1− ni

N

) R̄i − N+12√

(N−ni )(N+1)12ni

12

=12

N(N + 1)

k∑i=1

R2i

ni− 3(N + 1),

где

Ri =

ni∑j=1

R ji ; R̄i =

Ri

ni.

При наличии одинаковых значений величин из разных выборокнеобходимо использовать модифицированную статистику

H∗ = H

1−

q∑j=1

Tj

N3 − N

−1

,

где Tj = t3j − tj , tj — размер j-й группы одинаковых элементов; q —

количество групп одинаковых элементов.Грауэр Л.В., Архипова О.А. (CSC) Лекция 5. Доверительные интервалы Санкт-Петербург, 2014 30 / 31


Гипотеза сдвига отклоняется на уровне значимости α, если H ≥ Hα,где Hα — критическое значение, при k ≤ 5 и ni ≤ 15 вычисляемое потаблицам.При ni ≥ 15 справедлива аппроксимация распределения статистики Hχ2(k − 1) -распределением с k − 1 степенями свободы, т.е.нулевая гипотеза отклоняется, если H ≥ χ2

k−1,α.

При больших значениях n можно воспользоваться аппроксимациейИмана-Давенпорта.В соответстви с ней нулевая гипотеза сдвига отклоняется сдостоверностью α, если J ≥ Jα, где

J =H

2

(1 +

N − k

N − 1− H

)Jα =

{(k − 1)Fα(k − 1;N − k) + χ2

α(k − 1)}, χ2

α(k − 1)— критическоезначение статистики хи-квадрат, Fα(k − 1;N − k) — критическоезначение статистики Фишера с k − 1 и N − k степенями свободы.


Documents

Математическая статистика: Доверительные интервалы/Критерии однородности(продолжение)