Математическая статистика, весна 2016: Лекция 6 Критерии согласия

Лекция 6. Критерии согласия.

Грауэр Л.В., Архипова О.А.

CS Center

Санкт-Петербург, 2016

Грауэр Л.В., Архипова О.А. (CSC) Критерии согласия. Санкт-Петербург, 2016 1 / 34

Cодержание

Содержание

1 Критерии согласия для простых гипотезКритерий согласия ПирсонаКритерий согласия КолмогороваКритерий Крамера-Мизеса-СмирноваКритерий Андерсона-Дарлинга

2 Критерий согласия хи-квадрат для сложных гипотез

3 Критерии нормальностиГрафические методыКритерий Жарка-БераКритерий ЛиллиефорсаКритерий Шапиро-Уилка

4 Критерии однородности: продолжениеКритерий однородности Колмогорова–СмирноваКритерий однородности хи-квадрат


Критерии согласия для простых гипотез Критерий согласия Пирсона

Критерий согласия Пирсона (критерий χ2) для простойгипотезы

Один из типов гипотез — гипотезы согласия. Методы проверки этихгипотез — критерии согласия.

Пусть задана генеральная совокупность ξ, функция распределения Fξ,которой взаимно однозначно соответствует распределениюгенеральной совокупности Pξ, и выборка X[n] = (X1, . . . ,Xn).Пусть проверяется гипотеза согласия H0 : Fξ = F0, при этомпредполагается, что F0(x) известна.Сформулируем альтернативную гипотезу: H1 : Fξ 6= F0.



Числовую ось разбиваем на r промежутков−∞ = a0 < a1 < . . . < ar =∞, ∆i = (ai−1, ai ], r = 1,∞, r , и построимстатистику χ2:

χ2(X[n]) =r∑

i=1

(ni − np(0)i )2

np(0)i

.

где p(0)i = F0(ai )− F0(ai−1).

Если H0 верна, тогдаχ2(X[n])

d−−−→n→∞

ζ,

где ζ подчиняется распределению хи-квадрат с r − 1 степенямисвободы.Если верна гипотеза H1, то

χ2 п.н.−−−−→n−→∞

∞.



Выберем вероятность α ∈ (0, 1).

Область (C (r − 1, 1− α),∞), где C (r − 1, 1− α) — квантиль порядка1− α распределения χ2 с r − 1 степенями свободы, являетсякритической для гипотезы H0.

Если χ2(X[n]) > C (r − 1, 1− α), то H0 отклоняется, аесли χ2(X[n]) ≤ C (r − 1, 1− α), то для отклонения нет оснований.

p − value = PH0{η > χ2(X[n])} = 1− Fχ2r−1

(χ2(X[n])


Критерии согласия для простых гипотез Критерий согласия Колмогорова

Критерий согласия Колмогорова

Пусть задана генеральная совокупность ξ, функция распределения Fξ,которой взаимно однозначно соответствует распределение Pξ, ивыборка X[n] = (X1, . . . ,Xn).Выдвинем нулевую гипотезу H0 : Fξ = F0, H1 : Fξ 6= F0.Дополнительно наложим ограничение: функция F0(x) непрерывна наR.

Рассмотрим статистику Колмогорова:

Dn(X[n]) = supx∈R|F ∗n (x)− F0(x)| . (1)

Если верна гипотеза H0, то Dn(X[n])п.н.−−−→

n→∞0.

Если верна гипотеза H1, т. е. Fξ ≡ G 6= F0, тогда

Dn(X[n])п.н.−−−→

n→∞supx∈R|G (x)− F0(x)| > 0.



При условии справедливости гипотезы H0 распределение статистикиDn(X[n]) не зависит от конкретного вида F0.

Лемма 1

Если гипотеза H0 верна, и F0(x) — непрерывная функция на R, тогдараспределение статистики

Dn = supx∈R

∣∣F ∗n (x ; x[n])− F0(x)∣∣

не зависит от закона распределения генеральной совокупности.



При больших n применяется асимптотический подход

Теорема 1 (А.Н. Колмогорова)

Если гипотеза H0 верна, и F0(x) — непрерывная функция на R, тогдаимеет место сходимость:

P{√nDn(X[n]) 6 z} −−−→

n→∞K (z) = 1 + 2

∞∑m=1

(−1)me−2m2z2.

Находим константу d1−α как решение следующего уравнения:

K (d1−α) = 1− α.

Правило проверки гипотез будет следующим.

Если√nDn(X[n]) ∈ (d1−α,∞), тогда гипотеза H0 отвергается,

если√nDn(X[n]) /∈ (d1−α,∞), тогда гипотеза H0 принимается.



Статистику Dn(X[n]) можно вычислить с помощью простоговычислительного алгоритма:

Dn(X[n]) = max16i6n

[i

n− F0(X(i)),F0(X(i))− i − 1

n

],

где X(1) < . . . < X(n) — вариационный ряд, построенный по выборкеX[n].


Критерии согласия для простых гипотез Критерий Крамера-Мизеса-Смирнова

Критерий ω2 (критерий Крамера-Мизеса-Смирнова)

Пусть задана генеральная совокупность ξ с функцией распределенияFξ и выборка X[n] = (X1, . . . ,Xn) из этой генеральной совокупности.Выдвинем нулевую гипотезу H0 : Fξ = F0, при конкурирующейгипотезе H1 : Fξ 6= F0.Статистика критерия имеет вид:

ω2n =

1

12n+

n∑i=1

{F0(X(i))− 2i − 1

2n

}2

,

где X(1) < . . . < X(n) — вариационный ряд, построенный по выборкеX[n].При справедливости гипотезы H0 и непрерывности функции F0

распределение статистики омега-квадрат зависит только от n и независит от F0.


Критерии согласия для простых гипотез Критерий Крамера-Мизеса-Смирнова

При малых n имеются таблицы критических точек, а для большихзначений n следует использовать предельное (при n→∞)распределение статистики ω2

n.

Важное с теоретической точки зрения свойство критериев, основанныхна Dn и ω2

n: они состоятельны против любой альтернативной гипотезыFξ 6= F0.Статистический критерий для проверки гипотезы H0 называютсостоятельным против альтернативной гипотезы H1, если вероятностьотвергнуть H0, когда на самом деле верна H1, стремится к 1 принеограниченном увеличении объема наблюдений.


Критерии согласия для простых гипотез Критерий Андерсона-Дарлинга

Критерий Андерсона-Дарлинга

Пусть задана генеральная совокупность ξ с функцией распределенияFξ и выборка X[n] = (X1, . . . ,Xn) из этой генеральной совокупности.Выдвинем нулевую гипотезу H0 : Fξ = F0, при конкурирующейгипотезе H1 : Fξ 6= F0.Статистика критерия имеет вид

S = −n − 2n∑

i=1

[2i − 1

2nln(F0(x(i))) +

(1− 2i − 1

2n

)ln(1− F0(x(i)))

]Нулевая гипотеза отклоняется на уровне значимости α, если S > Sα,где Sα — критическое значение распределения a2.

Для проверки нормальности распределения существует модификациядля проверки сложной гипотезы.


Критерий согласия хи-квадрат для сложных гипотез


В критерии согласия хи-квадрат реализуется следующая схема.Выдвигаются гипотезы:

H0: Fξ(x) ≡ F (x) — нулевая гипотеза.H1: Fξ(x) 6= F (x) — альтернативная гипотеза.

В прикладных задачах, как правило, известна не сама функцияраспределения, а параметрическое семейство, которому онапринадлежит: {

F (·/θ) : θ = (θ1, . . . , θl) ∈ Θ ⊂ Rl}.

Таким образом, проверяемая гипотеза принимает вид:

H0 : Fξ ∈{F (·/θ) : θ ∈ Θ ⊂ Rl

}.

Альтернативная гипотеза H1 примет вид: гипотеза H0 не верна.Грауэр Л.В., Архипова О.А. (CSC) Критерии согласия. Санкт-Петербург, 2016 13 / 34


Разобьем числовую ось на k промежутков: ∆1, . . ., ∆k таким образом,что

⋃i ∆i = R, ∆i ∩∆j = ∅, i 6= j .

Получаем набор частот: n1, . . ., nk ,∑k

i=1 ni = n.Каждому промежутку ∆1, . . ., ∆k сопоставим вероятности: p1(θ), . . .,pk(θ).

Теорема 2 (Теорема Фишера)

Пусть Θ – открытое множество в Rl . Пусть выполнены условия:1 Для любого θ ∈ Θ:

∑ki=1 pi (θ) = 1.

2 Для любого θ ∈ Θ: pi (θ) > c > 0 для любого i = 1, k .3 Для любого θ ∈ Θ существуют и непрерывны производные:∂pi (θ)/∂θj , ∂2pi (θ)/(∂θu∂θv ) для любого i = 1, . . . , k ,u, v , j = 1, . . . , l .

4 Для любого θ ∈ Θ матрица(∂pi (θ)∂θj

)i ,j=1,k

имеет ранг l .



Пусть θ̂ — оценка, найденная методом максимального правдоподобияпо выборке n1, . . . , nk , т. е. θ̂ = arg max

θ∈ΘL({ni}, θ), где

L({ni}, θ) =n!

n1! · . . . · nk !

k∏i=1

pnii (θ),

или θ̂ — оценка по методу минимума хи-квадрат:

θ̂ = arg minθ∈Θ

k∑i=1

(ni − npi (θ))2

npi (θ).

Тогда, если гипотеза H0 верна, то

χ2(θ̂) =k∑

i=1

(ni − npi (θ̂))2

npi (θ̂)

d−−−→n→∞

ζ ∼ χ2k−l−1.



Критическая область для гипотезы H0 при использовании статистикиχ2(θ̂) имеет вид: S = (u1−α,k−l−1,∞), где u1−α,k−l−1 — квантильуровня 1− α распределения хи-квадрат с k − l − 1 степенями свободы.Вероятность ошибки первого рода приближенно равна α.


Критерии нормальности

Критерии нормальности

Пусть задана генеральная совокупность ξ, функция распределения Fξи выборка X[n] = (X1, . . . ,Xn).Выдвигаются гипотезы:

нулевая гипотеза H0: ξ ∼ N(a, σ)

альтернативная гипотеза H1: ξ имеет иное распределение.

Если нулевая гипотеза принимается, то при дальнейшем анализеданных можно использовать более мощные параметрические методы,в противном случае стоит воспользоваться непараметрическимиметодами.


Критерии нормальности Графические методы

Графические методы

Гистограммы

Стоит обратить внимание на симметричность и куполообразностьграфикаГистограммы информативны при больших объемах выборок


Критерии нормальности Графические методы

QQ-графикиКвантиль-Квантиль график (QQ-plot) показывает взаимосвязь междузначениями наблюдаемых и теоретических квантилей.

Если данные нормальны, то точки графика располагаются вдольпрямой


Критерии нормальности Критерий Жарка-Бера

Критерий Жарка-Бера

Проверяемая нулевая гипотеза является сложной. Статистикакритерия Жарка-Бера имеет вид

JB =n

6

(Sk2 +

1

4K 2

),

где

Sk =µ̂3

s3, s2 =

1

n

n∑i=1

(xi − x̄)2, µ̂3 =1

n

∑i = 1n(xi − x̄)3

K =µ̂4

s4− 3, µ̂4 =

1

n

n∑i=1

(xi − x̄)4

При уровне значимости α критическая область S = (C1−α,+∞).


Критерии нормальности Критерий Жарка-Бера

Если верна нулевая гипотеза, то статистика JB имеет асимптотическоераспределение χ2 с 2 степенями свободы

JBd−−−→

n→∞ζ ∼ χ2(2)

Следуя данному асимптотическому свойству статистики JB , в качествеC1−α можно взять квантиль распределения χ2 с 2 степенями свободыпорядка 1− α.

Однако при малых n использование квантилей хи-квадрат приведет кбольшой ошибке 1го рода. Асимптотическим свойствам статистикирекомендуется пользоваться при n > 2000.

При малых n рекомендуется моделировать квантили C1−α методомМонте-Карло.


Критерии нормальности Критерий Лиллиефорса

Критерий Лиллиефорса

Критерий Лиллиефорса - модификация критерия Колмогорова дляпроверки нормальности распределения. При этом проверяемая нулеваягипотеза является сложной.Статистика критерия

D(X[n]) = supx∈R

∣∣F ∗n (x ,X[n])− Φ(x)∣∣ ,

где Φ(x) — функция нормального распределения с параметрами x̄ и s̃2

Распределение статистики критерия при условии выполнения нулевойгипотезы называется "распределением Лиллиефорса". Оно смещено всторону меньших значений по сравнению с распределениемКолмогорова в силу построения оценок неизвестных параметров потой же выборке, что используется при проверке нормальности.

Критическая область критерия S = (C1−α,+∞), значения C1−αрассчитываются методом Монте-Карло (либо используютсяспециальные таблицы)


Критерии нормальности Критерий Шапиро-Уилка

Критерий Шапиро-Уилка

Проверяемая нулевая гипотеза является сложной. Статистикакритерия Шапиро-Уилка имеет вид

W =1

S2

[t∑

i=1

ai (x(n−i+1) − x(i))

]2

,

где S2 =∑n

i=1(xi − x̄)2,∑ti=1 ai (x(n−i+1) − x(i)) - оценка среднеквадратического отклонения

Ллойда, коэффициенты ai берутся из таблиц, t = n/2 при четном n,t = (n − 1)/2 при нечетном n.

Статистика W при выполнении нулевой гипотезы имеет табличноераспределение.Критические значения статистики Wα также находятся из таблиц.


Критерии нормальности Критерий Шапиро-Уилка

Если W <Wα, то нулевая гипотеза о нормальности распределенияотклоняется при уровне значимости α.

Приближённая вероятность получения эмпирического значения W приH0 вычисляется по формуле

z = γ + η ln

(W − ε1−W

),

где γ, η, ε — табличные коэффициенты.

Критерий Шапиро-Уилка является наиболее мощным критерием дляпроверки нормальности, но имеет ограниченную применимость.


Критерии однородности: продолжение Критерий Колмогорова–Смирнова

Критерий однородности Колмогорова–Смирнова

Пусть имеется две выборки X[n] = {X1, . . . ,Xn} и Y[m] = {Y1, . . . ,Ym}из генеральных совокупностей ξ и η соответственно.Объемы выборок могут быть различны, но, не нарушая общности,предположим, что m 6 n.Функции распределения этих генеральных совокупностей равны F (x) иG (x) соответственно. Наложим дополнительное ограничение: функциираспределения F (x) и G (x) непрерывны.

Критерий Колмогорова–Смирнова проверяет гипотезу о равенствефункций распределения двух генеральных совокупностей ξ и η, изкоторых извлечены выборки X[n] и Y[m] соответственно:H0 : F (x) = G (x) для всех x ∈ R,при альтернативной H1 : F (x) 6= G (x).



Критерий основан на использовании эмпирических функцийраспределения F ∗n (x) и G ∗m(x).

Теорема 3

ПустьDm,n = sup

x∈R

∣∣G ∗m(x ,Y[m])− F ∗n (x ,X[n])∣∣ .

Если истинная функция распределения F0(x) = F (x) = G (x)непрерывна, тогда

P0

{√mn

m + nDm,n 6 z

}−→ K (z) =

∞∑j=−∞

(−1)je−2j2z2(2)



Статистика Смирнова определяется следующей формулой:

Dm,n = sup|x |<∞

|G ∗m(x)− F ∗n (x)| (3)

На практике значение статистики Dm,n рекомендуется вычислять поформулам:

D+m,n = max

16r6m

[ rm− F ∗n (y(r))

]= max

16s6n

[G ∗m(x(s))− s − 1

n

], (4)

D−m,n = max16r6m

[F ∗n (y(r))− r − 1

m

]= max

16s6n

[ sn− G ∗m(x(s))

], (5)

Dm,n = max(D+m,n,D

−m,n), (6)

где X(s) и Y(r) — элементы вариацонных рядов X(1) 6 X(2) 6 . . . 6 X(n)

и Y(1) 6 Y(2) 6 . . . 6 Y(m), построенных по выборкам X1, . . . ,Xn иY1, . . . ,Ym.



При справедливости нулевой гипотезы и неограниченном увеличенииобъемов выборок исправленная статистика√

mn

m + nDm,n (7)

асимптотически подчиняется распределению Колмогорова с функциейраспределения K (z) из правой части (2).Критическая область для гипотезы H0 при использовании статистики(7) имеет вид: S = (k1−α,∞), где k1−α — квантиль уровня 1− αраспределения Колмогорова (2).


Критерии однородности: продолжение Критерий однородности хи-квадрат

Критерий однородности хи-квадрат

С помощью критерия χ2 можно анализировать однородность любогоконечного числа выборок.Пусть имеется s независимых выборок, содержащих соотвественноn1, n2, . . . , ns элементов: ξ1 : X 1

[n1], . . . , ξs : X s[ns ]. Сформулируем

гипотезы:H0 — выборки взяты из одной и той же совокупностиFξ1 = . . . = Fξs = Fξ,H1 — выборки взяты из разных генеральных совокупностей.

Каждую выборку разобьем на k групп ∆i , i = 1, . . . , k .Пусть nij — число элементов j-ой выборки, попавших в множество ∆i ,i = 1, . . . , k , j = 1, . . . , s.



Пусть вероятность попадания случайной величины ξ в множество ∆i

равна pi : pi = P(ξ ∈ ∆i ), i = 1, . . . , k .

Пусть nj =k∑

i=1

nij — общее число элементов j-ой выборки, j = 1, . . . , s.

Если гипотеза H0 верна, то относительная частотаnijnj

попадания

элементов j-ой выборки в множество ∆i будет близка к вероятности pi .Статистикой критерия является величина

k∑i=1

njpi

(nijnj− pi

)2

=k∑

i=1

(nij − njpi )2

njpi,

а для всех выборокs∑

j=1

k∑i=1

(nij − njpi )2

njpi. (8)



Вероятности pi , i = 1, . . . , k , неизвестны. Их оценки находим методоммаксимума правдоподобия.

p̂i =νin, νi =

s∑j=1

nij , i = 1, . . . , k .

Подставляя полученные оценки в (8) вместо вероятностей pi получаем

χ2 = ns∑

j=1

k∑i=1

(nij − njνi/n)2

njνi= n

s∑j=1

k∑i=1

(n2ij)

2

njνi− 1

(9)



Статистика (9) асимпотитически при n→∞ распределена по законуχ2 с числом степеней свободы r = (s − 1)(k − 1).Критическая область для гипотезы H0 при использовании статистики9 имеет вид: S = (χ2

1−α,∞), где χ21−α — квантиль уровня 1− α

распределения χ2.

В случае проверки гипотезы об однородности двух выборок (s = 2)статистика принимает вид

χ2 = n1n2

k∑i=1

1

νi

(ni1n1− ni2

n2

)2

=k∑

i=1

1

ni1 + ni2

(ni1

√n2

n1− ni2

√n1

n2

).

Число степеней свободы статистики χ2 равно r = k − 1.



Большев Л. Н., Смирнов Н. В.Таблицы математической статистики. —М.: Изд. Наука, 1983.

Тюрин Ю. Н., Макаров А. А.Статистический анализ опытных данныхна компьютере. — Под ред. В.Э. Фигурнова. М.: ИНФРА-М, 1998.

Холлендер М., Вулф Д.Непраметрические методы статистики. — М.:Финансы и статистика, 1983. — 518 с.

Greenwood P. E., Nikulin M. S.A Guide to Chi-Squared Testing. New York,John Wiley & Sons, Inc., 1996.

Кобзарь А.И.Прикладная математическая статистика


Documents

Математическая статистика, весна 2016: Лекция 6 Критерии согласия