Математическая статистика, весна 2015: Лекция 4 Лемма Неймана-Пирсона. Проверка статистических гипотез

Лекция 4. Лемма Неймана-Пирсона. Две гипотезы:нулевая простая, альтернативная сложная.

Последовательный критерий Вальда

Грауэр Л.В., Архипова О.А.

CS center

Санкт-Петербург, 2015

Грауэр Л.В., Архипова О.А. (CSC) Лекция 4. Лемма Неймана-Пирсона . . . Санкт-Петербург, 2015 1 / 46

Cодержание

Содержание

1 Статистические гипотезы

2 Проверка двух простых статистических гипотез

3 Простые гипотезы о параметрах нормального и биномиальногораспределений

Нормальное распределениеБиномиальное распределение

4 Гипотезы о параметрах распределений для сложных альтернатив

5 Последовательный критерий отношения правдоподобия (КритерийВальда)


Статистические гипотезы


Под статистической гипотезой принято понимать любоепредположение о законе распределения генеральной совокупности.Статистическая гипотеза называется простой, если при условииистинности гипотезы закон распределения генеральной совокупностиоднозначно определен, в противном случае гипотеза называетсясложной.Пусть задана выборка X[n] из генеральной совокупности ξ с функциейраспределения Fξ(x). Пусть имеется две гипотезы:

H0 : Fξ(x) = F0(x).H1 : Fξ(x) = F1(x).

По выборке X[n] требуется принять решение об истинности нулевойгипотезы H0 при альтернативной гипотезе H1.



Выборка X[n] — точка из пространства Rn. Выделим множествоS ⊂ Rn — критическую область для гипотезы H0, тогда можносформулировать правило проверки гипотезы H0 при альтернативе H1:

Если X[n] ∈ S , то отвергаем гипотезу H0, принимаем H1.Если X[n] /∈ S , то принимаем гипотезу H0, отвергаем H1.

Правило проверки статистической гипотезы при некоторойфиксированной альтернативе принято называть статистическимкритерием.



За исключением тривиальных ситуаций сформулированное правило неможет всегда приводить к правильным решениям. Возможны два типаошибок:

1 Ошибка первого рода — отклонить гипотезу H0, когда она верна,вероятность ошибки первого рода α(S) определяется равенством:

α(S) = P{X[n] ∈ S/H0

}= P0

{X[n] ∈ S

}.

2 Ошибка второго рода — принять гипотезу H0, когда верна H1,вероятность ошибки второго рода β(S) определяется равенством:

β(S) = P{X[n] /∈ S/H1

}= P1

{X[n] /∈ S

}.

Также будем рассматривать вероятность

γ(S) = 1− β(S) = P1

{X[n] ∈ S

},

вероятность γ(S) называют мощностью критерия.





Если γ(S) < α(S), то попасть в S при условии истинности гипотезыH1 труднее, чем при условии истинности гипотезы H0, т. е. S —критическая область скорее для H1. Следовательно, неравенстводолжно иметь вид:

γ(S) > α(S),

т. е. S следует выбирать так, чтобы выполнялось это неравенство.

Определение 1

Критерий называется несмещенным, если выполняется условие

α(S) 6 γ(S) = 1− β(S).

В большинстве задач гипотезы H0 и H1 не равноправны. Поэтому вдальнейшем изложении будем считать, что H0 — основная гипотеза,H1 — альтернативная гипотеза.



Зададим α0 и будем иметь дело только с такими критериями, гдеα0 > α(S) (т. е. вероятность ошибки первого рода не превосходитвеличины α0) и дополнительно будем решать задачу: β(S)→ min

S.

Получаем две эквивалентные задачи определения критическойобласти S : {

α0 > α(S),

β(S)→ minS.{

α0 > α(S),

γ(S)→ maxS.

Задачи в такой постановке не всегда решаемы, так как требуетсяответить точно «да» или «нет». Такие статистические критерииназываются нерандомизированными критериями.



Можно рассмотреть функцию ϕ(x) = I{x ∈ S}. Тогданерандомизированный критерий примет вид:

Если ϕ(X[n]) = 1, тогда отвергаем гипотезу H0, принимаем H1.Если ϕ(X[n]) = 0, тогда принимаем гипотезу H0, отвергаем H1.

Функцию ϕ принято называть критической функцией.



Пусть теперь ϕ не является индикатором множества S , и

ϕ(x) = P{H̄0/X[n] = x

},

тогда ϕ(X[n]) ∈ [0, 1] — условная вероятность отклонения гипотезы H0.При таком определении ϕ(x) приходим к рандомизированномукритерию, то есть, критерию, который при некоторых значениях xможет не давать ответа «да» или «нет» в отношении истинностинулевой гипотезы H0.Тогда

с вероятностью 1− ϕ(X[n]) следует принимать гипотезу H0 ис вероятностью ϕ(X[n]) принимать гипотезу H1.

При использовании введенного обозначения вероятность ошибкипервого рода, вероятность ошибки второго рода и мощность критериябудем обозначать: α(ϕ), β(ϕ) и γ(ϕ) = 1− β(ϕ) соответственно.Определение 1 можно переформулировать в новых терминах, критерийназывается несмещенным, если α(ϕ) 6 γ(ϕ).


Проверка двух простых статистических гипотез


Рассмотрим две простые гипотезы:H0 : Fξ(x) = F0(x).H1 : Fξ(x) = F1(x).

Причем, функции F0(x) и F1(x) полностью известны. По выборке X[n]

требуется принять решение об истинности нулевой гипотезы H0 приальтернативной гипотезе H1.

Без ограничения общности будем предполагать, что существуетплотность f0(x) для функции распределения F0(x), и существуетплотность f1(x) для функции распределения F1(x).(В дискретном случае все результаты аналогичны. )



В дальнейшем будем считать, что плотности fi (x), i = 0, 1,определены относительно сигма-конечной меры µ.Если в качестве меры µ рассматривается мера Лебега, то плотностираспределения представляют собой обычные плотностираспределения.Если в качестве меры µ рассматривается «считающая» мера, тогдаплотности распределения являются вероятностями, что соответствуетдискретному случаю.При этом, в любом случае

Fi (x) =

∫ x

−∞fi (t)µ(dt), i = 0, 1.



Функция правдоподобия выборки (совместная плотность выборки) присправедливости гипотезы H0 имеет вид:

L0(X[n]) =n∏

i=1

f0(Xi ).

Если верна гипотеза H1, то функция правдоподобия имеет вид:

L1(X[n]) =n∏

i=1

f1(Xi ).



Тогда задача построения статистического критерия сводится кнахождению критической функции ϕ(x) и будет формулироватьсяследующим образом: α0 > α(ϕ),

β(ϕ) −→ minϕ.

Эквивалентная формулировка имеет вид:α0 > α(ϕ),

γ(ϕ) −→ maxϕ.

Таким образом, задача заключается в том, чтобы найти наиболеемощный критерий, когда вероятность ошибки первого рода непревосходит некоторого заданного порогового значения. Решениесформулированных задач дается леммой Неймана-Пирсона.



Лемма 1 (Лемма Неймана-Пирсона)

Пусть α0 ∈ (0, 1), тогда при фиксированной вероятности ошибкипервого рода α0 наиболее мощный критерий имеет критическуюфункцию ϕ∗ вида

ϕ∗(x) =

1, если L1(x) > cL0(x);ε, если L1(x) = cL0(x);0, если L1(x) < cL0(x),

где L0(x) =∏n

i=1 f0(xi ) соответствует гипотезе H0, L1(x) =∏n

i=1 f1(xi )— гипотезе H1. Константы c и ε — решения уравнения α(ϕ∗) = α0.


Простые гипотезы о параметрах. . . Нормальное распределение

Простые гипотезы о параметрах нормальногораспределения

Пусть задана генеральная совокупность ξ, выборка X[n] из этойгенеральной совокупности, имеются две гипотезы о распределениигенеральной совокупности N(a0, σ

2), N(a1, σ2), где a0, a1 известны.

Также считаем, что σ2 известна. Пусть для определенности a1 > a0.Т.е. имеем две гипотезы:

H0 : a = a0.H1 : a = a1 > a0.

Без ограничения общности считаем, что a1 > a0.



Применим критерий Неймана-Пирсона. Выпишем функцииправдоподобия для каждой гипотезы:

L0(X[n]) =1

(2π)n2σn

e− 1

2σ2

n∑i=1

(Xi−a0)2,

L1(X[n]) =1

(2π)n2σn

e− 1

2σ2

n∑i=1

(Xi−a1)2.

Рассмотрим отношение:

L1(X[n])

L0(X[n])= exp

1

2σ2{

2(a1 − a0)nX̄ − n(a21 − a20)}.

Нетрудно заметить, что L1(X[n])/L0(X[n]) > c тогда и только тогда,когда X̄ > c1.



Поэтому оптимальный критерий Неймана-Пирсона выглядитследующим образом:

ϕ∗(x) =

1, X̄ > c1;ε, X̄ = c1;0, X̄ < c1,

при этом константы c1 и ε выбираются при заданном α0 ∈ (0, 1) какрешение уравнения α0 = α(ϕ∗).Так как при справедливости гипотезы H0 распределение статистики X̄является нормальным, то P{X̄ = c1} = 0, поэтому можно положитьε = 0, тогда

ϕ∗(x) =

{1, X̄ > c1;0, X̄ 6 c1.

Оптимальный критерий является нерандомизированным.



Зададим вероятность ошибки первого рода α0:

α0 = α(ϕ∗) = P0{X̄ > c1} = P0

{X̄ − a0σ

√n >

c1 − a0σ

√n

}=

= 1− Φ

(c1 − a0σ

√n

),

где Φ(x) — функция распределения, соответствующая стандартномунормальному распределению,

Φ(x) =1√2π

x∫−∞

e−t2

2 dt.

Таким образом, получили уравнение:

Φ

(c1 − a0σ

√n

)= 1− α0.



Его решением является квантиль уровня 1− α0 стандартногонормального распределения z1−α0 =

√n(c1 − a0)/σ. Равенство

α(ϕ∗) = α0 (1)

будет выполнено, если выбрать c1 = a0 + z1−α0σ/√n и, следовательно,

критическая область для нулевой гипотезы H0 при использованиистатистики X̄ имеет следующий вид:

S =

(a0 +

σ√nz1−α0 ; +∞

).

Если X̄ ∈ S , то гипотезу H0 следует отклонить, если X̄ /∈ S , тогипотезу H0 следует принять. Оптимальный критерий в данном случаеявляется нерандомизированным.



Если выберемc1 > a0 +

σ√nz1−α0 , (2)

то вероятность ошибки первого рода будет удовлетворять неравенствуα(ϕ∗) 6 α0. Введем в рассмотрение ошибку второго рода β. Зададимуровень ошибки второго рода β0 и выясним условия, когда β(ϕ∗) 6 β0:

β(ϕ∗) = P1{X̄ 6 c1} =

= P1

{X̄ − a1σ

√n 6

c1 − a1σ

√n

}= Φ

{c1 − a1σ

√n

}.

Неравенство β(ϕ∗) 6 β0 окажется выполненным, если

c1 − a1σ

√n 6 zβ0 ,

где zβ0 — квантиль стандартного нормального распределения уровняβ0.



Из последнего неравенства получаем:

c1 6 a1 +σ√nzβ0 . (3)

Константа c1, для которой выполнены неравенства (2) и (3) можетбыть выбрана, если имеет место неравенство:

a0 +σ√nz1−α0 6 a1 +

σ√nzβ0 .

Преобразуя последнее неравенство, получим

n >σ2(z1−α0 − zβ0)2

(a1 − a0)2. (4)

Таким образом, при объеме выборки n, удовлетворяющем неравенству(4), будут выполнены условия: α(ϕ∗) 6 α0 и β(ϕ∗) 6 β0.



Предположим, что известно математическое ожидание a.Сформулируем гипотезы:

H0 : σ = σ0.H1 : σ = σ1 > σ0.

Без ограничения общности считаем, что σ1 > σ0, σ0 и σ1 известны.Статистический критерий проверки гипотезы H0 при альтернативе H1

основан на статистике отношения правдоподобия, как следует излеммы Неймана-Пирсона. Выпишем функции правдоподобия:

L0(X[n]) =1

(2π)n2σn0

e− 1

2σ20

n∑i=1

(Xi−a)2,

L1(X[n]) =1

(2π)n2σn1

e− 1

2σ21

n∑i=1

(Xi−a)2.



Тогда неравенство

L1(X[n])

L0(X[n])=

(σ0σ1

)n

e

(1

2σ20− 1

2σ21

)n∑

i=1(Xi−a)2

> c

равносильно неравенству:

n∑i=1

(Xi − a)2 > c1.

Статистика 1σ20

∑ni=1(Xi − a)2 подчиняется распределению хи-квадрат с n

степенями свободы при условии справедливости гипотезы H0.Следовательно, вероятность P0(

∑ni=1(Xi − a)2 = c1) равна нулю при

любом значении константы c1, поэтому в оптимальном критерии можноположить ε = 0.Поэтому критерий имеет вид:

ϕ∗(x) =

1,

n∑i=1

(Xi − a)2 > c1;

0,n∑

i=1(Xi − a)2 6 c1,

и, оказывается, нерандомизированным.Грауэр Л.В., Архипова О.А. (CSC) Лекция 4. Лемма Неймана-Пирсона . . . Санкт-Петербург, 2015 24 / 46


Выберем константу так, чтобы выполнялось равенство: α(ϕ∗) = α0.Нетрудно заметить, что

α(ϕ∗) = P0

{n∑

i=1

(Xi − a)2 > c1

}=

= P0

{n∑

i=1

(Xi − a

σ0

)2

>c1σ20

}= 1− Fχ2

n

(c1σ20

),

где Fχ2n(·) — функция распределения закона хи-квадрат с n степенями

свободы. Решением уравнения Fχ2n

(c1/σ

20

)= 1− α0 является квантиль

распределения χ2 с n степенями свободы, то есть u1−α0,n.Критическая область для гипотезы H0 выглядит следующим образом:

Если∑n

i=1(Xi − a)2 ∈ (σ20u1−α0,n; +∞) = S , то гипотеза H0

отклоняется.Если

∑ni=1(Xi − a)2 ∈ [0;σ20u1−α0,n], то гипотеза H0 принимается.

Оптимальный критерий является нерандомизированным критерием.Грауэр Л.В., Архипова О.А. (CSC) Лекция 4. Лемма Неймана-Пирсона . . . Санкт-Петербург, 2015 25 / 46

Простые гипотезы о параметрах. . . Биномиальное распределение

Простые гипотезы о параметре биномиальногораспределения

Теперь рассмотрим случай, когда проверяется гипотеза о параметребиномиального распределения. Рассмотрим схему Бернулли. ВыборкаX[n] состоит из нулей и единиц, единицы соответствуют успехам. Тогдавероятность того, что в серии из n испытаний произойдет ровно mуспехов равна

Pn{ξ = m} = Cmn pm(1− p)n−m,

где n — число испытаний, p — вероятность успеха, m — число успехов.Сформулируем гипотезы:

H0 : p = p0.H1 : p = p1 > p0.

Как и в предыдущих примерах, без ограничения общности считаем,что p1 > p0, p1 и p0 известны.



Применим оптимальный критерий Неймана-Пирсона. Выпишемфункции правдоподобия для каждой гипотезы:

L1(m) = Cmn pm1 (1− p1)n−m,

L0(m) = Cmn pm0 (1− p0)n−m.

НеравенствоL1(m)

L0(m)=

(p1p0

)m (1− p11− p0

)n−m> c

эквивалентно неравенству:(p1(1− p0)

p0(1− p1)

)m (1− p11− p0

)n

> c ,

или эквивалентно неравенству: m > c1. Следовательно, оптимальнуюкритическую функцию можно записать в виде:

ϕ∗(x) =

1, m > c1;ε, m = c1;0, m < c1.



Оптимальный критерий является рандомизированным. Константы c1 иε нужно выбирать из условия: α(ϕ∗) = α0. Воспользуемсяасимптотикой:

α(ϕ∗) = P0{m > c1}+ εP0{m = c1} −−−→n→∞

1− Φ

(c1 − np0√np0(1− p0)

).

Решением уравнения

Φ

(c1 − np0√np0(1− p0)

)= 1− α0

является квантиль стандартного нормального распределения уровня1− α0:

z1−α0 =c1 − np0√np0(1− p0)

.

Из полученного условия можно найти константу c1:

c1 = np0 +√

np0(1− p0)z1−α0 .



Критическая область для гипотезы H0 имеет вид (c1;∞). Такимобразом, построен статистический критерий:

Если m ∈ (np0 +√np0(1− p0)z1−α0 ; +∞), то гипотеза H0

отклоняется.Если m ∈ [0; np0 +

√np0(1− p0)z1−α0 ], то гипотеза H0

принимается.Построенный критерий является нерандомизированным, однако, вотличие от предыдущих примеров, построенный критерий не являетсяточным. Нельзя утверждать, что вероятность ошибки первого родаравна α0. Для выборок большого объема вероятность ошибки первогорода окажется приближенно равной α0.


Случай сложных альтернатив

Гипотезы о параметрах распределений для сложныхальтернатив

Пусть заданы генеральная совокупность ξ и выборка X[n] изгенеральной совокупности.Сформулируем две гипотезы о распределении генеральнойсовокупности:

генеральная совокупность ξ подчиняется нормальномураспределению N(a0, σ

2), игенеральная совокупность ξ подчиняется нормальномураспределению N(a1, σ

2),где a1 неизвестно, a0 известно, также считаем, что σ2 известна.

Будем предполагать, что a1 > a0.



Таким образом, имеем две гипотезы:H0 : a = a0.H1 : a > a0.

Гипотезу H1 можно записать в виде: a = a1 > a0, a1 неизвестно.Гипотеза H1 представляет собой правостороннюю альтернативу.Оптимальный критерий имеет вид:

ϕ∗(x) =

{1, X̄ > c1;0, X̄ 6 c1,

где c1 находится из уравнения:

α0 = P0{X̄ > c1},

где α0 — вероятность ошибки первого рода (уровень значимостикритерия). Как показано ранее:

c1 = a0 + z1−α0σ/√n.



Критерий Неймана-Пирсона является равномерно наиболее мощнымкритерием для проверки гипотезы H0 : a = a0 при альтернативеH1 : a > a0, то есть, он не зависит от конкретного значения a1, иявляется наиболее мощным при любом a1 > a0.Результат полностью сохраняется для левосторонней альтернативыa = a1 < a0 при соответствующих изменениях.Для двусторонней альтернативы не удается построить равномернонаиболее мощный критерий.Рассмотрим двустороннюю альтернативу:

H0 : a = a0.H1 : a 6= a0.

Как и раньше фиксируем вероятность ошибки первого рода α0. Вкачестве статистики критерия возьмем X̄ . В предположенииистинности нулевой гипотезы выберем константу c1 из условия:

P0{|X̄ − a0| > c1} = α0.



Критическая область для гипотезы H0 при двусторонней альтернативеH1 при использовании статистики X̄ имеет вид:

S = {x : |x − a0| ≥ c1}.

Выберем вероятность ошибки первого рода:

P{X̄ ∈ S/H0} = α0.

Преобразуем выражение:

P0

{√n|X̄ − a0|σ

>

√nc1σ

}= α0.

Пусть η =√n(X̄ − a0)/σ, тогда при условии справедливости гипотезы

H0 случайная величина η подчиняется стандартному нормальномураспределению N(0, 1). Следовательно, в качестве c1 можно выбрать

c1 = z1−α02

σ√n,

где z1−α02

— квантиль стандартного нормального распределенияуровня 1− α0/2.



Критическая область для нулевой гипотезы при использованиистатистики X̄ принимает следующий вид:

S = (−∞; a0 − c1) ∪ (a0 + c1; +∞).

Критерий проверки таков:Если X̄ ∈ S , то гипотеза H0 отклоняется.Если X̄ /∈ S , то гипотеза H0 принимается.



Теперь рассмотрим случай, когда σ2 неизвестна.Рассмотрим правостороннюю альтернативу:

H0 : a = a0.H1 : a > a0, то есть, a = a1 > a0, a1 — неизвестно.

Вычислим статистику

t =X̄ − a0

s̃

√n,

где s̃2 = 1n−1

∑ni=1(Xi − X̄ )2.

При справедливости нулевой гипотезы статистика t должнаподчиняться распределению Стьюдента с n − 1 степенью свободы.Если верна альтернативная гипотеза H1, то можно заметить, чтостатистика будет смещена вправо по отношению к распределениюСтьюдента с n − 1 степенью свободы.



Критическая область в данном случае для нулевой гипотезы будетиметь вид

S = {t > c1} = (c1; +∞),

где константу c1 следует выбирать из условия P0{t > c1} = α0.Таким образом, c1 = t1−α0,n−1 — квантиль распределения Стьюдента сn − 1 степенью свободы уровня 1− α0.Критерий с вероятностью ошибки первого рода α0 имеет вид:

Если статистика t ∈ (t1−α0,n−1; +∞), то отклоняем гипотезу H0 впользу H1.Если статистика t ∈ (−∞; t1−α0,n−1], то отклоняем гипотезу H1 впользу H0.



Для левосторонней альтернативы критическая область для гипотезыH0 при использовании статистики t будет следующей:

S = (−∞; tα0,n−1),

где tα0,n−1 — квантиль уровня α0 распределения Стьюдента с n − 1степенью свободы.Для двусторонней альтернативы критическая область с вероятностьюошибки первого рода α0 для гипотезы H0 при использованиистатистики t будет следующей:

S = (−∞; tα02,n−1] ∪ [t1−α0

2,n−1; +∞),

где tα02,n−1 — квантиль уровня α0/2 распределения Стьюдента с n − 1

степенью свободы, t1−α02,n−1 — квантиль уровня 1− α0/2 того же

распределения.


Критерий Вальда

Последовательный критерий отношения правдоподобия(Критерий Вальда)

В отличие от классических методов математическои статистики, вкоторых число производимых экспериментов фиксируется заранее,методы последовательного анализа характеризуются тем, что моментпрекращения наблюдении является случаиным и определяетсянаблюдателем в зависимости от значении наблюдаемых данных.Пусть задана генеральная совокупность ξ с неизвестной функциейраспределения Fξ и выборка X[n] = (X1, . . . ,Xn).Выдвинем нулевую гипотезу

H0 : Fξ = F0

против альтернативной гипотезы

H1 : Fξ = F1,F1 6= F0.

Fi (x) =

∫ x

−∞fi (t)µ(dt), i = 0, 1.



Предположим, что статистическое решение принимается не нанаблюдениях фиксированного объема n, а возможны дополнительныенаблюдения.Последовательный критерий отношения правдоподобия (SPRT)строится следующим образом.Сначала выбирают критические границы c0 и c1 (0 < c0 < c1 <∞).На каждом i-м этапе наблюдений, имея на этот момент выборкуX[i ] = (X1,X2, . . . ,Xi ) объема i , вычисляют отношение функцийправдоподобия

Z [X[i ]] =L(X[i ],F1)

L(X[i ],F0),

где L(X[i ],F0) — функция правдоподобия при законе, соотвествующемгипотезе H0, а L(X[i ],F1) — при законе, соответствующем гипотезе H1.и проверяют выполнение двустороннего неравества вида

c0 ≤ Z [X[i ]] ≤ c1. (5)



1 Если Z [X[i ]] находится внутри интервала c0 ≤ Z [X[i ]] ≤ c1, процесснаблюдений продолжается;

2 если Z [X[i ]] < c0, то принимают гипотезу H0;3 если Z [X[i ]] > c1, то принимают гипотезу H1.

Определение 2

SPRT(c0, c1) - решающее правило, предписывающее проведениенаблюдений X1,X2, . . . ,Xν до первого ν, при котором Z [X[ν]] < c0 илиZ [X[ν]] > c1, принятие либо гипотезы H0 при Z [X[ν]] < c0 либогипотезы H1 при Z [X[ν]] > c1.



Номер шага ν (момент остановки), при котором принимается одно изрешений 2) или 3), определяет минимально необходимый дляпроверки гипотезы объем выборки.

Данная процедура характеризуется вероятностями ошибок первогоα = P{H1|H0} и второго рода β = P{H0|H1} и средним числомнаблюдений ν до момента остановки Ej(ν) = E (ν|Hj) (j = 0, 1).Если вероятности ошибок α и β заданы, то любой критерий с такимиошибками называют критерием силы (α, β). В классе критериевданной силы (α, β) предпочтительным является тот, который требуетменьшего числа наблюдений. Критерий, минимизирующийодновременно как E1(ν), так и E0(ν), называют оптимальным.Критерий Вальда обладает свойством оптимальности. В частности,критерий Вальда требует в среднем меньше наблюдений, чемкритерий Неймана-Пирсона с такими же вероятностями ошибок.



Теорема 1 (А.Вальд, Дж. Вольфиц)

Пусть ψ = SPRT (c0, c1), 0 < c0 < 1 < c1 <∞, и φ - произвольныйпоследовательный критерий. Если для двух простых гипотез H0 и H1

α(φ) ≤ α(ψ) β(φ) ≥ β(ψ),

тоE0,ψ(ν) ≤ E0,φ(ν) E1,ψ(ν) ≤ E1,φ(ν).

Иными словами, если ψ — последовательный критерий отношенияправдоподобия с вероятностями ошибок первого и второго родаα = α(ψ) и β = β(ψ), тогда в классе всех последовательных критериевφ с вероятностями ошибок первого и второго рода такими, чтоα(φ) ≤ α и β(φ) ≥ β, SPRT ψ минимизирует E0,φ(ν) и E1,φ(ν).



Лемма 2

Для любого последовательного критерия ψ = SPRT (c0, c1),0 < c0 ≤ c1 <∞ существует δ: 0 < δ < 1 и C <∞ такие, что длялюбого n ∈ N

Pr(ν > n|H0) ≤ C (1− δ)n Pr(ν > n|H1) ≤ C (1− δ)n.

Из леммы 2 следует, что E0,ψ(ν) <∞ и E1,ψ(ν) <∞, т.е. cвероятностью, равной единице, процесс оканчивается либо выборомH0, либо выбором H1.

Лемма 3Пусть 0 < c0 < 1 < c1 <∞. Критические значения c0 и c1последовательного критерия отношения правдободобия удовлетворяютнеравенствам

α ≤ 1− βc1≤ 1

c1, β ≤ (1− α)c0 ≤ c0. (6)



Неравенства (6) наводят на мысль об аппроксимации границ c0, c1,соотвествующих заданным α и β, величинами

c ′0 =β

1− α, c ′1 =

1− βα

.

В силу (6) вероятности в этой приближенной процедуреудовлетворяют неравенствам

β′

1− α′≤ c ′0 =

β

1− α1− β′

α′≥ c ′1 =

1− βα

,

откуда

α′ ≤ α

1− ββ′ ≤ β

1− α.

Если α и β имеют порядок от 0.001 до 0.1, то превышение α′ над α иβ′ над β оказывается пренебрежимо малым. Единственный риск,связанный с употреблением приближенных границ, состоит в том, чтоα′ и β′ могут оказаться много меньше заданных знаечний, чтоприведет к существенному увеличению числа необходимыхнаблюдений. Однако есть основания надеяться, что это увеличиениебудет умеренным.



Теорема 2 (Вальд)

Оценка снизу среднего числа наблюдений для любогопоследовательного критерия с вероятностями ошибок α и β имеет вид:

E0ν(α, β) ≥ −ω(α, β)

EH0

, E1ν(α, β) ≥ ω(β, α)

EH1

,

где

ω(x , y) =

((1− x) ln

(1− x

y

)+ x ln

(x

1− y

)),

EHj=

∫ +∞

−∞fj(x) ln

f1(x)

f0(x)µ(dx), j = 0, 1.



Боровков А.А.Математическая статистика. — М.: Изд. Наука, 1984.

Вальд А.Последовательный анализ. — М.: Изд. ФМЛ.


Documents

Математическая статистика, весна 2015: Лекция 4 Лемма Неймана-Пирсона. Проверка статистических гипотез