Точечные оценки и их свойства

Грауэр Л.В.

Статистика

ξ — генеральная совокупность c ф.р. Fξ(x ; θ)θ = (θ1, . . . , θm) — неизвестные параметрыX[n] = (X1, . . . ,Xn) — выборка из ξ

Статистикой будем называть любую функцию, зависящую толькоот наблюдений.

Точечные оценки

Пусть θ ∈ Θ ⊂ R.

Точечной оценкой неизвестного параметра или числовойхарактеристики θ распределения называется статистика θ̂(X[n]),приближенно равная θ.

Пример

ξ ∼ N(a, σ), a неизвестноX[n] = (X1, . . . ,Xn) — выборка из ξ

Пример

ξ ∼ N(a, σ), a неизвестно Возможные оценки параметра aX[n] = (X1, . . . ,Xn) — выборка из ξ

Пример

ξ ∼ N(a, σ), a неизвестно Возможные оценки параметра aX[n] = (X1, . . . ,Xn) — выборка из ξ

Свойства точечных оценок

ξ, Fξ(x , θ), X[n] = (X1, . . . ,Xn)

θ̂n ∼ θ

Свойства точечных оценок

Несмещенность

Состоятельность

Эффективность

Асимптотическая нормальность

Робастность

Несмещенность.

Пусть параметр θ ∈ Θ ⊂ R.

Говорят, что оценка θ̂(X[n]) является несмещенной оценкойпараметра θ, если

E θ̂(X[n]) = θдля любого θ ∈ Θ.

Говорят, что оценка θ̂(X[n]) является асимптотическинесмещенной оценкой параметра θ, если

E θ̂(X[n]) −−−→n→∞

θ

для любого θ ∈ Θ.

Несмещенность.

Пусть параметр θ ∈ Θ ⊂ R.

Говорят, что оценка θ̂(X[n]) является несмещенной оценкойпараметра θ, если

E θ̂(X[n]) = θдля любого θ ∈ Θ.

Говорят, что оценка θ̂(X[n]) является асимптотическинесмещенной оценкой параметра θ, если

E θ̂(X[n]) −−−→n→∞

θ

для любого θ ∈ Θ.

Пусть

θ̂A и θ̂B — точечные оценки θ из центров A и B :

E θ̂A = E θ̂B = θ

D(θ̂i ) = E (θ̂i − θ)2 = σ2(θ), i = A,B

Рассмотрим новую оценку:

θ̂ =θ̂A + θ̂B

2

Пусть

θ̂A и θ̂B — точечные оценки θ из центров A и B :

E θ̂A = E θ̂B = θ

D(θ̂i ) = E (θ̂i − θ)2 = σ2(θ), i = A,B

Рассмотрим новую оценку:

θ̂ =θ̂A + θ̂B

2

Примеры

Рассмотрим выборочную дисперсию D∗

D∗ — смещенная оценка, однакоасимптотически несмещенная: ED∗ −−−→

n→∞σ2.

Примеры

Рассмотрим выборочную дисперсию D∗

D∗ — смещенная оценка, однакоасимптотически несмещенная: ED∗ −−−→

n→∞σ2.

Рассмотрим исправленную оценку дисперсии:

s2 = nn−1D

∗ = 1n−1

n∑k=1

(Xk − X )2,

s2 — несмещенная оценка дисперсии.

Выборочное среднее

EX̄ = E

{1n

n∑k=1

Xk

}

Рассмотрим исправленную оценку дисперсии:

s2 = nn−1D

∗ = 1n−1

n∑k=1

(Xk − X )2,

s2 — несмещенная оценка дисперсии.

Выборочное среднее

EX̄ = E

{1n

n∑k=1

Xk

}

Состоятельность

Пусть параметр θ ∈ Θ ⊂ R. Говорят, что оценка θ̂(X[n])состоятельна, если

θ̂(X[n])P−−−→

n→∞θ

для любого θ ∈ Θ.

Оценка θ̂(X[n]) называется сильно состоятельной оценкойпараметра θ, если

θ̂(X[n])п.н.−−−→

n→∞θ

для любого θ ∈ Θ.

Пример

Рассмотрим выборочное среднее X̄

Пустьсуществует Eξk

a∗k =1

n

n∑i=1

X ki

Пустьсуществует E (ξ − Eξ)k

µ∗k =1

n

n∑i=1

(Xi − X̄ )k

Эффективность

Рассмотрим класс оценок K = {θ̂(X[n])} параметра θ.

Говорят, что оценка θ∗(X[n]) ∈ K является эффективной оценкойпараметра θ в классе K , если для любой другой оценки θ̂ ∈ Kимеет место неравенство:

E (θ∗ − θ)2 6 E (θ̂ − θ)2

для любого θ ∈ Θ.

Рассмотрим случай, когда θ = (θ1, . . . , θm).

Для любого y ∈ Rm определим αy = (θ, y) = θ1y1 + . . .+ θmym.Тогда α∗y = (θ∗, y) — оценка параметра αy .

Оценка θ∗ ∈ K является эффективной оценкой параметраθ = (θ1, . . . , θm) в классе K , если для любой другой оценки θ̂ ∈ Kи любого y ∈ Rm при любом допустимом значении θ ∈ Θ имеетместо неравенство:

E (α∗y − αy )2 6 E (α̂y − αy )2,

где α̂y = (θ̂, y).

Класс несмещенных оценок обозначим через

K0 ={θ̂(X[n]) : E θ̂ = θ,∀θ ∈ Θ

}.

Оценка θ̂ эффективна в классе K0 , или просто эффективна, еслиD θ̃−D θ̂ � 0 (неотрицательно определенная матрица), где θ̃ ∈ K0

для любого θ ∈ Θ ⊂ Rk .

ТеоремаПусть несмещенные оценки θ̂1 и θ̂2 параметра θ ∈ Θ ⊂ Rявляются эффективными, тогда оценки θ̂1 и θ̂2 почти наверноесовпадают.

Асимптотическая эффективность

Оценка θ̂ называется асимптотически эффективной в классе Kоценок параметра θ ∈ Θ ⊂ R, если

limn→∞

E (θ̂ − θ)2

E (θ̃ − θ)26 1

для любого параметра θ ∈ Θ ⊂ R и любой оценки θ̃ ∈ K .

Асимптотическая нормальность

Пусть оценивается параметр θ ∈ Θ ⊂ R. Оценка θ̂называется асимптотически нормальной оценкой параметра θ скоэффициентом рассеивания σ2(θ), если

√n(θ̂ − θ)

d−−−→n→∞

ζ ∼ N(0, σ(θ)).

Для любого x ∈ R имеет место сходимость:

P{√

n(θ̂ − θ) 6 x}−−−−→n−→∞

1√2πσ(θ)

x∫−∞

e− y2

2σ2(θ) dy .

Пусть оценивается параметр θ ∈ Θ ⊂ Rm. Оценка θ̂ = (θ̂1, . . . , θ̂m)называется асимптотически нормальной с матрицей рассеиванияΣ(θ), если имеет место сходимость по распределению:

√n(θ̂ − θ)

d−−−→n→∞

η ∼ N(0,Σ(θ)).

Пример

Рассмотрим выборочное среднее X̄

Робастность

Робастность оценок в рамках “схемы засорения”

f (x , θ) = (1− ε)N(x , θ, σ1) + εN(x , θ, σ2)

0 < ε < 1, σ2 >> σ1

N(x , θ, σi ) =1

σi√

2πe− (x−θ)2

2σ2i

По X[n] оценить θ

Рассмотрим оценки x̄ и x∗med

X [100] ∝ 0.95N(x , 1, 1) + 0.05N(x , 1, 10)