Upload
emma-chambers
View
62
Download
1
Embed Size (px)
DESCRIPTION
Influenţa dispersiei asupra preciziei estimatorului. Ne referim la cazul componentei continue afectată de zgomot alb în două situații, cu două abateri standard de 1 și 1/3 și fie că facem estimarea componentei continue A, pe baza unui singur eșantion, x[0]=3. - PowerPoint PPT Presentation
Citation preview
Influenţa dispersiei asupra preciziei estimatorului
22
1 10 3; exp 322 ii
p x A A L A
Considerăm că =1. Valorile „credibile” pentru A sunt cuprinse între 3-3*1=0 și 3+3*1=6 adică sunt din intervalul (0, 6). Dacă valoarea adevărată a lui A nu
este din acest interval, probabilitatea de a se măsura x[0]=3 ar fi mică. Dacă, spre exemplu, A=6.1, x[0] ar trebui, cu o probabilitate de 99.73% să intre în
intervalul 0 6,1 3 1, 6,1 3 1 3,1, 9,1x
Ne referim la cazul componentei continue afectată de zgomot alb în două situații, cu două abateri standard de 1 și 1/3 și fie că facem estimarea
componentei continue A, pe baza unui singur eșantion, x[0]=3
Dacă punem x[0]=3 în expresia densității de repartiție dependente de A obținem
o funcție ce depinde numai de parametrul necunoscut A, numită funcție de plauzibilitate (verosimilitate)
0;L A p A x x
''
3'201
yK
y x x
3'2
0
''1 /R y yx x
Dacă =1/3, intervalul în care poate fi valoarea parametrului A este definit de 3-3*1/3=2 și 3+3*1/3=4 adică (2, 4). Se observă că lungimea intervalului în care pot exista valorile credibile pentru A a scăzut de la lungimea de 6 la
lungimea de 2! Odată cu scăderea dispersiei datelor crește deci precizia de determinare a valorii parametrului necunoscut.
Funcția
se numește funcție de plauzibilitate. Pe măsură ce funcția de plauzibilitate este mai “ascuțită” precizia de realizare a estimării este mai mare. “Ascuțimea” unei
funcții se măsoară prin curbura ei (raza de curbură) din maxim
Curbura K și raza de curbură R ale funcției y(x), într-un punct se determină cu
''
0
1 K yx xR
Ideea de rază de curbură vine de la raza unui cerc care aproximează bine y(x) intr-un interval redus, centrat pe punctul de interes, așa cum se arată
în figură
Raza de curbură a funcției y(x) în punctul x=0 este R=1/2 iar curbura ei este K=2
În punctul de maxim curbura se calculează cu
0
''K yx x
lnl A L A
221ln 2 3
2ii
l A A
2
2 21
3 i
d l AAdA
2
20
,dC ld
x x
22
2 2
ln ,ln ; ;
pC E p p d
x
x x x
Pentru a determina curburile din exemplul considerat vom lucra cu plauzibilitatea logaritmică
care are expresia
În punctul de maxim, A=3, avem
Într-un caz general putem obtine în punctul de maxim o curbură de forma
dependentă de vectorul de date x. Pentru aceasta este bine să mediem statistic curbura C(x) peste toate valorile posibile ale datelor, ponderate cu
densitatea de probabilitate
În figură se arată plauzibilitățile și plauzibilitățile logaritmice, pentru cele două abateri standard, 1 și 1/3. Se vede că pozițiile maximelor sunt
păstrate
Teorema Cramer-Rao
Se poate găsi un estimator nedeplasat ce are dispersia minimă, adică un estimator MVU eficient dacă și numai dacă avem
;p x
atunci dispersia oricărui estimator nedeplasat pentru parametrul scalar notat cu , satisface inegalitatea:
Dacă densitatea de probabilitate satisface ”condiţia de regularitate”:
ln ; ln ,; 0,
p pE p d
x xx x
2
2
1ˆln ;
Dispp
E
x
ln ;( )
pI f
x
x
Estimatorul în cauză este chiar:
I( se numeşte ”informaţia Fisher”.
ˆ f x
2
2
1ln ;
CRLBp
E
x
Se arată că pentru cazul estimatorului eficient:
1ˆ Disp CRLBI
Dispersia minimă a unui astfel de estimator este numită limita inferioară Cramer-Rao (CRLB)
Vom analiza aplicarea conceptului CRLB pentru modelul de semnal cu componentă continuă necunoscută, A, afectată de un zgomot alb, gaussian
2
; 0,1,..., 1
0,
x n A w n n N
w n
N
E x n A 2Disp x n
Esimatorii pot avea dispersii dependente de valoarea parametrului adevărat Un estimator nedeplasat a cărui dispersie este egală, peste tot cu CRLB este eficient. Pot exista estimatori nedeplasați care deși au cea mai mică dispersie, aceasta este totuși mai mare decât CRLB. Ei sunt estimatori
suboptimali
11 2
20 0
1 1; ; exp22
NN
Nn n
p A p x n A x n A
x
0 , 1 ,..., 1x x x N
sunt măsurate (cunoscute) şi cu valorile lor înlocuite în relația de mai sus obţinem plauzibilitatea logaritmică:
1 2
20
1ln ; ln 22
N
np A N x n A
x
1 1
2 20 0
2
ln ; 1 1 1
N N
n n
p Ax n A N x n NA
A NN x A
x
Densitatea de repartiție a datelor, dependentă de parametrul determinist, necunoscut, A este
Cele N valori accesibile experimentului
Derivata plauzibilității logaritmice se poate pune sub forma
Așa cum am arătat mai înainte, media eșantion are o repartiție normală
Aceasta nu depinde de date și deci medierea statistică nu are, în acest caz, nici un efect
2,x AN
N
Vom verifica îndeplinirea condiției de regularitate, cerută de teorema Cramer-Rao
2 2ln ;
0p A N NE E A E AA
xx x
și constatăm că suntem în condiția de aplicabilitate a teoremei. Vom calcula acum curbura nemediată
2
2 2ln ;p A NA
x
2
2 2ln ;p A NEA
x
Conform teoremei Cramer-Rao, pentru orice estimator nedeplasat al componentei continue, avem îndeplinită inegalitatea
2
ADispN
Vom aplica acum a doua parte a teoremeiCramer-Rao. Avem
1
20
ln ; 1 N
n
p A N x n AA N
x
ln ;( ) ;
pI f A
x
x
1
0
1AN
nf x n x
N
x
pe care o comparăm cu forma din enunțul teoremei
Prin compararea celor două forme rezultă că media eșantion este un estimator MVU eficient
a cărui dispersie este minimă și egală cu
Vom face câteva precizări privind “informaţia Fisher”. Avem
21Disp x
I N
22
2ln ; ln ;p A p A
I E EAA
x x 0I
1
0; ;
N
np p x n
x
1
0ln ; ln ;
N
np p x n
x
22 1
2 20
ln ;ln ; N
n
p x np
x
ceeace am stabilit mai înainte
Dacă datele x[n] sunt identic distribuite și statistic independente (IID) atunci repartiția mutuală se poate pune sub forma
Cu datele x[n] măsurate (cunoscute) se obține plauzibilitatea logaritmică și apoi a doua derivată
Dacă eşantioanele sunt corelate, relaţia nu mai este valabilă. Spre exemplu, pentru cazul eşantioanelor complet dependente, adică:
22 1
2 20
2
2
ln ;ln ;
ln ;
N
n
p x npI E E
p x nN E
x
2
2ln ;p x n
i E
I Ni
0 1 ... 1x x x N
; ;p p x n x
Se poate determina informația Fisher sub forma
Putem defini informația Fisher corespunzătoare unui singur esantion x[n]
Cu aceasta informația Fisher corespunzătoare celor N componente statistic independente devine
rezultă
Concluzia este aceea că prelucrând mai multe eşantioane identice nu putem obţine un estimator mai bun decât prelucrând un singur eşantion.
Exemplu privind o sinusoidă cu faza iniţială necunoscută, afectată de un zgomot alb, gaussian
I i
02
cos ; 0,1,..., 1
0,
x n A n w n n N
w n N
0
0
0
cos
cos
cos
E x n E A n w n
A n E w n
A n
ceeace înseamnă că
Datele constă dintr-o sinusoidă cu faza inițială, necunoscută, afectată de un zgomot alb, gaussian
Zgomotul e gaussian iar datele sunt și ele, deoarece relația dintre ele este liniară. E suficient deci să determinăm media și dispersia datelor
2
20 0
2 2
cos cos
Disp x n E x n E x n
E A n w n A n
E w n
1 2
020
1 1; exp cos22
N
Nn
p x n A n
x
21
020
1ln ; ln 2 cos2
N
np N x n A n
x
Se poate determina densitatea mutuală de repartiție a componentelor vectorului de semnal, densitate dependentă de faza necunoscută
si apoi plauzibilitatea logaritmică
1
0 0201
0 020
ln ; 1 cos sin
sin sin 2 22
N
nN
n
px n A n A n
A Ax n n n
x
2 1
0 02 20
ln ;cos cos 2 2
N
n
p A x n n A n
x
2 1
0 02 20
2 12
0 020
2
0 020
ln ;cos cos 2 2
cos cos 2 2
1 1 cos 2 2 cos 2 22 2
N
n
N
nN
n
p AE E x n n A n
A n n
A n n
x
1
2 1
020
1 1 cos 2 2 (2.45)2
N
n
NA nN
care se derivează de două ori în raport cu faza
iar derivata a doua se mediază statistic
Se spune că egalitatea din relaţia (2.48) este valabilă “asimptotic”, adică pentru N suficient de mare.
sin 12cos cos ... cos 1 cos
2sin2
NrNr N r rr
1
00 0
0 0
sin1 cos 2 2 cos 1 2sin
N
n
Nn N
N N
sin 0,045 200,053
20 sin 0,045
2 2
2 2ln ;
2
p NAE N
x
2
22ˆ , Disp NNA
Se ține seama de identitatea
și obținem
Factorul are o valoare redusă dacă frecvența nu e foarte aproape de 0 sau Pentru N=20 și o frecvență de 0.045valoarea sa este de numai 0.053
și tinde spre zero atunci când N crește indefinit. Putem afirma că
sau că
1
0 020
ln ;cos cos 2 2
N
n
p A x n n A n
x
ln ;;
pI f
xx
Estimarea prin transformarea parametrului scalar
g
2
2
2
ˆln ;
dgd
Dispp
E
x
Ne punem problema dacă putem stabili forma unui estimator MVU eficient. Teorema Cramer-Rao cere să avem o formă în care f(x) să depindă numai de
date, nu și de parametrul necunoscut,
Am găsit că, în cazul de față avem
și deci nu putem identifica o funcție dependentă numai de date. Concluzia e că putem avea un estimator nedeplasat, eventual cu disperia minimă, dar nu și
eficient. Dispersia sa este strict mai mare decât CRLB
Uneori nu suntem interesați de parametrul necunoscut ci de unul derivat din el, =g Teorema Cramer-Rao afirmă că dispersia estimatorului pentru
satisface inegalitatea
A x 2P x
2, N 2 2 2E
2, x A NN
2 2
2 2E x A P PN N
g a b
ˆ ˆˆ ˆE E g E a b aE b a b
Pentru exemplificare ne vom referi la estimarea puterii unei comonente continue, A. Puterea este pătratul lui A. Pare normal ca, deoarece media
eșantion estimeză bine componenta continuă să estimăm puterea cu pătratul ei22
Pentru o varibilă aleatoare cu repartiție normală se stie că
Dar media eșantion este repartizată normal
și aplicând relația anterioară obținem
deci estimatorul “ad hoc” nu este nedeplasat, și nu este deci eficient. Eficiența se conservă doar dacă transformarea parametrului este afină
Se verifică conservarea nedeplasării prin transformarea afină
221 1ˆ
dgDisp g a
d I I
1ˆ CRLBDispI
2 ˆˆ CRLBDisp g a Disp
2ˆ ˆˆ CRLBDisp g Disp a b a Disp
22 2
2 2ˆ 4 CRLBPdADisp P Disp x Disp x AdA N
4 4 2 2 46 3E
Aplicând teorema Cramer-Rao pentru transformarea afină definită avem
Cum estimatorul pentru este eficient avem
Calculul direct al dispersiei pentru ne dă
ceeace înseamnă că și estimatorul transformat este eficient, atingând CRLB
Revenim la exemplul considerat privind estimarea puterii componentei continue. Vedem că
Urmărim să calculăm dispersia estimatorului “ad hoc” pentru putere“. Stim că
2
24 2 2E E Disp
2 22 4 2 4 2 2Disp E E E
22 4 2 2 4 2 2 4 2 26 3 2 4Disp
22 2 2 2 4 2 2
2 22
4 2 42 4 PA ADisp x A CRLB
N N N NN
>
22E E Disp
și că
Punem în relația de mai sus
și obținem
din care deducem
și apoi
Pentru cazul estimatorului analizat, înlocuind în relația de mai sus mărimile corespunzătoare obținem
dg xg x g A x A
x Adx
Al doilea termen descrește rapid odată cu creșterea lui N. Se poate considera că, asimptotic, acest estimator este de tip MVU, eficient. Dacă ne referim la
figură, observăm că odată cu creșterea valorii N se restrânge intervalul în care se află valorile mediei eșantion, astfel că funcția g(x) se confundă tot mai bine cu tangenta la curbă. Tangenta definește o relație afină, ce conservă eficiența
Marginea inferioară Cramer-Rao pentru semnale deterministe, afectate de zgomot alb, gaussian
2
; ; 0,1,..., 1
0,
x n s n w n n N
w n
N
; ; ;E x n E s n w n E s n E w n s n
2 2 2Disp x n E x n E x n E w n
1 2
20
1 1; exp ;22
N
Nn
p x n s n
x
Considerăm modelul de semnal determinist, dependent de un parametru necunoscut, afectat de un zgomot alb, gaussian
Datele x[n] sunt gaussiene, deoarece se obțin din zgomotul gaussian w[n] printr-o transformare afină. Este deci suficient să determinăm media și
dispersia acestor date. Avem
Cu datele x[n] cunoscute și ținând seama de faptul că eșantioanele sunt IID putem determina funcția de plauzibilitate
22
01
20
222 1
2 2 20
1ln ; ln 2 ;2
;ln ; 1 ;
; ;ln ; 1 ;
N
nN
n
N
n
p N x n s n
s npx n s n
s n s npx n s n
x
x
x
2
2
221
2 20
21
20
ln ;
; ;1 ;
;1
N
n
N
n
pE
s n s nE x n s n
s n
x
Se determină apoi plauzibilitatea logaritmică și cea de-a doua derivată
Pentru a stabili informația Fisher este necesară medierea statistică, deoarece derivata a doua depinde de datele x[n]. Avem
2
1
0
ˆ;N
n
Disp CRLBs n
;; ; 0
s ns n
0 0; coss n A n
00
0
;sin
ds nAn n
d
2 2
0 12 2
00
ˆ
sinN
n
ADisp CRLBn n
În final avem limita inferioară Cramer-Rao pentru orice estimator al parametrului necunoscut,
Derivata semnalului util în raport cu parametrul necunoscut este o măsură a sensibilității semnalului la modificarea parametrului
Pentru exemplificare considerăm un semnal util a cărui frecvență este necunoscută
Determinăm sensibilitatea în raport cu frecvența
Obținem, în final, CRLB pentru orice estimator al frecvenței digitale
0192 2
00
1
sinn
CRLB fn n
Pentru faza inițială nulă și pentru N=20 eșantioane obținem
valoare plotată pentru frecvențe nu foarte apropiate de 0 sau Reținem că parametrii față de care semnalul util are o sensibilitate mai mare, se determină
cu dispersie mai mică, adică cu precizie mai mare