unican.esvenus.ifca.unican.es/~carreraf/Estadistica/Transparenci... · 2016-10-18 · Cociente de...

Contenidos� Modelosfrenteadatos� Verosimilitud�  χ2

� Definiciónyaplicabilidad�  Estimacióndeparámetros�  Erroresenlosparámetros�  Bondaddelajuste

�  χ2conerroresenlosdosejes� Régimenpoissonianoconmedidaindependientedelfondo

Teoría1

Teoría2

Teoría3

DATOS

Modelo1

Modelo2

Modelo3

?

?

?

�  Confrontamoscondatosmodelos,noteorías�  Demostramosteoría(s)falsa(s)peronoverdaderas

�  Modeladoestadísticosóloerroresestadísticos�  Sisistemáticosdebenincluirseenmodelos

Datos�  Reales

�  Valoresdemedidas:xi,yi,…,coni=1,…N�  Erroresestadísticosenlasmedidasσxi,σyiconi=1,…N�  Habitualmentesesuponenerroresdemedidagaussianos

�  Siresultandemedidasrepetidas,teoríadelosgrandesnúmeros

�  Enteros(conteo)�  Valoresdemedidas:ni(númerodeeventos),…,coni=1,…N�  Erroresestadísticosenlasmedidas√ni,coni=1,…N�  EstadísticaPoissoniana�  Enelrégimendemuchascuentas⇒estadísticagaussiana

Modelos�  Funcionesquepredicenvaloresdeunasvariablesfrenteaotras

� Contienenparámetroscuyosvaloressequierenestimarutilizandolosdatosmedidosysuserrores

� Unestadísticoútilparacaracterizarelmodelodebe:�  Estimarvaloresparámetrosmejorreproducendatos�  Incertidumbreenlaestimacióndedichosparámetros�  Estimacióndelabondaddelmodelo(medidacuantitativa)

Likelihood

FuncióndeVerosimilitudI�  Funcióndeverosimilitud:Dadounmodeloydadosunosparámetros,¿cuáleslaprobabilidad(odensidaddeprobabilidad)dequeelconjuntodedatoshayaocurrido?

� Datos:x1,...,xN independientes

� Parámetros:θ1, …, θp

� Likelihood:L(θ1, …, θp)≡ΠiP(xi;θ1,...,θp) �  Probabilidades independientes

FuncióndeVerosimilitudII� Porcomodidad,tambiénseusaelmenosneperianodeLmultiplicadopor2:ℓlog-likelihood�  FunciónmonótonadeL:mínimocorrespondeconmáximo�  Permitemanejarmenorprobabilidadespequeñas

Es7macióndeparámetros� Máximaverosimilitud(L)omínimoℓ

€

∂L(θ1,...θp )∂θi

= 0 Máximo

€

∂(θ1,...θp )∂θi

= 0 Mínimo

⇒ θ̂1 ,...,θ̂ p

Verosimilitud:ejemplobinomialI� TenemosM muestras,delascualesmpresentanunapropiedaddeterminada�  ¿Cuáleslafracciónfdemuestrasquepresentanesapropiedad?:distribuciónbinomial

� Unúnicoparámetrof

P(m,M ) = Mm

!

"#

$

%& f m (1− f )M−m

ℓ = −2 m ln f + (M −m)ln(1− f )+ cte(m,M )[ ]

Mínimo: ∂ℓ∂f f = f̂

= 0 ⇒ mf̂−M −m1− f̂

= 0 ⇒ f̂ = mM

Verosimilitud:ejemplobinomialII�  SeestudianloshistorialesmédicosenvariossitiosdeMi personasencadasitio,delascualesmipresentanunadeterminadaenfermedad�  ¿Cuáleslafracciónfdepersonasquepadecenlaenfermedad?:distribuciónbinomial

� Unúnicoparámetrof

L( f ) =Mi

mi

!

"

##

$

%

&& f

mi (1− f )Mi−mi

i∏

ℓ = −2 mi ln f + (Mi −mi )ln(1− f )+ cte( mi{ }, Mi{ }))* +,i∑

Mínimo: ∂ℓ∂f f = f̂

= 0 ⇒ mi

f̂−Mi −mi

1− f̂

!

"#

$

%&

i∑ =

(1− f̂ ) mii∑ − f̂ Mi −mi( )

i∑

f̂ (1− f̂ )= 0 ⇒ f̂ =

mii∑Mi

i∑

Verosimilitud:ejemplopoisson�  Setoman {ni} i=1...Nmedidasdelascuentasderayosgammadelaradiactividaddeunazona�  ¿Cuálserálamejordeterminacióndelaradiactividadenesazonaλ?:distribuciónpoissoniana

� Unúnicoparámetroλ

L(λ) = λ ni

ni!i∏ e−λ = e−Nλ λ ni

ni!i∏

ℓ = −2 −Nλ + ni lnλi∑ + cte({ni})

$

%&

'

()= −2 −Nλ + lnλ ni

i∑ + cte({ni})

$

%&

'

()

Mínimo: ∂ℓ∂λ λ=λ̂

= 0 ⇒−N +ni

i∑λ̂

= 0 ⇒ λ̂ =ni

i∑N

= λ

Verosimilitud:ejemplopoisson� Contajedefotonesopartículasencanalesenergéticos(espectro).Canales:i=1,…,N� Númerodecuentasrecibidasencanal i:ni � Modelo:Cuentasesperadasenelcanali:λi(θ1,…,θp)�  Parámetrosdelmodelo:θ1,…,θp

�  FuncióndeVerosimilitud:

L(θ1,...,θ p ) =∏i=1N P(ni;λi (θ1,...,θ p )) =∏i=1

N λi (θ1,...,θ p )ni

ni!e−λi (θ1,...,θp )

ℓ θ1,...,θ p( ) = −2 ni lnλi (θ1,...,θ p )− λi θ1,...,θ p( )i=1

N

∑ + cte {ni}( )i=1

N

∑$

%&

'

()

∂ℓ θ1,...,θ p( )∂θ j θ j=θ̂ j

= 0 = −2 ni

∂λi (θ1,...,θ p )∂θ j

λi (θ1,...,θ p )−

∂λi (θ1,...,θ p )∂θ ji=1

N

∑i=1

N

∑

$

%

&&&&

'

(

))))

Verosimilitud:ejemplopoisson�  Yelmejorajuste:

�  Casoparticulardeλi=θ1cteentodosloscanales

∂λi (θ1)∂θ1

=1

∂ℓ θ1( )∂θ1 θi=θ̂1

= 0 = −2 1θ̂1

ni − 1i=1

N

∑i=1

N

∑$

%&

'

()⇒ θ̂1 =

nii=1

N

∑N

Cocientedeverosimilitudes� MuchasvecestambiénseempleaelcocientedeverosimilitudeslikelihoodratioD=-2ln[L(θ0|x)/L(θ1|x)]=-2lnΛ(x)

�  PermitecontrastarlahipótesisH0:θ0conlahipótesisH1:θ1 �  EllemadeNeyman-Pearsonmuestraque:

�  siusamosΛ(x)≤η como prueba para rechazar H0 en favor de H1 �  con P(Λ(x)≤η|H0)=α �  esta prueba es la más potente para una probabilidad α con umbral η �  tambiénvaleparazonasdelespaciodeparámetros

�  Porejemplo,estadísticodeCash:�  DividiendoLporsuvalormáximoenelintervalodeinterés(constante)

�  ~análogoalχ2

ℓ(θ1,...,θ p ) = −2 lnL(θ1,...,θ p )

maxL(θ1,...,θ p )

"

#$$

%

&''

Limitaciones� Máximaverosimilitudampliamenteusado:

�  Permiteestimaciónde“mejores”parámetros�  Enciertascondiciones,permiteestimarincertidumbresenesosparámetros(teoremadeWilks)

�  Engeneral,noproporcionamedidaabsolutadebondaddelajuste:�  Simodeloprecisodeobtencióndedatos:usodesimulacionesparaestimar{Lj}simesperadosycompararconLobs

θ1m,...,θ p

m

Definición(I)� ConjuntodeNparesindependientesdedatosreales

xi, yi, i=1,…N �  Losvaloresdexiestánmedidosconprecisióninfinita�  Losvaloresdeyiestánmedidosconunerrorestadísticosupuestogaussianoσi.

� Modelo:�  Funciónverosimilitud:

€

L θ1,...,θp( ) =12πσ i

2exp −

yi − f xi;θ1,...,θp( )( )22σ i

2

&

'

( (

)

*

+ +

&

'

( ( (

)

*

+ + + i=1

N

∏

€

y = f (x;θ1,...,θp )

Definición(II)

€

χ2(θ1,...,θp ) =yi − f xi;θ1,...,θp( )

σ i

&

' ( (

)

* + +

2

i=1

N

∑

• Distribucióndeprobabilidadconocida• Esunalog-likelihood~-2lnL+cte • Funciónaminimizarparaencontrarlosparámetrosmásverosímiles• Losvaloresconmáserrorestadísticopesanmenosenelχ2• Enelcasodequetodosloserroresseaniguales(σi=σ)equivaleaunajustepormínimoscuadrados.• Esimportantequelosdatosestén“limpios”.Unsolopuntoerróneamentemedido(“outlier”)puedeafectarseveramentealosparámetrosestimados⇒estimadoresrobustos

TeoremadeWilks� Datos:x1,…xN,muestrasdedensidaddeprobabilidadcualquieraP(xi;θ1,…,θp )

� Parámetros:θ1,…,θp,deloscuales:�  θ1,…,θqsonlosquesequierenestimar�  θq+1,…,θpsonparámetrosdelmodelocuyovalornointeresa(porejemplosistemáticos,calibraciones,etc.)

�  ℓ(θ1T,...,θqT) secomportaasintóticamentecomoχ2conqgradosdelibertad� MódulocorrecionesdeordenN-1/2

�  EstadísticodeCashcasoparticular

(θ1T ,...,θq

T ) = −2 lnmaxq+1... p P(xi;θ1

T ,...,θqT ,θq+1,...,θ p )

i=1

N

∏

max1... p P(xi;θ1,...,θ p )i=1

N

∏

#

$

%%%%

&

'

((((

Ejemplo:AjusteaconstanteMínimoscuadrados

f (x;a) = a

χ 2 a( ) = yi − aσ

"

#$

%

&'

2

i=1

N

∑ =yi − a( )2

i=1

N

∑σ 2

mínimo ∂χ 2 a( )∂a

a=a0

= 0 =−2 yi − a0( )

i=1

N

∑σ 2 ⇒ a0 =

yii=1

N

∑N

= y

•  Ejemplounidimensional:σi=σ constante•  Soluciónanalítica•  Mínimoχ2 correspondeconelpromedio

Ejemplo:Ajusteaconstante

f (x;a) = a

χ 2 a( ) = yi − aσ i

"

#$

%

&'

2

i=1

N

∑

mínimo ∂χ 2 a( )∂a

a=a0

= 0 = −2yi − a0( )σ i

2i=1

N

∑ ⇒ a0 =

yiσ i

2i=1

N

∑1σ i

2i=1

N

∑= y

•  Ejemplounidimensional•  Soluciónanalítica•  Mínimoχ2 correspondeconlamediaponderada

Ejemplo:Casolinealf (x;a,b) = a+ bx

χ 2 a,b( ) = yi − a− bxiσ i

"

#$

%

&'

2

i=1

N

∑

mínimo

∂χ 2 a,b( )∂a

a=a0

=∂χ 2 a,b( )

∂bb=b0

= 0 a0 =SxxSy − SxSxy

Δb0 =

SSxy − SxSyΔ

donde

S = 1σ i2

i=1

N

∑ Sx =xiσ i2

i=1

N

∑ Sy =yiσ i2

i=1

N

∑

Sxx =xi2

σ i2

i=1

N

∑ Sxy =xiyiσ i2

i=1

N

∑ Δ = SSxx − Sx2

• Soluciónanalíticaenestecaso• Comprobarquecoincideconmínimoscuadradoscuandoσi=const

Minimizacióndeχ2:casogeneral� Métodoiterativo,basadoen

�  Valoresinicialesaproximadosdelosparámetros�  Linealizaciónalrededordelmínimodelχ2.�  Iteraciónenelespaciodeparámetrosdedimensiónp

€

χ2 θ( ) ≈ χ2 θmin( ) + dk θk −θkmin( )

k=1

p

∑ +

12

Dkj θk −θkmin( )

j=1

p

∑k=1

p

∑ θ j −θ jmin( ) + ...

Aproximacionessucesivas(I)� Mínimolocalimplicadk=0

� Utilizando� Podemosaproximarlavariacióndeχ2por

€

∇aχ2 a( )( )

k= Dkja j

j=1

p

∑

€

χ2 a( ) ≈ χ2 0( ) +12

Dkjaka jj=1

p

∑k=1

p

∑ , a = θ −θmin

€

Δχ2 a( ) ≈ 12∇aχ2 a( ) • a

Aproximacionessucesivas(II)�  Paraaproximarnoshaciaelmínimohayquebuscarladireccióndelgradientedeχ2enelespaciodeparámetrosymovernosenlamismadirecciónysentidoopuesto(steepestdescent)poraproximacionessucesivas

€

a ≈ −const.∇aχ2 a( )

Aproximacionessucesivas(III)� Convergenciaynúmerodeiteracionesnecesariasdependende:�  Comportamientodelafunciónχ2

�  Toleranciaenlaprecisiónrequerida

�  Buenaeleccióninicialdeparámetros

Aproximacionessucesivas(IV)� Paraencontrarladireccióndemáximapendiente,sebuscanlosautovaloresdelamatrizHessianaD,yseidentificaelmayor.

�  LamatrizHessianasepuedeaproximarusandosóloderivadasprimerasdelmodelo:

€

∂ 2χ2 a( )∂ak∂al

= 2 1σ i2

∂f xi;a( )∂ak

∂f xi;a( )∂al

− yi − f xi;a( )[ ]∂2 f xi;a( )∂ak∂al

&

'

( (

)

*

+ + i=1

N

∑

Despreciablecercadelmínimo

Alterna7vas:simplex� Utilizafigurasimplededimensiónp+1

�  Valoresiniciales� Realizaunaseriedeoperacionesbuscandounvalormenordelafunción:�  Sevacontrayendoydeformandoadaptándoseal“valle”�  Separaalencogersehastaundeterminadotamaño:mínimo

Alterna7vas:fuerzabruta�  Fuerzabruta:

�  Calcularelvalordeχ2enunaporciónsuficientementegrandedelespaciodeparámetrosyconsuficienteresoluciónparaencontrarelmínimo.

�  Sepuedeutilizarestemétodoparaunaestimacióninicialdelosparámetrosydespuésrefinarlasconalgunodelosmétodosanteriores.

� Ojoconlosmínimoslocales,convienerepetirempezandoconotrosvaloresiniciales

Medidacuantitativa

Bondaddeunajusteporχ2 � Cantidadrelacionadaconlaprobabilidaddequelosdatosprovengandeunmodeloconlosvaloresajustados.

� Enningúncasoindicasielajusteesbuenoomalo;lavaloraciónrequiereuncriterioadicionalarbitrario.

� AplicableacualquiermodeladoqueutilizeelmétododemáximaverosimilitudatravésdelTeoremadeWilks

� Basadoenpropiedadesestadísticasdeχ2:sumadevarianzasdevariablesgaussianasindependientes.

Densidaddeprobabilidaddeχ2

€

ρν χ2( ) =

1/2

Γν2& ' ( ) * +

e−χ 2

2 χ2

2&

' (

)

* +

ν2−1

Formulación

�  Laprobabilidaddequeelestadísticoχ2supereelvalormínimoalcanzadoχ2

mindebesergrandeparaqueelajusteseabueno(Q)�  Equivalentemente,laprobabilidaddeelestadísticoχ2seamenorqueelalcanzadodebeserpequeñaparaqueelajusteseabueno.(P=1-Q)

� Dependedelosgradosdelibertad(degreesoffreedomdof):Númerodedatosindependientes–númerodeparámetrosajustados:ν=N-p

P ν, χ 2( ) = 1Γ ν / 2( )

dt e−t tν /2−10

χ 2 /2

∫ Q ν, χ 2( ) =1−P ν, χ 2( ) = 1Γ ν / 2( )

dt e−t tν /2−1χ 2 /2

∞

∫

BondaddelajusteQ

�  Q=1-P=P(H0): H0esqueelmodelocorrespondeconlosdatos�  Q<<significaqueelmodelonocorrespondealosdatos�  P<<indicaqueelmodelopuedecorresponderalosdatos

�  Pnosiempreespequeño,debidoaquelosmodelosraramenteconstituyenunadescripcióncompletadelosdatos.Sigrande:�  Modeloincorrecto�  σidemasiadopequeños(tambiénpasaqueP<<: σidemasiadograndes)�  σinogaussianos

�  Aproximaciónconservadora:LaprobabilidadQdebesermuypequeña(<0.01%)paraquesepuedaafirmarqueelmodelonoesconsistenteconlosdatos.

P ν, χ 2( ) = 1Γ ν / 2( )

dt e−t tν /2−10

χ 2 /2

∫ Q ν, χ 2( ) =1−P ν, χ 2( ) = 1Γ ν / 2( )

dt e−t tν /2−1χ 2 /2

∞

∫

Q

Q

SignificadodeQ (http://astronomy.swin.edu.au/~cblake/stats.html)

�  SupongamosqueuntestdaQ=0.01 � Estosignifica:

� Hayunaprobabilidaddel 1%deobtenerunconjuntodemedidastandiscrepantesomásqueestassielmodeloescorrecto

� EstoNOsignifica:�  Laprobabilidaddequeelmodeloesverdaderoes1% �  Laprobabilidaddequeelmodeloesfalsoes99% �  Sirechazamoselmodelohayunaprobabilidaddel1%deequivocarnos

�  LaestadísticaBayesianarespondeaestetipodecuestiones

χ2reducido

�  Paravaloresgrandesdelnúmerodegradosdelibertadν,elvalormediodeχ2esν�  Intuitivamente,cadagradodelibertadcontribute~1

�  Elmáximotambién~ν�  Lavarianzaes2ν

�  Uncriterioindicativodeunbuenajusteesqueχ2red=χ2/νseadelordendelaunidad.

¿Esunmodelomejorqueotro?� Preguntapocointeresante,salvoqueunmodelorepresentelaextensióndeotro,conelmismoconjuntodedatos:� Modelo1:Ndatos,p1parámetros,ν1=N-p1,χ21� Modelo2:Ndatos,p2parámetros,ν2=N-p2,χ22

�  Lógicamenteañadiendoparámetrosalmodeloyminimizandosedebenobtenervaloresmenoresdelχ2�  Sip2>p1entoncesχ22<χ21

F-test�  ElestadísticoFenestecasosedefinecomo

�  Paraqueelmodelo2mejoreel1,laprobabilidadPdebeserpequeña

�  Ahoranomultiplicamospor2porqueeltestesunilateral

F =

χ12 − χ2

2

ν1 −ν2χ22

ν2

P H0 ≡ equivalentes( ) = I ν2ν2+(ν1−ν2 )F

ν22,ν1 −ν2

2#

$%

&

'(

Mejoradelmodelo:guíaprác7ca� Concepto:Lainclusióndeunnuevoparámetroenelmodelodebebajarelvalordelχ2en“varias”unidadesparasersignificativa:� Unparámetro“ad-hoc”siemprepuedeanularlacontribucióndeundatoalχ2,esdecirΔχ2~1enunmodelobueno

� Unamejorasignificativa(an-sigma,conn=295%,n=399.73%,etc)debemejoraralrededordeΔχ2~n2×Δp

Intervalosdeconfianza

Obje7vo� Asignarerroresestadísticosalosparámetrosestimadosmediantelaminimizacióndelχ2

�  Intervalosdeconfianza:zonasdelespaciodeparámetrosdentrodelascualesseencuentranlosvaloresverdaderosdelosparámetrosconaltaprobabilidad:�  1-sigma68.3%(erroresestándar)�  90%�  2-sigma95.4%

Intervalosyzonasdeconfianza

Lagranventaja:Métododevariacióndelχ2�  Lazonaencerradaporχ2min+Δχ2contieneunaprobabilidadconocidaytabuladadecontenerlosvaloresdelosparámetros� Dependedelnúmerodeparámetroscuyosintervalosdeconfianzaquieranobtenersesimultáneamente

1σ(68.3%)Δχ2=2.30

2σ(95.4%)Δχ2=6.17

3σ(99.73%)Δχ2=11.8

Métododevariacióndelχ2Númerodeparámetrossobrelosqueobtenerelerrorsimultáneamente

Probabilidadencerrada

1parámetro 2parámetros

68.3%(1σ) 1.00 2.30

90.0% 2.71 4.61

95.4%(2σ)

4.00 6.17

99% 6.63 9.21

99.73%(3σ)

9.00 11.8

Δχ2

Ejemplo(1parámetro)

€

τGP = 0.04−0.03+0.02 (2σ )

τGP = 0.04−0.01+0.01 (1σ )

Ejemplo:AjusteaconstanteMínimoscuadrados

f (x;a) = a

χ 2 a( ) = yi − aσ

"

#$

%

&'

2

i=1

N

∑ =yi − a( )2

i=1

N

∑σ 2

mínimo ∂χ 2 a( )∂a

a=a0

= 0 =−2 yi − a0( )

i=1

N

∑σ 2 ⇒ a0 =

yii=1

N

∑N

= y

Δχ 2 =1=yi − a1σ( )2

i=1

N

∑σ 2 −

yi − y( )2

i=1

N

∑σ 2 =

N a1σ − y( )2

σ 2 ⇒ a1σ = y ±σN≅ y ± s

N

•  Ejemplounidimensional:σi=σ constante•  Soluciónanalítica•  Mínimoχ2 correspondeconelpromedio•  ErrorΔχ2(1σ)correspondeconelerror

enelpromedio

Ejemplo(1parámetro):Ajusteaconstante

f (x;a) = a

χ 2 a( ) = yi − aσ i

"

#$

%

&'

2

i=1

N

∑

mínimo ∂χ 2 a( )∂a

a=a0

= 0 = −2yi − a0( )σ i

2i=1

N

∑ ⇒ a0 =

yiσ i

2i=1

N

∑1σ i

2i=1

N

∑= y

Δχ 2 =1= yi − a1σ

σ i

"

#$

%

&'

2

i=1

N

∑ −yi − yσ i

"

#$

%

&'

2

i=1

N

∑ =1σ i

2i=1

N

∑"

#$

%

&' a1σ − y( )

2⇒ a1σ = y ±

11σ i

2i=1

N

∑= y ±σ y

•  Ejemplounidimensional•  Soluciónanalítica•  Mínimoχ2 correspondeconlamediaponderada•  ErrorΔχ2(1σ)correspondeconelerrordelamediaponderada

Parámetros“nointeresantes”�  Amenudolosmodeloscontienen

parámetros“nointeresantes”�  Ejemplo:calibración

�  Sepuedereducirladimensionalidadminimizandosobrelosparámetros“nointeresantes”:TeoremadeWilks

�  LosΔχ2correspondientesdebenserlosdelnúmerodeparámetrosrestantes�  Loserroressobre1parámetrono

seobtienendeproyectarlosintervalosdeconfianzade2parámetros

�  HayqueproyectarelcontornocorrespondienteaΔχ2=1(para1σ),4(para2σ)...

Lamptonetal(1976),ApJ,208,177

Erroresconparámetros“nointeresantes”

�  Considéreseunmodelocon2parámetrosajustados(θ1,θ2),delosquesolointeresaestimar(conerrores)θ1.

€

χ12 θ1( ) =minθ 2 χ

2(θ1,θ2)

€

χ12 θ1( ) ≠ χ2 θ1,θ2min( )

Sí

No

=θ1

=θ2

�  Minimizarχ2(θ1,θ2)respectoalosdosparámetros,obteniéndose(θ1

min,θ2min)

�  Construirlafunción

�  “Siguiendoelvalle”:paracadavalordeθ1hayqueencontrarelθ2queminimizaχ2

�  Importante:NOUTILIZAR

�  Estafunciónesmínimaparaθ1min

�  Loserroresenθ1sedebenconstruirusandoχ21(θ1)usandolosvaloresdeΔχ2paraunsoloparámetro.

Ejemplo:Casolinealsisolointeresalapendientef (x;a,b) = a+ bx

χ 2 a,b( ) = yi − a− bxiσ i

"

#$

%

&'

2

i=1

N

∑

mínimo para b fija∂χ 2 a,b( )

∂aa=amin

= 0 ⇒ amin (b) =SyS− b Sx

S= A− bB ,amin (b0 ) = a0

⇒ χ 2 b( ) = yi − amin (b)− bxiσ i

"

#$

%

&'

2

i=1

N

∑

mínimo absoluto∂χ 2 b( )∂b

b=b0

= 0 ⇒ b0 =SSxy − SxSy

Δ, χmin

2 = χ 2 (b0 )

χ 2 b( ) = χmin2 +

b− b0

σ 0

"

#$

%

&'

2

, 1σ 0

2 = Sxx −Sx

2x

S⇒ δ = Δχ 2 =

bδ − b0

σ 0

"

#$

%

&'

2

, bδ = b0 ±σ 0 δ

•  Soluciónanalíticaenestecaso•  Alminimizarena,quedaunafunción

únicamentedeb,queesunaχ2 (ν=1) •  Elmínimoabsolutoeselmismoqueencaso

dedosparámetros,porsupuesto•  χ2(b) esunaparábolacentradaenb0:

intervalosdeconfianzasimétricos

Ejemplo:UsodeΔχ2(http://astronomy.swin.edu.au/~cblake/stats.html)

�  Ajusteaunarectay=ax+bporχ2:�  a0=0.16 b0=0.83 χ2

min=4.28 �  Cálculodeχ2enunamatrizdevalores(ai,bi)

�  Intervalosdeconfianza2Dcomocontornosdeχ2 constante

�  Intervalosdeconfianza1Dminimizandoen1Dparaunpar.fijo

Ejemplo(2parámetros)I(Sección2)� Estudiodelascuentasdegalaxiasendistintaszonasdelcielo

�  Seencontróquehabíaunavarianzaenexcesoconrespectoalaesperadaporelnúmerodefuentes

� Estudiadaconlalog-likelihood:

�  Seencuentraelmínimo(mejorajuste)� ParalosintervalosdeconfianzaseestudianloscontornosdeΔℓ"(~Δχ2)

=xi − x( )

2

σ i2 +σ 2

i∑ + Ln 2π σ i

2 +σ 2( )#$

%&

i∑

Ejemplo(2parámetros)II(Sección2)�  Contornos2D:usandovaloresdeΔχ2paradosgradosdelibertad(1,2,3σ=2.30,6.17,11.8)�  Deteccióndedispersiónintrínsecamuysignificativaporquecontornosnoincluyenorigendeejedeordenadas

�  Peroparaobtenerintervalosdeconfianzaencadaparámetrohayque:�  UsarΔχ2para1gradodelibertad(1,2,3σ=1.00,4.00,9.00)

�  “seguirelvalle” χ2min= χ2(99.3,19.8)

Ejemplo(2parámetros)III(Sección2)�  FijandolosvaloresdelpromedioybuscandoloscorrespondientesmínimosenΔχ2:�  promedio=99.3±0.7(1sigma)

�  FijandolosvaloresdeladispersiónintrínsecaybuscandolosmínimosenΔχ2:�  dispersión=19.8±0.6(1sigma)

χ2min= χ2(99.3)

χ2min= χ2(19.8)

“Calibración”deΔχ2

�  Siloserroresnosongaussianos:�  Sesiguepudiendousarχ2paraencontrarlosvaloresdelmejorajuste

�  SepuedeusarΔχ2paradelimitarlosintervalosdeconfianza

� NOsepuedenusarlasequivalenciasdeΔχ2conlasprobabilidadesdelatablaanterior

�  ¿CómopodemosencontrarlosintervalosdeΔχ2quecorrespondenacadaprobabilidad?�  SimulacionesdeMonteCarlo� UsodeP∝exp(-Δχ2/2)

ConceptoymétododeMonte-Carlo�  Hipótesis:

�  Elmodeloescorrecto�  SiθV

1,…,θVpsonlosvalorescorrectos(desconocidos)del

modeloyθmin1,…,θmin

psonlosvaloresobtenidosporlaminimizacióndelχ2,ladistribuciónenθ-θVeslamismaqueenθ-θmin.

�  Supongamosmodeloyparámetrosθmin1,…,θmin

p�  SimularNconjuntosdeNdatos(xi(k),yi(k),σi

(k),i=1,…N)

�  Ajustaracadasimulación(k=1,…, N)elmodelomidiendoparámetrosθ(k)

1,…,θ(k)p

�  UsarlosNvaloresdeθ(k)j(k=1,…, N)paradeterminarla

funcióndensidaddeprobabilidaddelparámetroθj,suponiendoqueelvalorverdaderoesθmin

j�  Calcularintervalosycontornosdeconfianzausandoqueladistribuciónalrededordeθmin

jeslamismaquealrededordeθV

jparacadaparámetroj=1,…p

EsquemamétodoMC

Simulaciónk=1

Simulaciónk=N

Parámetrosajustados:θ(1)

1,…θ(1)p

Parámetrosajustados:θ(N)

1,…θ(N)p

Suponermodeloypar.θmin

1,…θminp

θ1

p(θ 1)

θ1min

θpp(θ p)

θpmin

MétodoMC(II)� Zonacentradaenθ1

min,…θp

min,queincluyalaprobabilidaddeseada,ylimitadaporχ2=cteeszonadeconfianza�  Tambiénsuusandolog-likelihood:ℓ cte

�  SiN>>eidénticamentedistribuidos:bootstrap� Noválidoporejemploparaespectros...

95%delassimulaciones

χ2=cte

Probabilidadesapar7rdeΔχ2 o Δℓ�  Sepuedeobtenerlaprobabilidadapartirdelaverosimilitud�  Sesueledividirlaverosimilitudporsuvalormáximo

� Técnicageneraldeprobabilidades:seintegraatodoelespaciodecadaparámetro“nointeresante”

�  Senormalizaalespaciodelosparámetros“interesantes”,demaneraque

� Yestaprobabilidadseusadirectamente:� Moda:máximaprobabilidad,mejorajuste�  Intervalosdeconfianza

P(θ1 ,...,θq ) = dθq+1∫ ... dθ p∫ P(θ1 ,...,θq,θq+1,...,θ p )

P(θ1 ,...,θ p )∝ exp(−Δ(θ1 ,...,θ p ) / 2)

1= dθ1∫ ... dθq∫ P(θ1 ,...,θq )

Ejemplo:UsodeΔℓ (http://astronomy.swin.edu.au/~cblake/stats.html)

� P(a,b)∝exp(- Δχ2(a,b)/2) � Normalizando∑i∑j P(ai,bj)=1

� P(a)=∑j P(a,bj) � P(b)=∑iP(ai,b)

Pressetal.(1992),“NumericalRecipes”,CUP

Introducción� Ocurreamenudoquelasmedidasenxeyestánsujetasaerroresenamboscasos,i.e.losdatosson:�  x1,…,xNconerroresσxi,…,σxNrespectivamente�  y1,…,yNconerroresσyi,…,σyNrespectivamente

�  Siseusaχ2paraajustaryfrenteax(ignorandoloserroresenx)saleunresultadodistintoaajustarxfrenteay,ignorandoloserroreseny.

Funcióndeverosimilitud

€

L =12πσ xii=1

N

∏ 12πσ yi

exp −12

x − xiσ xi

&

' (

)

* +

2

+y − yiσ yi

&

' (

)

* +

2&

'

( (

)

*

+ +

&

'

( (

)

*

+ +

Modelo:Unarelaciónentrexey,conparámetrosadeterminar(porejemploy=f(x))

Máximaverosimilitud:minimizarloski2conla

condicióny=f(x)

€

ki2 =

(x − xi)2

σ xi2 +

(y − yi)2

σ yi2

Regresiónlineal� Minimizarloski

2conlacondicióny=a+bx� Enelespacio(x,y)cadavalordeki

2defineunaelipsecentradaen(xi,yi),tantomayorcuantomayoreski

2� Elvalordeki

2mínimocompatibleconelmodelo,correspondealaelipsetangentealarecta.

y

x

k12>k2

2>k32

Regresiónlineal:Solución

ki2 =

yi − a− bxi( )2

σ yi2 + b2σ xi

2

Setrataportantodeminimizarlasiguientefunciónχ2

€

χ2 a,b( ) =yi − a − bxi( )2

σ yi2 + b2σ xi

2i=1

N

∑

LasoluciónnoesanalíticanitansiquieraenelcasolinealLoserroresenx“contribuyen”aloserroresdelχ2peroatravésdelparámetrob

Sustituyendoy=a+bxenlaexpresióndeki2,buscandounasoluciónúnica

parax(rectatangente):

Ejemplo:Regresiónlinealconerroresenambasvariablesy

pendienteunidad

f (x;a,b) = a+ x

χ 2 a( ) = yi − a− xiσ yi

2 +σ xi2

"

#$$

%

&''

2

i=1

N

∑

mínimo ∂χ 2 a( )∂a

a=a0

= 0 = −2yi − a0 − xi( )σ yi

2 +σ xi2

i=1

N

∑ ⇒ a0 =

yi − xi( )σ yi

2 +σ xi2

i=1

N

∑

1σ yi

2 +σ xi2

i=1

N

∑=TS

Δχ 2 =1= yi − a1σ − xiσ yi

2 +σ xi2

"

#$$

%

&''

2

i=1

N

∑ −yi − a0 − xiσ yi

2 +σ xi2

"

#$$

%

&''

2

i=1

N

∑ = S a1σ − a0( )2⇒ a1σ = a0 ±

1S

•  Ejemplo:b=1 constante•  Soluciónanalítica•  Mínimoχ2 ~media ponderada•  ErrorΔχ2(1σ)~errormediaponderada

Ejercicio4� ArchivoEjercicio4_Datos.xls

http://venus.ifca.unican.es/~carreraf/Estadistica/Ejercicios!

� En ese fichero hay una tabla que contiene la cantidad denoches perdidas por mal tiempo en un observatorioastronómico, por meses y años. En este ejercicio sepretendeanalizartantolaposiblevariaciónestacionalcomoa largo plazo de la fracción de noches que se pierden pormaltiempo.

Ejercicio4.11.  Considerando los distintos meses de cada año como muestras estadísticas

independientes, calcular la fracción de noches perdidas pormal tiempo cadaaño (hay que tener en cuenta que los meses tienen un número de nochesdistinto), y estimar la dispersión cuadrática media en dicha cantidad,suponiendo que sea gaussiana. Con esto se consigue una secuencia de datosxi,yi,σi (dondexieselaño,yilafraccióndenochesperdidaspormaltiempoeseaño,σisuerrorestadístico)alosquesepuedeaplicarlaestadísticaχ2.a.  Suponiendo que la fracción de noches perdidas no varía con el año (constante)

estimaresevalorconstante,ydarsuintervalodeconfianzaal90%usandoelmétododevariacióndelχ2.

b.  Calcular la bondad del ajuste, es decir la probabilidad de queχ2 seamayor que elmedidoenelsupuestodequeelmodeloseacorrecto.

c.  Unmodelodecambioclimáticosimple,prediceque la fraccióndenochesperdidaspormaltiempocrecelinealmenteconeltiempo(años).Ajustarunarecta(constantemás pendiente), estimar los dos parámetros minimizando el χ2. Dar intervalos deconfianzaal90%yal99%delapendientedeesteajuste.

d.  UsandoelestadísticoF-test,¿conquéprobabilidadlamejoraenelχ2introducidaporelmodelodelapartadoanteriormejoraelmodeloconstante?

Ejercicio4.22.  Considerarahoralavariaciónestacional,esdecirmesames,calculando

para cadames la fracción de noches perdidas pormal tiempo, usandotodos los añosdisponibles, y estimando la dispersión cuadráticamediaenestamedidasuponiendogaussianidad.a.  ¿Sonlosdatoscompatiblesconquenohayavariaciónestacional(mesames?

Para ello ajustar una constante y calcular la probabilidad de que el χ2 seamayorqueelmedidosielmodeloescorrecto.

b.  Suponerahoraunmodeloenelque la fraccióndenochesperdidaspormaltiempo es una constante más una sinusoide de período anual (12 meses).Calcular los parámetros de este modelo (3 parámetros libres en total: laconstantefc,laamplituddelasinusoidefe yelorigent0).Estimaral90%deconfianza, el valor de la amplitud de la componente estacional eindependientemente,delacomponenteconstante.

f=fc+fesin(2π(t-t0)/τ)c.  Considerando los dos parámetros de amplitud fc y fe simultáneamente,

delimitar(usandoelmétododelavariacióndelχ2)lazonaeneseespaciodeparámetrosquecontieneel95.4%deconfianza.

https://heasarc.gsfc.nasa.gov/xanadu/xspec/manual/XSappendixStatistics.html!

Introducción� OcurreamenudoquesemideunavariablediscretasobreunfondoconunnúmeromediodecuentasquenojustificaunaaproximaciónGaussiana

� Enestascircunstancias,seusaunestadístico~Cash� Definiciones:

�  SemidenBcuentasenelfondoduranteuntiempotb �  SemidenTcuentastotalesduranteuntiempots �  Latasadecuentasdelfondoesb(parámetronointeresante)

�  Latasadecuentasdelafuenteess (parámetroadeterminar)

MínimoscuadradosI� Entérminosdeχ2:� Denuevo,besunparámetronointeresante,paracadascalculamoselfondob0queminimizalafunción

� Yentonces

LS(s,b) = T − ts (s+ b)[ ]2 + B− tbb( )2

∂LS(s,b)∂b b=b0

= 0⇒ b0 (s) =(Tts +Btb )− ts s

ts2 + tb

2 =αs+β

LS(s) = T − ts s+ b0 (s)[ ]{ }2+ B− tbb0 (s)[ ]2

MínimoscuadradosII� Cuyomínimos0secalculamediante:

� Casomássencillo:ts=tb=t

∂LS(s)∂s s=s0

= 0⇒ s0 =(1+α)ts (T − tsβ)+αtb(B− tbβ)

(1+α)2 ts2 +α 2tb

2

b0 (s) =(T +B)− st

2t=(T +B)2t

−s2=αs+β α = −1/ 2

β = (T +B) / 2t

⎧⎨⎪

⎩⎪

s0 =

t2T − T +B

2⎛

⎝⎜

⎞

⎠⎟+ −

t2

⎛

⎝⎜

⎞

⎠⎟ B−

T +B2

⎛

⎝⎜

⎞

⎠⎟

t2

4+t2

4

=T −Bt

b0 (s0 ) = −12T −Bt

+T +B2t

=2B2t

=Bt

χ2I� Entérminosdeχ2:� Denuevo,besunparámetronointeresante,paracadascalculamoselfondob0queminimizalafunción

� Yentonces

χ 2 (s,b) =T − ts (s+ b)[ ]2

T+B− tbb( )2

B

∂χ 2 (s,b)∂b b=b0

= 0⇒ b0 (s) =(ts + tb )− ts

2s /Tts2 /T + tb

2 / B=αs+β

χ 2 (s) =T − ts s+ b0 (s)[ ]{ }

2

T+B− tbb0 (s)[ ]2

B

χ2II� Cuyomínimos0secalculamediante:

� Casomássencillo:ts=tb=t

∂χ 2 (s)∂s s=s0

= 0⇒ s0 =

(1+α)tsT

(T − tsβ)+tbαB(B− tbβ)

(1+α)2 ts2

T+α 2tb

2

B

b0 (s) =1t2− ts /T1/T +1/ B

=αs+βα = −

1/T1/T +1/ B

β =2 / t

1/T +1/ B

⎧

⎨⎪⎪

⎩⎪⎪

s0 =1t

1/ B1/T +1/ B⎛

⎝⎜

⎞

⎠⎟ T −

21/T +1/ B

⎛

⎝⎜

⎞

⎠⎟+ −

1/T1/T +1/ B

⎛

⎝⎜

⎞

⎠⎟ B−

21/T +1/ B

⎛

⎝⎜

⎞

⎠⎟

1/ B1/T +1/ B⎛

⎝⎜

⎞

⎠⎟2

+1/T

1/T +1/ B⎛

⎝⎜

⎞

⎠⎟2 =

T −Bt

b0 (s 0 ) = −1/T

1/T +1/ BT −Bt

+2 / t

1/T +1/ B=1tB /T +11/T +1/ B

=1tB /T +B / B1/T +1/ B

=Bt

FuncióndeverosimilitudI�  Lasdosmedidassonindependientes,asíquelaprobabilidadconjuntaes:

� Denuevo,usamoslalog-likelihoodℓ=-2LnP�  Salvoconstantes:

ℓ=-2{T Ln[ts(s+b)]-ts(s+b)+B Ln(btb)-btb}�  besunparámetronointeresante,paracadascalculamoselfondob0queminimizalafunción

P(s,b) =ts (s+ b)[ ]T e−ts (s+b)

T !×tbb[ ]B e−tbb

B!

∂(s,b)∂b b=b0

= 0

FuncióndeverosimilitudII

� Trasunpocodeálgebra:

� Elmejorajustepara sesentonceselmínimode:

ℓ=-2{T Ln[ts(s+b0)]-ts(s+b0)+B Ln(b0tb)-b0tb}�  Intervalosdeconfianzaen sdadosporΔℓ=Δχ2(ν=1)

b0 =d + (T +B)− s(ts + tb )

2(ts + tb )d = T +B( )− s ts + tb( )"# $%

2+ 4TB(ts + tb ) b0 ≥ 0

FuncióndeverosimilitudIII� Casos especiales:

�  T=0: b0=B/(ts+tb) ⇒ℓ=2{sts+B+B Ln[Btb/(ts+tb)]} �  mínimos0=0:Δℓ=1⇒s1σ<1/2ts límitesuperior1σ

�  B=0:b0=T/(ts+tb)-s≥0 dosposibilidades�  s≤T/(ts+tb): ℓ=2{-stb+T-TLn[Tts/(ts+tb)]}↓s↑⇒ mínimo s0=T/(ts+tb) ⇒ b0=0

�  b0=0: ℓ=2{sts-TLn[sts]} ⇒ mín s0=T/ts �  Δℓ=1=2{s1σts-TLn[s1σts]-T+TLnT} �  Solución:raícesdex-Lnx-a=0

�  x=s1σts/T �  a=1+1/2T>1�  Funciónproducto-logx=-W(-e-a)

�  Dosraícespara a>1 �  Para T=1: a=1.5 raíces x=0.30, 2.36 �  Para T>1 lasraícesseaproximanmás

�  Acotado por x=0 por abajo

http://www.wolframalpha.com!

FuncióndeverosimilitudIV� Casos especiales:

�  B=0:b0=0 ⇒ℓ=2{sts-TLn[sts]} �  mínimo s0=T/ts: Δℓ=1 �  Solución:raícesdex-Lnx-a=0

�  x=s1σts/T �  a=1+1/2T>1�  ForT>> x=1±ε , Ln(1±ε)~±ε-ε2/2

�  1±ε-±ε+ε2/2=1+1/2T⇒ε=±√T �  s1σ=s0±√T/ts errorgaussiano

http://www.wolframalpha.com!

Ejemplo:regímenesPoissonianoyGaussiano

� Doscasos:�  B=2, tb=2s y T=3, ts=2s

�  s0=0.5, b0=1 �  intervalo Δℓ=9: Pois [0,5.02] Gaus [0,3.85]

�  B=20, tb=20s y T=30, ts=20s �  s0=0.5, b0=1 �  intervalo Δℓ=9: Pois [0,1.63] Gaus [0,1.56]

Ejemplo:regímenesPoissonianoyGaussiano

�  LimitacionesdeΔℓ=Δχ2 paradeterminarlosintervalosdeconfianza:�  Cuandoestamoscercadellímitededefinicióndeunodelosparámetros(latasadecuentassnopuedesernegativa)

�  PorqueΔχ2asignaprobabilidadazonasnoútiles

Ejemplo:regímenesPoissonianoyGaussiano

� CalculandolaprobabilidadcomoP(s)∝exp(-Δℓ/2) � NormalizandoPℓ(s)as>0:

�  Parabajonúmerodecuentas:probabilidadmuchomásextendidaavaloresgrandesdes

�  Paraaltonúmerodecuentas:muchomássimilares