Estimación MCO

Estimación por MCO

U LimaProf. Pablo J. Azabache La Torre

Función de Regresión Poblacional

La población es de 526 individuos de los cuales se ha recopilado información sobre su salario por hora y el número de años de estudio. Cómo estimamos los parámetros B0 y B1?

-5

0

5

10

15

20

25

30

0 2 4 6 8 10 12 14 16 18 20

Salario en función de los años de estudio

Función de regresión poblacionalE[Y/X]=B0+B1X

E[Y/X]=-0,90+0,54X

Derivación de los estimadores MCO (continuación…)

¿Cómo se estiman los parámetros B0 y B1?

Para esto necesitamos una muestra de la población:{(xi,yi): i=1....n}, esta es una muestra aleatoria de tamaño n. Dada esta muestra podemos escribir:

Ahora tenemos que decidir cómo usar estos datos para lograr valores estimados del término constante y de la pendiente en la regresión poblacional.

iii xy 10

0

2

4

6

8

10

12

14

16

0 2 4 6 8 10 12 14 16 18 20


iii xy 10

De la población se tomo una muestra de 32 familias, en la realidad sólo se tienen una muestra de la población. El gráfico presenta los puntos y su función de regresión de esta muestra. Cómo estimar los parámetros de esta muestra?

Dada la muestra de tamaño n ,{(xi,yi): i=1....n}, debemos de decidir como usar estos datos para lograr valores estimados del término constante y de la pendiente de la FRP.

Para esto usamos el supuesto:

E[u/x]=0

En la población: “u” tiene una media nula y no está correlacionada con x.

E[u]=0 y COV[x,u]=0COV[x,u]=E(x)E(u)=0... Sólo por que x y u son independientes


La covarianza mide el grado de dependencia lineal que existe entre dos variables aleatorias:

Una covarianza positiva indica que dos variables aleatorias se muevan en la misma dirección.Una covarianza negativas indica que dos variables aleatorias se muevan en direcciones opuestas.

Nota.- Que la covarianza entre x y y sea cero no implica independencia ¿Porqué?

Si Y=X2 su covarianza es cero. Pero si se conoce X se conoce Y, es extraño que su covarianza sea cero. Pero recuérdese que la covarianza mide el grado de dependencia lineal.



Dados estos dos supuestos: Media de los errores igual a cero e independencia lineal entre u y x. Podemos escribir:

0][)( 10 xyEuE 0)]([)( 10 xyxEuxE

Podemos esperar obtener buenos estimadores de B0 y B1. Dada la muestra de datos, elegimos los valores estimado de B0 y B1 tal que se cumpla las contrapartidas muéstrales de las 2 ecuaciones anteriores:

0]ˆˆ[1

101

n

iii xyn

0)ˆˆ(1

101

n

iiii xyxn


xy 10ˆˆ

n

i i

n

i ii

xx

yyxx

1

2

11

)(

))((̂

Estos son los valores estimados por mínimos cuadrados ordinarios.


0)(1

2

n

i i xx

Si la varianza de x es cero entonces no se puede estimar los estimadores MCO.


0

2

4

6

8

10

12

14

16

0 2 4 6 8 10 12 14 16 18 20

Función de regresión muestralYi=1,51+0,36Xi

En base a la muestra y con las formulas obtenidas estimamos los estimadores MCO.


Valores ajustados:

ii xy 10ˆˆˆ

Valores residuales:

iiiii xyyy 10ˆˆˆˆ

Estos residuos no deben confundirse con los errores o el término de perturbación.


El residuo para la observación i es la diferencia entre el valor verdadero yi y su valor ajustado.


Observación: Supongamos que escogemos los estimadores MCO tal que minimicen la suma de los cuadrados de los residuos:

n

iii

n

i

xyi

1

210

1

2 )ˆˆ(ˆmin

Solución: Esta se denominan las condiciones de primer orden. La expresión MCO, vienen del hecho que estos valores estimados minimizan la suma de los cuadrados de los residuos.

0]ˆˆ[1

101

n

iii xyn

0)ˆˆ(1

101

n

iiii xyxn


Dado que obtenemos la función de regresión muestral para una muestra de datos determinada, una nueva muestra dará lugar a una pendiente y un término constante diferentes.

-2

0

2

4

6

8

10

0 2 4 6 8 10 12 14 16 18 20

Función de Regresión Poblacional Función de Regresión Muestral

Función de regresión poblacionalE[Y/X]=B0+B1X

E[Y/X]=-0,90+0,54X

Función de regresión muestralYi=1,51+0,36Xi

Funcionamiento del Método MCO

UPCProf. Pablo J. Azabache La Torre

I. Valores ajustados y residuos1.- Propiedades algebraicas de los estadísticos

a.- La suma y por lo tanto la media muestral de los residuos MCO es nula. Esto se deriva de la condición de primero orden.

0ˆ1

n

ii

b.- La covarianza muestral entre los regresores y los residuos MCO es nula. También viene dado por una de las condiciones de primer orden.

0ˆ1

n

iiix

c.- La media muestral de x e y , (x¯,y¯), están sobre la recta de regresión MCO.

Valores ajustados y residuos (continuación…)

Otras consideraciones:

iii yy ̂ˆ )ˆ()ˆ()( iii EyEyE

yy ˆDemuestre que los valores ajustados y los residuos están incorrelacionados.


Definamos:

n

ii yySTC

1

2)(

n

ii yySEC

1

2)ˆ(

Suma total de cuadrados: Es una medida de la varianza muestral total en las yi.

Suma explicada de cuadrados: mide la variación muestral de los valores predichos.

Suma de los cuadrados de los residuos: mide la variación muestral de los residuos.

n

iiSCE

1

2̂


STC= SEC + SCE

Demostrarlo. Para esto tiene que demostrar que la covarianza entre los valores estimados de yi y los residuos es cero.


Bondad de ajuste:Cómo medir la capacidad de la variable x de explicar a la variable y? A menudo resulta útil calcular un número que resuma hasta que punto la recta de regresión MCO se ajusta bien a los datos.

STC= SEC + SCE1 = SEC/STC + SCE/STC

Luego el R2 o coeficiente de determinación es definido como:

R2= SEC/STC= 1 – SCE/STC


Bondad de ajuste:R2= SEC/STC= 1 – SCE/STC

Se interpreta como la fracción de la variación muestral en y que viene explicada por x.

0≤R2 ≤1Si todos los puntos de la muestra se encuentran sobre la misma recta, la recta MCO se ajusta perfectamente a los datos.Es el porcentaje de la variación muestral de y que viene explicada por x.Si R2 es cercano a cero, indica que la recta MCO da un ajuste de baja calidad, y la variación de yi está muy poco representada por la variación de ŷi

II. Valores esperados y varianzas de los estimadores MCO

Insesgadez del estimador MCO

Demostrar que

1100 )ˆ()ˆ( EyE

Recuerde que en la demostración los valores esperados están condicionados a los valores de las variables independientes de la muestra. Dado que STCx y (xi-ux), son funciones de las xi entonces no son aleatorias cuando se condicionan.

Documents

Estimación MCO