20112ICN338V8 Modelo RL Multiple

Modelo de Regresión Múltiple

Regresión Lineal Múltiple

2

Estimación y Predicción en Modelos de Regresión

Múltiple

• Las hipótesis del modelo:

1. Las variables se miden sin error y los parámetros son lineal.

2. Se especifica la siguiente ecuación:

ó:

X fija (no aleatoria)

r(X) = k+1 < n

E(t) = 0

;...11 tktktt xxy nt ,...,1

xy

3. Los errores tienen una esperanza matemática igual a cero. 4. V(t) = 2 constante e independiente de "t" (homocedasticidad) 5. Cov.(t, ) = 0 t (Ausencia de autocorrelación entre los errores) 6. Los parámetros "" y "s" no tienen restricciones a priori 7. t ~ N

Estimación y Predicción en Modelos de Regresión

Múltiple

• Resultado:

– Bajo supuestos 1, 2 y 5, los E.M.C. de , 1, ...,k son lineales en

"y" e insesgados

• Los E.M.C.

– Dentro del modelo general, consideremos una ecuación más simple

con dos variables independientes:

tttt xxy 2211

Estimación y Predicción en Modelos de Regresión

Múltiple

• Definimos la ecuación estimada como

tt

E

t xxy 2211ˆˆˆ

• Se define:

2

22

1

1121 )ˆˆˆ()ˆ,ˆ,ˆ( t

n

t

tt xxyS

• Los E.M.C. surgen de minimizar la expresión anterior con

respecto a los coeficientes de regresión estimados:

)ˆ,ˆ,ˆ(mín 21 S

Estimación y Predicción en Modelos de Regresión

Múltiple

0)1)(ˆˆˆ(20ˆ

2211

ttt xxy

S

)1(

0))(ˆˆˆ(20ˆ 12211

1

tttt xxxy

S

)2(

0))(ˆˆˆ(20ˆ 22211

2

tttt xxxy

S

)3(

Estimación y Predicción en Modelos de Regresión

Múltiple

• La ecuación (1) se puede escribir:

ttt xxny 2211ˆˆˆ

2211ˆˆˆ xxy

2211ˆˆˆ xxy

Estimación y Predicción en Modelos de Regresión

Múltiple

• La ecuación (2) se puede arreglar como:

tttttt xxxxxy 212

2

1111ˆˆˆ

ttttt xxxxnxxyxy 212

2

11122111ˆˆ]ˆˆ[

][ˆ][ˆ 21212

2

1

2

1111 xxnxxxnxyxnxy ttttt

1221111ˆˆ SSS y )'2(

2221212ˆˆ SSS y )'3(

Estimación y Predicción en Modelos de Regresión

Múltiple

• Alternativamente:

y

y

S

S

SS

SS

2

1

2

1

2212

1211

ˆ

ˆ

xyxx SS

xyxx SS 1

Estimación y Predicción en Modelos de Regresión

Múltiple

• Bondad de ajuste. Sea:

ttt xy

t

E

t xy ˆˆ

xy ˆˆ

xx

xy

S

S

Estimación y Predicción en Modelos de Regresión

Múltiple

n

t

tt xyRCS1

2)ˆˆ(...

]1[... 2

xyyy rSRCS

0 rxy2 1 (Coeficiente de determinación lineal simple)

• Este concepto se puede extender al modelo de regresión múltiple:

2

...21 kxxxyR

Estimación y Predicción en Modelos de Regresión

Múltiple

• Estimador insesgado para “σ2”:

1

...ˆ 2

kn

RCS

• Resultado:

– Bajo supuestos 1 al 5, los E.M.C. son de varianza mínima

Estimación y Predicción en Modelos de Regresión

Múltiple

• Resultado:

– Bajo supuestos 1 al 6:

)SσN(β -

xx

12,~ˆ

kkkk

k

k

xx

ccc

ccc

ccc

CS

21

22221

11211

2212

Estimación y Predicción en Modelos de Regresión

Múltiple

• Test de hipótesis:

– Cada coeficiente “βi” en forma individual:

H0: βi = βi0 v/s H1: βi βi0

– Se calcula:

)1(~ˆ

ˆ

ˆ 0

ˆ

00

knt

Sct

Hiy

ii

iic

i

Si:

1

2/1

1

2/1

kn

c

kn ttt

Rechazo H0

Estimación y Predicción en Modelos de Regresión

Múltiple

• Los coeficientes “βi” en conjunto:

0:/

0

0

0

: 1

2

1

0

HsvH

k

Estimación y Predicción en Modelos de Regresión

Múltiple

• Se define

]1[..... 2RSRSRCS yy

yySRRCS ....

k

kn

R

R

knRSRCS

kRSRCSRRCSFc

1

1)1/(.....

/.)........(2

2

Estimación y Predicción en Modelos de Regresión

Múltiple

• Coeficiente de determinación corregido por grados de libertad:

)1(1

11 22 R

kn

nR

Estimación y Predicción en Modelos de Regresión

Múltiple

• Predicción

– Predicción puntual

– Intervalo para la predicción

Estimación y Predicción en Modelos de Regresión

Múltiple

Modelo Clásico de Regresión Lineal: Supuestos MCO

20

Modelo Clásico de Regresión Lineal: Supuestos MCO

21

Modelo Clásico de Regresión Lineal: Supuestos MCO

22

Modelo Clásico de Regresión Lineal: Supuestos MCO

23

Modelo Clásico de Regresión Lineal: Supuestos MCO

24

Modelo Clásico de Regresión Lineal: Supuestos MCO

25

Regresión Lineal : Prueba de Hipótesis

26

Homocedasticidad

Una hipótesis estadística es un enunciado sobre los valores que pueden

tomar algunos parámetros en la población hipotética de la cual se toma

la muestra.

Lo que se busca con las pruebas de hipótesis es conocer si un valor del

BETA (estimado) puntual es compatible con la Hipótesis planteada.

27

Regresión lineal múltiple: Prueba de hipótesis

Prueba de Hipótesis en Regresión Múltiple:

1. Prueba de Hipótesis de Coeficientes individuales de regresión

parcial.

2. Prueba de significación global.

En este caso se examinará la hipótesis

nula

H1: no todos los coeficientes son simultáneamente cero.

28

Regresión lineal múltiple: Prueba de hipótesis

Prueba de Hipótesis de significación global:

En este caso se examinará la hipótesis

nula

Al probar la significancia de los parámetros individuales,

no es argumento para probar Hipótesis conjunta.

Prueba F: Los cálculos para este contraste particular se

presentan en tabla de análisis de varianza.

Regla de decisión:

Sí valor F_calculado > valor F_crítico, al nivel de

significancia (α),

Rechazar Ho, de lo contrario aceptar.

29

Regresión lineal múltiple: Prueba de hipótesis

Prueba de Hipótesis de significación global:

Expresiones para realizar esta prueba son:

F = [SEC /(k-1)]/[SRC / (n-1)] Tabla ANOVA

Fα (k-1, n-k) valor crítico de F, de Tabla.

Aplicación del Modelo de Regresión Múltiple

Ejercicio:

Modelamiento Econométrico de Costos

Datos

Resultado Computacional

Dependent Variable: LOG(CNC) Method: Least Squares Date: 03/20/06 Time: 12:09 Sample: 1977 2006 Included observations: 30

Variable Coefficient Std. Error t-Statistic Prob.

C 6.263346 0.196383 31.89356 0.0000 LOG(PROD) -0.363894 0.035896 -10.13746 0.0000 LOG(LEY) -0.755567 0.200462 -3.769128 0.0008

R-squared 0.791942 Mean dependent var 4.332659 Adjusted R-squared 0.776531 S.D. dependent var 0.209463 S.E. of regression 0.099019 Akaike info criterion -1.692379 Sum squared resid 0.264726 Schwarz criterion -1.552260 Log likelihood 28.38569 F-statistic 51.38585 Durbin-Watson stat 1.061546 Prob(F-statistic) 0.000000

Valores Efectivos y Ajustados

Correlogram of Residuals

Correlogram of Residuals Squared

Histogram. Normality Test

BOOTSTRAP

Herramienta que permite sacar conclusiones más robustas sobre

los errores estándares e intervalos de confianza en varios análisis

dentro del programa.

También puede ser usado para construir test de hipótesis.

modelos generados sean

estables y fiables.

método BCa.

BOOTSTRAP

CASO: MODELO REGRESIÓN LINEAL

1.- Planteamiento del fenómeno o tema. Una empresa de bienes

raíces, está analizando la información que debe entregar a los

compradores de sus casas que ofrece. La pregunta que se debe

responder: ¿Cuánto deben pagar por calefacción en meses de

invierno?

Antecedentes del problema:

Se consideran 4 variables para pronosticar el Costo de Calefacción

(variable dependiente):

X1 : Temperatura exterior mínima diaria promedio;

X2 : Número de pulgadas de aislante en la casa;

X3 : Número de ventanas de la casa;

X4 : Antigüedad (edad) del calefactor.

Se realizó un estudio para obtener los datos de una muestra de 50 casas en distintas

partes del país.

CASO: MODELO REGRESIÓN LINEAL

2. Planteamiento de la teoría o de la hipótesis.

a.- Hacer los Diagramas de Dispersión: para comprender las

relaciones de la variable dependiente con cada una de las variables

independientes.

Revisar el Coeficiente de determinación o medida de bondad de

ajuste.

b.- Calcular la Matriz de Correlación: muestra los coeficientes

simples de la correlación entre todas las variables.

CASO: MODELO REGRESIÓN LINEAL

Interesa saber cuál variable independiente tiene la mayor

correlación con la variable dependiente.

Verificar si existe multicolinealidad, esto es, cuando las variables

Independientes, están correlacionadas entre sí.

Pueden distorsionar el Error Estándar de Estimación y se puede

llegar a conclusiones incorrectas referente a que variables.

Son significativas y cuáles no.

REGLA: correlaciones entre variables independientes

menores a 0.70 o -0.70, no ocasionan problemas.

CASO: MODELO REGRESIÓN LINEAL

Prueba global: determinar validez del Modelo de Regresión

Múltiple. Probar capacidad de las variables independientes,

para explicar el comportamiento de la variable dependiente.

Investigar si todas las variables independientes tienen

coeficientes de regresión iguales a cero.

¿Puede la cantidad de variación explicada, R2, ocurrir al

azar?

y H1 : No todas las βi son cero.

Si H0 es Verdadera, los coeficientes regresión son todos cero,

y no son de utilidad al pronóstico de la variable dependiente.

CASO: MODELO REGRESIÓN LINEAL

Se aplica prueba F de Nivel de Significación alfa = 0,05.

Si F calculado (Tabla Anova) es > Valor Crítico para F,

se RECHAZA H0 y se ACEPTA H1.

Modelo

Coeficientes no estandarizados

Coeficientes

estandarizados

t Sig. B Error típ. Beta 1 (Constante)

379,245 42,924 8,835 ,000

T_exterior X1 -4,363 ,478 -,700 -9,120 ,000

Pulg_Aislacion X2 -14,325 2,839 -,328 -5,045 ,000

N_Ventanas X3 3,526 2,493 ,097 1,414 ,164

Edad_Calefactor X4 6,422 2,393 ,196 2,684 ,010

MODELO REGRESIÓN LINEAL: Curvilínea

MODELO REGRESIÓN LINEAL: Curvilínea

MODELO REGRESIÓN LINEAL: Curvilínea