Embed Size (px)
DESCRIPTION
第二章. 多元线性回归. §2.1 多元线性回归模型. §2.2 参数的最小二乘估计. 参数估计的性质. §2.3 回归方程的显著性检验. §2.4 回归系数的显著性检验. §2.5 回归系数的置信区间. §2.6 预测. 加权最小二乘法. 例 2.3 的 SAS 实现. data example2; input x1 x2 y; cards; ….. ; run ; proc reg ; model y=x1 x2/p r clm cli; run ;. 方差分析. The REG Procedure - PowerPoint PPT Presentation
Citation preview
第二章
多元线性回归
§2.1多元线性回归模型
为了研究 y与 1, , tx x 之间的关系，首先必须收集n组独立
观测数据,
),,,( 1 iiti yxx ， ni ,,2,1
并假定它们之间有如下关系式：
0 1 12
1,2, ,
(0, )i i t it i
i
y x x i n
N
各 相互独立且同分布服从
为了方便起见，多元回归分析常采用矩阵形式来表示，并通过矩阵的性质来研究参数及其他性质。记:
ny
y
y
Y2
1
t
1
0
nt
t
t
n x
x
x
x
x
x
Y 2
1
1
21
11
1
1
1
n
2
1
则模型可表示为
),0(~ 2nIN
XY
称Y 为随机变量的观测向量， 为未知参数向量，X 为结
构矩阵， 为随机误差向量， nI 为单位矩阵。显然，由假
设可知：
),(~ 2nIXNY
§2.2 参数的最小二乘估计 和一元线性回归一样，仍采用最小二乘法去估计参数
t ,,, 10 。令：
20 1 1
1
( ) ( )
( ) '( )
n
i i t iti
Q y x x
Y X Y X
则各 的 LS估计 ，满足
ˆ( )Q =min ( ) min( ) '( )Q Y X Y X
根据微积分原理，
ˆˆ| ' ' ( ' ' ) 0
QX Y X Y X X X X
整理可得正规方程组：
ˆ' 'X X X Y
当1)( XX 存在时， 的最小二乘估计为：
YXXX 1)(
为了方便,我们定义:
XXA 为正规方程组的系数矩阵，为 )1( t 阶方阵；
YXB 为正规方程的常数项矩阵，为 1t 维向量矩阵；
11 )( XXAC 为相关矩阵，为 )1( t 阶方阵。
例 2. 1 用矩阵形式写出如下一元线性回归模型：
),0(~..~ 210
Ndii
xy
i
iii ni ,,2,1
并用矩阵形式求出 10 , 的最小二乘估计。
解：记：
ny
y
y
Y2
1
1
0
nx
x
x
X2
1
1
1
1
n
2
1
则可记为 :
),0(~ 2nIN
XY
,并且有：
XXA
2ii
i
xx
xn YXB
ii
i
yx
y
1AC
nxn
xnx
nlnxn
xnx
xnxni
xx
i
i
22
22
1
)(
1
故：
CB
xxxyii
i
xx ll
xy
yx
yn
nxn
xnx
nl /
ˆ1 12
例 2 . 2 下 面 的 模 型 称 为 t 元 中 心 化 线 性 回 归 模 型 ：
0 1 1 12
( ) ( )
~ ( 0 , )i i t i t t i
i
y x x x x
i i d N
各
ni ,,2,1
写 出 模 型 相 应 的 矩 阵 , , , ,X Y A B C ， 并 求 出 模 型 参 数 的 最 小 二
乘 估 计 。
记：
ny
y
y
Y2
1
t
1
0
tnt
tt
tt
n xx
xx
xx
xx
xx
xx
X 2
1
11
121
111
1
1
1
n
2
1
则模型可写为
),0(~ 2nIN
XY
XXA
ttt
t
ll
ll
n
1
111
0
0
00
，
其中： jkkj ll
n
ikikjij xxxx
1
))(( , tkj ,,2,1, 。
YXB
ty
y
l
l
yn
1 ，
其中： jyl
n
iijij yyxx
1
))(( , tj ,,2,1 。
记 ： L
ttt
t
t
ll
lll
lll
......
........
........
......
.
1
22221
11211
1L
tttt
t
t
lll
lll
lll
..
.....
.....
..
..
21
22221
11211
则
11)( ACXX
10
01
Ln
ty
y
y
ty
y
t l
l
l
L
y
l
l
yn
Ln
2
1
11
1
1
0
0
01
ˆ
ˆˆ
ˆ
即： y0 ，
ty
y
y
tl
l
l
L2
1
12
1
ˆ
ˆ
ˆ
由此可得 t ˆ,,ˆ1 为下列方程的解：
11 1 1 1
21 1 2 2
1
10 1
ˆ ˆ
ˆ ˆ
ˆ ˆ
ˆ ˆ ˆ
t t y
t t y
tt tt t ty
tt
l l l
l l l
l l l
y x x
例子，见 p38-41
参数估计的性质
记： HYYXXXXXY ˆ)(ˆˆ 1
为拟合向量。其中： XXXXH 1)( 为方阵，其元素记为
}{ ijh ，显然，H是对称并且幂等矩阵。
ˆ ( )e Y Y I H Y 为残差向量。
ˆ ˆ( ) ( ) ( )SSE Y Y Y Y Y I H Y 为残差平方和。
下面几个性质除性质 6 之外，对随机误差假定
0E ， 2nVar I 。
性质一 是 的线性无偏估计，且 2 1ˆ ( )Var X X
证明：因 YXXX 1)( 是Y 的线性函数，故为线性估计。
又： XXXXEYXXXE 11 )()(ˆ ，即： 为 的
无偏估计。
1 2 1ˆ ( ) ( ) ( )Var X X X DYX X X X X
性质二 0Ee , 2 (1 )Vare H
证明：由于 YHe )1( ,故有：
0)1()1( XHEYHEe
2 2(1 ) (1 ) (1 ) (1 )Vare H VarY H H H
从上述性质可知，残差向量的各分量之间一般也是相关的。
并且当为正态时， ))1(,0(~ 2HNe
性质三 0)ˆ,( eCov
证明：
))(,)1(()ˆ,( 1 YXXXYHCoveCov
XXXDYH 1)()1( 0
这一性质说明残差向量 e与 的最小二乘估计 之间不相
关。在 为正态分布时，由于e与 均服从正态分布，故e与
独
立。并由此可知SSE与 独立。
A是 k k 的方阵，那么，矩阵迹1
[ ]k
iii
tr A a
[ ] [ ]tr aA atr A ；
[ ] [ ]tr A tr A
[ ] [ ] [ ]tr A B tr A tr B
[ ] [ ]tr AB tr BA
性质四 2( ) ( 1)E SSE n t
证明：利用矩阵迹的性质及 ( ) 0I H X 可知
( ) ( ( ) )E SSE E Y I H Y
( ) ( )( )E Y X I H Y X
= [( )( )( ) ]Etr I H Y X Y X
DYHtr )1(
)1(2 Htr
2 1[ ( ( ) )]trI tr X X X X
))])(([ 12 XXXXtrn
)( 12
ttrIn
)1(2 tn
注：由这一性质可知：1
2
tn
SSEs 是
2 的无偏估计。
性质五（高斯-马尔可夫定理）
在假设 XEY ， nIDY 2 下， 的任一线性函数 的最
小方差线性无偏估计为 ˆ ，其中是任一不为零的 1t 维向量， 是
最小二乘估计。
证明：（1） YXXX 1)(ˆ 是Y 的线性函数，所以是线性估计。
（2） )()()ˆ( 1 YEXXXE XXXX 1)(
故 ˆ 是 的无偏估计。
（3）为证 ˆ 是 的一切线性无偏估计中的方差最小者，可设 Yl 为
的一个线性无偏估计，即对一切 有 XlYlE , 从而必
要： Xl , 又
122 )()ˆ()( XXllDYlD ])([ 12 lXXXXlll
由于 )1(2 H 是 e的协方差矩阵，故必要为非负定矩阵，从而对一切n
维向量 l有 0)1( lHl , 即 ˆ 是 的一切线性无偏估计中方差最
小者。
注：这一性质决定了最小二乘估计在线性无偏估计意义下的优越性。
下面一个性质在假定 ),(~ 2nn IXNY 条件下讨论。
性质六 当 2~ ( , )n nY N X I ，则
（1） 2 1ˆ ~ ( , ( ) )N X X
（2） SSE与 独立；
（3） 22 ~ ( 1)SSE n t
证明：（1）与（2）在前面已说明。下面证明性质（3）。
由 于 ))(1()()1( XYHXYYHYSSE ，
XXXXH 1)( 是一个非负定矩阵，其秩为 X 的秩 1t 。所以
必存在正交阵C使
00
01tJCCH 其中：
1
1
1
t
tJ
0i , 1,,2,1 ti 。由 CCHCCHCCHCCH 2 ,
知： 111 ttt JJJ
所以 1i 1,,2,1 ti
令： )( XYCZ ，则有：
0)( XEYCEZ
2( ) nVarY CVar Y X C I
由 ),(~ 2nn IXNY 的假设知 ),0(~ 2
nn INZ ，所以
ZCHCZSSE )1( ZJ
ZZZ t
00
01
n
i
t
iii zz
1
1
1
22
n
tiiz
2
2
因此， )1(~ 22
tnxSSE
。
§2.3 回归方程的显著性检验
在实际问题中，随机变量 y与一般变量 txxx 21 之间究竟是否存
在线性相关关系呢？如果Ey不随 txxx ,,, 21 的变化而变化，则应有：
01 t 。否则 Ey应随 txxx ,,, 21 的变化而作变化，所以
有必要对回归方程作显著性检验。即：
:oH 021 t
为了找出上述假设检验的统计量，可采用平方和分解的方法，
SSRSSEyyyyyySSTn
ii
n
iii
n
ii
1
2
1
2
1
2 )ˆ()ˆ()(
和一元线性回归一样，SST称为总的平方和；SSE称为残差平方和；SSR
称回归平方和。
由上一节性质 6的证明可知： )1(~ 22
tnSSE
。当 0H 为
真时，多元线性模型可改写为：
).0(~.. 20
Ndii
y
i
ii
即 ),(~ 20 Nyi 为 dii .. 的正态随机变量，所以，由数理统计
中的知识可知： )1(~ 22
nSST
，所以，当 0H 为真时，
)(~ 22
tSSR
，并且 SSR与 SSE独立。由上述讨论构造检验统
计量：
( 1)
SSR tF
SSE n t
当 0H 为真时， )1,(~ tntFF 。
2
2
1 1 1
2 2
2 2
1 1 1 1 1
( ) ( ) ( )
( ) ( ) ( 1) ( )
n n t
i j ij j ii i j
n t n n t
j ij j i j ij ji j i i j
SST y y x x
x x n x x
2
1 1
2 )(
n
i
t
jjijj xxtSSR
当 0H 为真时， 0j tj ,,2,1 ，即 2tSSR 。而对一般情
形， 2tSSR 。故，我们对给定的显著水平给出拒绝域如下：
)1,(1 tntFFW
方差分析表
来源 平方和 自由度 均方和 F比
回归 SSR t t
SSR
残差 SSE 1 tn ( 1)
SSEn t
F=( 1)
SSR t
SSE n t
总和 SST 1n )1,(1 tntF
1
ˆ
-
t
jy jj
SSR l
SSE SST SSR
§2.4 回归系数的显著性检验
当回归方程的显著性检验得出拒绝 0H 时，我们并不能说明所有的
ix 均与 y有线性相关关系，而只仅仅说明至少有一个 ix 与 y有线性相
关关系，而对有些 0j 时，说明相应的的变量 jx 与 y的变化无关，
即不会引起Ey的线性变化，为了使方程简单明了，我们应把 jx 从方程
中去掉。所以在进行了回归方程的显著性检验后，还应对每个 j
)2,1( tj 进行检验。
0:0: 10 jjjj HH
当数据中心化时，有：
t
ˆ
ˆˆ 1
，相应的相关矩阵为
10
01
LnC ，由此可知：
11 2
ˆ
t
Var L
记 ttjjlL
1 即 j ， ˆjVar 的方差为 2jjl 。
由此可给出检验 0:0 jjH 统计量为：
sltn
SSE
lt
jj
jjj
jj
ˆ
1
ˆ
2
其中：1
tn
SSEs
在模型误差为正态的假设下， 2ˆ ~ ( , )jjj jN l ，并
且与 SSE独立。所以，当 jH 0 为真时， )1(~ tntt j 。
对给定的显著水平，给出检验假设的拒绝域为：
)1(2/1 tnttW j
接例 2. 3，对 0: 101 H 的检验
981.4563.3
818.1
563.364
1
18.1ˆ1
1
sl
tjj
经查表得 0.05 0.9751
2
(16 3 1) (12) 2.1788t t
，所以拒绝
01H ，即 1x 变量是显著的。
§2.5 回归系数的置信区间
由上一节的讨论知：
)1(~),,(~ˆ 22
2 tnSSE
lN jjjj
故有： )1(~ˆ
tntsl jjjj
，即 j 的置信水平为 1 的置
信区间为：
))1(ˆ,)1(ˆ(2
12
1sltntsltnt jj
jjj
j
§2.6 预测
通过回归方程，当给定 ),,( 002010 txxxx 时，可求出 0y
)ˆˆˆˆ1
01
000 j
t
jjj
t
jjj xxyxy
（
0y 相应可作为 0Ey 或 0y 的点估计，并且是 0Ey 的无偏估计。下
面给出 0Ey 和 0y 区间估计。
（1） 0Ey 的区间估计
由于 y与 j 之间是不相关的，故有：
0
0 0 01 1
2 20 0
1 1
2 2ˆ0 0
1 1
ˆˆ ( )( ) cov( , )
1( )( )
1( )( )
t t
j j k k j kj k
t tjk
j j k kj k
t tjk
j j k k yj k
Vary Vary x x x x
x x x x ln
x x x x ln
当随机误差为正态的假设条件下有， ),(~ˆ0ˆ
200 yEyNy ，又
)1(~ 22
tnSSE
且与 0y 独立，故可知 0Ey 的置信水平为
1 的置信区间为
)ˆ,ˆ( 00 yy
其中： 2
0 011 1
1( )( )
t tjk
j j k kj k
t s x x x x ln
(2) 0y 的区间估计
0y 也同时为 0y 的无偏估计，并且 0y 与 0y 独立(请读者自己
说明理由)，故当随机误差为正态的假设条件下有
),0(~ˆ0ˆ
2200 yNyy
0y 的概率为 1 的预测区间为： )ˆ,ˆ( 00 yy
其中：
t
j
t
k
jkkkjj lxxxx
nstnt
1 1001
))((1
1)1(2
当 n充分大，且 0x 与 x 较接近时， 0y 的概率为 1
的近似预测区间为：
)ˆ,ˆ(2
10
21
0 sZysZy
当 05.0 时： )2ˆ,2ˆ( 00 sysy
当 01.0 时： )3ˆ,3ˆ( 00 sysy
加权最小二乘法
加权最小二乘是在下列数学模型下面提出的
20 n n
Y X e
Ee Vare G
其中G是一个已知的、正定对称矩阵。
若 n 1 之间是方差不等或相关的，则 nyyy 21 , 之间也
是方差不等或相关的。 ˆ 作为 的最小二乘估计就不一定
是 BLUE，如不是，那么又如何来找 ˆ 的 BLUE呢？
（1） ˆ 也不一定是 BLUE
由于 X 是 )1( tn 矩阵，且一般有 1 tn ，因此存在一个b
（ 0b ），使 Xb =0。取
YbYl ˆ
其中：为任意常数， 为 的最小二乘估计。
因 XbYlE ，故 Yl 是 的无偏估计。
1 1
1 2
ˆov( , ) ov( ( ) , ) ( ) ( )
( )
C b Y C X X X Y b Y X X X Var Y b
X X X Gb
一般情况下 ˆov( , ) 0C b Y ，取ˆov( , )
( )
C b Y
Var b Y
2ˆ( ) ( ) ( )
ˆ2 ov( , )
Var l Y Var Var b Y
C b Y
2
2
2
ˆov( , )ˆ Var( ) ( )( )
ˆ[ ov( , )]2
( )
ˆ[ ov( , )]ˆ ˆ( ) ( )( )
C b YVar b Y
Var b Y
C b Y
Var b Y
C b YVar Var
Var b Y
即存在 Yl 为 的线性无偏估计，但 ˆ( )Varl Y Var 。故 ˆ 不再是 BLUE。
（2）求模型的 BLUE
由假设G是正定对称矩阵，存在 2
1
G 使 2
1
2
1
GGG ，
若记 12
1
2
1
)( GG ，
令1
2Z G Y
，则
1 1 1 12 22 2 2 2
nVarZ G VarYG G GG I
模型可改写为：
2n
EZ U
VarZ I
其中： XGU 2
1
模型满足误差方差独立及齐性的条件，由前面讨论的结果知
YGXXGX
YGGXXGXGZUUU111
2
1
2
112
1
2
11
)(
)()(~
为 的 BLUE。
所以 的 BLUE为：
YGXXGX 111 )(~
一般我们称 ~为 的加权最小二乘估计。
当 IG 时， ~
当
nw
w
G
0
01
时，可取 i
i
i yw
Z1
ni 2,1 。
例 2.3 的 SAS 实现data example2;
input x1 x2 y;
cards;
…..
;
run;
proc reg;
model y=x1 x2/p r clm cli;
run;
方差分析 The REG Procedure Model: MODEL1 Dependent Variable: y Analysis of Variance Sum of Mean Source DF Squares Square F Value Pr > F Model 2 2.33292 1.16646 127.71 <.0001 Error 25 0.22834 0.00913 Corrected Total 27 2.56127
Root MSE 0.09557 R-Square 0.9108 Dependent Mean 3.78893 Adj R-Sq 0.9037 Coeff Var 2.52237
参数估计
去掉 x2
data example2;
input x1 x2 y;
cards;
…..
;
run;
proc reg;
model y=x1 /p r clm cli;
run;
方差分析
参数估计
上机作业
Page 68-69: 2.8;2.9.
