Upload
cam-thu-ninh
View
4.854
Download
0
Embed Size (px)
DESCRIPTION
slides of Ms. Kim Dung
Citation preview
MÔ HÌNH
HỒI QUY ĐA BIẾN
ThS Nguyễn Thị Kim Dung
Ví dụ:
Thu nhập ảnh hưởng đến chi tiêu. (+)
Địa điểm sinh sống ảnh hưởng đến chi tiêu.
Số thành viên gia đình ảnh hưởng đến chi tiêu. (+)
…
Vậy:
Chi tiêu Thu nhập, Địa điểm, Số thành viên
Chi tiêu = f (Thu nhập, Địa điểm, Số thành viên)
1. MÔ HÌNH HỒI QUY
1.1 MÔ HÌNH HỒI QUY TỔNG THỂ
... (1.1)1 2 2 3 3 Y X X X ui ii i k ki
: heä soá töï do1
Vôùi: , ,..., : caùc heä soá hoài quy rieâng2 3
( 2,..., ) : sai soá ngaãu nhieân
k
u i ki
1
2 3
'Ñaët: 1, , ,..., ; ...
i i ki
k
iX X X X
' iY X ui i
1. MÔ HÌNH HỒI QUY
1.1 MÔ HÌNH HỒI QUY TỔNG THỂ
2 3
Neáu ta coù n quan saùt, moãi quan saùt
goàm k giaù trò ( , , ,..., ),
( 1,... ) , thì ta coù heä n phöông trình:
i i i kiY X X X
i n
1 1 2 21 3 31 1 1
2 1 2 22 3 32 2 2
1 2 2 3 3
...
...(1.2)
...
...
k k
k k
n n n k kn n
Y X X X u
Y X X X u
Y X X X u
1. MÔ HÌNH HỒI QUY
1.1 MÔ HÌNH HỒI QUY TỔNG THỂ
1 1
2 2
21 31 1 1
22 32 2 2
2 3
Ñaët , ,... ...
1 ...
1 ...,
... ... ... ... ... ...
1 ...
n k
k
k
nn n kn
Y
YY
Y
X X X u
X X X uX u
X X X u
Daïng ma traän cuûa phöông trình (1.2):
Y X u
1. MÔ HÌNH HỒI QUY
1.2 MÔ HÌNH HỒI QUY MẪU
1 2 2 3 3
1 2 2 3 3
ˆ ˆ ˆ ˆˆ ...
ˆ ˆ ˆ ˆ...
i i i k ki
i i i k ki i
Y X X X
Y X X X e
ˆ goïi laø phaàn dö i i ie Y Y
1. MÔ HÌNH HỒI QUY
1.2 MÔ HÌNH HỒI QUY MẪU
Dạng ma trận của phương trình:
Y X e
2 3
Neáu ta coù n quan saùt, moãi quan saùt goàm
k giaù trò ( , , ,..., ),( 1,... ). Ta ñaët:i i i kiY X X X i n
11 21 31 1 1
22 32 2 22 2
2 3
ˆˆ 1 ...
ˆˆ 1 ...ˆˆ , , ,
... ... ... ... ... ...... ...
1 ...ˆ ˆ
k
k
n n kn nn k
Y X X X e
X X X eYY X e
X X X eY
Dạng ma trận của mô hình:
ˆˆ Y X
2. PHƯƠNG PHÁP BÌNH PHƯƠNG
NHỎ NHẤT ( OLS )
• Ta có mô hình hồi quy mẫu là
• Ta cần tìm sao cho nó gần với giá trị thực Yi nhất, tức là phần dư càng nhỏ càng tốt
2.1. Nội dung phương pháp bình phương nhỏ nhất
ˆiY
i i ie Y Y
Y X e
Tìm sao cho
ˆiY 2
1
min
n
i
i
e
22
1 2 2
1 1
ˆ ˆ ˆˆ ... min
ˆ min 1,...,
n n
i i i i k ki
i i
j
Y Y Y X X
j k
min 1 2ˆ ˆ ˆ, ,..., k
1 2ˆ ˆ ˆ, ,..., k
'
ˆ0
1,2,...,
j
j k
là nghiệm của hệ sau:
Nghĩa là cần tìm sao cho
10
1
22
1 2
1
... ....
n
i n
i
n
T
T
e Y Y Y X
e
ee e e e
e
e e
Y X Y X
Theo dạng ma trận, ta có:
11
.
T T T
T T T
A B A B
A B B A
Nhớ lại tính chất ma trận:
T
TT T
T TT T T T
Y X Y X
Y X Y X
Y Y Y X X Y X X
12
Nhận xét:
1 n×k
n×11×k
1 1
1 1
n k 1
k×n
T T
T TT T
Y X Y X
X Y X Y
Mà: T TT TY X X Y
TT TY X X Y
2 T TT T TY Y X Y X X
13
min
'
1
0
2 2 0
T T
T T
T T
X Y X X
X Y X X
X X X Y Vì Y=AX X=A-1 Y
• Các ước lượng của hồi quy đa biến có đầy đủ các tính chất của ước lượng hồi quy đơn biến
2.2. Các tính chất của hàm hồi quy mẫu (SRF) tìm được bằng phương pháp OLS
14
22
2
1 1 1
n n n
i i i
i i i
Y Y Y Y e
ˆ
ˆ
i i i
i i i
Y Y e
Y Y Y Y e
3. ĐO LƯỜNG MỨC ĐỘ PHÙ HỢP CỦA ƯỚC LƯỢNG THEO OLS
Tổng dao
động của Y
so với giá trị
trung bình
Dao động
được giải
thích bởi mô
hình
Dao động
chưa được
giải thích bởi
mô hình –
sai số
3.1. Hệ số xác định
TSS ESS RSS
TSS= Total sum of square
= Residual sum of square 2
1
RSS
n
i
i
e
= Explained sum of square
2 1 ESS RSS
RTSS TSS
Đặt 20 1 R
22 2
1 2ESS ... i i i kiY Y X X X X
Nhận xét:
Khi thêm biến vào mô hình thì k tăng.
TSS không phụ thuộc k nên không đổi,
ESS phụ thuộc k nên tăng RSS giảm R2 tăng
Vậy cứ thêm biến vào mô hình thì R2 tăng, do đó
không thể dùng R2 để xem xét việc có nên đưa thêm
biến vào mô hình không.
2 1 ESS RSS
RTSS TSS
Đặt
3.2. Hệ số xác định hiệu chỉnh
2 2
/ 11 1 1
/ 1
RSS n k nR R
TSS n n k
Nhận xét:
Khi thêm biến giải thích vào mô hình thì k tăng
• TSS và (n – 1) không bị ảnh hưởng bởi k
• (n – k) giảm
• Khi thêm biến có ý nghĩa vào mô hình thì RSS (sai số)
giảm
• Khi thêm biến không có ý nghĩa vào mô hình thì RSS
(sai số) không giảm hoặc giảm ít
2 2 2 2, taêng chaäm hôn R R R R
• Nếu R2 đủ nhỏ, có thể mang giá trị âm 2R
• Vậy khi thêm biến vào mô hình, nếu biến này có ý
nghĩa thì tăng, ngược lại, không tăng. Do đó ta
chỉ thêm biến vào mô hình khi nào còn tăng
2R 2R2R
Ý nghĩa thực hành của hệ số xác định hiệu chỉnh
Khi ta thêm càng nhiều biến vào mô hình thì R2 tăng
ta sẽ đưa quá nhiều biến vào mô hình ( kể cả các biến
không cần thiết ).
Để tránh hiện tượng này, ta dùng hệ số xác định hiệu
chỉnh, vì khi thêm biến vào mô hình, có thể tăng hoặc
không tăng.
Vậy được dùng để xác định xem có nên thêm 1
biến mới vào mô hình hay không.
( Với cùng 1 bộ số liệu, khi thêm 1 biến mới vào mô
hình thì mô hình nào có hệ số lớn hơn được xem là
tốt hơn )
2R
2R
2R
4. BẢN CHẤT THỐNG KÊ CỦA MÔ HÌNH HỒI QUY ĐA BIẾN
Tương tự hồi quy đơn biến, ta có:
1
n
ik k kii
C U
phụ thuộc vào yếu tố ngẫu nhiên Ui , nên
cũng là 1 yếu tố ngẫu nhiên
k
k
4.1. GIẢ ĐỊNH CỦA CÁC YẾU TỐ NGẪU NHIÊN
• Với các giả thiết sau đây thì các ước lượng tìm được bằng PP OLS sẽ là các ước lượng tuyến tính, không chệch, có phương sai nhỏ nhất.
Định lý Gauss-Markov
Giả thiết A1: 0 iE U i
Giả thiết A2: 2Var iU i
Giả thiết A3: 2N 0, iU iiid
Giả thiết A4: E( Yi/ X’i )= X’i i
Giả thiết A5: độc lập tuyến tính
2 3( , ,..., )
kX X X
4.2 ĐẶC TRƯNG THỐNG KÊ CỦA ƯỚC
LƯỢNG OLS
k kE
1
ˆTa có :
n
ik k kii
C U
1 1
1
ˆ
0(A1)
k k
k ki i k
n n
i ik ki kii i
n
i
E E C U E E C U
C E U
2
ˆVar
k
kkS
2
3
2
2
2
1 1
2
1
ˆ ˆ ˆ ˆVar Var Var
Va
A
Var Ar
k k k k k
ki i i
kk
n n
kii i
n
kii
E
C U C U
C
S
2
ˆ ,
k k
kk
NS
5. ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THIẾT CÁC HỆ SỐ HỒI QUY
5.1. KHOẢNG TIN CẬY
ˆ ˆTa có: ,Var 1,..., i i iN i k
ˆ
ˆ
i i
i
T n kSe
- t(n-k) /2 0 t(n-k)
/2
/2 /2
1 -
- t(n-k) /2 0 t(n-k)
/2
/2 /2
1 -
( ) ( )
/2 /2
ˆ1
ˆ
i i
i
n k n kP t t
Se
( ) ( )
/2 /2
ˆ ˆ ˆ ˆ 1
i i i i i
n k n kP t Se t Se
- t(n-k) /2 0 t(n-k)
/2
/2 /2
1 -
( )
/2
ˆ ˆ 1
vaäy :
vôùi do tin caäy
i i i
n kt Se
5.2. KIỂM ĐỊNH GIẢ THUYẾT
*ˆ
ˆ
i i
n k
i
t tse
( ) ( )
/2 /21
n k n kP t t t
: mức ý nghĩa
- t(n-k) /2 0 t(n-k)
/2
/2 /2
1 -
31
Kiểm định hai
bên
Kiểm định bên
trái
Kiểm định bên
phải
- t/2(n-k) t/2
(n-k)
/2
1 -
/2
t(n-k)
1 -
- t(n-k)
1 -
*
0
*
1
:
:
i i
i i
H
H
*
0
*
1
:
:
i i
i i
H
H
*
0
*
1
:
:
i i
i i
H
H
*ˆ
ˆ
i i
i
tse
32
Kiểm định hai
bên
Kiểm định bên
trái
Kiểm định bên
phải
Bác bỏ Ho khi:
|t0|>t/2(n-k)
Bác bỏ Ho khi:
t0 < -t(n-k)
Bác bỏ Ho khi:
t0 > t(n-k)
*
0
*
1
:
:
i i
i i
H
H
*
0
*
1
:
:
i i
i i
H
H
*
0
*
1
:
:
i i
i i
H
H
*ˆ
ˆ
i i
i
tse
P-VALUE
33 t (n-k)
t0
P-value
P-value = P(| t(n-k) | |t|)
P-VALUE
34
- t/2 t/2
/2 /2
-t t
P-value/2 P-value/2
P-value = P(| t(n-k) | |t|)
Quy luật dùng P-value:
P-value < Bác bỏ Ho
P-value Chấp nhận Ho
5.3. KIỂM ĐỊNH SỰ PHÙ HỢP CỦA HÀM HỒI QUY
Kiểm định giả thiết
2
0
2
1
H : 0
H : 0
R
R
ESS/ 1
( 1, )
/
kF F k n k
RSS n k
B1: Tính
2
2
1 1
Tra baûng tìm 1, (phuï luïc 4)
R n kF
R k
F k n k
B2: Kết luận: Bác bỏ H0 nếu 1,F F k n k
5.4. KIỂM ĐỊNH HỒI QUY CÓ ĐIỀU KIỆN
( KIỂM ĐỊNH GIẢ THIẾT ĐỒNG THỜI)
...1 2 2 3 3
( ) Y X X X ui ii i kiU
k
Nếu bỏ đi m biến thì mô hình (U) trở thành:
... (1 2 2 3
)3 ( )
Y X X X ui ii i k m k mR
i
Vậy mô hình (R) chính là mô hình (U) với điều kiện
Việc lựa chọn mô hình nào, (U) hay (R), chính là thực
hiện kiểm định
... 01 1
k k k m
0
1
: ... 01 1
: 0
i
kH
k k m
H
Nếu Ho sai, nghĩa là m biến giải thích này thật sự có
ảnh hưởng đến Y thì RSSU < RSSR
Vậy nếu ( RSSR – RSSU ) lớn thì ta sẽ bác bỏ Ho
Phương pháp kiểm định:
/
( , )
/
R U
U
RSS RSS mF F m n k
RSS n k
2 2
2
/
( , )
1 /
U R
U
R R m
F F m n k
R n k
Nếu F > F(m,n-k) thì bác bỏ Ho