Mô hình hồi qui đa biến

MÔ HÌNH

HỒI QUY ĐA BIẾN

ThS Nguyễn Thị Kim Dung

Ví dụ:

Thu nhập ảnh hưởng đến chi tiêu. (+)

Địa điểm sinh sống ảnh hưởng đến chi tiêu.

Số thành viên gia đình ảnh hưởng đến chi tiêu. (+)

…

Vậy:

Chi tiêu Thu nhập, Địa điểm, Số thành viên

Chi tiêu = f (Thu nhập, Địa điểm, Số thành viên)

1. MÔ HÌNH HỒI QUY

1.1 MÔ HÌNH HỒI QUY TỔNG THỂ

... (1.1)1 2 2 3 3 Y X X X ui ii i k ki

: heä soá töï do1

Vôùi: , ,..., : caùc heä soá hoài quy rieâng2 3

( 2,..., ) : sai soá ngaãu nhieân

k

u i ki

1

2 3

'Ñaët: 1, , ,..., ; ...

i i ki

k

iX X X X

' iY X ui i

1. MÔ HÌNH HỒI QUY

1.1 MÔ HÌNH HỒI QUY TỔNG THỂ

2 3

Neáu ta coù n quan saùt, moãi quan saùt

goàm k giaù trò ( , , ,..., ),

( 1,... ) , thì ta coù heä n phöông trình:

i i i kiY X X X

i n

1 1 2 21 3 31 1 1

2 1 2 22 3 32 2 2

1 2 2 3 3

...

...(1.2)

...

...

k k

k k

n n n k kn n

Y X X X u

Y X X X u

Y X X X u

1. MÔ HÌNH HỒI QUY

1.1 MÔ HÌNH HỒI QUY TỔNG THỂ

1 1

2 2

21 31 1 1

22 32 2 2

2 3

Ñaët , ,... ...

1 ...

1 ...,

... ... ... ... ... ...

1 ...

n k

k

k

nn n kn

Y

YY

Y

X X X u

X X X uX u

X X X u

Daïng ma traän cuûa phöông trình (1.2):

Y X u

1. MÔ HÌNH HỒI QUY

1.2 MÔ HÌNH HỒI QUY MẪU

1 2 2 3 3

1 2 2 3 3

ˆ ˆ ˆ ˆˆ ...

ˆ ˆ ˆ ˆ...

i i i k ki

i i i k ki i

Y X X X

Y X X X e

ˆ goïi laø phaàn dö i i ie Y Y

1. MÔ HÌNH HỒI QUY

1.2 MÔ HÌNH HỒI QUY MẪU

Dạng ma trận của phương trình:

Y X e

2 3

Neáu ta coù n quan saùt, moãi quan saùt goàm

k giaù trò ( , , ,..., ),( 1,... ). Ta ñaët:i i i kiY X X X i n

11 21 31 1 1

22 32 2 22 2

2 3

ˆˆ 1 ...

ˆˆ 1 ...ˆˆ , , ,

... ... ... ... ... ...... ...

1 ...ˆ ˆ

k

k

n n kn nn k

Y X X X e

X X X eYY X e

X X X eY

Dạng ma trận của mô hình:

ˆˆ Y X

2. PHƯƠNG PHÁP BÌNH PHƯƠNG

NHỎ NHẤT ( OLS )

• Ta có mô hình hồi quy mẫu là

• Ta cần tìm sao cho nó gần với giá trị thực Yi nhất, tức là phần dư càng nhỏ càng tốt

2.1. Nội dung phương pháp bình phương nhỏ nhất

ˆiY

i i ie Y Y

Y X e

Tìm sao cho

ˆiY 2

1

min

n

i

i

e

22

1 2 2

1 1

ˆ ˆ ˆˆ ... min

ˆ min 1,...,

n n

i i i i k ki

i i

j

Y Y Y X X

j k

min 1 2ˆ ˆ ˆ, ,..., k

1 2ˆ ˆ ˆ, ,..., k

'

ˆ0

1,2,...,

j

j k

là nghiệm của hệ sau:

Nghĩa là cần tìm sao cho

10

1

22

1 2

1

... ....

n

i n

i

n

T

T

e Y Y Y X

e

ee e e e

e

e e

Y X Y X

Theo dạng ma trận, ta có:

11

.

T T T

T T T

A B A B

A B B A

Nhớ lại tính chất ma trận:

T

TT T

T TT T T T

Y X Y X

Y X Y X

Y Y Y X X Y X X

12

Nhận xét:

1 n×k

n×11×k

1 1

1 1

n k 1

k×n

T T

T TT T

Y X Y X

X Y X Y

Mà: T TT TY X X Y

TT TY X X Y

2 T TT T TY Y X Y X X

13

min

'

1

0

2 2 0

T T

T T

T T

X Y X X

X Y X X

X X X Y Vì Y=AX X=A-1 Y

• Các ước lượng của hồi quy đa biến có đầy đủ các tính chất của ước lượng hồi quy đơn biến

2.2. Các tính chất của hàm hồi quy mẫu (SRF) tìm được bằng phương pháp OLS

14

22

2

1 1 1

n n n

i i i

i i i

Y Y Y Y e

ˆ

ˆ

i i i

i i i

Y Y e

Y Y Y Y e

3. ĐO LƯỜNG MỨC ĐỘ PHÙ HỢP CỦA ƯỚC LƯỢNG THEO OLS

Tổng dao

động của Y

so với giá trị

trung bình

Dao động

được giải

thích bởi mô

hình

Dao động

chưa được

giải thích bởi

mô hình –

sai số

3.1. Hệ số xác định

TSS ESS RSS

TSS= Total sum of square

= Residual sum of square 2

1

RSS

n

i

i

e

= Explained sum of square

2 1 ESS RSS

RTSS TSS

Đặt 20 1 R

22 2

1 2ESS ... i i i kiY Y X X X X

Nhận xét:

Khi thêm biến vào mô hình thì k tăng.

TSS không phụ thuộc k nên không đổi,

ESS phụ thuộc k nên tăng RSS giảm R2 tăng

Vậy cứ thêm biến vào mô hình thì R2 tăng, do đó

không thể dùng R2 để xem xét việc có nên đưa thêm

biến vào mô hình không.

2 1 ESS RSS

RTSS TSS

Đặt

3.2. Hệ số xác định hiệu chỉnh

2 2

/ 11 1 1

/ 1

RSS n k nR R

TSS n n k

Nhận xét:

Khi thêm biến giải thích vào mô hình thì k tăng

• TSS và (n – 1) không bị ảnh hưởng bởi k

• (n – k) giảm

• Khi thêm biến có ý nghĩa vào mô hình thì RSS (sai số)

giảm

• Khi thêm biến không có ý nghĩa vào mô hình thì RSS

(sai số) không giảm hoặc giảm ít

2 2 2 2, taêng chaäm hôn R R R R

• Nếu R2 đủ nhỏ, có thể mang giá trị âm 2R

• Vậy khi thêm biến vào mô hình, nếu biến này có ý

nghĩa thì tăng, ngược lại, không tăng. Do đó ta

chỉ thêm biến vào mô hình khi nào còn tăng

2R 2R2R

Ý nghĩa thực hành của hệ số xác định hiệu chỉnh

Khi ta thêm càng nhiều biến vào mô hình thì R2 tăng

ta sẽ đưa quá nhiều biến vào mô hình ( kể cả các biến

không cần thiết ).

Để tránh hiện tượng này, ta dùng hệ số xác định hiệu

chỉnh, vì khi thêm biến vào mô hình, có thể tăng hoặc

không tăng.

Vậy được dùng để xác định xem có nên thêm 1

biến mới vào mô hình hay không.

( Với cùng 1 bộ số liệu, khi thêm 1 biến mới vào mô

hình thì mô hình nào có hệ số lớn hơn được xem là

tốt hơn )

2R

2R

2R

4. BẢN CHẤT THỐNG KÊ CỦA MÔ HÌNH HỒI QUY ĐA BIẾN

Tương tự hồi quy đơn biến, ta có:

1

n

ik k kii

C U

phụ thuộc vào yếu tố ngẫu nhiên Ui , nên

cũng là 1 yếu tố ngẫu nhiên

k

k

4.1. GIẢ ĐỊNH CỦA CÁC YẾU TỐ NGẪU NHIÊN

• Với các giả thiết sau đây thì các ước lượng tìm được bằng PP OLS sẽ là các ước lượng tuyến tính, không chệch, có phương sai nhỏ nhất.

Định lý Gauss-Markov

Giả thiết A1: 0 iE U i

Giả thiết A2: 2Var iU i

Giả thiết A3: 2N 0, iU iiid

Giả thiết A4: E( Yi/ X’i )= X’i i

Giả thiết A5: độc lập tuyến tính

2 3( , ,..., )

kX X X

4.2 ĐẶC TRƯNG THỐNG KÊ CỦA ƯỚC

LƯỢNG OLS

k kE

1

ˆTa có :

n

ik k kii

C U

1 1

1

ˆ

0(A1)

k k

k ki i k

n n

i ik ki kii i

n

i

E E C U E E C U

C E U

2

ˆVar

k

kkS

2

3

2

2

2

1 1

2

1

ˆ ˆ ˆ ˆVar Var Var

Va

A

Var Ar

k k k k k

ki i i

kk

n n

kii i

n

kii

E

C U C U

C

S

2

ˆ ,

k k

kk

NS

5. ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THIẾT CÁC HỆ SỐ HỒI QUY

5.1. KHOẢNG TIN CẬY

ˆ ˆTa có: ,Var 1,..., i i iN i k

ˆ

ˆ

i i

i

T n kSe

- t(n-k) /2 0 t(n-k)

/2

/2 /2

1 -

- t(n-k) /2 0 t(n-k)

/2

/2 /2

1 -

( ) ( )

/2 /2

ˆ1

ˆ

i i

i

n k n kP t t

Se

( ) ( )

/2 /2

ˆ ˆ ˆ ˆ 1

i i i i i

n k n kP t Se t Se

- t(n-k) /2 0 t(n-k)

/2

/2 /2

1 -

( )

/2

ˆ ˆ 1

vaäy :

vôùi do tin caäy

i i i

n kt Se

5.2. KIỂM ĐỊNH GIẢ THUYẾT

*ˆ

ˆ

i i

n k

i

t tse

( ) ( )

/2 /21

n k n kP t t t

: mức ý nghĩa

- t(n-k) /2 0 t(n-k)

/2

/2 /2

1 -

31

Kiểm định hai

bên

Kiểm định bên

trái

Kiểm định bên

phải

- t/2(n-k) t/2

(n-k)

/2

1 -

/2

t(n-k)

1 -

- t(n-k)

1 -

*

0

*

1

:

:

i i

i i

H

H

*

0

*

1

:

:

i i

i i

H

H

*

0

*

1

:

:

i i

i i

H

H

*ˆ

ˆ

i i

i

tse

32

Kiểm định hai

bên

Kiểm định bên

trái

Kiểm định bên

phải

Bác bỏ Ho khi:

|t0|>t/2(n-k)

Bác bỏ Ho khi:

t0 < -t(n-k)

Bác bỏ Ho khi:

t0 > t(n-k)

*

0

*

1

:

:

i i

i i

H

H

*

0

*

1

:

:

i i

i i

H

H

*

0

*

1

:

:

i i

i i

H

H

*ˆ

ˆ

i i

i

tse

P-VALUE

33 t (n-k)

t0

P-value

P-value = P(| t(n-k) | |t|)

P-VALUE

34

- t/2 t/2

/2 /2

-t t

P-value/2 P-value/2

P-value = P(| t(n-k) | |t|)

Quy luật dùng P-value:

P-value < Bác bỏ Ho

P-value Chấp nhận Ho

5.3. KIỂM ĐỊNH SỰ PHÙ HỢP CỦA HÀM HỒI QUY

Kiểm định giả thiết

2

0

2

1

H : 0

H : 0

R

R

ESS/ 1

( 1, )

/

kF F k n k

RSS n k

B1: Tính

2

2

1 1

Tra baûng tìm 1, (phuï luïc 4)

R n kF

R k

F k n k

B2: Kết luận: Bác bỏ H0 nếu 1,F F k n k

5.4. KIỂM ĐỊNH HỒI QUY CÓ ĐIỀU KIỆN

( KIỂM ĐỊNH GIẢ THIẾT ĐỒNG THỜI)

...1 2 2 3 3

( ) Y X X X ui ii i kiU

k

Nếu bỏ đi m biến thì mô hình (U) trở thành:

... (1 2 2 3

)3 ( )

Y X X X ui ii i k m k mR

i

Vậy mô hình (R) chính là mô hình (U) với điều kiện

Việc lựa chọn mô hình nào, (U) hay (R), chính là thực

hiện kiểm định

... 01 1

k k k m

0

1

: ... 01 1

: 0

i

kH

k k m

H

Nếu Ho sai, nghĩa là m biến giải thích này thật sự có

ảnh hưởng đến Y thì RSSU < RSSR

Vậy nếu ( RSSR – RSSU ) lớn thì ta sẽ bác bỏ Ho

Phương pháp kiểm định:

/

( , )

/

R U

U

RSS RSS mF F m n k

RSS n k

2 2

2

/

( , )

1 /

U R

U

R R m

F F m n k

R n k

Nếu F > F(m,n-k) thì bác bỏ Ho