MÔ HÌNH HỒI QUY HAI BIẾN MÔ HÌNH HỒI QUY HAI BIẾN

Thế nào là hồi quy?Thế nào là hồi quy?

Thế nào là tuyến tính?Thế nào là tuyến tính?

Mô hình hồi quy tuyến tính là như thế Mô hình hồi quy tuyến tính là như thế nào?nào?

Hồi quy được Francis Galton Hồi quy được Francis Galton đưa ra lần đầu tiên và bài viết đưa ra lần đầu tiên và bài viết của Ông rất nổi tiếncủa Ông rất nổi tiến Xu hướng bố mẹ cao đẻ con Xu hướng bố mẹ cao đẻ con

caocao Bố mẹ thấp đẻ con thấpBố mẹ thấp đẻ con thấpChiều cao trung bình của trẻ em Chiều cao trung bình của trẻ em do những ông bố bà mẹ cùng do những ông bố bà mẹ cùng chiều cao sinh ra có xu hướng chiều cao sinh ra có xu hướng tiến tới hay “Hồi quy” ở chiều tiến tới hay “Hồi quy” ở chiều cao trung bình của dân số. cao trung bình của dân số. Theo cách nói của Galton, đó là Theo cách nói của Galton, đó là “Hồi quy về trung bình” “Hồi quy về trung bình” (regression to mediocrity)(regression to mediocrity)

Phân tích hồi quy là nghiên Phân tích hồi quy là nghiên cứu sự phụ thuộc của một cứu sự phụ thuộc của một biến, biến, biến phụ thuộcbiến phụ thuộc, vào một , vào một hay nhiều biến khác, hay nhiều biến khác, các biến các biến giải thích; giải thích; Với ý tưởng ước lượng hay dự Với ý tưởng ước lượng hay dự đoán giá trị bình quân hay đoán giá trị bình quân hay trung bình (tổng thể) của biến trung bình (tổng thể) của biến phụ thuộc trên cơ sở các giá trị phụ thuộc trên cơ sở các giá trị biết trước hay cố định (trong biết trước hay cố định (trong mẫu lặp lại) của các biến giải mẫu lặp lại) của các biến giải tích.tích.

Hồi quy tuyến tínhHồi quy tuyến tính

Tuyến tính theo các biến sốTuyến tính theo các biến số

Tuyến tính theo các tham sốTuyến tính theo các tham số

Hồi quy tuyến tính là một hồi quy theo Hồi quy tuyến tính là một hồi quy theo các thông số (các thông số chỉ có lũy các thông số (các thông số chỉ có lũy thừa bằng 1 mà thôi); nó có thể có thừa bằng 1 mà thôi); nó có thể có tuyến tính hoặc có thể không tuyến tính tuyến tính hoặc có thể không tuyến tính theo các biế giải thích (các giá trị X) theo các biế giải thích (các giá trị X)

Phân tích hồi quy giải quyết các Phân tích hồi quy giải quyết các vấn đềvấn đề

1.1. Ước lượng giá trị trung bình của biến Ước lượng giá trị trung bình của biến phụ thuộc với giá trị đã cho của biến phụ thuộc với giá trị đã cho của biến độc lập.độc lập.

2.2. Kiểm định giả thuyết cơ bản về bản Kiểm định giả thuyết cơ bản về bản chất của sự phụ thuộc.chất của sự phụ thuộc.

3.3. Dự đoán giá trị trung bình của biến Dự đoán giá trị trung bình của biến phụ thuộc khi biết giá trị của biến độc phụ thuộc khi biết giá trị của biến độc lập.lập.

4.4. Kết hợp các vấn đề trên. Kết hợp các vấn đề trên.

MỐI QUAN HỆ CỦA HỒI QUYMỐI QUAN HỆ CỦA HỒI QUY

QUAN HỆ THỐNG KÊ VÀ QUAN HỆ QUAN HỆ THỐNG KÊ VÀ QUAN HỆ HÀM SỐ, QUAN HỆ TẤT ĐỊNH HÀM SỐ, QUAN HỆ TẤT ĐỊNH HỒI QUY VỚI QUAN HỆ NHÂN QUẢ HỒI QUY VỚI QUAN HỆ NHÂN QUẢ HỒI QUY VỚI TƯƠNG QUAN HỒI QUY VỚI TƯƠNG QUAN Phân tích tương quan là tính sức mạnh Phân tích tương quan là tính sức mạnh

hay mức độ liên kết tuyến tính giữa hai hay mức độ liên kết tuyến tính giữa hai biếnbiến

Nhưng Nhưng trong phân tích tương quan không trong phân tích tương quan không có sự phân biệt giữa các biếncó sự phân biệt giữa các biến

CÁC LOẠI SỐ LIỆUCÁC LOẠI SỐ LIỆU

Số liệu theo thời gianSố liệu theo thời gian Hàng ngày: giá vàng, USD trên thị trườngHàng ngày: giá vàng, USD trên thị trường Hàng tuần: giá cà phê Hàng tuần: giá cà phê Hàng tháng: Chỉ số giá Hàng quí: GDPHàng tháng: Chỉ số giá Hàng quí: GDP Hàng năm: GDP, ngân sách chính phủ Hàng năm: GDP, ngân sách chính phủ 5 năm: tổng điều tra ngành công nghiệp 5 năm: tổng điều tra ngành công nghiệp

chế tạochế tạo 10 năm: tổng điều tra dân số.10 năm: tổng điều tra dân số.

CÁC LOẠI SỐ LIỆUCÁC LOẠI SỐ LIỆU

Số liệu chéoSố liệu chéo Là số liệu về một hoặc nhiều biến được Là số liệu về một hoặc nhiều biến được thu thập tại cùng một thời điểm tại nhiều thu thập tại cùng một thời điểm tại nhiều địa phương, đơn vị khác nhau địa phương, đơn vị khác nhau Số liệu tổng hợpSố liệu tổng hợp Bao gồm cả số liệu chuỗi thời gian và số Bao gồm cả số liệu chuỗi thời gian và số liệu chéo liệu chéo ví dụ: Số liệu về giá vàng, đôla hàng ngay ví dụ: Số liệu về giá vàng, đôla hàng ngay ở Hà Nội, TPHCM ở Hà Nội, TPHCM

NGUỒN SỐ LIỆUNGUỒN SỐ LIỆU

Cơ quan nhà nước (Bộ TM, Bộ NN & Cơ quan nhà nước (Bộ TM, Bộ NN & PTNT)PTNT)

Cơ quan Quốc tế (WR, IMF, UNDP…)Cơ quan Quốc tế (WR, IMF, UNDP…)

Công ty tư nhânCông ty tư nhân

Cá nhân thu thậpCá nhân thu thập

............................

Tính chính xác của số liệuTính chính xác của số liệuMặc dù có nhiều số liệu phục vụ cho nghiên Mặc dù có nhiều số liệu phục vụ cho nghiên cứu kinh tế, chất lượng của số liệu thường cứu kinh tế, chất lượng của số liệu thường không đủ tốt.không đủ tốt.

Do những nguyên nhân gì?Do những nguyên nhân gì? Sai số trong quan sát, bỏ sót hay phạm sai lầmSai số trong quan sát, bỏ sót hay phạm sai lầm Gần đúng hay làm tròn số Gần đúng hay làm tròn số Thiên lệch về lựa chọn Thiên lệch về lựa chọn Phương pháp chọn mẫu Phương pháp chọn mẫu Các số liệu kinh tế thường ở mức rất tổng hợp Các số liệu kinh tế thường ở mức rất tổng hợp Ngoài ra còn có những số liệu bảo mật Ngoài ra còn có những số liệu bảo mật

MÔ HÌNH HỒI QUY TỔNG THỂMÔ HÌNH HỒI QUY TỔNG THỂX : Thu nhập gia đình hàng tuần ($)

Y : C

hi tiêu

gia đìn

h h

àng tu

ần ($)

80 100 120 140 160 180 200 220 240 260

55 65 79 82 102 110 120 135 137 150

60 70 84 93 107 115 136 137 145 152

65 79 90 95 110 120 140 140 155 175

70 80 94 103 116 130 144 152 165 178

75 85 98 108 118 135 145 157 175 180

- 88 - 113 125 140 - 160 189 185

- - - 115 - - - 162 - 191

Cộng 325 467 445 709 678 750 685 1043 966 1211

Xác suất có điều kiện P(Y|XXác suất có điều kiện P(Y|Xii) của ) của

dữ liệudữ liệu X: Thu nhập gia đình hàng tuần

Xác xu

ất có điều

kiện

P(Y

/Xi)

80 100 120 140 160 180 200 220 240 260

1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7

1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7

1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7

1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7

1/5 1/6 1/5 1/7 1/6 1/6 1/5 1/7 1/6 1/7

- 1/6 - 1/7 1/6 1/6 - 1/7 1/6 1/7

- - - 1/7 - - - 1/7 - 1/7E(Y/

Xi)65 78 89 101 113 125 137 149 161 173

BIỂU ĐỒBIỂU ĐỒ

Thu nh p gia đình hàng tu n ($)ậ ầ

Chi

tiêu

gia

đìn

h hà

ng tu

n ($

)ầ

ĐẶC TRƯNG NGẪU NHIÊN CỦA ĐẶC TRƯNG NGẪU NHIÊN CỦA PRF PRF

iii XXYE 21)|(121 80.55)|( iXYE

121 80.75)|( iXYE………………………………….

)|()|()|( 1 iii XEXYEXYE

0)|( 1 iXE

KN biến phụ thuộc và biến giải thíchKN biến phụ thuộc và biến giải thíchBi n gi i thíchế ả

Bi n đ c l pế ộ ậ

Bi n h i quyế ồ

Bi n tác nhân ếhay bi n ki m ế ể

soátNgo i sinhạ

Bi n d báoế ự

Bi n ph thu cế ụ ộ

Bi n đ c gi i thíchế ượ ả

Bi n đ c H.quyế ượ

Ph n ngả ứ

N i sinhộ

Bi n đ c d báoế ượ ự

Biến phụ thuộc (Dependent Variable) Y; Biến Biến phụ thuộc (Dependent Variable) Y; Biến giải thích (Explanatory Variable) Xsgiải thích (Explanatory Variable) Xs

1. Y = Son’s Height; X = Father’s Height1. Y = Son’s Height; X = Father’s Height2. Y = Height of boys; X = Age of boys2. Y = Height of boys; X = Age of boys3. Y = Personal Consumption Expenditure3. Y = Personal Consumption Expenditure X = Personal Disposable IncomeX = Personal Disposable Income4. Y = Demand; X = Price4. Y = Demand; X = Price5. Y = Rate of Change of Wages 5. Y = Rate of Change of Wages X = Unemployment RateX = Unemployment Rate6. Y = Money/Income; X = Inflation Rate6. Y = Money/Income; X = Inflation Rate7. Y = % Change in Demand; X = % Change in 7. Y = % Change in Demand; X = % Change in

the advertising budgetthe advertising budget8. Y = Crop yield; Xs = temperature, rainfall, 8. Y = Crop yield; Xs = temperature, rainfall,

sunshine, fertilizersunshine, fertilizer

The Sample Regression Function (SRF)The Sample Regression Function (SRF)

A random sample A random sample from the populationfrom the population

YY XX------------------------------------ 7070 80 80 65 10065 100 90 12090 120

9595 140140110110 160160115115 180180120120 200200140140 220220155155 240240150150 260260

------------------------------------

Another random sample Another random sample from the populationfrom the population

YY XX--------------------------------------

55 8055 80 8888 100100 9090 120120 8080 140140118118 160160120120 180180145145 200200135135 220220145145 240240175175 260260

----------------------------------------

SRF1

SRF2

Weekly Consumption Expenditure (Y)

Weekly Income (X)

The Sample Regression Function (SRF)The Sample Regression Function (SRF)

SRF1 and SRF 2SRF1 and SRF 2Y^Y^i i = = αα ^ + ^ + ^X^Xii

Y^Y^i i = estimator of E(Y= estimator of E(YXXii))αα^̂ = estimator of = estimator of αα^= estimator of ^= estimator of Estimate = A particular numerical value Estimate = A particular numerical value obtained by the estimator in an applicationobtained by the estimator in an applicationSRF in stochastic form: YSRF in stochastic form: Yii= = ^̂11 + + ^̂22XXi i + + εε ^ ^ii

or Yor Yii= Y^= Y^ii + + εε^̂ii

Phương trình hồi quy tổng thểPhương trình hồi quy tổng thể

Trong đóTrong đó::YYi i : Biến phụ thuộc, biến ngẫu nhiên: Biến phụ thuộc, biến ngẫu nhiên

XXii: Biến độc lập, biến không ngẫu nhiên: Biến độc lập, biến không ngẫu nhiên

εεii: Sai số: Sai số

αα,,ββ: Hệ số hồi quy: Hệ số hồi quy

iii XY

Các giả thiết hồi quyCác giả thiết hồi quy1.1. Mối quan hệ Y và X là tuyến tínhMối quan hệ Y và X là tuyến tính

2.2. Các giá trị X là biến số không ngẫu nhiên, Các giá trị X là biến số không ngẫu nhiên, có giá trị cố địnhcó giá trị cố định

3.3. a. Kỳ vọng sai số bằng không và phương a. Kỳ vọng sai số bằng không và phương sai là một hằng sốsai là một hằng số

b. Các biến số ngẫu nhiên b. Các biến số ngẫu nhiên εεii độc lập về độc lập về mặt thống kêmặt thống kê

c. Số hạng sai số có phân phối chuẩnc. Số hạng sai số có phân phối chuẩn

ƯỚC LƯỢNG THAM SỐ HỒI ƯỚC LƯỢNG THAM SỐ HỒI QUYQUY

Thông số thử nghiệm hàm SRF (Sample Thông số thử nghiệm hàm SRF (Sample regression function).regression function).

44

55

77

1212

11

44

55

66

2,9292,929

7,007,00

8,3578,357

9,7149,714

1,0711,071

-2-2

-1,357-1,357

2,2862,286

1,1471,147

44

1,8411,841

5,2265,226

44

77

88

99

00

-2-2

-1-1

33

00

44

11

99

2828 1616 12,21412,214 1414

iY iX iY1̂ i1̂ 21̂i iY2̂ i2̂ 2

2ˆ i

Total

ii XY 357,1572,11̂

ii XY 0,10,32̂ iii YY 11

ˆˆ

iii YY 22ˆˆ

ƯỚC LƯỢNG THAM SỐ HỒI ƯỚC LƯỢNG THAM SỐ HỒI QUYQUY

- Best Linear unbiased Estimator (BLUE)Best Linear unbiased Estimator (BLUE)- Ordinary Linear Square (OLS)Ordinary Linear Square (OLS)- Đính lý Gauss-Markov:Đính lý Gauss-Markov:

Với các giả định i, ii, iiia và iiib, các ước Với các giả định i, ii, iiia và iiib, các ước lượng lượng αα(hat) (hat) và và ββ(hat)(hat) là những ước là những ước lượng không chệch tốt nhất của lượng không chệch tốt nhất của αα và và ββ (và hiệu quả nhất) có nghĩa là chúng có (và hiệu quả nhất) có nghĩa là chúng có phương sai nhỏ nhất trong số tất cả các phương sai nhỏ nhất trong số tất cả các ước lượng tuyến tính không chệch.ước lượng tuyến tính không chệch.

Ước lượngƯớc lượng

XYXXn

YXXYX

ii

iiiii ˆ)(

ˆ22

2

22222

222 )(

))((

)(ˆ

XnX

yX

XnX

Yx

x

yx

XX

YYXX

XXn

YXYXn

i

ii

i

ii

i

ii

i

ii

ii

iiii

Với:Với:

YYy

XXx

ii

ii

Kiểm định và ước lượng Kiểm định và ước lượng khoảngkhoảng

ˆ

02

ˆ

stN

ˆˆ stc ˆˆ stc

Kiểm định t:

Ước lượng khoảng:

: ̂STính

2

ˆˆ

2

ˆˆ

2222

N

XY

NS iii

2

22ˆ

ix

ss

)2(

1ˆ2

22ˆ

Nxs

i

i

2

22

ˆ

i

i

xN

Xss

:STính ̂

Type of Type of HypothesiHypothesiss

HH00 HH11 Reject HReject H00

ifif

Two-tailTwo-tail = = ** # # ** |t| > t|t| > t/2,df/2,df

Right-tailRight-tail ** > > ** t > tt > t,df,df

Left-tailLeft-tail ** < < ** t < - tt < - t,df,df

Decision Rule for t-test of significanceDecision Rule for t-test of significance

VD:VD: Giả sử bạn phụ trách cơ quan tiền Giả sử bạn phụ trách cơ quan tiền tệ trung ương trong một quốc gia tệ trung ương trong một quốc gia tưởng tượng. Bạn được cho số liệu tưởng tượng. Bạn được cho số liệu quá khứ sau đây về lượng tiền và thu quá khứ sau đây về lượng tiền và thu nhập quốc dân (tính theo triệu dollar)nhập quốc dân (tính theo triệu dollar)

N L.tiền TNQD N L.tiền TNQD

8182838485

2.02.53.23.63.3

5.05.56.07.07.2

8687888990

4.04.24.64.85.0

7.78.49.09.7

10.0

a. Hãy chấm những điểm này trên đồ thị. Sau a. Hãy chấm những điểm này trên đồ thị. Sau đó ước lượng hồi quy thu nhập quốc dân Y đó ước lượng hồi quy thu nhập quốc dân Y trên lượng tiền tệ X và vẽ đường này trên đồ trên lượng tiền tệ X và vẽ đường này trên đồ thị.thị.

b. Bạn giải thích như thế nào về tung độ gốc và b. Bạn giải thích như thế nào về tung độ gốc và độ dốc của đường hồi quy.độ dốc của đường hồi quy.

c. Nếu bạn là người duy nhất kiểm soát sự c. Nếu bạn là người duy nhất kiểm soát sự cung ứng tiền tệ và mong đạt được mức thu cung ứng tiền tệ và mong đạt được mức thu nhập quốc dân là 12.0 trong năm 1991, thì nhập quốc dân là 12.0 trong năm 1991, thì bạn sẽ cung ứng tiền tệ ở mức nào. Giải bạn sẽ cung ứng tiền tệ ở mức nào. Giải thích thích

iXY 72,117,1ˆ

Y: Bushels per acre of corn

X: Fertilizer

1. Hãy c l ng các ướ ượtham s h i quyố ồ

2. Bi u di n các c p ể ễ ặgiá tr lên bi u đị ể ồ

3. V đ ng h i quy ẽ ườ ồlên bi u để ồ

Ví d :ụ

ii XY 66,1125,27ˆ Gi i thích ph ng trình h i quy?ả ươ ồ

●------- ● ● ● ●

● ),( YX ● ● ●

XY ˆˆˆ

)ˆ( YYi

)ˆ( ii YY

)( YYi

Y

X

PHÂN TÍCH PHƯƠNG PHÂN TÍCH PHƯƠNG SAISAI

YYYYYY ii ˆˆ

YYYYYYYYYY iiiiiii ˆˆ2ˆˆ 222

RSS ESS

ˆ ˆ 222

TSS

YYYYYY iiii

Hệ số xác định:Hệ số xác định:

TSS

RSS

TSS

ESSR 12

2

2

22

22 ˆˆ

i

i

i

i

y

x

y

y

TSS

RSSR

2

22

ˆ1

i

i

yR

Hoặc

Hệ số tương quan:Hệ số tương quan:2Rr

])(][)([

))((

)((

2222

22

iiii

iiii

ii

ii

YYnXXn

YXYXn

yx

yxr

Ví dụ:Ví dụ:

Y: Lượng cầuY: Lượng cầu

X: Giá của một loại hàng hóaX: Giá của một loại hàng hóa

Cặp sốCặp số: : 11 2 2 33 44 55 6677

Y: Y: 88 7 7 66 55 55 4444

X:X: 22 3 3 33 44 55 6688

Yêu cầuYêu cầu::

1.1. Biểu diễn các cặp giá trị Y và X lên biểu Biểu diễn các cặp giá trị Y và X lên biểu đồđồ

2.2. Trước khi ước lượng hàm hồi quy, hãy Trước khi ước lượng hàm hồi quy, hãy dự đoán dấu của dự đoán dấu của ββ (dương hay âm) (dương hay âm). . Hãy giải thích ngắn gọn.Hãy giải thích ngắn gọn.

3.3. Ước lượng phương trình hồi quyƯớc lượng phương trình hồi quy4.4. Cho biết ý nghĩa của độ dốc hồi quyCho biết ý nghĩa của độ dốc hồi quy5.5. Kiểm định giả thuyết HKiểm định giả thuyết Hoo: : ββ 1 1 = 0= 0, , ββ2 2 = 1= 16.6. Tính và giải thích hệ số xác định, hệ số Tính và giải thích hệ số xác định, hệ số

tương quan của phương trình hồi quy.tương quan của phương trình hồi quy.7.7. Dự báo cầu của loại hàng hóa khi giá tăng Dự báo cầu của loại hàng hóa khi giá tăng

lên tại X = 12.lên tại X = 12.

X Line Fit Plot

y = -0.65x + 8.45

R2 = 0.7922

0

5

10

0 1 2 3 4 5 6 7 8 9

X

Y

VD2:VD2:1. Hãy hoàn chỉnh bảng phân tích phương sai hồi qui sau và cho biết ý nghĩa của kiểm định F. Xác định giá trị t để kiểm định ý nghĩa thống kê của độ dốc đường hồi qui: ANOVA

SourceSource DFDF SSSS MSMS FF PP

RegressionRegression 33 ?? ?? ?? 0.0210.021

ErrorError 88 112.95112.95 ??

TotalTotal 1111 229.6229.6