Chương 1

CÁC MÔ HÌNH HỐI QUY

1.1 Giới thiệu

+ Mô hình hồi quy tuyến tính đơn giản

+ Ví dụ: Hàm tiêu dùng

+ Thành phần sai số ngẫu nhiên:

- được sử dụng để mô hình hóa sự thiếu hiểu biết của chúng ta về các chi tiết cơ chế kinh tế, và

- thể hiện các tác động ngẫu nhiên, về trung bình, sẽ bị triệt tiêu

+ Chương này chú trọng nhiều vào mô hình thống kê (statistical models), chứ không phải vào vào ước lượng và kiểm định giả thiết về chúng.

+ Nội dung chính của chương:

- Lý thuyết xác suất

- Đại số ma trận

- Phương pháp mô men

1.2 Phân phối, mật độ phân phối xác suất, và các mô men

+ Khái niệm biến ngẫu nhiên:

- Trường hợp đơn giản nhất là biến ngẫu nhiên scalar (scalar random variables), là tập các giá trị thực có thể.

- Các tập con của tập đầy đủ các khả năng có thể của biến ngẫu nhiên X được gán cho một xác suất. Tập con đó được gọi là sự kiện. Các xác suất được gán bởi phân phối xác suất.

- Khái niệm biến ngẫu nhiên rời rạc và liên tục.

+ Phân phối xác suất

- Quy tắc tổng quát của phân phối xác suất:

(i) Tất cả các xác suất thuộc [0, 1];

(ii) Tập trống có xác suất bằng 0, tập đầy đủ của các khả năng có thể có xác suất bằng 1;

(iii) Xác suất của một hợp các sự kiện là tổng các xác suất được gán cho các sự kiện đó;

- Hàm CDF (Cumulative Distribution Functions): .

- Hàm CDF là tăng, vì

- Công thức cần lưu ý:

+ Hàm mật độ phân phối xác suất

- Hàm PDF (Probability Density Functions): .

- Tính chất:

- Đồ thị CDF và PDF

- Công thức (103) được viết lại như sau:

- Lưu ý: luôn không âm, và không bị chặn trên bởi 1.

+ Ví dụ: Phân phối chuẩn

- Hàm PDF của phân phối chuẩn tiêu chuẩn (standard normal distibution):

- Hàm CDF không có dạng gần-cơ bản (elementary close-form):

- Đồ thị của chúng được trình bày trên Hình 1.1 (Figure 1.1)

- Biến ngẫu nhiên rời rạc cũng được đặc trưng bởi CDF, nhưng không rõ ràng, ví dụ như hàm CDF sau:

- Đồ thì là:

- Rõ ràng, chúng ta không thể vẽ đồ thị của PDF tương ứng, vì nó không tồn tại

- Sử dụng CDF là một cách hợp lý khi biến ngẫu nhiên không hoàn toàn rời rạc cũng như không hoàn toàn liên tục. Biến lai tạp (hybrid) như vậy có thể được tạo ra bởi hiện tượng kiểm duyệt (censoring). Biến được gọi là được kiểm duyệt nếu không phải tất cả các giá trị của nó có thể thực sự quan sát được.

+ Các Mô men của biến ngẫu nhiên

- Kỳ vọng của biến ngẫu nhiên rời rạc:

- Kỳ vọng của biến ngẫu nhiên liên tục là:

Mặc dù không phải luôn tồn tại kỳ vọng này, vì tích phân nói trên có thể phân kỳ, nếu hàm dưới dấu tích phân không hội tụ tới không đủ nhanh. Ký hiệu thường được sử dụng là .

- Kỳ vọng là mô men bậc nhất. Mô men bậc cao hơn, nếu tồn tại, là các kỳ vọng của các biến ngẫu nhiên lũy thừa bậc cao hơn.

- Vì mô men chỉ phụ thuộc vào phân phối cho nên người ta hay nói về mô men của phân phối. Nếu phân phối có mô men bậc k thì nó có tất cả các mô men bậc nhỏ hơn k. Các mô men này thường được gọi là các mô men phi trung tâm, vì X thường không có trung bình (kỳ vọng) bằng 0.

- Mô men trung tâm là mô men của khoảng cách giữa biến ngẫu nhiên và kỳ vọng của nó. Vậy mô men bậc k là:

trong đó .

- Đối với X rời rạc, mô men trung tâm bậc k là

+ Các phân phối đa-biến (multivariate distributions):

- Biến ngẫu nhiên giá trị-vector (vector-valued random variable) nhận các giá trị là véc tơ.

- Để đơn giản, hãy xét các biến ngẫu nhiên hai-biến (bivariate random variables). Biến ngẫu nhiên có phân phối xác suất

- Hàm mật độ phân phối xác suất chung (joint density function), nếu tồn tại, là

- Các tính chất là tương tự, ví dụ:

o Như trong (1.04),

o Hoặc, tổng quát hơn,

o Tính độc lập về mặt thống kê: và được gọi là độc lập với nhau nếu:

o Hàm mật độ xác suất cận biên của là:

trong đó đạo hàm riêng của theo . Từ (1.10) suy ra:

o Từ đó suy ra, nếu và độc lập, tức là (1.10) bảo toàn, thì

+ Xác suất có điều kiện

- Định nghĩa:

- Ý nghĩa: Thông tin về việc đã xảy ra có thể giúp cho việc xác định có xảy ra hay không.

- Hàm mật độ phân phối xác suất của điều kiện được định nghĩa là:

(định nghĩa này yêu cầu , nhưng cũng có những định nghĩa khác)

- Kỳ vọng có điều kiện:

o Nếu tồn tại, nó là kỳ vọng được tính bằng cách sử dụng phân phối xác suất có điều kiện

o Lưu ý: là tất định, nhưng là hàm tất định của biến

ngẫu nhiên . Khi đó có một số thuộc tính lý thú sau:

Luật Kỳ vọng Lặp:

Hàm tất định của biến ngẫu nhiên is its own conditional

expectation. Tức là, ví dụ, , ,…

Trong trường hợp đặc biệt, khi , thì

1.3 Định dạng các mô hình hồi quy

+ Giả sử có kỳ vọng bằng 0 phụ thuộc vào điều kiện . Lấy kỳ vọng hai vế (1.01),

+ Ví dụ, giả sử chúng ta ước lượng bằng (1.01) nhưng thực ra,

với và là thành phần sai số sao cho . Nếu số liệu được tạo ra bởi (1.18), thành phần sai số trong (1.01) sẽ là , do vậy

là đại lượng khác không.

+ Ý nghĩa: trừ phi với điều kiện thực sự là hàm tuyến tính của , hàm hồi quy (1.01) có định dạng không đúng (không được chỉ ra một cách đúng đắn), theo nghĩa (1.01) không bảo toàn với thành phần sai só có kỳ vọng có điều kiện bằng 0.

+ Tập thông tin:

- Tổng quát hơn, chúng ta muốn dựa vào điều kiện của tập các biến giải thích tiềm năng, được gọi là tập thông tin, ký hiệu là .

- Tập thường lớn hơn tập biến được thực sự sử dụng trong hàm hồi quy, và thường không được xác định rõ.

- Điển hình, chúng ta muốn đặt điều kiện vào các biến ngoại sinh, chứ không phải vào các biến nội sinh, tức là có nguồn gốc bên ngoài chứ không phải bên trong mô hình đang xét.

- Ví dụ hàm tiêu dùng ở trên: mô hình chỉ đúng nếu

o Kỳ vọng của tiêu dùng với điều kiện có thu nhập khả dụng là hàm tuyến tính của thu nhập khả dụng.

o Tiêu dùng không phải là biến góp phần xác định ra thu nhập khả dụng. Tức là, nguồn gốc của thu nhập khả dụng, tức là cơ chế theo đó thu nhập khả dụng được tạo ra, nằm bên ngoài mô hình đang xét.

- Vấn đề về việc các biến có phải là ngoại sinh hay không được xét ở Chương 8.

+ Thành phần sai số:

- Giả thiết đơn giản nhất (giả thiết khá mạnh): IID (independently and identically distributed)

o Đều có trung bình bằng 0;

o Có được từ cùng một phân phối;

o Và độc lập với nhau.

- Phản ví dụ là serial correlation và heteroskedasticity.

- Mô hình

cũng là định dạng không hoàn hảo như (1.01). Do vậy, cách tốt nhất để nói về định dạng hoàn hảo của một mô hình kinh tế lượng là định dạng cung cấp giải pháp rõ ràng để mô phỏng mô hình trên máy tính. (Nếu chúng ta có thể sử dụng mô hình để tạo ra số liệu mô phỏng thì mô hình này được định dạng một cách hoàn hảo).

+ Mô phỏng các mô hình kinh tế lượng (Simulating Econometric Models)

- Định nghĩa: Mô phỏng là tạo ra các giá trị của theo (1.01) với cố định.

- Một trong những khâu quan trọng của mô phỏng là tạo số ngẫu nhiên (sẽ xem thêm Chương 4) bằng máy tính. Thực ra máy tính chỉ tạo ra pseudo-random, nhưng đối với các mục đích của chúng ta thì điều đó là đủ.

- Các bước mô phỏng:

o Cố định kích thước mẫu n;

o Lựa chọn các tham số của định dạng tất định (ở đây là và );

o Xác định n giá trị kế tiếp nhau của , ;

o Tính n giá trị kế tiếp nhau của hàm hồi quy với ;

o Chọn phân phối xác suất cho các thành phần sai số, nếu cần thì phải chỉ rõ kỳ vọng và phương sai;

o Sử dụng bộ tạo số ngẫu nhiên để tạo ra n các giá trị kế tiếp nhau và độc lập với nhau của thành phần sai số ngẫu nhiên;

o Hình thành n giá trị kế tiếp của bằng cách cộng các thành phần sai số vào các giá trị của hàm hồi quy.

- So sánh (1.01) và (1.19):

o Cả hai đều không hoàn hảo. Để hoàn hảo phải chỉ ra tập thông tin và phân phối của dựa vào điều kiện đã có .

o (1.19) có ưu điểm đã chỉ ra kỳ vọng có điều kiện, nhưng (1.19) không chỉ rõ thành phần sai số ngẫu nhiên.

o (1.01) có ưu điểm chỉ ra thành phần sai số ngẫu nhiên, nhưng không thể hiện rõ sự phụ thuộc của mô hình vào lựa chọn tập thông tin và sự kiện phân phối của thành phần sai số phải được chỉ ra khi đã biết tập thông tin đó (phân phối có điều kiện đã có tập thông tin).

+ Các mô hình hồi quy tuyến tính và phi-tuyến:

- Xem Davidson (trang 22-24)

- Lưu ý phần chọn thành phần sai số ngẫu nhiên cho mô hình (1.23) và mô hình (1.26) cho ứng dụng thực hành

1.4 Đại số ma trận

+ Không thể nghiên cứu kinh tế lượng ngoài mức sơ đẳng nhất nếu không sử dụng đại số ma trận.

+ Các khái niệm:

- Ma trận, véc tơ cột và véc tơ hàng, ma trận vuông, ma trận đối xứng, ma trận đường chéo và đường chéo chính, ma trận tam giác (tam giác trên, tam giác dưới)

- Chuyển vị của một ma trận, ký hiệu là

+ Các phép toán số học cho ma trận:

- Cộng và trừ:

- Nhân ma trận (tích trong, tích vô hướng):

Giả sử và là hai n-véc tơ thì tích trong của chúng là:

Giả sử thì

(Lưu ý có m cột và có m hàng). Đôi khi để rõ, người ta viết

- Định nghĩa: Tích ngoài =

- Nhân trước và nhân sau:

- Ma trận đơn vị :

- Véc tơ là véc tơ cột có các phần tử toàn là các con số 1. Ví dụ

- Các tính chất của cộng và nhân ma trận:

o Tính chất phân phối:

o Tính chất kết hợp:

o Chuyển vị của tích:

- Nhân ma trận với một số : các phần tử của nhân với .

- Tích trực tiếp của hai ma trận: = ( )

- Ma trận nghịch đảo: : là ma trận, nếu tồn tại, có thuộc tính

o Nếu là đối xứng, thì cũng là đối xứng

o Nếu là tam giác, thì cũng là tam giác

o Nếu là ma trận đường chéo thì cũng vậy

- Hạng của ma trận:

o Nếu ma trận vuông có chiều là , có thể lấy nghịch đảo, thì hạng của nó là n. Đó là hạng đầy đủ.

o Ma trận không là vuông, thì ma trận không suy thoái có kích thước lớn nhất thì m là hạng của ma trận.

+ Các mô hình hồi quy và ký hiệu ma trận

(1.01) có thể viết dưới dạng sau:

+ Ký hiệu:

Phương trình (1.31) có thể được viết lại là:

- Khái niệm regressors và regressand

- Giả sử có k regressors, thì có thể viết

- Khi đó một hàng điển hình của phương trình này được viết là:

trong đó Xt là cột thứ t của X.

- Lưu ý:

o Sử dụng đại số ma trận rất thuận tiện khi làm việc với các tổng số.

o Các ước lượng bình phương tối thiểu của chỉ phụ thuộc vào ma trận và véc tơ .

+ Các ma trận phân hoạch được (partitioned matrix)

- Có nhiều cách viết ma trận có kích thước , ví dụ:

o Tách các cột

o Tách các hàng:

o Tổng quát, có thể viết:

o Nếu 2 ma trận có cùng kích thước và được phân hoạch theo chính xác cùng một cách, chúng có thể cộng hoặc trừ theo từng blocks:

Ví dụ 1:

Ví dụ 2:

Từ đó suy ra:

Ví dụ 3:

1.5 Ước lượng các phương pháp - mô men

+ Khái niệm:

- Để có được các ước lượng tham số, ta cần:

o Mô hình có chứa tham số

o Mẫu được tạo thành từ các số liệu quan sát được

- Thuật ngữ tổng thể (population):

o Được sử dụng từ thời sinh học

o Khái niệm tốt hơn là quá trình tạo-số liệu (data-generating process) hay DGP.

o DGP tương tự với tổng thể, mẫu rút ra từ tổng thể tương tự mẫu rút ra từ DGP

o Trong cả hai trường hợp mẫu được giả thiết là đại diện của DGP hoặc tổng thể mà từ đó chúng được rút ra.

- Cách tự nhiên để ước lượng các tham số là thay các trung bình tổng thể bởi các trung bình mẫu.

o Đây là kỹ thuật có tên gọi là phương pháp các mô men (method of moments)

o Phương pháp này có thể được sử dụng với các mô men khác ngoài trung bình (kỳ vọng).

o Tóm tắt của MM (phương pháp mô men): ước lượng các mô men tổng thể bởi các mô men mẫu tương ứng.

+ Ước lượng mô hình hồi quy tuyến tính đơn giản:

- Từ (1.01) có:

- Phù hợp với mô hình của chúng ta, kỳ vọng của thành phần sai số này bằng 0. Trung bình mẫu là:

Và do vậy, chúng ta muốn cho trung bình mẫu này bằng 0:

- Tuy nhiên, trên đây chỉ là một phương trình mà ta cần giải cho 2 biến. Do vậy, phải có thêm một phương trình nữa.

- Ta biết rằng kỳ vọng của bằng 0 dựa vào điều kiện đã có biến giải thích . Thực ra, kỳ vọng của bằng 0 dựa vào điều kiện của nhiều thứ khác nữa, tùy thuộc vào việc chúng ta lựa chọn tập thông tin như thế nào.

- Giả thiết kỳ vọng có điều kiện hàm ý:

o không chỉ ,

o mà còn cả , vì theo (1.16) và (1.17),

o Từ đó chúng ta có hai phương trình cho hai ẩn số và . Cụ thể là (1.40) được bổ sung bởi:

- Viết lại (1.40) và (1.42) dưới dạng ma trận, ta có:

- Hãy viết dưới dạng gọn hơn là:

- Ta lưu ý cách thể hiện lại (1.43) nhờ các biến đổi sau:

- Viết lại dưới dạng ma trận, ta có:

- Cuối cùng lời giải là:

+ Ước lượng mô hình hồi quy tuyến tính đa biến:

- Tổng quát, chúng ta có với

Và công thức này, dưới dạng trung bình mẫu tương ứng, cho ta

trong đó là hàng thứ t của . Do vậy có k phương trình cho k biến của .

Lưu ý: phương trình thứ nhất chính là điều kiện trung bình mẫu của thành phần sai số bằng 0.

- Dưới dạng ma trận, (1.47) có thể được viết là:

(1.48) rõ ràng tương đương với (1.45) giải chúng, chúng ta nhận được (1.46).

- Có thể viết là

chỉ là các tích vô hướng của các regressors với regressand . Tương tự, có thể viết là

Do vậy có thể được biểu diễn bởi các thành phần tích vô hướng cũng là một hàm (phức tạp) của các tích vô hướng này. Cuối cùng, là

một hàm cũng chỉ của các tích vô hướng của các cặp biến.

+ Ước lượng OLS

- Có thể chứng tỏ OLS và MM đều đưa ra cùng một kết quả như nhau mặc dù xuất phát từ các tiếp cận hoàn toàn khác nhau.

- Chứng minh: Khái niệm tổng bình phương của các phần dư:

có thể viết là:

Tối thiểu (1.53), chúng ta nhận được (1.45). đpcm.

+ Nhận xét:

- Việc xây dựng biểu thức đại số (1.46) cho ước lượng OLS (hay MM) cho là dễ dàng như đã được thấy.

- Việc tính toán kết quả số được thực hiện dễ dàng bởi các phần mềm.

- Điều khó khăn nhất là hiểu được các thuộc tính của các ước lượng này:

o Các thuộc tính số là dễ tính (Chương 2).

o Các thuộc tính thống kê phụ thuộc vào cách theo đó số liệu được tạo ra.

Chúng chỉ có thể được kiểm tra bằng lý thuyết,

bởi các giả thiết xác định, được minh họa bởi mô phỏng,

nhưng không bao giờ kiểm tra được đối với các tập số liệu đã cho. Điều này sẽ được thảo luận trong các Chương 3, 4, và 5.