Mô hình hồi quy tuyến tính

Seminar ngày 5/10/09

MÔ HÌNH HỒI QUI TUYẾN TÍNH

VÕ ĐÌNH BẢYVÕ ĐÌNH BẢY

Hồi qui tuyến tínhHồi qui tuyến tính

Mục tiêu của hồi qui là tiên đoán giá trị củaMục tiêu của hồi qui là tiên đoán giá trị củamột hay nhiều biến (liên tục) mục tiêu t khicho trước giá trị của vector D-chiều xcho trước giá trị của vector D-chiều x.Đơn giản nhất là sử dụng công thức dạngy = ax + by = ax + b.

Công thức hồi qui đơn giản (1)Công thức hồi qui đơn giản (1)

Công thức: y = ax + bCông thức: y ax + b.Khi ấy, với X = {x1, x2, …xN} và T = {t1, t2,

t } Ta có thể tìm công thức hồi qui như…, tN}. Ta có thể tìm công thức hồi qui nhưsau:Xé hà lỗi SE ∑∑ +

NN

baxtyt )]([)(Xét hàm lỗi SE =Cực tiểu hàm lỗi để nhận được các hệ số a, b.

∑∑==

+−=−i

iii

ii baxtyt11

)]([)(

Công thức hồi qui đơn giản (2)Công thức hồi qui đơn giản (2)

Cực tiểu hàm lỗi để nhận được các hệ số a bCực tiểu hàm lỗi để nhận được các hệ số a, b.Ta có:

∑ +−−=∂ N

iii xbaxtdSE )]([2∑

=iiiida 1

)]([

∑∂ NSE ∑=

+−−=∂

iii baxt

dbSE

1)]([2

Công thức hồi qui đơn giản (3)Công thức hồi qui đơn giản (3)

Giải hệ trên với biến là a b:Giải hệ trên với biến là a, b:

⎧ N⎪⎪⎧

−−∑N

TiXi meantmeanx ))((

⎪

⎪⎪⎨

⎧=+−

∑

∑=

0)]([1

N

N

iiii xbaxt

⎪

⎪⎪⎪⎪

⎨−

=

⇒ ∑

∑

=

=N

iXi

i

meanxa

)(1

2

1

⎪⎪⎩

=+−∑=

0)]([1i

ii baxt

⎪⎪⎪⎪

⎩−=−=

∑∑==

XT

N

ii

N

ii

i

meanameanN

xa

N

tb *11

1

Trong đó meanX, meanT là giá trị trung bìnhcủa X và T

⎪⎩ XTNN

của X và T.

Công thức hồi qui đơn giản (4)Công thức hồi qui đơn giản (4)

Ví dụ:

X T⎪⎪⎧

−−∑= 2950

))((1

N

iTiXi meantmeanx

0 0.30.2 0.80 5 1 ⎪

⎪⎪⎪

⎨

−=−

=

⇒ ∑=

= 295.0)(

1

2

1

NN

N

iXi

i

meanxa

0.5 10.6 0.91 0 01 ⎪

⎪⎪⎪

⎩=−=−=

∑∑== 738.0*11

XT

N

ii

N

ii

meanameanN

xa

N

tb

1 0.01 ⎩ NN

Hay phương trình là: y = -0.295x+0.738!y p g y

Công thức hồi qui đơn giản (4)Công thức hồi qui đơn giản (4)

Hàm dự đoán: y = -0.295x+0.738X T’ ⎧

X T0 0.3 X T

0.1 0.710.8 0.5

⎩⎨⎧

=−=⇐ 738.0

295.0ba0.2 0.8

0.5 1 0.8 0.50.6 0.91 0.01

Dạng đơn giản – Đa thức

Hồi qui tuyến tính cơ sở (1)Hồi qui tuyến tính cơ sở (1)

Một cách khác là sử dụng đường cong đa thức:Một cách khác là sử dụng đường cong đa thức:

Tùy theo giá trị M, chúng ta có hàm xấp xỉ với các giá trị (xi, ti) được cho.g ị ( i, i) ợ

Hàm hồi qui tuyến tính cơ sở (2)Hàm hồi qui tuyến tính cơ sở (2)

Cá điể dữCác điểm dữ liệu (xi, ti)

Hàm cần dự đoán ⇒ Cầnđoán ⇒ Cần xác định w0, …, wM.

Hàm lỗi (Sum‐of‐Squares Error Function)Hàm lỗi (Sum of Squares Error Function)

t thực tế

Giá trị ước lượngGiá trị ước lượng

Lỗi: y(x,w) - ty( , )

Hàm lỗi (2)Hàm lỗi (2)

Tìm w sao cho E(w) đạt min⇒ Giải bài toán cực trị hàm nhiều biến

Hàm xấp xỉ với M = 0Hàm xấp xỉ với M   0

Hàm xấp xỉ với M = 1Hàm xấp xỉ với M   1

Hàm xấp xỉ với M = 3Hàm xấp xỉ với M   3

Hàm xấp xỉ với M = 9Hàm xấp xỉ với M   9

Over‐fittingOver fitting

Root‐Mean‐Square (RMS) Error:

Các hệ số tương ứng với MCác hệ số tương ứng với M   

Kích thước dữ liệu:Kích thước dữ liệu: Hàm xấp xỉ với M = 9

Kích thước dữ liệu:Kích thước dữ liệu: Hàm xấp xỉ với M = 9

Mở rộng công thức hàm lỗiMở rộng công thức hàm lỗi

Thêm hàm phạt (theo λ và w)

Ngoài w, cần chọn λ phù hợp để lỗi đạt được là min.Ngoài w, cần chọn λ phù hợp để lỗi đạt được là min.

Hệ số λ:Hệ số λ: 

Hệ số λ:Hệ số λ: 

Lỗi với hệ số λ: vớiLỗi với hệ số λ:         với 

Các hệ số tương ứng với λCác hệ số tương ứng với λ

Mở rộng hàm

Hàm hồi qui tuyến tính cơ sở (1)Hàm hồi qui tuyến tính cơ sở (1)

Công thức tổng quát:Công thức tổng quát:

Trong đó là các hàm cơ sở (basis functions).)(j xφ

w = (w0, w1, …, wM-1)T và φ = (φ0, φ1, …, φM-1)T.j

Hàm hồi qui tuyến tính cơ sở (2)Hàm hồi qui tuyến tính cơ sở (2)

Hàm cơ sở dạng đa thức:ạ g

≡ Hàm cơ bản dạng đa thức

Hàm hồi qui tuyến tính cơ sở (3)Hàm hồi qui tuyến tính cơ sở (3)

Hàm cơ sở dạng Gaussian:ạ g

Trong đó μj được tính theo công thức:

Hoặc:Hoặc:

với

Hàm hồi qui tuyến tính cơ sở (4)Hàm hồi qui tuyến tính cơ sở (4)

Hàm Sigmoid cơ sở:g

T đóTrong đó:

Cực đại likelihood và bình phương tối thiểu (1)

Giả sử đã có hàm nhiễu Gaussian như sau:Giả sử đã có hàm nhiễu Gaussian như sau:

Hay có thể viết cách khác:trong đó

Hay có thể viết cách khác:

Cho các quan sát và hàm đích, hàm likelihood:

Cực đại likelihood và bình phương tối thiểu(2)

Lấy ln 2 vế ta có:Lấy ln 2 vế ta có:

Trong đóTrong đó

là hàm tổng bình phương lỗi (sum-of-quares error).

Cực đại likelihood và bình phương tối thiểu(3)

Gradient của log có dạng:

= 0

Giải hệ = 0 với biến w ta được: Moore‐Penrose pseudo‐inverse,       .

Trong đó:p ,

Cực đại likelihood và bình phương tối thiểu (4)

Giả sử y(x,w) = ta có:Giả sử y(x,w) ta có:

Cho ED(w) = 0 ta được:

Với: và

Cực đại likelihood và bình phương tối thiểu(5)

Từ đó ta đạt được hàm cực đại láng giềng:Từ đó ta đạt được hàm cực đại láng giềng:

Bản chất hình học của bình phương tối thiểu

Xét công thức:g

Trong đó: S là mặt phẳng được â dự từxây dựng từ

(M chiều)T là không gian N chiềuT là không gian N chiều.wML là khoảng cách nhỏ nhất từ t với hình chiếu của nó trên S (chính là y).

Sequential Learning (1)Sequential Learning (1)

Xử lí theo lô như công thứcXử lí theo lô như công thức đòi hỏi phải đưa toàn bộ dữ liệu vào để xử lí cùng lúc ⇒ chi phí xử lí lớn (hoặc không đủ bộcùng lúc ⇒ chi phí xử lí lớn (hoặc không đủ bộ nhớ để xử lí). Điều này có thể giải quyết được bằng cách sử dụng các thuật toán tăng cườngbằng cách sử dụng các thuật toán tăng cường (sequential hay online)!

Sequential Learning (2)Sequential Learning (2)

Có thể sử dụng công thức:Có thể sử dụng công thức:

Trong đó τ là bước lặp thứ τ. τ +1 biểu thịbước lặp thứ τ +1.Cách làm này được gọi là least-mean-squares.y ợ gọ qGiá trị η cần được chọn sao cho bảo đảm tínhhội tụ của thuật toán!hội tụ của thuật toán!

Regularized Least Squares (1)Regularized Least Squares (1)

Xét hàm lỗi (được trình bày trrong chương 1):Xét hàm lỗi (được trình bày trrong chương 1):

Data term + Regularization term

Tổng bình phương hàm lỗi như sau:g

Cực tiểu hóa ta được:Cực tiểu hóa ta được:

Regularized Least Squares (2)Regularized Least Squares (2)

Tổng quát hơn, ta có công thức:Tổng quát hơn, ta có công thức:

Lasso Quadratic

Regularized Least Squares (3)Regularized Least Squares (3)

Với q = 2 công thức đã cho trở thành công thứcVới q 2, công thức đã cho trở thành công thứcthường dùng (có tên là Quadratic)

Với q = 1 công thức được gọi là lasso Trong trườngVới q 1, công thức được gọi là lasso. Trong trườnghợp λ đủ lớn, sẽ có một số wj tiến về 0. Vì vậy, chúngkhông đóng vai trò gì trong công thức! g g g g g

Đa đầu ra (1)Đa đầu ra (1)Các phần trước xét các trường hợp biến đích t là biếnđơn (chỉ chứa 1 thuộc tính). Trong trường hợp T làmột ma trận có kích thước MxK, ta có công thức:

Cho quan sát và đích làCho quan sát và đích làTa có hàm log likelihood như sau:

Đa đầu ra (2)Đa đầu ra (2)

Cực đại hàm trên theo biến W, ta cóCực đại hàm trên theo biến W, ta có

(giống công thức của 1 target)ấXét 1 target đơn tk, ta thấy:

Với , kết quả trên hoàn toàn giốngvới trường hợp 1 output.