Upload
vince-vo
View
6.069
Download
2
Embed Size (px)
DESCRIPTION
Member Seminar 5/10/2009
Citation preview
Seminar ngày 5/10/09
MÔ HÌNH HỒI QUI TUYẾN TÍNH
VÕ ĐÌNH BẢYVÕ ĐÌNH BẢY
Hồi qui tuyến tínhHồi qui tuyến tính
Mục tiêu của hồi qui là tiên đoán giá trị củaMục tiêu của hồi qui là tiên đoán giá trị củamột hay nhiều biến (liên tục) mục tiêu t khicho trước giá trị của vector D-chiều xcho trước giá trị của vector D-chiều x.Đơn giản nhất là sử dụng công thức dạngy = ax + by = ax + b.
Công thức hồi qui đơn giản (1)Công thức hồi qui đơn giản (1)
Công thức: y = ax + bCông thức: y ax + b.Khi ấy, với X = {x1, x2, …xN} và T = {t1, t2,
t } Ta có thể tìm công thức hồi qui như…, tN}. Ta có thể tìm công thức hồi qui nhưsau:Xé hà lỗi SE ∑∑ +
NN
baxtyt )]([)(Xét hàm lỗi SE =Cực tiểu hàm lỗi để nhận được các hệ số a, b.
∑∑==
+−=−i
iii
ii baxtyt11
)]([)(
Công thức hồi qui đơn giản (2)Công thức hồi qui đơn giản (2)
Cực tiểu hàm lỗi để nhận được các hệ số a bCực tiểu hàm lỗi để nhận được các hệ số a, b.Ta có:
∑ +−−=∂ N
iii xbaxtdSE )]([2∑
=iiiida 1
)]([
∑∂ NSE ∑=
+−−=∂
iii baxt
dbSE
1)]([2
Công thức hồi qui đơn giản (3)Công thức hồi qui đơn giản (3)
Giải hệ trên với biến là a b:Giải hệ trên với biến là a, b:
⎧ N⎪⎪⎧
−−∑N
TiXi meantmeanx ))((
⎪
⎪⎪⎨
⎧=+−
∑
∑=
0)]([1
N
N
iiii xbaxt
⎪
⎪⎪⎪⎪
⎨−
=
⇒ ∑
∑
=
=N
iXi
i
meanxa
)(1
2
1
⎪⎪⎩
=+−∑=
0)]([1i
ii baxt
⎪⎪⎪⎪
⎩−=−=
∑∑==
XT
N
ii
N
ii
i
meanameanN
xa
N
tb *11
1
Trong đó meanX, meanT là giá trị trung bìnhcủa X và T
⎪⎩ XTNN
của X và T.
Công thức hồi qui đơn giản (4)Công thức hồi qui đơn giản (4)
Ví dụ:
X T⎪⎪⎧
−−∑= 2950
))((1
N
iTiXi meantmeanx
0 0.30.2 0.80 5 1 ⎪
⎪⎪⎪
⎨
−=−
=
⇒ ∑=
= 295.0)(
1
2
1
NN
N
iXi
i
meanxa
0.5 10.6 0.91 0 01 ⎪
⎪⎪⎪
⎩=−=−=
∑∑== 738.0*11
XT
N
ii
N
ii
meanameanN
xa
N
tb
1 0.01 ⎩ NN
Hay phương trình là: y = -0.295x+0.738!y p g y
Công thức hồi qui đơn giản (4)Công thức hồi qui đơn giản (4)
Hàm dự đoán: y = -0.295x+0.738X T’ ⎧
X T0 0.3 X T
0.1 0.710.8 0.5
⎩⎨⎧
=−=⇐ 738.0
295.0ba0.2 0.8
0.5 1 0.8 0.50.6 0.91 0.01
Dạng đơn giản – Đa thức
Hồi qui tuyến tính cơ sở (1)Hồi qui tuyến tính cơ sở (1)
Một cách khác là sử dụng đường cong đa thức:Một cách khác là sử dụng đường cong đa thức:
Tùy theo giá trị M, chúng ta có hàm xấp xỉ với các giá trị (xi, ti) được cho.g ị ( i, i) ợ
Hàm hồi qui tuyến tính cơ sở (2)Hàm hồi qui tuyến tính cơ sở (2)
Cá điể dữCác điểm dữ liệu (xi, ti)
Hàm cần dự đoán ⇒ Cầnđoán ⇒ Cần xác định w0, …, wM.
Hàm lỗi (Sum‐of‐Squares Error Function)Hàm lỗi (Sum of Squares Error Function)
t thực tế
Giá trị ước lượngGiá trị ước lượng
Lỗi: y(x,w) - ty( , )
Hàm lỗi (2)Hàm lỗi (2)
Tìm w sao cho E(w) đạt min⇒ Giải bài toán cực trị hàm nhiều biến
Hàm xấp xỉ với M = 0Hàm xấp xỉ với M 0
Hàm xấp xỉ với M = 1Hàm xấp xỉ với M 1
Hàm xấp xỉ với M = 3Hàm xấp xỉ với M 3
Hàm xấp xỉ với M = 9Hàm xấp xỉ với M 9
Over‐fittingOver fitting
Root‐Mean‐Square (RMS) Error:
Các hệ số tương ứng với MCác hệ số tương ứng với M
Kích thước dữ liệu:Kích thước dữ liệu: Hàm xấp xỉ với M = 9
Kích thước dữ liệu:Kích thước dữ liệu: Hàm xấp xỉ với M = 9
Mở rộng công thức hàm lỗiMở rộng công thức hàm lỗi
Thêm hàm phạt (theo λ và w)
Ngoài w, cần chọn λ phù hợp để lỗi đạt được là min.Ngoài w, cần chọn λ phù hợp để lỗi đạt được là min.
Hệ số λ:Hệ số λ:
Hệ số λ:Hệ số λ:
Lỗi với hệ số λ: vớiLỗi với hệ số λ: với
Các hệ số tương ứng với λCác hệ số tương ứng với λ
Mở rộng hàm
Hàm hồi qui tuyến tính cơ sở (1)Hàm hồi qui tuyến tính cơ sở (1)
Công thức tổng quát:Công thức tổng quát:
Trong đó là các hàm cơ sở (basis functions).)(j xφ
w = (w0, w1, …, wM-1)T và φ = (φ0, φ1, …, φM-1)T.j
Hàm hồi qui tuyến tính cơ sở (2)Hàm hồi qui tuyến tính cơ sở (2)
Hàm cơ sở dạng đa thức:ạ g
≡ Hàm cơ bản dạng đa thức
Hàm hồi qui tuyến tính cơ sở (3)Hàm hồi qui tuyến tính cơ sở (3)
Hàm cơ sở dạng Gaussian:ạ g
Trong đó μj được tính theo công thức:
Hoặc:Hoặc:
với
Hàm hồi qui tuyến tính cơ sở (4)Hàm hồi qui tuyến tính cơ sở (4)
Hàm Sigmoid cơ sở:g
T đóTrong đó:
Cực đại likelihood và bình phương tối thiểu (1)
Giả sử đã có hàm nhiễu Gaussian như sau:Giả sử đã có hàm nhiễu Gaussian như sau:
Hay có thể viết cách khác:trong đó
Hay có thể viết cách khác:
Cho các quan sát và hàm đích, hàm likelihood:
Cực đại likelihood và bình phương tối thiểu(2)
Lấy ln 2 vế ta có:Lấy ln 2 vế ta có:
Trong đóTrong đó
là hàm tổng bình phương lỗi (sum-of-quares error).
Cực đại likelihood và bình phương tối thiểu(3)
Gradient của log có dạng:
= 0
Giải hệ = 0 với biến w ta được: Moore‐Penrose pseudo‐inverse, .
Trong đó:p ,
Cực đại likelihood và bình phương tối thiểu (4)
Giả sử y(x,w) = ta có:Giả sử y(x,w) ta có:
Cho ED(w) = 0 ta được:
Với: và
Cực đại likelihood và bình phương tối thiểu(5)
Từ đó ta đạt được hàm cực đại láng giềng:Từ đó ta đạt được hàm cực đại láng giềng:
Bản chất hình học của bình phương tối thiểu
Xét công thức:g
Trong đó: S là mặt phẳng được â dự từxây dựng từ
(M chiều)T là không gian N chiềuT là không gian N chiều.wML là khoảng cách nhỏ nhất từ t với hình chiếu của nó trên S (chính là y).
Sequential Learning (1)Sequential Learning (1)
Xử lí theo lô như công thứcXử lí theo lô như công thức đòi hỏi phải đưa toàn bộ dữ liệu vào để xử lí cùng lúc ⇒ chi phí xử lí lớn (hoặc không đủ bộcùng lúc ⇒ chi phí xử lí lớn (hoặc không đủ bộ nhớ để xử lí). Điều này có thể giải quyết được bằng cách sử dụng các thuật toán tăng cườngbằng cách sử dụng các thuật toán tăng cường (sequential hay online)!
Sequential Learning (2)Sequential Learning (2)
Có thể sử dụng công thức:Có thể sử dụng công thức:
Trong đó τ là bước lặp thứ τ. τ +1 biểu thịbước lặp thứ τ +1.Cách làm này được gọi là least-mean-squares.y ợ gọ qGiá trị η cần được chọn sao cho bảo đảm tínhhội tụ của thuật toán!hội tụ của thuật toán!
Regularized Least Squares (1)Regularized Least Squares (1)
Xét hàm lỗi (được trình bày trrong chương 1):Xét hàm lỗi (được trình bày trrong chương 1):
Data term + Regularization term
Tổng bình phương hàm lỗi như sau:g
Cực tiểu hóa ta được:Cực tiểu hóa ta được:
Regularized Least Squares (2)Regularized Least Squares (2)
Tổng quát hơn, ta có công thức:Tổng quát hơn, ta có công thức:
Lasso Quadratic
Regularized Least Squares (3)Regularized Least Squares (3)
Với q = 2 công thức đã cho trở thành công thứcVới q 2, công thức đã cho trở thành công thứcthường dùng (có tên là Quadratic)
Với q = 1 công thức được gọi là lasso Trong trườngVới q 1, công thức được gọi là lasso. Trong trườnghợp λ đủ lớn, sẽ có một số wj tiến về 0. Vì vậy, chúngkhông đóng vai trò gì trong công thức! g g g g g
Đa đầu ra (1)Đa đầu ra (1)Các phần trước xét các trường hợp biến đích t là biếnđơn (chỉ chứa 1 thuộc tính). Trong trường hợp T làmột ma trận có kích thước MxK, ta có công thức:
Cho quan sát và đích làCho quan sát và đích làTa có hàm log likelihood như sau:
Đa đầu ra (2)Đa đầu ra (2)
Cực đại hàm trên theo biến W, ta cóCực đại hàm trên theo biến W, ta có
(giống công thức của 1 target)ấXét 1 target đơn tk, ta thấy:
Với , kết quả trên hoàn toàn giốngvới trường hợp 1 output.