View
12
Download
0
Category
Preview:
Citation preview
مقدمهایبریادگیریماشین
(01-805-11-13)بخشهشتم
ماشینهایبردارپشتیبان
دانشگاهشهیدبهشتیپژوهشکدهیفضایمجازی
1397پاییز احمدمحمودیازناوه
http://faculties.sbu.ac.ir/~a_mahmoudi/
Introduction to Machine learning
فهرستمطالب
(SVM)ماشینبردارپشتیبان•تاریخچه–معرفی–دادههایجداییپذیرخطی–
•Soft Marginمجموعههایجداییناپذیرخطی•
نگاشتبهفضاییباابعادباال––Inner product kernel
XORمثال••SVMدرMatlab
يادگيری ماشين2
تاریخچه
Vladimir VapnikتوسطآقایSVMنسخهیاولیهی•.ارائهشد
•VapnikباهمکاریخانمCorinna Cortesاستانداردپایهریزیکردهودر1993رادرسالSVMکنونی .منتشرنمودند1995سال
يادگيری ماشين3
Cortes, C. and V. Vapnik (1995). "Support-vector networks."
Machine Learning 20(3): 273-297.
معرفی
یکجداکنندهیخطیرامیتوانهمانندشکلزیر•.درنظرگرفت
يادگيری ماشين4
WTX + b = 0
WTX + b < 0
WTX + B > 0
F(X) = SIGN(WTX + b)
www.cs.utexas.edu/~mooney/cs391L/slides/svm.ppt
مرزبهینه
سوال•کدامیکازمرزها،مرزیبهینهبرایجداسازیاست؟–
يادگيری ماشين5
www.cs.utexas.edu/~mooney/cs391L/slides/svm.ppt
مرزجداسازی
راجداسازیمرزبهترینگونهایبهمیخواهیم•.آوریمبهدست
يادگيری ماشين6
فرضکنیمنزدیکتریننقطهبهمرزجداسازیدرنظرگرفتهشدهوفاصلهرا
rبنامیم.
r هدفماکزیممنمودنrاست.
یکحاشیهمشخصمیکنیمهرپهنتریرانتیجهمرزیکهحاشیهی
.استبهتردهد،
Margin of separation
حاشیهیماکزیمم
خوبیایدهی(Margin)حاشیهنمودنماکزیمم•یاLSVMراشیوهاینخطی،جداسازیجهتاست
Linear SVMمینامند.حاشیهمرزرویبهکهنمونههاییحالتایندر•
.برخوردارندویژهایاهمیتازهستند،کردصرفنظردیگرنمونههایازمیتوانبدینوسیله•
.پرداختحاشیهمرزرویمهمنمونههایبهتنهاو
يادگيری ماشين7
بردارپشتیبان
«پشتیبانبردار»حاشیهمرزروینمونههایبه•.میگویند
يادگيری ماشين8
بردارهایپشتیبان
Support Vector
Optimal hyperplane
مرزجداسازی
:داشتیمجداسازیمرزمعادلهیبرای•
مشخصbopوWopتوسطبهینهمرزکنیمفرض•.شود
:فرض• مرزبهنقطهنزدیکترینکنیمفرض.بنامیم«r»رافاصلهگرفته،نظردرراجداسازی
يادگيری ماشين9
0TW X b
( , 1)i iX d
( , 1)i iX d
0T
iW X b
0T
iW X b
...(ادامه)مرزجداسازی
هدف•.استρ=2rهمانیافاصلهنمودنماکزیمم–:داریمبهینهجداسازیمرزروینقاطبرای–
:داریممرزازخارجنقاطبرای–
–g(X)باشدمنفییامثبتمیتواند.
يادگيری ماشين10
0T
op opW X b
( ) T
op opg X W X b
...(ادامه)مرزجداسازی
:باشد،طبقشکلزیرخواهیمداشتبردارپشتیبانXدرصورتیکه•
•ABدرجهتعمودبرمرزجداکنندهدرنظرگرفتهشود،AB=rاگراندازهیبردار•
:خواهیمداشت
يادگيری ماشين11
A
B
Xp
pX X AB
X
op
p
op
WX X r
W
op
op
WAB r
W
...(ادامه)مرزجداسازی
:داشتیم•
يادگيری ماشين12
( ) [ ]opT
op p op
op
Wg X W X r b
W
( ) T
op opg X W X b
op
p
op
WX X r
W
( )opT T
op p op op
op
Wg X W X b r W
W
روی مرز پس برابر با صفر2
( )op
op
Wg X r
W ( ) opg X r W
...(ادامه)مرزجداسازی
يادگيری ماشين13
( ) opg X r W
( )
op
g Xr
W
.استrهدفماکزیممنمودن
.کمینهگرددWدراینحالتتحتشرایطیمیباید
A
B
xp
X
( )
op
g Xr
W
فاصلهازمبدامختصات
op
op
b
W
X=0
استایننشاندهندهیbopمثبتیامنفیبودن.استکدامسمتخطمرزیمبدأدرکه
0 Wopb
...(ادامه)مرزجداسازی
:میگیریمنظردرزیرصورتبهراخطیجداساز•
برقرارآموزشیالگوهایتمامیبرایباالرابطهی•.است
پشتیبانبردارهایبراینتیجهدرو•
14 يادگيری ماشين
1 1T
op i op iW X b for d
1 1T
op i op iW X b for d
( , 1)iX
( , 1)iX
:به صورت لکی داریم( ) 1 T
i op opd W X b
( ) 1s T s
op opg X W X b
است bopو Wopمساله یافتن
...(ادامه)مرزجداسازی
:درنتیجهفاصلهیدوبردارپشتیباندردوطرفمرز•
يادگيری ماشين15
( ) 1s T s
op opg X W X b
1
( )
1
sop
op
op
Wg Xr
W
W
22
op
rW
جداییپذیرخطی
يادگيری ماشين16
X-
x+ ρ=Margin Width
:میدانیم• W . X+ + b = +1
• W . X- + b = -1
• W . (X+-X-) = 2
( ) 2X X W
W W
جداییپذیرخطی
باتوجهبهدورابطهی•میبایدمینیممWopبهایننتیجهمیرسیمکه•
.گردداینمسألهمعادلمینیممکردن•
–Φیکتابعمحدب(Convex Function)است.الگویNطبقرابطهیبرای–
:آموزشیشرطزیرمیبایدبرقرارباشد
يادگيری ماشين17
22
op
rW
( ) 1 T
i op opd W X b
1( )
2
TW W W
( ) 1 T
i op i opd W X b
1
[ ( ) 1] N
T
i op i op
i
d W X b
تر یا مساوی صفر استاین میزان بزرگ
خالصه
يادگيری ماشين18
:وزنهاوبایاسرابهگونهایبیابیدکه
is maximized
and for all (Xi, di), i=1..n : di(WTXi + b) ≥ 1
:وزنهاوبایاسرابهگونهایبیابیدکه
Φ(W) =1/2 ||W||2=1/2WTW is minimized
and for all (Xi, di), i=1..n : di (WTXi + b) ≥ 1
2
W
یافتنرویهیبهینه
کهگونهایبهمیشودتعریفزیرالگرانژرابطهی•:دهدپوششراشدهذکرقیددوهر
دوهربهنسبتbopوWopآوردنبهدستبرای•.میگیریممشتق
يادگيری ماشين19
1
1( , , ) [ ( ) 1]
2
NT T
i i i
i
J W b W W d W X b
1
0 0N
i i i
i
JW d X
W
1
N
op i i i
i
W d X
1
0 0N
i i
i
Jd
b
bop آیدبه دست نمی
دهد ولی یک قید می1
0N
i i
i
d
Lagrange multiplier(nonnegative)
یافتنرویهیبهینه
:داشتخواهیمαبرایدیگرشرطدو•
بامتناظرآموزشیالگوهایبرایαiهرازایبه•SVاستبرقرارزیررابطهیها:
غیرصفرپشتیانبردارهایبامتناظرαiنتیجهدر• يادگيری ماشين.بودخواهد
20
1
0N
i i
i
d
[ ( ) 1] 0T
i i id W X b
صفر
غیرصفر
( ) 1 0T
i op i opd W X b
Karush–Kuhn–Tucker(KKT) condition of optimization theory
یافتنرویهیبهینه
:برایمقادیربهینهداشتیم•
:پسخواهیمداشت•
يادگيری ماشين21
1 1 1
1( , , )
2
N N NT T
i i i i i i
i i i
J W b W W d W X d b
2
1
1( , , ) [ ( ) 1]
2
NT
i i i
i
J W b W d W X b
1
N
op i i i
i
W d X
1
0N
i i
i
d
1
1( , , ) 0
2
NT T
op op op op op op i
i
J W b W W W W
Duality theorem
Dual Problem
يادگيری ماشين22
1
1
2
NT
i op op
i
W W
=Q(α)
1
0N
i i
i
d
زیرااستQنمودنماکزیممهمانندWنمودنمینیممصورتایندرواستمیزانکمترینWمقدارWopدر
.میشودماکزیممعبارتکلکهاست
1
1( , , ) 0
2
NT T
op op op op op op i
i
J W b W W W W
یافتنرویهیبهینه
يادگيری ماشين23
1
1( )
2
NT
i op op
i
Q W W
1 1 1
1 [ ] [ ]
2
N N NT
i i i i j j j
i i j
d X d X
1 1 1
1
1
2
0
0 1 0,1,.....,
N N NT
i i i j j i j
i i j
N
i i
i
i
d d X X
d
for N
αi ها وابسته به الگوهای Xi , Xj و خروجی های مرتبط است
1 1 1
1
2
N N NT
i i i j j i j
i i j
d d X X
یافتنرویهیبهینه
يادگيری ماشين24
هاαمحاسبهیجهت،قیودگرفتننظردربدونقرارصفربابرابرگرفتهمشتقαk بهنسبتمیتوان
.داد
1 1 1
1 [ ] [ ]
2
N N NT
i i i i j j j
i i j
d X d X
2
1
( ) 1 0
NT T
i i k i k k k k k
iki k
Qd d X X d X X
NمعادلهوNمجهول,
T
i j i jM X Xضربداخلی
,
1k
Q( ) 1 0
N
k i i i k
i
d d M
یافتنرویهیبهینه
:خواهیمداشتαپسازبهدستآوردن•
يادگيری ماشين25
1
N
op i i i
i
W d X
support vectorsX X 1T s
op opW X b
1 T s
op opb W X
یافتنرویهیبهینه
Xiکهاستایننشاندهندهیصفر،مخالف αiهر
.استپشتیبانبرداریکمتناظرش:استزیرهمانندجداکنندهتابعحالتایندر
:توجهضربمحاسبهبهوابستهبهینهسازیمسالهحل
.استآموزشینمونههایتمامیبینداخلی يادگيری ماشين
26
W =ΣαidiXi b= dk- WTXk for any Xk such that αk 0
g(X) = ΣαidiXiTX + b
ضربداخلیدوبردار
يادگيری ماشين27
ξi
ξi
•SVMقراربررسیموردخطیجداییپذیردادههایبرای.گرفت
راجداسازیقابلیتآموزشدادههایمجموعهیاگرحال•مورددرصحبتبهتربیانبهشد؟خواهدچهباشند،نداشته.هستندهمراهنویزباکهاستجداییپذیرمسائل
Soft Margin
مسألهیحلبهتبدیلراHard Marginمسألهی•Soft Marginمیشود.
صورتیدرمیشود،گفتهsoftجداسازیحاشیهی•:شودنقضزیرشرطدادههابرخیبرایکه
Slack Variableبااضافهکردنیک•.مسألهراباردیگربررسیمیکنیم
اینمتغیرمیزانانحرافازشرط•.فوقرانشانمیدهد
يادگيری ماشين28
Soft Margin
( ) 1 T
i op opd W X b
e7
e1
e2
يادگيری ماشين29
Soft Margin Classification
:دوحالتممکناسترخدهد•.دادهیدرکالسدرستولیدرحاشیهقرارگیرد•.دادهیآموزشیبهاشتباهدستهبندیشود•
( ) 1 , 1,2, , i
T
i op i opd W X b i N
0 1i 1i
کههستندآنهاییپشتیبانبردارهایحالتایندر•
حتیمیکنند،صدقباالعبارتدرتساویرابطهیدرξ>0وجودباشود،خارجمجموعهازنویزیدادههایکهصورتیدر–
.کردخواهدتغییرجداکنندهرویهی
آندرکهاست«جداکنندهرویهای»یافتنهدف•:شودمینیممآندرنادرستطبقهبندیخطای
يادگيری ماشين30
Soft Margin Classification
( ) 1 , 1,2, , i
T
i op opd b i N W X
1
1N
i
i
I
0 if 0
1 if 0I
یکتابعیچنینکردنکمینهکهاینبهتوجهبا•ردهیدرواستnonconvexبهینهسازیمسألهی
NP-completeزیرتابعباراآنمیگیرد،قرار:میزنیمتقریب
:استزیرعبارتکردنمینیممهدفکلدرو•
يادگيری ماشين31
1
1,
2
RT
k
k
W W W C e
Soft Margin Classification
1
N
i
i
regularization parameter
به صفر Cکند، هرچه این پارامترنوعی مصالحه بین پیچیدگی ماشین و خطا برقرار میتر تری دارد و درنتیجه حاشیه بزرگتر باشد به این معناست که خطا اهمیت کمنزدیک
.شودتر مینزدیک hard marginتر باشد، مساله به حالت و هرچه برزگ. شودمی
Soft Margin
:داشتیمHard Marginبرای•
:داریمSlack Variableبااضافهکردن•
يادگيری ماشين32
Find W and b such that
Φ(W) =½ WTW is minimized and for all {(Xi ,di)}
di (WTXi + b) ≥ 1
Find W and b such that
Φ(W) =½ WTW + CΣξi is minimized and for all {(Xi ,di)}
di (WTXi + b) ≥ 1- ξi and ξi ≥ 0 for all i
یافتنرویهیبهینه
کهگونهایبهمیشودتعریفزیرالگرانژرابطهی•:دهدپوششرانیازمندیهاهمهی
نامنفیتاکهاستشدهاضافهرواینازآخربخش•.کندتضمینراξبودن
يادگيری ماشين33
1
1( , , , , ) [ ( ) 1 ]
2
NT T
i i i i i i i
i i i
J W b W W C d W X b
يادگيری ماشين34
Soft Margin Classification
1 1 1
1
2
N N NT
i i j i j i j
i i j
Q d d X X
1
0
0
N
i i
i
i
d
C
:در نهایت ضرایب الگرانژ از عبارت زیر محاسبه خواهند شد
با در نظر گرفتن قیود زیر
1
sN
op i i i
i
W d X
:بقیه مراحل مانند حالت قبل خواهد بود
مثال
يادگيری ماشين35
n = 20;
rand('seed',2);
X = 4* rand (2 ,n) ;
bt = -6;
wt = [4 ; -1];
d = sign (wt (1) * X (1 ,:) + wt (2) * X (2 ,:) + bt) ;
x1min=min(X(1,:));
x1max=max(X(1,:));
x2min=min(X(2,:));
x2max=max(X(2,:));
figure;
axis([x1min x1max x2min x2max]);
plot (X (1 ,find (d ==1)) ,X (2 ,find (d ==1)) , ' or ') ;
hold on
plot (X( 1,find (d ==-1)) ,X(2, find (d ==-1)) , ' ob ') ;
Linet=@(x1,x2) wt(1)*x1+wt(2)*x2+bt;
ezplot(Linet,[x1min x1max x2min x2max]);
...(ادامه)مثال
يادگيری ماشين36
...(ادامه)مثال
يادگيری ماشين37
C=10;
H=zeros(n,n);
for k1=1:n
for k2=1:n
H(k1,k2)=d(k1)*d(k2)*X(:,k1)'*X(:,k2);
end
end
f=-ones(n,1);
Aeq=d;
beq=0;
lb=zeros(n,1);
ub=C*ones(n,1);
alpha=quadprog(H,f,[],[],Aeq,beq,lb,ub)';
Svs=find(alpha> 1e-5);
w=0;
for k1=Svs
w=w+alpha(k1)*d(k1)*X(:,k1);
end
b=mean(d(Svs)-w'*X(:,Svs));
...(ادامه)مثال
يادگيری ماشين38
plot(X(1,Svs),X(2,Svs),'ko','MarkerSize',12);
Line=@(x1,x2) w(1)*x1+w(2)*x2+b;
LineA=@(x1,x2) w(1)*x1+w(2)*x2+b+1;
LineB=@(x1,x2) w(1)*x1+w(2)*x2+b-1;
handle=ezplot(Line,[x1min x1max x2min x2max]);
set(handle,'Color','k','LineWidth',2);
handleA=ezplot(LineA,[x1min x1max x2min x2max]);
set(handleA,'Color','k','LineWidth',1,'LineStyle','--');
handleB=ezplot(LineB,[x1min x1max x2min x2max]);
set(handleB,'Color','k','LineWidth',1,'LineStyle','--');
يادگيری ماشين39
SVMغیرخطی
دارند،خطیجداسازیقابلیتکهدادههاییبرای•.استخوببسیارسیستمعملکرد
چگونهمسألهباشد،زیرصورتهایبهدادههااگر•میشود؟حل
40 يادگيری ماشين
0 x
0 x
0
x2
x
High Dimensionنگاشتبهیکفضای
www.cs.utexas.edu/~mooney/cs391L/slides/svm.ppt
نگاشتبهفضایباالتر
ابعادبافضاییبهمیتواندورودیفضایهمواره•.گرددنگاشتباالتر
ایندرکهباشدصورتیبهمیتواندنگاشتاین•داشتهجداسازیقابلیتورودیهاجدیدفضای.باشند
يادگيری ماشين41
Φ: X→ φ(X)
www.cs.utexas.edu/~mooney/cs391L/slides/svm.ppt
نگاشتبهفضایباالتر
داشتیم•
نکاشتدیگریفضایبهورودیهاهنگامیکه•:داشتخواهیمجدیدنگاشتبرایشوند،
استجداسازیرویهییافتنهدفحالتایندر•
:کهبهگونهای
يادگيری ماشين42
0TW X b
11 2( ) [ ( ), ( ),........, ( )]T
mX X X X
1
1
( ) 0m
j j
j
w X b
0 1
( )
i i
m m
X X
R R
Wخروجی
نگاشتبهفضایباالتر
بافرض•:خواهیمداشت•
يادگيری ماشين43
1
1
( ) 0m
j j
j
w X b
0 ( ) 1X
1
0
( ) 0m
j j
j
w X
( ) 0TW X
( ) [1, ( )]TX X
0 1 2 1[ , , ,..... ]T
mW b w w w w
نگاشتبهفضایباالتر
برایکهقیودیوشروطتمامیمرحلهایندر•بهتنهاداردوجودگرفتیمنظردرخطیجداسازی
:میشودگرفتهنظردرΦ(Xi)هاXiازای
يادگيری ماشين44
1
0
( ) 1 0m
i j j i
j
d w X
1
. ( ( ))N
opt i i i
i
W d X
اسکالر m1×1
( ) 0T
opt W X1
. ( ) ( ) 0N
T
i i i
i
d
X X
نگاشتبهفضایباالتر
يادگيری ماشين45
1
. ( ) ( ) 0N
T
i i i
i
d X X
1
. ( , ) 0N
i i i
i
d K X X
K(Xi,Xj)= φ(Xi) Tφ(Xj)
1 1 1
1( , )
2
N N N
i i j i j i j
i i j
Q d d K X X
، تابعی است که معادل ضرب داخلی دو بردار kernelتابع .خصیصه است
x=[x1 x2] مثالT;
K(xi,xj)=(1 + xiTxj)
2, K(xi,xj)= φ(xi)
Tφ(xj):
K(xi,xj)=(1 + xiTxj)
2,= 1+ xi1
2xj12 + 2 xi1xj1
xi2xj2+ xi22xj2
2 + 2xi1xj1 + 2xi2xj2
= [1 xi12 √2 xi1xi2 xi2
2 √2xi1 √2xi2]T [1 xj1
2 √2 xj1xj2 xj22 √2xj1 √2xj2]
= φ(xi) Tφ(xj),
where φ(X) = [1 x12 √2 x1x2 x2
2 √2x1 √2x2]
يادگيری ماشين46
K(X1, X1) K(X1, X2) K(X1, X3) … K(X1, Xn)
K(X2, X1) K(X2, X2) K(X2, X3) K(X2, Xn)
… … … … …
K(Xn, X1) K(Xn, X2) K(Xn, X3) … K(Xn, Xn)
Mercer’s theorem: Every semi-positive definite symmetric function is a kernel
نگاشتبهفضایباالتر
يادگيری ماشين47
1 1 1
1( , )
2
N N N
i i j i j i j
i i j
Q d d K X X
1
0
0
N
i i
i
d
C
:هدف یافتن ضرایب الگرانژ بیشینه در عبارت زیر است
با در نظر گرفتن قیود زیر
kernel trick
مناسب بدون این که درگیر kernelدر صورت یافتن تابع شویم، تنها از نتیجه ( نکبت ابعاد)مشالکت فضای با ابعاد باال
.بریماین ناگشت بهره می
1 1 1
1( ) ( ) ( )
2
N N N
i i j i j i j
i i j
Q d d X X
( , )i jK X X , 1
( , )N
N N i j i jK K X X
ماتریسمتقارن
g(X) = ΣαidiK(Xi, X)+ b
توابعنگاشت
يادگيری ماشين48
chi-squared kernel
SVMساختار
يادگيری ماشين49
K(X1,X)
K(X2,X)
K(Xm1,X)
g(X) = ΣαidiK(Xi,X)+ b
چندنکته
•SVMبرایرایجشیوههایبهکهاستگونهایبه.نداردنیازیMLPوRBFشبکههایطراحی
بردارهایتوسطخصیصهفضایابعاد،SVMدر–.میشودمشخصپشتیبان
بهآنمراکزواستفادهموردشعاعیتوابعتعداد–.(RBF network)میگرددمشخصخودکارصورت
خودکارصورتبهوزنهاومخفیالیههایتعداد–(two-layer perceptron).میشودمشخص
.نداردبستگیدادههاابعادبهمسألهپیچیدگی•
يادگيری ماشين50
XOR Problemمثال
.نمونههایآموزشیدوبعدیهستند•
يادگيری ماشين51
1 1[ 1 -1] d 1X
2 2[ 1 1] d 1X
3 3[1 -1] d 1X
4 4[1 1] d 1X
4N
( , ) ( ). ( )T
i iK X X X X
2( , ) (1 )T
i iK X X X X
XOR Problem
حالاگربخواهیمپاسخبهدستآمدهراباضرب•نشاندهیمخواهیمφ(Xi)وφ(X)داخلیدوبردار
:داشت
يادگيری ماشين52
1 2[ ]i i iX x x
1 2[ ]X x x
2( , ) (1 )T
i iK X X X X
1 2 2
1 2 1 1 2 2
2
(1 [ ] ) (1 )i i i i
xx x x x x x
x
2 2
2 2 2 2
1 1 1 2 1 2 1 1 2 21 2 2 2ii i i i ix x x x x x x x x x x x
XOR Problem
يادگيری ماشين53
2 2
2 2 2 2
1 1 1 2 1 2 1 1 2 21 2 2 2ii i i i ix x x x x x x x x x x x
2
2 2
1 1 2 1 2( ) [1, , 2 , , 2 , 2 ]TX x x x x x xφ
2
2 2
1 1 2 1 2( ) [1 , 2 , , 2 , 2 ] i=1,2,3,4i
T
i i i i i ix x x x x x x φ
XOR Problem
يادگيری ماشين54
1 1 2 1 2 2
1 1 2 1 2 2
1 1 2 1 2 2
1 1 2 1 2 2
1 [ 1 -1]X
2 [ 1 1]X
3 [1 -1]X
4 [1 1]X
2
2 2
1 1 2 1 2( ) [1, , 2 , , 2 , 2 ]Tx x x x x xφ x
2
2 2
1 1 2 1 2( ) [1 , 2 , , 2 , 2 ] i=1,2,3,4i
T
i i i i i ix x x x x x x φ
XOR Problem
يادگيری ماشين55
4 4
1 1 1 1
1 1 1 11 1 2 1 2 2
2 2 2 21 1 2 1 2 2
1 1 1 11 1 2 1 2 2
2 2 2 21 1 2 1 2 2
2 2 2 2
K
4 4
9 1 1 1
1 9 1 1
1 1 9 1
1 1 1 9
K
2( , ) (1 )T
i iK X X X X
XOR Problem
:هابهینهمنجربهروابطزیرمیشودαiدستآوردن•
يادگيری ماشين56
4 4 4
1 1 1
1( ) ( , )
2i i j i j i j
i i j
Q d d K X X
4N
1 2 3 4
2 2 2 2
1 2 3 4 1 2 1 3 1 4 2 3 2 4 3 4
Q( )=
1 (9 9 9 9 2 2 2 2 2 2 )
2
XOR Problem
.بنابراینهرچهارورودی،بردارپشتیبانهستند•:رامحاسبهمیکنیمWoptهاαپسازمحاسبهی•
يادگيری ماشين57
1 2 3 41-9 0
1 2 3 41+ 9 0
1 2 3 41+ 9 0
1 2 3 41- 9 0
1
8i
1( )
4Q
XOR Problem:جهتمحاسبهیاندازهیوزنبهینهداریم•
:داشتیم•
يادگيری ماشين58
2
opt
1 1=
2 4W
opt
1=
2W
1
. ( ( ))N
opt i i i
i
W d X
XOR Problem
محاسبهزیررابطهیوسیلهیبهبهینهرویهی•:میشود
يادگيری ماشين59
( ) 0T
optW X
1 2 0x x
يادگيری ماشين61
مثال
يادگيری ماشين62
clear all;
close all;
load fisheriris
data = [meas(:,1), meas(:,2)];
groups = ismember(species,'setosa');
[train, test] = crossvalind('holdOut',groups);
cp = classperf(groups);
svmStruct =
svmtrain(data(train,:),groups(train),'showplot',true,'boxconstr
aint',1e6);
title(sprintf('Kernel Function: %s',...
func2str(svmStruct.KernelFunction)),...
'interpreter','none');
classes = svmclassify(svmStruct,data(test,:),'showplot',true);
classperf(cp,classes,test);
cp.CorrectRate
يادگيری ماشين63
clear all;
close all;
load fisheriris
data = [meas(:,1), meas(:,2)];
groups = ismember(species,'setosa');
[train, test] = crossvalind('holdOut',groups);
cp = classperf(groups);
svmStruct = svmtrain(data(train,:),groups(train),'showplot',true);
title(sprintf('Kernel Function: %s',...
func2str(svmStruct.KernelFunction)),...
'interpreter','none');
classes = svmclassify(svmStruct,data(test,:),'showplot',true);
classperf(cp,classes,test);
cp.CorrectRate
مثال
يادگيری ماشين64
يادگيری ماشين65
مثال
يادگيری ماشين66
r = sqrt(rand(100,1)); % radius
t = 2*pi*rand(100,1); % angle
data1 = [r.*cos(t), r.*sin(t)]; % points
r2 = sqrt(3*rand(100,1)+1); % radius
t2 = 2*pi*rand(100,1); % angle
data2 = [r2.*cos(t2), r2.*sin(t2)]; % points
plot(data1(:,1),data1(:,2),'r.')
plot(data2(:,1),data2(:,2),'b.')
axis equal
data3 = [data1;data2];
theclass = ones(200,1);
theclass(1:100) = -1;
cl = svmtrain(data3,theclass,'Kernel_Function','rbf',...
'boxconstraint',Inf,'showplot',true);
hold on
axis equal
يادگيری ماشين67
ساختکرنلهایجدید
براساسکرنلهایموجودبهسادگیمیتوان•:کرنلهایجدیدساخت
یککرنلاستچنانچهمعادلضرب(.,.)Kهرتابع– .داخلیبردارهایحاصلازنگاشتباشد
يادگيری ماشين68
...(ادامه)جدیدساختکرنلهای
يادگيری ماشين69
...(ادامه)ساختکرنلهایجدید
يادگيری ماشين70
Recommended