Машинное обучение 1, осень 2014: Метод опорных векторов (SVM)

Ëèíåéíûå ìîäåëè: SVM(ïðîäîëæåíèå). Collaborative �ltering.

È. Êóðàë¼íîê, Í. Ïîâàðîâ

ßíäåêñ

ÑÏá, 2014

È. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 1 èç 1

Ïëàí


×òî ìû óçíàëè â ïðîøëûé ðàç I

Âèä äâîéñòâåííîé çàäà÷è â ñëó÷àå ëèíåéíîéðàçäåëèìîñòè:

arg minλ−∑m

i=1 λi + 12

∑mi=1

∑mj=1 λiλjyiyj(xixj){

λi ≥ 0∑mi=1 λiyi = 0

Èç ðåøåíèÿ äâîéñòâåííîé çàäà÷è, ìîæíî ïîëó÷èòüðåøåíèÿ ïðÿìîé:

β =∑m

i=1 λiyixiβ0 = βxi − yi , λi > 0


×òî ìû óçíàëè â ïðîøëûé ðàç II

Áûëî áû êëàññíî íàéòè òàêóþ ïëîñêîñòü, êîòîðàÿ ñèëüíååâñåãî ïîäåëèò íà êëàññû

Åñëè ìíîæåñòâà ëèíåéíî ðàçäåëèìû, òî íàäîìèíèìèçèðîâàòü ‖β‖

Åñëè ïåðåéòè ê äóàëüíîé çàäà÷å, çàâèñèìîñòü îò xîêàæåòñÿ òîëüêî ÷åðåç ñêàëÿðíûå ïðîèçâåäåíèÿ, êîòîðûåìû ìîæåì �îðãàíèçîâàòü� ïî ñâîåìó ðàçóìåíèþ

Â äóàëüíîì ðåøåíèè óñëîâèÿ î÷åíü ïðîñòû è ìîæíîîðãàíèçîâàòü áåçóñëîâíóþ îïòèìèçàöèþ çàìåíîéïåðåìåííûõ

Êîëè÷åñòâî êîìïîíåíò îïòèìèçàöèè ïðîïîðöèîíàëüíîêâàäðàòó êîëè÷åñòâà òî÷åê, ÷òî ìíîãî


Ìÿãêèå ãðàíèöû

Ïåðåíåñåì òî÷êè-�íàðóøèòåëè� íà ãðàíèöó è äîáàâèì êöåëåâîé ôóíêöèè ñòîèìîñòü ýòîãî ïåðåíîñà:

arg min ‖β‖+ c∑

i ξi{yi(β

Txi − β0) + ξi ≥ 1ξi ≥ 0


Ðåøåíèå ñ ìÿãêèìè ãðàíèöàìèÏðÿìàÿ çàäà÷à (çàìåòèì, ÷òî dim(λ) = 2m):

argminβ,ξ maxλ ‖β‖+c∑

i ξi−∑

i λi (yi(βxi − β0) + ξi − 1)−∑

i λi+mξiλi > 0

Äóàëüíàÿ çàäà÷à (Wolfe):

argmaxλ∑m

i=1λi − 1

2

∑mi=1

∑mj=1

λiλjyiyj(xixj){0 ≤ λi ≤ c∑m

i=1λiyi = 0

Ãäå-òî ìû òàêîå (ïî÷òè) óæå âèäåëè. Ðåøàòü òàêîå íàäîóñëîâíîé îïòèìèçàöèåé, ïðè ýòîì çàäà÷à íå âñåãäà âûïóêëà(åñëè ((xi , xj)) � 0).


Íåëèíåéíûå ðåøåíèÿ â SVM (ßäðà)

Ïîñòðîèì ïðåîáðàçîâàíèå èç èñõîäíîãî ïðîñòðàíòñâà â êàêîå-òîåâêëèäîâî H:

Φ : Rn → H

Òîãäà îïðåäåëèì (xi , xj) = (Φ(xi),Φ(xj)). ×òî ìîæíî äåëàòü ñÿäðàìè 1:

1 ëèíåéíî êîìáèíèðîâàòü

2 óìíîæàòü

3 êîìáèíèðîâàòü ñ ôóíêöèåé, ðàñêëàäûâàåìîé â Òåéëîðà ñíåîòðèöàòåëüíûìè êîýôôèöèåíòàìè (íàïðèìåð ex)

4 etc.

Â çàäà÷å ìîæíî ïîñòàâèòü öåëü ïîäîáðàòü îïòèìàëüíîå ÿäðî ñïîìîùüþ ïîäîáíûõ ïðåîáðàçîâàíèé.

1äîêàçûâàåòñÿ ëèáî ÷åðåç îïðåäåëåíèå, ëèáî ÷åðåç òåîðåìó ÌåðöåðàÈ. Êóðàëåíîê, Í. Ïîâàðîâ, ßíäåêñ Ñàíêò-Ïåòåðáóðã, 2014 Ñòð. 6 èç 1

Èçâåñòíûå ßäðà

Ïîëèíîìèàëüíûå K (x , x′) = (xTx

′+ c)d

Ãàóññîâî (radial basis) K (x , x′) = e−γ‖x−x

′‖22

Ñèãìîéäíîå (�Íåéðîííîå�) K (x , x′) = tanh(k1(x , x

′) + k2)

Â ýòîì ñëó÷àå ðåøåíèå áóäåò âûãëÿäåòü èíà÷å:

h(x) = sign

(∑i

λiyi(K (xi , x) + β0)

)

Çàìåòèì, ÷òî ìîæíî âûêèíóòü âñå òî÷êè â êîòîðûõ λi = 0 (ýòîêàêèå?).


Êàê ïîäîáðàòü ÿäðî äëÿ ðåøåíèÿçàäà÷è?

1 Cross-fold2 Èññëåäîâàíèå òîïîëîãèè Φ(x)

íàïðèìèð, òî÷êè îäíîãî êëàññà äîëæíû áûòü ïîáëèæå,äðóãîãî � ïîäàëüøå.


SVM è ðåãóëÿðèçàöèÿ

Âñïîìíèì êàê âûãëÿäèò íàøà ðåøàþùàÿ ôóíêöèÿ (áåç ÿäåð):h(x) = sign(xTβ + β0). Òîãäà ïðîáëåìó ìîæíîïåðåôîðìóëèðîâàòü òàê:

min∑i

(1− yih(xi))+ +λ

2‖β‖2

À ýòî ìèíèìèçàöèÿ hinge loss ñ l2 ðåãóëÿðèçàöèåé. Òåïåðü òîæåñàìîå, íî ñ ÿäðàìè, h(x) = sign (

∑i λiyi(K (xi , x) + β0)):

min∑i

(1− yih(xi))+ +λ

2βTKβ

ãäå K : kij = K (xi , xj). Íàñ íèêòî íå îãðàíè÷èâàåò hinge loss,ìîæíî âñå òîæå ñàìîå, íî ñ ëþáûì äðóãèì ëîñåì!


Kernel Ridge Regression

Åñëè ïðèìåíèìà ê ëþáûì ôóíêöèÿì ïîòåðü, òî ïî÷åìó íå ê lq?Ðàññìîòðèì çàäà÷ó îïòèìèçàöèè:

min∑ξ2{

yi − βTφ(xi) = ξi ,∀i‖β‖ ≤ B

Òàêîå ìû óæå äåëàëè, ïîýòîìó ïðèâåäó ëèøü ðåçóëüòàò(λ = λ(B)):

β∗ = 2λ (K + λE )−1 y


Ïëàí


Êàê ïîñòðîèòü ìóëüòèêëàññèôèêàòîð?

Âûáåðåì î÷êè äëÿ êàæäîãî êëàññà è ñâåäåìçàäà÷ó ê ðåãðåññèè

Îäèí ïðîòèâ âñåõ â êîëè÷åñòâå k øòóê

Ïîñòðîèì îäíîâðåìåííî íåñêîëüêîêëàññèôèêàòîðîâ ñ óñëîâèåì èõ ñîîòíîøåíèÿ(Multi-logit)

Ïîñòðîèì êëàññèôèêàòîðû äëÿ âñåõ ïàð

Åñòü åùå èäåè?


Reducing multiclass to binary

E.L. Alwien, R.E. Schapire, Y. Singer ïðåäëîæèëè èíòåðåñíóþàëüòåðíàòèâó: Ââåäåì ìîäåëüíóþ ìàòðèöóM∈ {−1, 0, 1}k×l .Äëÿ êàæäîãî ñòîëáöà ïîäáåðåì ôóíêöèþ áèíàðíîéêëàññèôèêàöèè, îòäåëÿþùóþ +1 îò −1. Ðåøèì èñõîäíóþçàäà÷ó îäíèì èç äâóõ ñïîñîáîâ:

dH(c , f (x),M) =l∑

s=1

(1− sign(mcs fs(x))

2

)

dL(c , f (x),M) =l∑

s=1

L(mcs fs(x))

Òåïåðü âîïðîñ ñâåëñÿ ê òîìó êàê íàéòè îïòèìàëüíûéM.


Ïëàí


Collaborative �ltering

Åñòü ïîëüçîâàòåëè, åñòü òîâàðû. Íàäî íàéòèïîäõîäÿùèå ïîëüçîâàòåëþ òîâàðû, êîòîðûõ îí íåâèäåë, èñïîëüçóÿ èíôîðìàöèþ î òîì êàêèå òîâàðûïîêóïàþò âìåñòå.

U = {ui}n1,R = {rj}m1X = {(u, r , s)|u ∈ U , r ∈ R , s ∈ ZS}

www.net�ixprize.com ïðîâîäèò ñîðåâíîâàíèå ñ ïðèçîì â1m$. n ' 480k ,m ' 17k .

L(h,X ) = −∑

(u,r ,s)∈X

‖s − h(r , s)‖2


Ïðèíöèïèàëüíûå ñïîñîáû ðåøåíèÿ

Õðàíèì âåñü îïûò â ïàìÿòè:

+ ïðîñòî, ìîæíî ëåãêî îáíîâëÿòü;� ìîæåò áûòü òÿæåëî ïî ïàìÿòè,

âîçìîæåí òîëüêî ïðîñòîé àíàëèç, òàêêàê âñå ðàáîòàåò on the �y.

Õðàíèì òîëüêî ïðîôàéëû äëÿ ïîëüçîâàòåëåé èòîâàðîâ:

+ ëåãêî øàðäèðóåòñÿ, ìåíååòðåáîâàòåëüíî ïî ïàìÿòè;

� ñëîæíåå îáíîâëÿòü, äëÿ âûñîêîéîòçûâ÷èâîñòè íàäî ãîðîäèòüîõðåòåêòóðó.


Ïîòîâàðíûå ìåòîäû: ëèíåéíàÿ ðåãðåññèÿ

Åñëè åñòü çâåçäû, òî ìîæíî ñäåëàòü âñå ïðîñòî:

h(u, r |X ) =∑

(u, q, s) ∈ Xq 6= r

aqs + bq

Slope One:

h(u, r |X ) =1∑

q 6=r |X (r , q)|∑

(u, q, s) ∈ Xq 6= r

|X (r , q)|(s + bq)

Âñå ðàâíî ñëèøêîì ìíîãî ïàðàìåòðîâ: m2!


Ïîòîâàðíûå ìåòîäû: Amazon.comitem-to-item

Äîïîëíèòåëüíî èçâåñòíà ñòðàíèöà òîâàðà, íà êîòîðîéíàõîäèòñÿ ïîëüçîâàòåëü. Çâåçä íåòó, áëèçîñòü item'îâìåðÿåì òàê:

d(r , q) = (X (r),X (q))‖X (r)‖‖X (q)‖

Èùåì íàèáîëåå áëèçêèé òåêóùåìó òîâàð, åãî èðåêîììåíäóåì.


Ïîïîëüçîâàòåëüñêèå ìåòîäû

Ïîêà âñå íàøè âûâîäû íå ñëèøêîì çàâèñèëè îòïîëüçîâàòåëÿ.Ìîæíî ñäåëàòü âñå òîæå ñàìîå, íî òîëüêî ïî áëèçêèìïîëüçîâàòåëÿì. Áëèçîñòü ìîæíî îïðåäåëèòü òàêæå:

d(u1, u2) =X (u1)X (u2)

‖X (u1)‖‖X (u2)‖

èëèd(u1, u2) = corr(X (u1),X (u2))


Ðåøåíèå ôàêòîðèçàöèåé

Â êîíå÷íîì ñ÷åòå ó íàñ âñåãäà åñòü òàáëèöà C ∈ Rn×m, â êîòîðîéñîäåðæàòñÿ êàê èçâåñòíûå èç X ÷àñòè, òàê è íåèçâåñòíûåêîìïîíåíòû. Ïðè ýòîì èíôîðìàöèè èç X ñóùåñòâåííî ìåíüøå,÷åì òðåáóåòñÿ äëÿ òîãî, ÷òîáû äîñòðîèòü îñòàâøååñÿ. Èç êóðñààëãåáðû ìû çíàåì, ÷òî (òåîðåìà Ýêêàðòà-ßíãà):

C0 = arg minrank(C ′ )≤r

‖C − C′‖F = UTΣrV

Ðåãóëèðóÿ r ìîæíî äîáèòüñÿ ñîïîñòîâèìîãî ñ X êîëè÷åñòâàèíôîðìàöèè â ïðàâîé ÷àñòè. Ðåøåíèå èñõîäíîé çàäà÷è ìîæíîïîëó÷èòü èç C0.


Êàê ïîñòðîèòü ðàçëîæåíèå

Çàìåòèì, ÷òî:

CT0 C0 = V TΣ2V ,C0C

T0 = UTΣ2U

Áîëåå òîãî, òàê êàê U è V îðòîíîðìèðîâàííû, íàéäÿîäíó èç íèõ (êîíå÷íî ìåíüøóþ :)) ìû ìîæåì ïîëó÷èòüâòîðóþ ïî÷òè áåñïëàòíî. Äëÿ ðåøåíèÿ ýòîé çàäà÷èåñòü ìóëüåí òåõíèê.


Ðàçëîæåíèå íàïðÿìóþ ðàáîòàåò ïëîõî

Çâåçäû ó îäíîãî ïîëüçîâàòåëÿ != çâåçäàì äðóãîãî

Ñëèøêîì ìíîãî ïðîïóùåííûõ äàííûõ

Ðåøåíèÿ ìîæåò �êîëáàñèòü� èç-çà ìåòîäàâû÷èñëåíèÿ ðàçëîæåíèÿ, òàê êàê ìàòðèöûñëó÷àéíûå

Ïîñëåäíèå 2 ïðîáëåìû ìîæíî ïîïðîáîâàòü ðåøèòü:

arg minu,v

∑(u,r ,s)∈X

(s − uTu vr)2 + R(u) + R(v)

Ðàçìåð uu è vr îïðåäåëÿåò ðàíê ðàçëîæåíèÿ (îáû÷íîìàëåíüêèé).


Èçâåñòíûå ðåãóëÿðèçàöèè

Äëÿ òîãî, ÷òîáû ñòðîèòü ðåãóëÿðèçàöèè íàäî ïåðåéòè êâåðîÿòíîñòÿì. Ïðåäïîëîæåíèå î íîðìàëüíîñòè y = f (x) + ε äàåòíàì ìèíèìèçèàöèþ LL. ×òî ïîçâîëÿåò ïåðåéòè ê MAP èïðèìåíÿòü êëàññè÷åñêèå l2, l1, l0, AIC, BIC (Schwarz) etc.:

arg minu,v∑

(u,r ,s)∈X (s − uTu vr )

2 + λ1‖u‖q + λ2‖v‖qargminu,v

∑(u,r ,s)∈X (s − uT

u vr )2 + 2 (d(u) + d(v))σ2ε

argminu,v∑

(u,r ,s)∈X (s − uTu vr )

2 + log |X | (d(u) + d(v))σ2ε


Akaike information criterion

Áóäåì ñ÷èòàòü, ÷òî ìû çíàåì èñòèííóþ ôóíêöèþ ðàñïðåäåëåíèÿh0, òîãäà, ìû ìîæåì ïîñ÷èòàòü KL(h0‖h) äëÿ ëþáîãî ðåøåíèÿ h.Ïîíÿòíî, ÷òî h0 íà ïðàêòèêå íåèçâåñòíî, íî îêàçûâàåòñÿñðàâíèòü KL(h0‖h) ìû âñå ðàâíî ìîæåì (Akaike (1974)):

AIC (h, y ,X ) = 2d(h)− 2LL(y |X , h)

Ãäå d � ìåðà ñëîæíîñòè ðåøåíèÿ. Íàïðèìåð â ëèíåéíûõd = ‖β‖0. Çàêîí àñèìïòîòè÷åñêèé, ïîýòîìó ìîæíî ïðèìåíÿòüòîëüêî äëÿ áîëüøèõ |X |. Èñïîëüçóþò òàêæå:

AICc(h, y ,X ) = AIC (h, y ,X ) +2d(h)(d(h) + 1)

|X | − d(h)− 1


Êàêèå åùå ïîäõîäû áûâàþò

Co-clustering

Áàéåñîâà ìîäåëü ïîâåäåíèÿ ïîëüçîâàòåëÿ

Áëèæàéøèå ñîñåäè


Äðóãîé ïîäõîä ê ïîñòðîåíèþ ìîäåëüíîéìàòðèöû

Ïîñëåäíèå ìíîãî ñëàéäîâ ìû ðåøàëè çàäà÷óðåãðåññèè. Äàâàéòå ýòî ïðÿìî è íàïèøåì


Factorization machine

h(x , β) = β0

0+∑i

β1

i xi +∑i

∑j>i

(β2

i , β2

j )xixj

è íàéäåìargmin

β‖h(X , β)− y‖2

Òàêàÿ ïîñòàíîâêà íàçûâàåòñÿ Factorization Machine (FM) âòîðîãîïîðÿäêà.


Ïðîáëåìà õîëîäíîãî ñòàðòà

×òî äåëàòü ñ íîâûìè ïîëüçîâàòåëÿìè, èñòîðèÿ ïîêîòîðûì íåèçâåñòíà?

Ïîñìîòðåòü íà �ñðåäíèõ� (äà-äà, ïîðåêîìåíäóéòåìíå Âåðêó Ñåðäþ÷êó!)

Óçíàòü õîòü ÷òî-òî ïðî ïîëüçîâàòåëÿ (ðåãèîí, IP,îòêóäà ïðèøåë (ðåôåðåð), âðåìÿ çàõîäà, etc.) èïîñòðîèòü ïðàâèëüíûé prior.


Ïëàí


×òî ìû ñåãîäíÿ óçíàëè IÏðî SVM

SVM ìîæíî äåëàòü â ñëó÷àå ëèíåéíîé íåðàçäåëèìîñòè

Ôîðìóëû ïîëó÷àþòñÿ ïî÷òè òàêèå æå, íî åùå è ñ âåðõíåéãðàíèöåé íà λ

Â SVM åñòü ÿäðà, èõ ìîæíî ïîäáèðàòü, îäíàêî ðåøåíèå âýòîì ñëó÷àå âêëþ÷àåò âñå ãðàíè÷íûå òî÷êè èç-çà òîãî, ÷òîΨ íå îïðåäåëåíî â ÿâíîì âèäå

SVM ìîæíî ðàññìàòðèâàòü êàê ìèíèìèçàöèþ hindge loss ñðåãóëÿðèçàöèåé ïî Òèõîíîâó

È íå òîëüêî:

Íà ÿäðàõ ìîæíî äåëàòü íå òîëüêî SVM, íî è ðåãðåññèþ

Íåñêîëüêî ñïîñîáîâ ïîñòðîåíèÿ ìóëüòèêëàññèôèêàòîðà èèõ îáîáùåíèå


×òî ìû ñåãîäíÿ óçíàëè II

Ïðî CF:

Åñòü òàêàÿ çàäà÷à

Åå ìîæíî ðåøàòü ïðîñòî è íåïðîñòî

Çàäà÷ó CF ìîæíî ñâåñòè ê ëèíåéíîé ðåãðåññèè ñðåãóëÿðèçàöèåé, è ýòî ðàáîòàåò

Íàèáîëåå ýôôåêòèâíûé èç èçâåñòíûõ ìíå ìåòîäîâ CF(FM)

È íå òîëüêî:

Áûâàþò ðåãóëÿðèçàöèè, ïîñòðîåííûå ïî ïðèíöèïóñêîððåêòèðîâàííûõ îöåíîê


Ïëàí


Ðåçóëüòàòû 5-é íåäåëè

Â ôîðìóëèðîâêó äîìàøíèõ çàäàíèé çàêðàëñÿ áàã.

Â howto.txt ðàçíûõ íåäåëü áûëà ïðîñüáàïðèñûëàòü ïèñüìî ñ íàçâàíèåì çà îäíó è òó æåïÿòóþ íåäåëþ.

Ìíîãèå òàê è ñäåëàëè.

Òàêîå î÷åíü ñëîæíî ïðîâåðèòü è îòðàíæèðîâàòü.

Ïðîñüáà ïðèñëàòü ðåçóëüòàòû äîìàøíåãî çàäàíèÿçà 5, 6, 7 è 8 íåäåëþ åù¼ ðàç.


Documents

Машинное обучение 1, осень 2014: Метод опорных векторов (SVM)