Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Machine Learning. Ââåäåíèå
Ì.Þ.Õà÷àé[email protected]
Èíñòèòóò ìàòåìàòèêè è ìåõàíèêè, Óðàëüñêîå îòäåëåíèå ÐÀÍÑ.Êîâàëåâñêîé, 16, Åêàòåðèíáóðã, 620990, Ðîññèÿ
Øêîëà àíàëèçà äàííûõ
âåñåííèé ñåìåñòð 2013
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Àííîòàöèÿ
Êóðñ ¾Àëãîðèòìè÷åñêîå îáó÷åíèå¿ ïðåäñòàâëÿåò ñîáîé êðàòêîåââåäåíèå â òåîðèþ è ìåòîäû ðåøåíèÿ çàäà÷ àíàëèçà ýìïèðè÷åñêèõäàííûõ: êëàññèôèêàöèè ñ ó÷èòåëåì, âîññòàíîâëåíèÿ çàâèñèìîñòåéáîëåå îáùåé ïðèðîäû, êëàñòåðèçàöèè è äð., èìåþùèõ øèðîêèéñïåêòð ïðèëîæåíèé â îáëàñòè ìåäèöèíñêîé è ýêîíîìè÷åñêîéäèàãíîñòèêè, àíàëèçà èçîáðàæåíèé, èíôîðìàöèîííîãî ïîèñêà èò.ï.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ñîäåðæàíèå
1 Ââåäåíèå
2 Òèïû çàäà÷ îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Ìåòîäû
3 Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ñîäåðæàíèå
1 Ââåäåíèå
2 Òèïû çàäà÷ îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Ìåòîäû
3 Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ñîäåðæàíèå
1 Ââåäåíèå
2 Òèïû çàäà÷ îáó÷åíèÿÏðèìåðû ïðèêëàäíûõ çàäà÷Ìåòîäû
3 Çàäà÷à îáó÷åíèÿÏîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèèÇàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
What is Machine Learning?
Authur Samuel (1959)
Machine Learning is a �eld of study that gives computers the abilityto learn without being programmed
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
What is Machine Learning?
Machine Learning is the study ofcomputer algorithms that improveautomatically through experience.Applications range from dataminingprograms that discover general rules inlarge data sets, to information �lteringsystems that automatically learn users'interests
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
What is Machine Learning? (Pedro Domingos)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Òèïû çàäà÷
supervised learning (îáó÷åíèå ñ ó÷èòåëåì) � ïîñòàíîâêè çàäà÷, âêîòîðûõ òðåáóåòñÿ âîññòàíîâèòü (îöåíèòü,àïïðîêñèìèðîâàòü) íåèçâåñòíóþ çàêîíîìåðíîñòü ïîçàäàííîìó íàáîðó ïàð (input, output).Èíòåðïîëÿöèÿ � çàäà÷è êëàññèôèêàöèè,âîññòàíîâëåíèÿ ðåãðåññèè. Ýêñòðàïîëÿöèÿ � çàäà÷èïðîãíîçèðîâàíèÿ, àíàëèçà âðåìåííûõ ðÿäîâ.
unsupervised learning (îáó÷åíèå áåç ó÷èòåëÿ) � çàäà÷èãðóïïèðîâêè (âîçìîæíî, èåðàðõè÷åñêîé) áëèçêèõ âíåêîòîðîì ñìûñëå îáúåêòîâ, êëàñòåðèçàöèÿ,âûÿâëåíèå íàèáîëåå õàðàêòåðíûõ ïðåäñòàâèòåëåé
semi-supervised learning
reinforcement learning
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè
Input: ñèìïòîìû (áèíàðíûå èëè ðàíãîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû àíàëèçîâ (÷èñëîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû ñîâðåìåííûõ êîìïüþòåðíûõèññëåäîâàíèé (ÊÒ)
Output: äèàãíîç (âèä çàáîëåâàíèÿ è (èëè) ìåòîäèêà ëå÷åíèÿ)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à ìåäèöèíñêîé äèàãíîñòèêè
Input: ñèìïòîìû (áèíàðíûå èëè ðàíãîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû àíàëèçîâ (÷èñëîâûå õàðàêòåðèñòèêè),ðåçóëüòàòû ñîâðåìåííûõ êîìïüþòåðíûõèññëåäîâàíèé (ÊÒ)
Output: äèàãíîç (âèä çàáîëåâàíèÿ è (èëè) ìåòîäèêà ëå÷åíèÿ)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à áèîìåòðè÷åñêîé èäåíòèôèêàöèè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Çàäà÷à îá îöåíêå çàåìùèêà
Input: àíêåòíûå äàííûå: âîçðàñò, îáðàçîâàíèå, ìåñòîðàáîòû, ñðåäíèé äîõîä, ñîáñòâåííîñòü, ñåìåéíîåïîëîæåíèå; êðåäèòíàÿ èñòîðèÿ; íåâåðáàëüíûåäàííûå: ðåçóëüòàòû èíòåðâüþ, ñóáúåêòèâíîå ìíåíèåêðåäèòíîãî ýêñïåðòà è.ò.ï
Output: ðåøåíèå î êðåäèòîñïîñîáíîñòè çàåìùèêà
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïðèìåðû ïðèêëàäíûõ çàäà÷
Êëàñòåðíûé àíàëèç
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Ìåòîäû îáó÷åíèÿ
áàéåñîâñêèé ïîäõîä ê îáó÷åíèþ
ëèíåéíûå êëàññèôèêàòîðû è îáîáùåíèÿ (äèñêðèìèíàíòÔèøåðà, SVM, ÿäåðíûå àëãîðèòìû - ìåòîä ïîòåíöèàëîâ,RVM è ò.ï.)
ìåòðè÷åñêèå ìåòîäû êëàññèôèêàöèè (k-NN, ÀÂÎ, FriS è ò.ï.)
íåéðîííûå ñåòè (MLP, ñåòè Õîïôèëäà è Êîõîíåíà)
ãðàôîâûå ìîäåëè (HMM è äð.)
êîëëåêòèâíûå àëãîðèòìû (êîìèòåòû, áóñòèíã)
Etc.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìåòîäû
Îáîñíîâàíèå
ýìïèðèêà (CV, FAR/FRR, AUC è ò.ï.)
òåîðèÿ Âàïíèêà-×åðâîíåíêèñà (VCD, âåðõíèå îöåíêèðàâíîìåðíîé ñõîäèìîñòè ýìïèðè÷åñêèõ ñðåäíèõ)
ñòîõàñòè÷åñêèå ñëó÷àéíûå ïðîöåññû (ñëàáàÿ ñõîäèìîñòü,äîíñêåðîâîñòü, îáîáùåíèå ÖÏÒ)
PAC-learning
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷à îá îïòèìàëüíîì ôóíêöèîíàëüíîì ýëåìåíòå
â çàäàííîì ñåìåéñòâå äîïóñòèìûõ ôóíêöèé òðåáóåòñÿ âûáðàòüýëåìåíò, îïòèìèçèðóþùèé ôèêñèðîâàííûé êðèòåðèé êà÷åñòâà(ïîòåðü)
Íàïðèìåð,
Äàíî: Z, G = {g(·, α) : Z → R, α ∈ Λ} è I : Λ→ R+.
Íàéòè: g(·, α) ∈ G òàêóþ, ÷òî
α = arg min{I(α) : α ∈ Λ}. (1)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ→ R òàê, ÷òî
I(α) = I(α |P) =
∫Z
Φ(z, g(z, α)) dP(z) (2)
α = arg min{I(α |P) : α ∈ Λ}. (3)
Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) � çàäà÷à âàðèàöèîííîãîèñ÷èñëåíèÿ
Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1, z2, . . . , zl)
 ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ→ R òàê, ÷òî
I(α) = I(α |P) =
∫Z
Φ(z, g(z, α)) dP(z) (2)
α = arg min{I(α |P) : α ∈ Λ}. (3)
Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) � çàäà÷à âàðèàöèîííîãîèñ÷èñëåíèÿ
Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1, z2, . . . , zl)
 ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ→ R òàê, ÷òî
I(α) = I(α |P) =
∫Z
Φ(z, g(z, α)) dP(z) (2)
α = arg min{I(α |P) : α ∈ Λ}. (3)
Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) � çàäà÷à âàðèàöèîííîãîèñ÷èñëåíèÿ
Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1, z2, . . . , zl)
 ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ìèíèìèçàöèÿ ñðåäíåãî ðèñêà
Ôèêñèðóþòñÿ σ-àëãåáðà ñîáûòèé A ⊂ 2Z , ñåìåéñòâî âåðîÿòíîñòíûõìåð P è èçìåðèìàÿ ôóíêöèÿ Φ : Z × Λ→ R òàê, ÷òî
I(α) = I(α |P) =
∫Z
Φ(z, g(z, α)) dP(z) (2)
α = arg min{I(α |P) : α ∈ Λ}. (3)
Èäåàëüíûé ñëó÷àé
Åñëè ìåðà P èçâåñòíà, òî çàäà÷à (3) � çàäà÷à âàðèàöèîííîãîèñ÷èñëåíèÿ
Ðåàëüíûé ñëó÷àé
Èíôîðìàöèÿ î ìåðå P ∈ P çàäàíà êîíå÷íîé îáó÷àþùåé âûáîðêîé
ζ = (z1, z2, . . . , zl)
 ýòîì ñëó÷àå çàäà÷à (3) òðåáóåò äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àíòàãîíèñòè÷åñêàÿ èãðà ñ ïðèðîäîé
Èãðîêè I IIÈìÿ Ïðèðîäà Ñòàòèñòèê
×èñòûå ñòðàòåãèè P ∈ P α ∈ Λ
ïàðòèÿ èãðû (P, α),
ïëàòåæíàÿ ôóíêöèÿ K(P, α) ≡ I(α|P)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Áàéåñîâñêèå ðåøåíèÿ
Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåìçàäàíà âåðîÿòíîñòíàÿ ìåðà µ.
Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:
α(µ) = arg min{∫
I(α |P) dµ |α ∈ Λ
},
Ìèíèìèçàöèÿ àïîñòåðèîðíîãî ðèñêà
Èçâåñòíî àïðèîðíîå ðàñïðåäåëåíèå µpr.
Ïî ôîðìóëå Áàéåñà âû÷èñëÿåòñÿ àïîñòåðèîðíîåðàñïðåäåëåíèå µpos = µ[µpr, ζ].
Çàäà÷å (1) ñîïîñòàâëÿåòñÿ çàäà÷à ïîèñêà α(µpos).
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Áàéåñîâñêèå ðåøåíèÿ
Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåìçàäàíà âåðîÿòíîñòíàÿ ìåðà µ.
Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:
α(µ) = arg min{∫
I(α |P) dµ |α ∈ Λ
},
Ìèíèìèçàöèÿ àïîñòåðèîðíîãî ðèñêà
Èçâåñòíî àïðèîðíîå ðàñïðåäåëåíèå µpr.
Ïî ôîðìóëå Áàéåñà âû÷èñëÿåòñÿ àïîñòåðèîðíîåðàñïðåäåëåíèå µpos = µ[µpr, ζ].
Çàäà÷å (1) ñîïîñòàâëÿåòñÿ çàäà÷à ïîèñêà α(µpos).
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Áàéåñîâñêèå ðåøåíèÿ
Äîïóñòèì, ìíîæåñòâî P òàêæå ÿâëÿåòñÿ èçìåðèìûì, è íà íåìçàäàíà âåðîÿòíîñòíàÿ ìåðà µ.
Áàéåñîâñêîå ðåøåíèå II-ãî èãðîêà:
α(µ) = arg min{∫
I(α |P) dµ |α ∈ Λ
},
Ìèíèìèçàöèÿ àïîñòåðèîðíîãî ðèñêà
Èçâåñòíî àïðèîðíîå ðàñïðåäåëåíèå µpr.
Ïî ôîðìóëå Áàéåñà âû÷èñëÿåòñÿ àïîñòåðèîðíîåðàñïðåäåëåíèå µpos = µ[µpr, ζ].
Çàäà÷å (1) ñîïîñòàâëÿåòñÿ çàäà÷à ïîèñêà α(µpos).
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P
Ïóñòü P = {P1,P2}, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíàïëîòíîñòüþ ρi. Ïðîèçâîëüíîå µ � äèñêðåòíî.Ïóñòü µpr(Pi) = mi, ãäå m1,m2 > 0 è m1 + m2 = 1.
Ïî ôîðìóëå Áàéåñà
µpos(Pi) = ni =
mi
l∏j=1
ρi(zj)
∑i∈{1,2}
mi
l∏j=1
ρi(zj)
.
Èñêîìîå áàéåñîâñêîå ðåøåíèå
α(µpos) = arg min
n1
∫Z
Φ(z, g(z, α))ρ1(z) dz
+ n2
∫Z
Φ(z, g(z, α))ρ2(z) dz |α ∈ Λ
.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P
Ïóñòü P = {P1,P2}, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíàïëîòíîñòüþ ρi. Ïðîèçâîëüíîå µ � äèñêðåòíî.Ïóñòü µpr(Pi) = mi, ãäå m1,m2 > 0 è m1 + m2 = 1.Ïî ôîðìóëå Áàéåñà
µpos(Pi) = ni =
mi
l∏j=1
ρi(zj)
∑i∈{1,2}
mi
l∏j=1
ρi(zj)
.
Èñêîìîå áàéåñîâñêîå ðåøåíèå
α(µpos) = arg min
n1
∫Z
Φ(z, g(z, α))ρ1(z) dz
+ n2
∫Z
Φ(z, g(z, α))ρ2(z) dz |α ∈ Λ
.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ïðèìåð. Ñëó÷àé ïðîñòîãî ñåìåéñòâà P
Ïóñòü P = {P1,P2}, á.î.î. ïîëàãàåì, ÷òî Pi çàäàíàïëîòíîñòüþ ρi. Ïðîèçâîëüíîå µ � äèñêðåòíî.Ïóñòü µpr(Pi) = mi, ãäå m1,m2 > 0 è m1 + m2 = 1.Ïî ôîðìóëå Áàéåñà
µpos(Pi) = ni =
mi
l∏j=1
ρi(zj)
∑i∈{1,2}
mi
l∏j=1
ρi(zj)
.
Èñêîìîå áàéåñîâñêîå ðåøåíèå
α(µpos) = arg min
n1
∫Z
Φ(z, g(z, α))ρ1(z) dz
+ n2
∫Z
Φ(z, g(z, α))ρ2(z) dz |α ∈ Λ
.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ìèíèìàêñíûé ïîäõîä
Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P
α(ζ) = arg min
{sup
P∈P(ζ)
I(α |P) |α ∈ Λ
}.
Îòêðûòûå âîïðîñû:
âûáîð ïîäõîäÿùåãî P(ζ)
îïðåäåëåííîñòü èãðû (ñîâïàäåíèå âåðõíåé è íèæíåé öåí)
âû÷èñëèòåëüíàÿ ñëîæíîñòü
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ìèíèìàêñíûé ïîäõîä
Äëÿ íåêîòîðîãî ïîäñåìåéñòâà P(ζ) ⊂ P
α(ζ) = arg min
{sup
P∈P(ζ)
I(α |P) |α ∈ Λ
}.
Îòêðûòûå âîïðîñû:
âûáîð ïîäõîäÿùåãî P(ζ)
îïðåäåëåííîñòü èãðû (ñîâïàäåíèå âåðõíåé è íèæíåé öåí)
âû÷èñëèòåëüíàÿ ñëîæíîñòü
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ìèíèìèçàöèÿ ýìïèðè÷åñêîãî ôóíêöèîíàëà
Òðàäèöèîííûé äëÿ òåîðèè îáó÷åíèÿ ïîäõîä ñîñòîèò âìèíèìèçàöèè
α∗(ζ) = arg min {Iemp(α | ζ) |α ∈ Λ} (4)
ýìïèðè÷åñêîãî ôóíêöèîíàëà Iemp(α | ζ), ñïåöèàëüíûì îáðàçîìïîäîáðàííîãî ïî âûáîðêå ζ.
Ñïîñîá ïîñòðîåíèÿ ôóíêöèîíàëà Iemp ìîæåò ñèëüíî ðàçíèòüñÿîò çàäà÷è ê çàäà÷å (è ìåòîäà ê ìåòîäó) è êàæäûé ðàç áóäåòîãîâàðèâàòüñÿ îòäåëüíî.
 áîëüøèíñòâå ñëó÷àåâ ìîæíî îãðàíè÷èòüñÿ ôóíêöèîíàëàìèâèäà
Iemp(α | ζ) =
∫Z
Φ(z, g(z, α)) dπ(z | ζ), (5)
ãäå âåðîÿòíîñòíàÿ ìåðà π(z | ζ) (íå îáÿçàòåëüíîïðèíàäëåæàùàÿ ñåìåéñòâó P), îäíîçíà÷íî îïðåäåëÿåòñÿâûáîðêîé ζ.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ýìïèðè÷åñêèé ðèñê
Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) � ÷àñòíûéñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp(α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåéìåðîé
π(A | ζ) =|{i : zi ∈ A}|
l(A ∈ A)
Ëåãêî ïîêàçàòü, ÷òî òîãäà
Iemp(α|ζ) =
∑li=1 Φ(zi, g(zi, α))
l.
Óïðàæíåíèå 1.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ýìïèðè÷åñêèé ðèñê
Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) � ÷àñòíûéñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp(α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåéìåðîé
π(A | ζ) =|{i : zi ∈ A}|
l(A ∈ A)
Ëåãêî ïîêàçàòü, ÷òî òîãäà
Iemp(α|ζ) =
∑li=1 Φ(zi, g(zi, α))
l.
Óïðàæíåíèå 1.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Ýìïèðè÷åñêèé ðèñê
Ìåòîä ìèíèìèçàöèè ýìïèðè÷åñêîãî ðèñêà (ERM) � ÷àñòíûéñëó÷àé çàäà÷è (4)-(5) äëÿ Iemp(α|ζ) èíäóöèðóåìîãî ñ÷èòàþùåéìåðîé
π(A | ζ) =|{i : zi ∈ A}|
l(A ∈ A)
Ëåãêî ïîêàçàòü, ÷òî òîãäà
Iemp(α|ζ) =
∑li=1 Φ(zi, g(zi, α))
l.
Óïðàæíåíèå 1.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ
Ïóñòü
I = inf{I(α |P) : α ∈ Λ} = inf
∫Z
Φ(z, g(z, α)) dP(z) : α ∈ Λ
äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.Àëãîðèòì îáó÷åíèÿ Alg :
⋃l Zl → Λ ñîïîñòàâëÿåò âûáîðêå ζ
çíà÷åíèå α∗(ζ) (ôóíêöèþ g(·, α∗(ζ)).
Äëÿ ïðîèçâîëüíûõ ε > 0 è l ∈ N,
Pl(ε) = P(I(α∗(ζ))− I > ε)
Äëÿ çàäàííîãî η ∈ (0, 1) àëãîðèòì Alg îáëàäàåò íà âûáîðêàõäëèíû l ïîãðåøíîñòüþ ε ñ óðîâíåì äîâåðèÿ 1− η, åñëè
Pl(ε) < η.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Îöåíêà êà÷åñòâà àëãîðèòìà îáó÷åíèÿ
Ïóñòü
I = inf{I(α |P) : α ∈ Λ} = inf
∫Z
Φ(z, g(z, α)) dP(z) : α ∈ Λ
äëÿ íåèçâåñòíîé èñòèííîé ìåðû P.Àëãîðèòì îáó÷åíèÿ Alg :
⋃l Zl → Λ ñîïîñòàâëÿåò âûáîðêå ζ
çíà÷åíèå α∗(ζ) (ôóíêöèþ g(·, α∗(ζ)).
Äëÿ ïðîèçâîëüíûõ ε > 0 è l ∈ N,
Pl(ε) = P(I(α∗(ζ))− I > ε)
Äëÿ çàäàííîãî η ∈ (0, 1) àëãîðèòì Alg îáëàäàåò íà âûáîðêàõäëèíû l ïîãðåøíîñòüþ ε ñ óðîâíåì äîâåðèÿ 1− η, åñëè
Pl(ε) < η.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Ïîäõîäû ê äîïîëíèòåëüíîé ôîðìàëèçàöèè
Àñèìïòîòè÷åñêàÿ àïïðîêñèìèðóåìîñòü
Çàäà÷à
min{Iemp(α | ζ)} = min
∫Z
Φ(z, g(z, α)) dπ(z | ζ) : α ∈ Λ
(6)
êîððåêòíî àïïðîêñèìèðóåò çàäà÷ó
inf{I(α |P)} = inf
∫Z
Φ(z, g(z, α)) dP(z)) : α ∈ Λ
(7)
åñëè äëÿ ïðîèçâîëüíîãî ε > 0
Pl(ε) −−−→l→∞
0.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè
Íèæå áóäåì ïîëàãàòü, ÷òî
Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä
ζ = ((x1, y1), . . . , (xl, yl)), (8)
çàäàíî ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y |α ∈ Λ}
òàêîå, ÷òî g(z, α) = y− f (x, α), Φ(z, g(z, α)) = Ψ(y− f (x, α)) è,ñîîòâåòñòâåííî,
I(α|P) =
∫X×Y
Ψ(y− f (x, α)) dP(x, y)
äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.
Ïðè ýòèõ ïðåäïîëîæåíèÿõ çàäà÷à (7) íàçûâàåòñÿ çàäà÷åéâîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè, à ñîîòâåòñòâóþùàÿåé çàäà÷à (6) � çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîéçàâèñèìîñòè ïî ýìïèðè÷åñêèì äàííûì
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Âîññòàíîâëåíèå ôóíêöèîíàëüíîé çàâèñèìîñòè
Íèæå áóäåì ïîëàãàòü, ÷òî
Z = X × Y, ãäå Y ⊂ R, âûáîðêà ζ èìååò âèä
ζ = ((x1, y1), . . . , (xl, yl)), (8)
çàäàíî ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y |α ∈ Λ}
òàêîå, ÷òî g(z, α) = y− f (x, α), Φ(z, g(z, α)) = Ψ(y− f (x, α)) è,ñîîòâåòñòâåííî,
I(α|P) =
∫X×Y
Ψ(y− f (x, α)) dP(x, y)
äëÿ ïîäõîäÿùåé ôóíêöèè Ψ âåùåñòâåííîãî àðãóìåíòà.
Ïðè ýòèõ ïðåäïîëîæåíèÿõ çàäà÷à (7) íàçûâàåòñÿ çàäà÷åéâîññòàíîâëåíèÿ ôóíêöèîíàëüíîé çàâèñèìîñòè, à ñîîòâåòñòâóþùàÿåé çàäà÷à (6) � çàäà÷åé âîññòàíîâëåíèÿ ôóíêöèîíàëüíîéçàâèñèìîñòè ïî ýìïèðè÷åñêèì äàííûì
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Õàðàêòåðíûå ÷àñòíûå ñëó÷àè
çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè (è êàê ÷àñòíûé ñëó÷àé çàäà÷àèíòåðïðåòàöèè ïðÿìûõ èçìåðåíèé)
çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãî ýêñïåðèìåíòà.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîåðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1.
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèåχ : D→ X. Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòüïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë
F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} |α ∈ Λ},
Íèæå á.î.î. ïîëàãàåì k = 2 è îøèáêè 1-ãî è 2-ãî ðîäàðàâíîçíà÷íûìè.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîåðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1.
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèåχ : D→ X. Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòüïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë
F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} |α ∈ Λ},
Íèæå á.î.î. ïîëàãàåì k = 2 è îøèáêè 1-ãî è 2-ãî ðîäàðàâíîçíà÷íûìè.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè.Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ(êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîåðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1.
Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèåχ : D→ X. Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòüïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d).
Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë
F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} |α ∈ Λ},
Íèæå á.î.î. ïîëàãàåì k = 2 è îøèáêè 1-ãî è 2-ãî ðîäàðàâíîçíà÷íûìè.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Çàäàâøèñü Â.Ï. (X × Y,A,P) ñ èçâåñòíûìè ìíîæåñòâîìýëåìåíòàðíûõ èñõîäîâ X × Y è σ-àëãåáðîé ñîáûòèé A è âîáùåì ñëó÷àå íåèçâåñòíîé âåðîÿòíîñòíîé ìåðîé P,ïðåäïîëàãàåì äëÿ êàæäîãî ïðàâèëà f (·, α) èçìåðèìûììíîæåñòâî
Aα = {(x, y) | y 6= f (x, α)} ∈ A.
Ñîîòâåòñòâåííî, êàæäîìó α ∈ Λ ìîæåò áûòü ñîïîñòàâëåíî÷èñëî
I(α|P) = P(Aα) ≡∫
Aα
dP(x, y) =
∫X×Y
1Aα(x, y) dP(x, y),
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Ïðè íàøèõ äîïóùåíèÿõ
1Aα(x, y) ≡ (y− f (x, α))2,
Äëÿ èçâåñòíîé âåðîÿòíîñòíîé ìåðû P çàäà÷à îáó÷åíèÿðàñïîçíàâàíèþ îáðàçîâ ñâîäèòñÿ ê âàðèàöèîííîé çàäà÷å
min
∫
X×Y
(y− f (x, α))2 dP(x, y) |α ∈ Λ
, (9)
äîïóñêàþùåé â ðÿäå ñëó÷àåâ àíàëèòè÷åñêîå ðåøåíèå.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå
1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìèP1 = P(y = 1) è P0 = P(y = 0) = 1− P1 è óñëîâíûìè ìåðàìèP(x|y = 1) è P(x|y = 0),
2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûåèíäèêàòîðíûå ôóíêöèè
Òîãäà çàäà÷à (9) ðàçðåøèìà.
Óïðàæíåíèå 2. Äîêàçàòü òåîðåìó â ñëó÷àå äèñêðåòíûõ ìåð.
Óïðàæíåíèå 3. Ñôîðìóëèðîâàòü è äîêàçàòü àíàëîã òåîðåìûäëÿ ñëó÷àÿ íåðàâíîçíà÷íûõ îøèáîê 1 è 2-ãî ðîäîâ, k > 2.Óïðàæíåíèå 4. Èññëåäîâàòü ñóùåñòâåííîñòü óñëîâèÿ 2.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
Òåîðåìà 1. Î áàéåñîâñêîì êëàññèôèêàòîðå
1 Ïóñòü ìåðà P è çàäàåòñÿ ìàðãèíàëüíûìè âåðîÿòíîñòÿìèP1 = P(y = 1) è P0 = P(y = 0) = 1− P1 è óñëîâíûìè ìåðàìèP(x|y = 1) è P(x|y = 0),
2 ìíîæåñòâî F = [X → {0, 1}] ñîäåðæèò âñåâîçìîæíûåèíäèêàòîðíûå ôóíêöèè
Òîãäà çàäà÷à (9) ðàçðåøèìà.
Óïðàæíåíèå 2. Äîêàçàòü òåîðåìó â ñëó÷àå äèñêðåòíûõ ìåð.
Óïðàæíåíèå 3. Ñôîðìóëèðîâàòü è äîêàçàòü àíàëîã òåîðåìûäëÿ ñëó÷àÿ íåðàâíîçíà÷íûõ îøèáîê 1 è 2-ãî ðîäîâ, k > 2.Óïðàæíåíèå 4. Èññëåäîâàòü ñóùåñòâåííîñòü óñëîâèÿ 2.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñóùåñòâîâàíèå áàéåñîâñêîãî êëàññèôèêàòîðà
Îãðàíè÷èìñÿ ðàññìîòðåíèåì ÷àñòíîãî ñëó÷àÿ, â êîòîðîììåðû P(x|y = 1) è P(x|y = 0) àáñîëþòíî íåïðåðûâíû èçàäàþòñÿ ïëîòíîñòÿìè ρ1(x) è ρ0(x), ñîîòâåòñòâåííî. Ëåãêîâèäåòü, ÷òî íàèìåíüøåå çíà÷åíèå èíòåãðàëà∫
X×Y
(y−f (x))2 dP(x, y) = P1
∫X
(1−f (x))2ρ1(x) dx+P0
∫X
f (x)ρ0(x) dx
äîñòèãàåòñÿ íà ôóíêöèè
f (x) =
{1, P1 · ρ1(x) ≥ P0 · ρ0(x),
0, â ïðîòèâíîì ñëó÷àå,
èìåíóåìîé áàéåñîâñêèì êëàññèôèêàòîðîì.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ
 îáùåé ñèòóàöèè, êîãäà èíôîðìàöèÿ î ìåðå P çàäàåòñÿ âûáîðêîéζ = ((x1, y1), . . . , (xl, yl)), çàäà÷à àïïðîêñèìèðóåòñÿ:
minα∈Λ
∫X×Y
(y− f (x, α))2 dπ(x, y | ζ). (10)
÷àñòíûì ñëó÷àåì çàäà÷è (6).
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè
Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîåìàòåìàòè÷åñêîå îæèäàíèå
E(y|x) =
∫Y
y dP(y|x).
Îòîáðàæåíèå x 7→ y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåéðåãðåññèè (ðåãðåññèåé).Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ YX, y(·) ∈ M èñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y |α ∈ Λ} ⊂ M.
Òðåáóåòñÿ äëÿ ôóíêöèè y(·) îòûñêàòü ýëåìåíò íàèëó÷øåãîïðèáëèæåíèÿ â ñåìåéñòâå F :
minα∈Λ
d(y(·), f (·, α)). (11)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Çàäà÷à âîññòàíîâëåíèÿ ðåãðåññèè
Ïóñòü äëÿ êàæäîãî x ∈ X (çà èñêëþ÷åíèåì, ìîæåò áûòü,ïîäìíîæåñòâà ìåðû íóëü) îïðåäåëåíî óñëîâíîåìàòåìàòè÷åñêîå îæèäàíèå
E(y|x) =
∫Y
y dP(y|x).
Îòîáðàæåíèå x 7→ y(x) ≡ E(y|x) íàçûâàåòñÿ ôóíêöèåéðåãðåññèè (ðåãðåññèåé).Çàäàíî ìåòðè÷åñêîå ïðîñòðàíñòâî (M, d) ⊂ YX, y(·) ∈ M èñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → Y |α ∈ Λ} ⊂ M.
Òðåáóåòñÿ äëÿ ôóíêöèè y(·) îòûñêàòü ýëåìåíò íàèëó÷øåãîïðèáëèæåíèÿ â ñåìåéñòâå F :
minα∈Λ
d(y(·), f (·, α)). (11)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà
Ïóñòü M = L2(P) � ãèëüáåðòîâî ïðîñòðàíñòâî èíòåãðèðóåìûõñ êâàäðàòîì (ïî ìàðãèíàëüíîé ìåðå) ôóíêöèé è íîðìîé
‖g‖ =
√∫X
g2(x) dP(x) ≡
√∫X×Y
g2(x) dP(x, y).
Î÷åâèäíî, îïðåäåëåííîå òàêèì îáðàçîì ïðîñòðàíñòâî Mÿâëÿåòñÿ ìåòðè÷åñêèì, ñî ñòàíäàðòíîé ìåòðèêîéd(g, h) = ‖g− h‖.Îïðåäåëèì ôóíêöèîíàë I ñîîòíîøåíèåì
α 7→ I(α |P) =
∫X×Y
(y− f (x, α))2 dP(x, y)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà (ctd.)
I(α |P) =
∫X×Y
(y− f (x, α))2 dP(x, y) =
∫X×Y
(y− y(x))2 dP(x, y)−
−2∫X
(y(x)−f (x, α))
∫Y
(y− y(x)) dP(y|x)
︸ ︷︷ ︸
=0
dP(x)+
∫X
(y(x)−f (x, α))2 dP(x) =
=
∫X×Y
(y−y(x))2 dP(x, y)+d2(y(·), f (·, α)) = const(α)+d2(y(·), f (·, α)).
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Èíòåðïðåòàöèÿ ïðÿìûõ èçìåðåíèé
÷àñòíûé ñëó÷àé çàäà÷è î ðåãðåññèè
çàäàíî ñåìåéñòâî ôóíêöèé
F = {f (·, α) : X → R |α ∈ Λ},
òðåáóåòñÿ íàéòè f (·, α) (ïàðàìåòð α) ïî ðåçóëüòàòàìïðèáëèæåííûõ èçìåðåíèé (x1, y1), . . . , (xl, yl), ãäå
yi = f (xi, α) + ξi, (i ∈ {1, 2, . . . , l} = Nl),
à ξi � ñëó÷àéíûå íåçàâèñèìûå íåñìåùåííûå ïîãðåøíîñòè,Eξ2
i <∞.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Èíòåðïðåòàöèÿ ðåçóëüòàòîâ êîñâåííûõ ýêñïåðèìåíòîâ
Èñêîìàÿ ôóíêöèîíàëüíàÿ çàâèñèìîñòü íåäîñòóïíà äëÿíåïîñðåäñòâåííûõ èçìåðåíèé, äàæå ñ ïîãðåøíîñòüþ.
Ïóñòü Y ⊂ R, çàäàíû ìåòðè÷åñêèå ïðîñòðàíñòâà (M1, d1) ⊂ YT
è (M2, d2) ⊂ YX, ñåìåéñòâî ôóíêöèé
F = {fα : T → Y |α ∈ Λ} ⊂ M1
è íåïðåðûâíûé îïåðàòîð A : M1 → M2, âçàèìíî îäíîçíà÷íûéíà A(M1).
Òðåáóåòñÿ ðåøèòü çàäà÷ó
min{d1(f ,F) |A(f ) = F}
ïðè óñëîâèèyi = F(xi) + ξi, (i ∈ Nm),
ïðè÷åì ñëó÷àéíûå âåëè÷èíû ξi, êàê è ðàíåå, íåçàâèñèìû âñîâîêóïíîñòè è óäîâëåòâîðÿþò óñëîâèÿì Eξi = 0, Eξ2
i <∞.
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Ñâåäåíèå ê çàäà÷å ìèíèìèçàöèè ñðåäíåãî ðèñêà
Óïðàæíåíèå 5. Ïîêàçàòü, ÷òî åñëè
(M2, d2) = L2(P) � ïðîñòðàíñòâî ôóíêöèé, èíòåãðèðóåìûõ ñêâàäðàòîì (ïî ìåðå P),
îïåðàòîð A−1 íåïðåðûâåí íà ìíîæåñòâå A(M1),
òî èñõîäíàÿ çàäà÷à èíòåðïðåòàöèè ðåçóëüòàòîâ êîñâåííîãîýêñïåðèìåíòà ýêâèâàëåíòíà çàäà÷å
min∫
X×Y
(y− A(fα)(x))2 dP(x, y)
Àííîòàöèÿ Ââåäåíèå Òèïû çàäà÷ îáó÷åíèÿ Çàäà÷à îáó÷åíèÿ
Çàäà÷è î âîññòàíîâëåíèè ôóíêöèîíàëüíîé çàâèñèìîñòè
Âûâîäû
ìíîãèå çàäà÷è àíàëèçà äàííûõ äîïóñêàþò ñâåäåíèå ê çàäà÷åìèíèìèçàöèè ïîäõîäÿùåãî ôóíêöèîíàëà ñðåäíåãî ðèñêà
â ñëó÷àå èçâåñòíîé âåðîÿòíîñòíîé ìåðû ïîëó÷àåìàÿ çàäà÷àìîæåò áûòü ðåøåíà ìåòîäàìè âàðèàöèîííîãî àíàëèçà, è âíåêîòîðûõ ÷àñòíûõ ïîñòàíîâêàõ äîïóñêàåò àíàëèòè÷åñêîåðåøåíèå
ïðîöåäóðà îáó÷åíèÿ îáóñëîâëåíà íåèçâåñòíîñòüþ çàêîíîâðàñïðåäåëåíèÿ è ñâîäèòñÿ ê çàäà÷å ìèíèìèçàöèè ïîäõîäÿùåãîýìïèðè÷åñêîãî ôóíêöèîíàëà