Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
Kaj je strojno učenje?Prišel bo čas, ko bomo morali pozabiti vse, kar smo se naučili. (Ramana Maharshi)
• Strojno učenje (machine learning)
• Odkrivanje zakonitosti v podatkovnih bazah(knowledge discovery in databases)
• Podatkovno rudarjenje (data mining)
model
hipotezateorijapravilo
MLizvajalnialgoritem
neznaniproces
novi problem
rešitevpodatki opisi (rešenih) problemov
(nadzorovano) učenje
model
hipotezateorijapravilo
MLizvajalnialgoritem
neznaniproces
novi problem
rešitev = eden od možnih
razredov
podatki opisi (rešenih) problemov
(nadzorovano) učenjeklasifikacija
Atributni opis primerov: klasifikacija
Primer Atribut1 Atribut2 Atribut3 … … … … AtributA Razred
1 V11 V12 V13 V1A R1
2 V21 V22 V23 V2A R2
3 V31 V31 V33 V3A R3
…
…
…
n Vn1 Vn2 Vn3 VnA Rn
Atributni opis primerov: klasifikacija, npr.
Pacient Spol Starost Teža … … … … Glavobol Razred
1 m 39 81 Da Diagnoza1
2 ž 27 63 Ne Diagnoza4
3 ž 45 72 Da Diagnoza2
…
…
…
n m 63 75 Da Diagnoza2
model
hipotezateorijapravilo
MLizvajalnialgoritem
neznaniproces
novi problem
rešitev = realno število
podatki opisi (rešenih) problemov
(nadzorovano) učenjeregresija
Atributni opis primerov: regresija
Primer Atribut1 Atribut2 Atribut3 … … … … AtributA Ciljna spr.Regresijska spr.
1 V11 V12 V13 V1A R1
2 V21 V22 V23 V2A R2
3 V31 V31 V33 V3A R3
…
…
…
n Vn1 Vn2 Vn3 VnA Rn
Atributni opis primerov: regresija, npr.
Pacient Spol Starost Teža … … … … Glavobol Dolžinazdravljenja
1 m 39 81 Da 10 dni
2 ž 27 63 Ne 14 dni
3 ž 45 72 Da 45 dni
…
…
…
n m 63 75 Da 25 dni
Pregled metod strojnega učenja
• klasifikacija:• Odločitvena drevesa• naivni Bayesov klasifikator• Klasifikator z najbližjimi sosedi• Diskriminantne funkcije• metoda podpornih vektorjev (SVM)• Naključni gozdovi• Umetne nevronske mreže• Globoke nevronske mreže
• regresija:• Regresijska drevesa• Linearna regresija• Lokalno utežena regresija• Regresijske funkcije• Metoda podpornih vektorjev• Naključni gozdovi• Umetne nevronske mreže• Globoke nevronske mreže
Root
nLymph > 1.5
Leaves: 1, MSE = 41.46
Leaves: 2, MSE = 36.32
Leaves: 5, MSE = 34.81
nLymph > 2.5grade > 1.5
stage > 1.5
(130 instances, y = 13.42)
(229 instances, y = 11.16) (288 instances, y = 8.92)
(83 instances, y = 2.76)
(119 instances, y = 5.63)
Predicting Breast Cancer Recurrence
Odločitvena in regresijska drevesa
𝑘 najbližjih sosedov in lokalno utežena regresija
Hastie, Tibshirani, Friedman: Elements of Statistical Learning, 2009
Naivni Bayes in linearna regresija• Predpostavka: atributi so med seboj neodvisni pri danem razredu
𝑃 𝐶 𝑋1𝑋2…𝑋𝑛 =𝑃 𝐶 ⋅𝑃 𝑋1𝑋2…𝑋𝑛 𝐶
𝑃 𝑋1𝑋2…𝑋𝑛=
𝑃 𝐶 ⋅ς𝑖 𝑃 𝑋𝑖 𝐶ς𝑖 𝑃 𝑋𝑖
𝑃 𝐶 𝑋1𝑋2…𝑋𝑛 =𝑃 𝐶 ⋅ ς𝑖 𝑃 𝐶 𝑋𝑖
ς𝑖 𝑃 𝐶
Diskriminantne in regresijske funkcije
SVM- metoda podpornih vektorjev
SVM za regresijo
Naključni gozdovi (RF) – klasifikacija in regresija
Umetne nevronske mreže
Globoke nevronske mreže (DNN)
Globoke nevronske mreže: DNN
• Polno povezane
• Konvolucijske
• Autoenkoderji
• GAN
Rekurentne nevronske mreže: RNN
• 2.1 Fully recurrent• 2.2 Recursive• 2.3 Hopfield
• 2.3.1 Bidirectionalassociative memory
• 2.4 Elman networks andJordan networks
• 2.5 Echo state• 2.6 Neural history
compressor• 2.7 Long short-term
memory• 2.7.1 Second order RNN
• 2.8 Gated recurrent unit
• 2.9 Bi-directional• 2.10 Continuous-time• 2.11 Hierarchical• 2.12 Recurrent multilayer
perceptron• 2.13 Multiple timescales
model• 2.14 Neural Turing
machines• 2.15 Differentiable neural
computer• 2.16 Neural network
pushdown automata