Postavte si svoje AI riešenie

Peter Bednár

• 2001 – Ing. Riadiaca technika a automatizácia • 2010 – PhD. Umelá inteligencia

• Nie som na Facebooku, Instagrame, Twittery, Foursquary, ...

https://zizigolllo.deviantart.com/gallery/

•  

   

 

Algoritmus učenia

Trénovacie dáta

   

↦ mača?

from keras.applications.inception_v3 import InceptionV3 model = InceptionV3(weights='imagenet',include_top=True) # ... y = model.predict(x)

Look mom, I am Data Scientist!

Zo života dátového analytika...

• prečo niektoré metódy pre moje dáta fungujú a iné nie? • kedy a ako upraviť už naučenú sieť pre môj problém? • koľko trénovacích dát na to budem potrebovať?

Môžem dôverovať mojej funkcii?

https://www.smallworldsocial.com/how-autonomous-cars-see-the-world/http://www.pathologyoutlines.com/topic/breastmalignantmedullary.html

Áno, lebo je to "matematika"...?

•  

Ako funguje učenie?

•  

Vymyslite si svoj algoritmus učenia

•  

Zvoľte si model

• Množina jednoduchých funkcií • Nedokážeme dobre aproximovať zložité závislosti –

podučenie

• Množina zložitých funkcií • Veľa funkcií má minimálnu trénovaciu chybu – algoritmus z

nich môže vybrať funkciu s veľkou zovšeobecnenou chybou – preučenie

• Veľká variancia učenia

Zložitosť modelu

Chyba

Podučenie Preučenie

Takže, čo vlastne hovorí teória učenia?

•  

F 

 

 •  

 •  

 • Modulárna architektúra + pred-učenie + kóder/dekóder pre

zmenu domény • Rozpoznávanie obrazu

• CONV 2D → FC • Rozpoznávanie reči

• CONV 1D pre lokálne príznaky → LSTM audio kóder → LSTM text dekóder → FC (klasifikácia slov)

 • Automatický preklad

• FC (embeddings) → LSTM text kóder + attention → LSTM text dekóder → FC (klasifikácia slov)

• Textový popis obrázka • CONV 2D + attention → LSTM text dekóder → FC

(klasifikácia slov) • Textový popis videa

• CONV 2D → LSTM video kóder + attention → LSTM text dekóder → FC (klasifikácia slov)

 Vrstva Rozmery Vrstva Rozmery

1 INPUT 224x224x3 12 CONV3-512 28x28x512

2 CONV3-64 224x224x64 13 CONV3-512 28x28x512

3 CONV3-64 224x224x64 14 CONV3-512 28x28x512

4 POOL2 112x112x64 15 POOL2 14x14x512

5 CONV3-128 112x112x128 16 CONV3-512 14x14x512

6 CONV3-128 112x112x128 17 CONV3-512 14x14x512

7 POOL2 56x56x128 18 CONV3-512 14x14x512

8 CONV3-256 56x56x256 19 POOL2 7x7x512

9 CONV3-256 56x56x256 20 FC 4096

10 CONV3-256 56x56x256 21 FC 4096

11 POOL2 28x28x256 22 FC 1000

 

• Matematicky: gradientová metóda • NN sú nekonvexné funkcie!

   

   

Tak ako sme očakávali

http://ruder.io/optimizing-gradient-descent/

Prečo je hlboké učenie teda také úspešné?

• Ohraničili sme ich architektúru (CNN, RNN) • Naučili sme sa efektívne regulovať ich učenie • Máme viac trénovacích dát pre zložité problémy • Máme väčší výpočtový výkon

 • Variancia chyby = variancia učenia + variancia výberu

testovacej množiny • Krížová validácia

1 2 3 4 5 6 7 8 9 10

11 43 5 ...

N …

6 1 23 ... 7 33 15 ... 8 27 53 ... 18 20 2 ...

11 43 5 ... 6 1 23 ... 7 33 15 ... 8 27 53 ... 18 20 2 ...

11 43 5 ... 6 1 23 ... 7 33 15 ... 8 27 53 ... 18 20 2 ...

. . .

 

+mexicans 0.7345 hispanics 0.6618 latinos 0.6574 ILLEGAL 0.6541 LEGAL_IMMIGRANDS ... 0.6289 ILLEGAL_aliens

 •  

 

Elektrická gitara Akustická gitara Labrador

“Why Should I Trust You?” Explaining the Predictions of Any Classifier

 

http://carlvondrick.com/ihog/

Ako dôležitá je dôvera v UI?

EU GDPR

the existence of automated decision-making, including profiling, referred to in Article 22(1) and (4) and, at least in those cases, meaningful information about the logic involved, as well as the significance and the envisaged consequences of such processing for the data subject.

Zhrnutie

• Myslite na zložitosť modelu • Heuristika nemusí nájsť optimálne riešenie • Dáta potrebujete aj na vyhodnotenie • Interpretujte predikciu

• Nielen pre chybné príklady, ale aj pre správne klasifikované