Zapoznanie z sieciami neuronowymi

Sieci neuronoweUmożliwiają modelowanie bardzo złożonych zależności (obraz → obiekt, dźwięk →słowa, …), dla których nie bylibyśmy w stanie napisać tradycyjnego algorytmu.

Wynalezione w latach 50 tych [1956 Frank Rosenblatt - Perceptron - pierwsza sieć neuronowa]

Przez lata zaniedbane.

Obecnie przeżywają renesans, bo mamy wystarczająco dużo danych i mocy obliczeniowej.

https://teachablemachine.withgoogle.com/

Przewidywanie

Trening1. Zainicjalizuj parametry (W, b)

2. Powtórz bardzo wiele razy:a. Spróbuj przewidzieć wyniki dla zbioru

treningowego (forward propagation)

b. Oblicz błąd (loss) aktualnego modelu

c. Oblicz gradient błędu względem parametrów

(backward propagation)

d. Zaktualizuj parametry w kierunku spadku

gradientów (gradient descent)

3. Sprawdź model na zbiorze testowym

playground.tensorflow.org

Deep learning czyli głębokie sieci neuronowe

https://www.mghpcc.org/neural-networks-earthquakes/

Konwolucyjne sieci neuronoweSzczególnie skuteczne do:

1. przetwarzanie obrazua. klasyfikacja zdjęć (Google Photos, ...)b. detekcja obiektów (Apple FaceID, …)c. style transfer

"lokalne cechy" → reużycie parametrów → dużo mniej do nauczenia

Konwolucja

Max Pooling ~ Zoom Out

Filtry → identyfikacja cech wyższego poziomu

ImageNet 2012

Alex Krizhevsky, Ilya Sutskever, and Geoff Hinton [Krizehvsky et al. (2012)].

Konwolucyjne sieci neuronoweMNIST Convolutional Demo

Rekurencyjne Sieci Neuronowe (Recurrent NN)

Szczególnie skuteczne do:

1. przetwarzanie danych sekwencyjnycha. tłumaczenie tekstub. rozpoznawanie i generowanie mowy

Mają "pamięć"

RNN

Long-short term memory

RNN: generowanie tekstu

PANDARUS:Alas, I think he shall be come approached and the dayWhen little srain would be attain'd into being never fed,And who is but a chain and subjects of his death,I should not sleep.

Second Senator:They are away this miseries, produced upon my soul,Breaking and strongly should be buried, when I perishThe earth and thoughts of many states.

DUKE VINCENTIO:Well, your wit is in the care of side and that.

RNN: generowanie tekstu

WaveNet: generowanie mowy

https://deepmind.com/blog/wavenet-generative-model-raw-audio/

Więcej informacji

news.9livesdata.com