Upload
geekslab
View
9.625
Download
4
Embed Size (px)
DESCRIPTION
Конференция AI&BigData Lab, 12 апреля 2014
Citation preview
Deep Learningсложный анализ данных простыми словами
Сергей Шельпук[email protected]
Проблема классификации
Отличить мотоцикл от Луны
Проблема классификации
Классификатор
© A. Ng и др.
Проблема классификации
пиксель
светимость
Проблема классификации
«Сырые» данные не описывают данные достаточно хорошо. Нам нужны какие-то «умные» представления.
содержит колеса
содержит «моря»
Извлечение признаков
Классификатор
Оп
ред
ели
тел
ь п
ри
знак
ов
© A. Ng и др.
Извлечение признаков
Есть ли лучшие способы?
© A. Ng и др.
Автоэнкодер
Автоэнкодер
© Honglak Lee и др.
▪См. Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations
Автоэнкодер
© Quoc V. Le и др.
См. Building high-level features using large scale unsupervised learning
Deep Learning Нейронные Сети
Обучен предварительнокак автоэнкодер
Типичный классификатор
Moon
Deep Learning Нейронные Сети
© A. Ng и др.
Deep Learning Нейронные Сети
© A. Ng и др.
Deep Learning Нейронные Сети
Video
Text/NLP
Images
© A
. Ng
и д
р.
Deep Learning Нейронные Сети
Особенности обучения Можно использовать немаркированные данные Легко переобучить Очень большой объем вычислений
Немаркированные данные
колеса
руль
Переобучение автоэнкодера
Sparsity constraint – способ ограничения вариативности автоэнкодера
Идея: ограничить активацию скрытого слоя на восстановление одного примера
Переобучение классификатора
Dropout создает «ансамбль» нейронных сетей
Вычислительные ресурсы
Тысячи ядер Частота: 300-900 МГц Память: 2-6 Gb Производительность: до 3.5
Tflops Instruction-level parallelism Shared memory До 4 устройств в кластере
MNIST
Data:
Features:
Galaxy Zoo
Data: Features:
Thank you