Нейронные сети на страже индустриальной...

Нейронные сети на страже индустриальной кибербезопасностиПавел Филонов

… EVERYTHING ISBETTER WITH …

NEURAL NETWORKS!

digitalsubstation.ru

http://taneco.tatneft.ru/

Физика ПЛК Полнота Данные

Реальный объект

Реальная Реальные Только «хорошие» примеры

Трудно добывать данные

Физика ПЛК Полнота Данные

Реальный объект

Реальная Реальные Только «хорошие» примеры

Трудно добывать данные

Физика ПЛК Полнота Данные

Реальный объект

Реальная Реальные Только «хорошие» примеры

Трудно добывать данные

Натурная модель

Упрощенная Реальные Мало «плохих» примеров

Долго добывать данные

Физика ПЛК Полнота Данные

Реальный объект

Реальная Реальные Только «хорошие» примеры

Трудно добывать данные

Натурная модель

Упрощенная Реальные Мало «плохих» примеров

Долго добывать данные

Физика ПЛК Полнота Данные

Реальный объект

Реальная Реальные Только «хорошие» примеры

Трудно добывать данные

Натурная модель

Упрощенная Реальные Мало «плохих» примеров

Долго добывать данные

Компьютерная модель

Модельная Модельные Много различных примеров

Легко добывать данные

Многомерный временной ряд

Подходы к снаряду

Rules Based Systems• Прозрачные• Нужен эксперт• Ловят только то, что знают• Сложны в реализации• Долгое внедрение• Ложные срабатывания

Machine Learning• Непрозрачные• Нужны данные• Могут поймать новые атаки• Просты в реализации• Быстрое внедрение*• Ложные срабатывания*

Machine learning за 5 минут

Machine learning за 5 минут

Machine learning за 5 минут

Machine learning за 5 минут

Start

Segmentation PCA

Feed forward

networksLSTM

Finish

Сигнал

ССегментация

Извлечение признаков(𝑥11 ⋯ 𝑥1𝑚

⋮ ⋱ ⋮𝑥𝑛1 ⋯ 𝑥𝑛𝑚

)

Сегменты

Матрица признаков

Кластеризация

Кластеры

Кодирование цепочек

Последовательностиметок

Сегментация• Достоинства• Удобно визуализировать• Можно легко трактовать• Можно применять символьные методы

• Недостаки• Трудоемкие онлайн-алгоритмы• Сложно обобщить на многомерный случай• Необходимо подбирать много параметров• Неизвестное заранее число кластеров

Start

Segmentation PCA

Feed forward

networksLSTM

Finish

Метод главных компонент (PCA)

Метод главных компонент• Достоинства• Быстрые алгоритмы обучения• Эффективные онлайн-алгоритмы• Хорошо укладывается в многомерный случай

• Недостатки• Плохо подходит для случая нелинейных зависимостей• Работает без памяти• Непрозрачный

Start

Segmentation PCA

Feed forward

networksLSTM

Finish

Заглянем в будущее

Заглянем в будущееInput

Hidden

Output

Сети прямого распространения• Достоинства• Быстрые онлайн-алгоритмы вывода• Хорошо справляются с многомерными данными• Хорошо описывают нелинейные зависимости

• Недостатки• Долгое время обучения• Непрозрачность• Необходимо подбирать размеры временного окна

Start

Segmentation PCA

Feed forward

networksLSTM

Finish

Рекуррентные нейронные сети

Изображение: colah.github.io

Рекуррентные нейронные сети

Изображение : colah.github.io

Stacked LSTM

Реккурентные сети• Достоинства• «Бесконечная» память• Эффективные онлайн-алгоритмы вывода

• Недостатки• «Холодный» старт• Очень доглое время обучения• Непрозрачность

Die Hard Xчерновик сценария

Заводик работает в штатном режиме

Заводик работает в штатном режиме

В системе завелся зловред

Что-то пошло не так!

Есть сигнал!

Оценка качестваШеф, у нас проблемы В городе все спокойно

Осуществляется атака True Positive (TP) False Negative (FN)

Штатный режим False Positive (FP) True Negative (TN)

Точность (precision)

Полнота (recall)

Кручу-верчу

𝐹=2 𝑃 ∙𝑅𝑃+𝑅

-мера:

Источники1. Stuxnet: первые жертвы – blogpost2. Будни немецких сталеваров – blogpost3. E. Keogh, S. Chu, D. Hart, and M. Pazzani. Segmenting Time Series: A

Survey and Novel Approach – paper4. L.H. Chiang, E.L. Russel, and R.D. Bratz. Fault Detection and

Diagnosis in Industrial Systems – eBook5. E. Keogh, J. Lin, and A. Fu. HOT SAX: Finding the Most Unusual Time

Series Subsequence: Algorithms and Applications – paper6. K. Koutroumbas, S. Theodoridis. Pattern Recognition - eBook

Источники7. L. Huang, X. Ngueyn, M. Garofalakis, M. Jordan, A. Joseph, and N. Taft.

In-Network PCA and Anomaly Detection – paper8. A. Lebedevich. Statistics for Monitoring: Anomaly Detection – blogpost9. К. В. Воронцов. Прогнозироваие временных рядов – slides, video10. Neural Networks for Time Series Prediction – slides11. P. Malhotra, A. Ramakrishnan, G. Anand, and L. Vig. LSTM-based

Encoder-Decoder for Multi-sensor Anomaly Detection – paper12. P. Malhotra, L. Vig, G. Shroff, P. Agarwal. Long Short Term Memory

Networks for Anomaly Detection in Time Series - paper

Источники13. A. Nanduri, L. Sherry. Anomaly detection in aircraft data using recurrent

neural networks (RNN) – paper14. A. Karpathy. The unreasonable effectiveness of rcurrent neural

networks – blogpost15. C. Olah. Understanding LSTM Networks – blogpost16. J. Brownlee. Time Series Prediction with LSTM Recurrent Neural

Networks in Python with Keras – blogpost17. S. Hochreiter, J. Schmidhuber. Long Short-Term Memory - paper18. Y. Bengio, P. Simard, and P. Frasconi. Learning Long-Term Dependencies

with Gradient Descent is Difficult - paper

Спасибо за внимание!

email: Pavel.Filonov@Kaspersky.comgithub: github.com/sdukshistwitter: @filonovpv

А нам нужно GPU?• Горизонт прогноза – 5 минут• Количество каналов ~ 600• Keras 1.1.0• Theano 0.8.2• CUDA 8RC

Спасибо команде Nvidia!