Воспроизводимаянаука о данных.Введение.

Nikita Kazeev1, Andrey Ustyuzhanin1,2

1Yandex School of Data Analysis, 2National Research University Higher School of Economics

Разрешите представиться

› Андрей Устюжанин› опыт промышленного программирования (5 лет)› руководитель группы ШАД Яндекса, входящей в LHCb, CERN› руководитель лаборатории НИУ ВШЭ› доцент МФТИ› visiting researcher Imperial College London

› Никита Казеев› выпускник ШАД› магистрант МФТИ› участник коллаборации LHCb, CERN

Andrey Ustyuzhanin 2

Зачем?

Andrey Ustyuzhanin 3

Воспроизводимость исследованийиз 100 статей в ведущих изданиях 2011г по психологии

› 15 - не удалось воспроизвести вообще› 39 - повторили,

› уровень значимости - в 2 раза ниже

› 61 - нереплицируемы

http://bit.ly/1KgqUf8

Andrey Ustyuzhanin 4

Наука как общественное благо

› Уравнения Максвелла - генераторы электричества› Общая Теория Относительности - GPS› Квантовая Механика - Лазеры, Синхротроны› Нарушение CP симметрии - ядерная медицина› Квазары - часы, GPS› Гравитационные волны?!› Темная материя????› Ulrike Felt, http://bit.ly/1OJw7vL

Andrey Ustyuzhanin 5

Citizen-science

› Polymath, 2009, Timothy Gowers› https://polymathprojects.org/

› GalaxyZoo, 2007, Chris Lintott› http://www.galaxyzoo.org/

› More examples› BOINC, SETI@HOME, CERN@HOME› http://www.nature.com/news/2010/100804/full/466685a.html

Andrey Ustyuzhanin 6

Andrey Ustyuzhanin 7

Примеры, наука и не только

› LIGO, гравитационные волны› https://github.com/arogozhnikov/GW150914

› https://www.oreilly.com/learning/data-visualization-with-seaborn

› https://www.elsevier.com/books-and-journals/content-innovation/interactive-u3d-models

› http://www.executablepapers.com/› https://www.youtube.com/watch?v=FQ5FaeHcdwo› соревнования kaggle.com, тетрадки, скрипты› Mastering the game of Go with deep neural networks and treesearch

› http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html› https://github.com/Rochester-NRT/AlphaGo

Andrey Ustyuzhanin 8

Степени воспроизводимости

› Реплицируемость (Replicability)› другой коллектив

› Воспроизводимость (Reproducibility)› повторить результат от данных до конечных оценок по описанной методике

› Повторное использование (Re-use)› “плечи гигантов”

Andrey Ustyuzhanin 9

Unreproducible research is antisocial! Can’tbuild upon, can’t apply, can’t cooperate. It’s

not a science, but self-promotion

Andrey Ustyuzhanin 10

Наука как эволюция гипотез

› первоэлементы, Аристотель› атомы, Демокрит› механика, Кеплер, Ньютон› электричество + магнетизм = электромагнитные волны› квантовая физика› электро-слабые взаимодействия› квантовая хромодинамика› стандартная модель› гравитация?

Andrey Ustyuzhanin 11

Анализ данных - продолжениеэксперимента

› предположения, протокол, методика› данные измерений› окружение для работы› “скрипт” анализа› граф анализа› результаты, публикация

Andrey Ustyuzhanin 12

Содержание курсаИнструменты и методики для воспроизводимой совместнойобработки данных с примерами и иллюстрациями из индустрии инауки› Хранение и публикация данных› Инструменты для сохранения и воспроизведения окружений

› Conda, Docker, Vagrant

› Решения для запуска Jupyter в облаке› Запуск тетрадок jupyter из контейнера docker

› Средства автоматизации workflow› Continuous integration

› Travis, gitlab-runner

› Публикация результатов анализа как статья или сервис› Ресурсы/решения для сравнения решений

Andrey Ustyuzhanin 13

Andrey Ustyuzhanin 14

Andrey Ustyuzhanin 15

Предположения

› Исследования› Данные собраны› Вычисления выполняются на одной машине› анализ выполняется на Python› Максимальная свобода в использовании инструментов

› Слушатели› знают основы Python› знают Английский язык› Был опыт совместной исследовательской работы› Знакомы с работой на Linux, OS X (все материалы справедливы и для Windows, но чаще всеготребуют небольших уточнений)

Andrey Ustyuzhanin 16

Примерhttps://github.com/arogozhnikov/GW150914

Andrey Ustyuzhanin 17

Спасибо за внимание!