38
У кого дата больше: кейсы Штатов и России Карима НИГМАТУЛИНА #tceh Москва, Россия 13 октября 2015 г. 1

Карима Нигматулина: использование Big data на примере кейсов Штатов и России

  • Upload
    tceh-

  • View
    653

  • Download
    2

Embed Size (px)

Citation preview

Page 1: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

У кого дата больше: кейсы Штатов и России

Карима

НИГМАТУЛИНА

#tceh

Москва, Россия

13 октября 2015 г.

1

Page 2: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

2

Национальной науки нет, как

нет национальной таблицы

умножения.

- Чехов А. П.

Page 3: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

3

Любят родину не за то, что она велика, а за то, что своя.

- Сенека, Луций Анней

Page 4: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

44 4

Page 5: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

Intellectual Ventures Laboratory

Page 6: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

Page 7: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

Page 8: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

88

Ликвидация оспы – 1980 г.

Эпидемиологическое моделирование

Виктор Михайлович Жданов – 1958 г. 9

Page 9: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

99

Сегодня поставлена цель:

Глобальное искоренение полиомиелита

9

Только 3 страны с эндемическим

распространением:Нигерия, Афганистан,

Пакистан

Page 10: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1010

Инфицированных: 1/3 мирового населения(2 млрд человек)Смертей: 1.7-2.2 млн/год

1 человек/секунду зарожается туберкулезом

Туберкулез

Каждый год от инфекционных заболеваний умирает ~ 10 млн.Многие заболевания предотвратимы.

Page 11: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1111

Инфицированных: 35 млн человекСмертей: 2.1 – 2.8 млн человек/год

С 1983 года от СПИДа скончалась примерно 40 млн человек

ВИЧ/СПИД

Каждый год от инфекционных заболеваний умирает ~ 10 млн.Многие заболевания предотвратимы.

Page 12: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1212

Осложнения: 3-5 млн человек/годСмертей: 350-600 тыс человек/год

Грипп

Каждый год от инфекционных заболеваний умирает ~ 10 млн.Многие заболевания предотвратимы.

Page 13: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1313

13

“Испанка” грипп, 1918-19

40-100 млн человек

Page 14: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1414

14

“Испанка” грипп, 1918-19

40-100 млн человек

Page 15: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1515

Стимуляция: пандемия гриппа сегодня

Page 16: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1616

Стимуляция: пандемия гриппа сегодня

Page 17: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1717

Даже при сокращение полётов на 95% не останавливает распространение.

Стимуляция: пандемия гриппа сегодня

Page 18: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1818

Плотность населения

Ночное освещение

Page 19: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

1919

Передвижение населения

Авиа полеты

Сеть железных дорог

Сеть автомобильных дорог

Page 20: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

2020

Зачем математические модели?

20

Оптимально распределить ограниченные ресурсы для сокращения заболеваемости

Проверить решение на стабильность (найти устойчивое решение)

Спланировать необходимую инфраструктуру и логистику для целевой программы

Рассмотреть новые наиболее эффективные методы вмешательства (пример: новый тип вакцинации)

Определить наиболее полезные направления для полевых исследований

20

Page 21: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

2121

Моделированиемалярии Заболеваемость: ~250 млн. чел/годСмертность : 750,000 -1 млн. чел/год Распространение от укуса комара

Page 22: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

2222 22

Page 23: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

2323

Способы борьбы с распространением малярии...

Опрыскивания стенСетки Лекарства

Page 24: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

Page 25: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

2525

Спим под сетками и опрыскиваем стены

Page 26: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Copyright © 2011 Intellectual Ventures Management, LLC (IV). All rights reserved.

2626

Балансировка нагрузки вычислительных узлов

Page 27: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

Транспортное моделирование 27

Page 28: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

28

28

Чем больше дорого, тем быстрее поедем???

Что лучше 5 полос или 6 полос?

ответ: 5!!

Всегда дополнительная дорога полезна?

ответ: Нет!!

Page 29: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

29

29

Парадокс Браеса

4000 автомобилей

минут минут

Page 30: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

30

Предложение:Транспортная сеть

Плотность населения

Плотность рабочих мест

Спрос:Матрица корреспонденций

Улично дорожная

сеть

МетроНаземный трансопрт

+Ж/Д

Транспортное моделирование – макро уровень

30

Page 31: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

31

Транспортное моделирование – результаты

Загрузка УДС Расстояние 45 мин. поездки

31

Page 32: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

32

Перепробеги по сетиМинимальное расстояние 10 мин. поездки

Необходимо строительство хордовой системы 32

Page 33: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

33

Вывод: Вычислительные мощности позволяют

рассчитывать сложные модели, но классических данных не хватает для построения достоверных моделей

ЧТО ДЕЛАТЬ??

Ответ:

Большие данные (Big Data)

Новые источники тнформации

33

Введение термина относят к Клиффорду Линчу, редактору журнала Nature, подготовившему к 3 сентября 2008 года специальный номер журнала с темой «Как могут повлиять на будущее науки

технологии, открывающие возможности работы с большими объёмами данных?»

Page 34: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

34

Пример Big Data:

Данные сотовых операторов для городского планирования

Отношение численности населения по данным

сотовых операторов к данным РосстатаЧисленность населения по данным сотовых

операторов

34

Население Росстат Данные сотовых операторов

Москва (с ТиНАО) 12 млн 12-13 млн

ТиНАО 0,25 млн 0,5-0,6 млн

Москва + Московская область 19 млн 20-22 млн

Page 35: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

35

Число людей переехавших из Москвы летом

35

- Летом примерно 1 млн жителей Москвы переезжают жить на дачу

- В августе население Москвы сокращается примерно на 1.8 млн жителей

Page 36: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

36

Новые источники «больших данных»• Поисковики (Google,

Yandex)

• Социальные сети (Facebook, LinkedIN)

• Спутники

• GPS треки

• Pадиочастотные идентификаторы (RFID)

• Текстовые, фото и видео данные

• Данные финансовых систем

• И многое другое

36

Page 37: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

37

37

За последние 2 года собрано около 90% данных собранных за всю историю.

Page 38: Карима Нигматулина: использование Big data на примере кейсов Штатов и России

38

Спасибо за внимание!

38