20
1 https://mollweide.files.wordpress.com/2013/05/big-data.jpg Co, gdzie, jak i po co ? Duże zbiory danych w chmurze, jak z nich skorzystać i wykorzystać. Olga Budziszewska Kryminolog Fan startupów Lokalna aktywistka [email protected] Ryszard Dałkowski Kiedyś chyba informatyk Startupowo sceptyczny Antyspołeczny indywidualista [email protected]

Azure - Duże zbiory w chmurze

Embed Size (px)

Citation preview

Page 1: Azure - Duże zbiory w chmurze

1

https://mollweide.files.wordpress.com/2013/05/big-data.jpg

Co, gdzie, jak i po co? Duże zbiory danych w chmurze, jak z nich skorzystać i

wykorzystać.

Olga

Budziszewska

Kryminolog

Fan startupów

Lokalna aktywistka

[email protected]

Ryszard

Dałkowski

Kiedyś chyba informatyk

Startupowo sceptyczny

Antyspołeczny indywidualista

[email protected]

Page 2: Azure - Duże zbiory w chmurze

2

„One of the most disruptive technology”

http://www.weirdtwist.com/2013/01/storm-cloud-animated-gif.html

Azure

footprint

16 regionów w 2014

Data Center

CDN

Page 3: Azure - Duże zbiory w chmurze

3

Wzorce opłacalności

Średnie

użycie

Ob

cią

że

nie

Czas

“Szybki wzrost”

Ob

cią

że

nie

Czas

“Włączyć i wyłączyć”

użycieŚrednie

Nie

ak

tyw

ne

Ob

cią

że

nie

Czas

“Nieprzewidywalne”

Średnie użycie Ob

cią

że

nie

Czas

“Przewidywalne”

Średnie użycie

SKĄD WZIĄĆ ZBIORY DANYCH…

https://datamarket.azure.com

Page 4: Azure - Duże zbiory w chmurze

4

PARTNERZYDomena publicznaPłatne

Mic

roso

ft A

zure

Serv

ices Compute Web & Mobile Data & Storage Analytics Networking

Hybrid Integration Identity & Access

Management

Media & CDN Developer Services Management

Virtual Machines

Cloud Services

Remote App

Batch

Web Apps

Mobile Apps

Mobile Engagement

API Management

Push Notifications

SQL Database

DocumentDB

Cache

Storage

StorSimple

Azure Search

HDInsight

Machine Learning

Stream Analytics

Data Factory

Virtual Network

ExpressRoute

Traffic Manager

BizTalk Services

Service Bus

Backup

Site Recovery

Azure Active Directory

Multi-Factor

Authentication

Media Services

CDN

Application Insights Scheduler

Automation

Operational Insights

Key Vault

App Service

API Apps

Logic Apps

Page 5: Azure - Duże zbiory w chmurze

5

Standardowy przepływ danych w e-commerce

Przepływ danych z Big Data

Page 6: Azure - Duże zbiory w chmurze

6

Distributed Storage (HDFS)

Query(Hive)

Distributed Processing(MapReduce)

Data Integration

(OD

BC

/ SQO

OP/ R

EST)

Event Pipeline(Event H

ub/ Flum

e)

LegendaRed = Core Hadoop

Blue = Data processing

Gray= Microsoft integration points and value adds

Orange = Data Movement

Green = Packages

YARN

Compute

Visualisation

Orchestration Storage

Service bus

Event Hub

Data Factory

Power BI

Stream Analytics

HD Insight

Machine Learning

Virtual Machines

Table Storage

Blob Storage

SQL Azure

Document DB

Feeds

IoT

Data Sources

Near real time analysisData Journeys

Azure

Page 7: Azure - Duże zbiory w chmurze

7

Compute

Visualisation

Orchestration Storage

Service bus

Event Hub

Data Factory

Power BI

Stream Analytics

HD Insight

Machine Learning

Virtual Machines

Table Storage

Blob Storage

SQL Azure

Document DB

Feeds

IoT

Data Sources

Near real time analysisPredictive Analytics

Azure

Compute

Visualisation

Orchestration Storage

Service bus

Event Hub

Data Factory

Power BI

Stream Analytics

HD Insight

Machine Learning

Virtual Machines

Table Storage

Blob Storage

SQL Azure

Document DB

Feeds

IoT

Data Sources

Near real time analysisNear real time analysis

Azure

Page 8: Azure - Duże zbiory w chmurze

8

Azure Portal

Page 9: Azure - Duże zbiory w chmurze

9

https://youtu.be/JaW_uACHg10

Page 10: Azure - Duże zbiory w chmurze

10

https://youtu.be/tA_Q9-aoD_I?t=28m50s

Page 11: Azure - Duże zbiory w chmurze

11

Co to jest Machine Learning (ML)

Rozwiązuje bardzo trudne problemy

Wydobywa większą wartość Big Data

Nowa jakość w analityce biznesowej

Business

Knowledge

Data

Preparation

Modelling

Evaluation

Data

Understanding

Idea

Data

Publish

Machine Learning Process Model

Based on the CRISP-DM Model

Page 12: Azure - Duże zbiory w chmurze

12

https://youtu.be/a07guEmVIGs?t=2m33s

Page 13: Azure - Duże zbiory w chmurze

13

Myliłby się jednak ten,

kto przymiotnik BIG

w Big Data utożsamiałby wyłącznie z

gigantyczną ilością danych. Oznacza on

przede wszystkim to, co możemy z

tymi danymi realnie zrobić. Łukasz Kapuśniak

Chief Big Data Officer Cloud TechnologiesKomputer w Firmie

Page 14: Azure - Duże zbiory w chmurze

14

GLOBALNE SONDAŻEI BADANIA RYNKU ONLINE

(APP)

PONAD MILION RESPONDENTÓW W CZASIE

RZECZYWISTYM 24/7

MONITOROWANIE OFERT, CEN I DOSTEPNOŚCI W SKLEPACH

INTERNETOWYCH

21 MILIONÓW OFERT 11 TYSIĘCY SKLEPÓW

OPEN DATA: Z LICZB INFORMACJE O JAKOŚCI ŻYCIA

W DANEJ DZIELNICY

80 000 UNIKATOWYCH UŻYTKOWNIKÓW MIESIĘCZNIE

W 5 MIASTACH ŚWIATA

Page 15: Azure - Duże zbiory w chmurze

15

NIEMAL NIEOGRANICZONA SKALOWALNOŚĆ

Page 16: Azure - Duże zbiory w chmurze

16

80 000 UNIKATOWYCH UŻYTKOWNIKÓW MIESIĘCZNIE

PRZESTĘPCZOŚĆ, TRANSPORT, ZANIECZYSZCZENIA

HAŁAS, DEMOGRAFIA, WYPOCZYNEK, EDUKACJA

Page 17: Azure - Duże zbiory w chmurze

17

Page 18: Azure - Duże zbiory w chmurze

18

„MIELIŚMY WIELE PYTAŃ, KTÓRYCH PO PROSTU NIE MOGLIŚMY ZADAĆ NASZYM KLIENTOM”

DANE Z FB, PUNKTÓW SPRZEDAŻY I RAPORTY POGODOWE

“Before, we thought that people would choose cold drinks and desserts in hot weather,” says Cheong. “But contrary to our assumptions, in certain outlets we saw an opposite trend.”

Page 19: Azure - Duże zbiory w chmurze

19

BizSpark? Dobry początek – bez zobowiązań

Unikalne oferty od Partnerów

Biznes i Marketing Rozpoznawalność i Promocja

Wsparcie techniczne

Podstawowe ElektroniczneRozszerzone2 incydenty

Oprogramowanie i usługi

Narzędzia systemy i aplikacje Systemy operacyjne i aplikacje