Azure - Duże zbiory w chmurze

1

https://mollweide.files.wordpress.com/2013/05/big-data.jpg

Co, gdzie, jak i po co? Duże zbiory danych w chmurze, jak z nich skorzystać i

wykorzystać.

Olga

Budziszewska

Kryminolog

Fan startupów

Lokalna aktywistka

o.budziszewska@mirar.pl

Ryszard

Dałkowski

Kiedyś chyba informatyk

Startupowo sceptyczny

Antyspołeczny indywidualista

ryszard.dalkowski@exertum.pl

2

„One of the most disruptive technology”

http://www.weirdtwist.com/2013/01/storm-cloud-animated-gif.html

Azure

footprint

16 regionów w 2014

Data Center

CDN

3

Wzorce opłacalności

Średnie

użycie

Ob

cią

że

nie

Czas

“Szybki wzrost”

Ob

cią

że

nie

Czas

“Włączyć i wyłączyć”

użycieŚrednie

Nie

ak

tyw

ne

Ob

cią

że

nie

Czas

“Nieprzewidywalne”

Średnie użycie Ob

cią

że

nie

Czas

“Przewidywalne”

Średnie użycie

SKĄD WZIĄĆ ZBIORY DANYCH…

https://datamarket.azure.com

4

PARTNERZYDomena publicznaPłatne

Mic

roso

ft A

zure

Serv

ices Compute Web & Mobile Data & Storage Analytics Networking

Hybrid Integration Identity & Access

Management

Media & CDN Developer Services Management

Virtual Machines

Cloud Services

Remote App

Batch

Web Apps

Mobile Apps

Mobile Engagement

API Management

Push Notifications

SQL Database

DocumentDB

Cache

Storage

StorSimple

Azure Search

HDInsight

Machine Learning

Stream Analytics

Data Factory

Virtual Network

ExpressRoute

Traffic Manager

BizTalk Services

Service Bus

Backup

Site Recovery

Azure Active Directory

Multi-Factor

Authentication

Media Services

CDN

Application Insights Scheduler

Automation

Operational Insights

Key Vault

App Service

API Apps

Logic Apps

5

Standardowy przepływ danych w e-commerce

Przepływ danych z Big Data

6

Distributed Storage (HDFS)

Query(Hive)

Distributed Processing(MapReduce)

Data Integration

(OD

BC

/ SQO

OP/ R

EST)

Event Pipeline(Event H

ub/ Flum

e)

LegendaRed = Core Hadoop

Blue = Data processing

Gray= Microsoft integration points and value adds

Orange = Data Movement

Green = Packages

YARN

Compute

Visualisation

Orchestration Storage

Service bus

Event Hub

Data Factory

Power BI

Stream Analytics

HD Insight

Machine Learning

Virtual Machines

Table Storage

Blob Storage

SQL Azure

Document DB

Feeds

IoT

Data Sources

Near real time analysisData Journeys

Azure

7

Compute

Visualisation

Orchestration Storage

Service bus

Event Hub

Data Factory

Power BI

Stream Analytics

HD Insight

Machine Learning

Virtual Machines

Table Storage

Blob Storage

SQL Azure

Document DB

Feeds

IoT

Data Sources

Near real time analysisPredictive Analytics

Azure

Compute

Visualisation

Orchestration Storage

Service bus

Event Hub

Data Factory

Power BI

Stream Analytics

HD Insight

Machine Learning

Virtual Machines

Table Storage

Blob Storage

SQL Azure

Document DB

Feeds

IoT

Data Sources

Near real time analysisNear real time analysis

Azure

8

Azure Portal

9

https://youtu.be/JaW_uACHg10

10

https://youtu.be/tA_Q9-aoD_I?t=28m50s

11

Co to jest Machine Learning (ML)

Rozwiązuje bardzo trudne problemy

Wydobywa większą wartość Big Data

Nowa jakość w analityce biznesowej

Business

Knowledge

Data

Preparation

Modelling

Evaluation

Data

Understanding

Idea

Data

Publish

Machine Learning Process Model

Based on the CRISP-DM Model

12

https://youtu.be/a07guEmVIGs?t=2m33s

13

Myliłby się jednak ten,

kto przymiotnik BIG

w Big Data utożsamiałby wyłącznie z

gigantyczną ilością danych. Oznacza on

przede wszystkim to, co możemy z

tymi danymi realnie zrobić. Łukasz Kapuśniak

Chief Big Data Officer Cloud TechnologiesKomputer w Firmie

14

GLOBALNE SONDAŻEI BADANIA RYNKU ONLINE

(APP)

PONAD MILION RESPONDENTÓW W CZASIE

RZECZYWISTYM 24/7

MONITOROWANIE OFERT, CEN I DOSTEPNOŚCI W SKLEPACH

INTERNETOWYCH

21 MILIONÓW OFERT 11 TYSIĘCY SKLEPÓW

OPEN DATA: Z LICZB INFORMACJE O JAKOŚCI ŻYCIA

W DANEJ DZIELNICY

80 000 UNIKATOWYCH UŻYTKOWNIKÓW MIESIĘCZNIE

W 5 MIASTACH ŚWIATA

15

NIEMAL NIEOGRANICZONA SKALOWALNOŚĆ

16

80 000 UNIKATOWYCH UŻYTKOWNIKÓW MIESIĘCZNIE

PRZESTĘPCZOŚĆ, TRANSPORT, ZANIECZYSZCZENIA

HAŁAS, DEMOGRAFIA, WYPOCZYNEK, EDUKACJA

17

18

„MIELIŚMY WIELE PYTAŃ, KTÓRYCH PO PROSTU NIE MOGLIŚMY ZADAĆ NASZYM KLIENTOM”

DANE Z FB, PUNKTÓW SPRZEDAŻY I RAPORTY POGODOWE

“Before, we thought that people would choose cold drinks and desserts in hot weather,” says Cheong. “But contrary to our assumptions, in certain outlets we saw an opposite trend.”

19

BizSpark? Dobry początek – bez zobowiązań

Unikalne oferty od Partnerów

Biznes i Marketing Rozpoznawalność i Promocja

Wsparcie techniczne

Podstawowe ElektroniczneRozszerzone2 incydenty

Oprogramowanie i usługi

Narzędzia systemy i aplikacje Systemy operacyjne i aplikacje

20

W prezencie

https://onedrive.live.com/embed?cid=0F87086AEA0EDBFF&resid=F87086AEA0EDBFF%2136299&authkey=ALjx-zc6ofB-My8&em=2

http://download.microsoft.com/download/6/E/3/6E335796-3003-4B2D-BB55-0A33E003F879/Microsoft_Big_Data_Booklet.pdf