2013.10.10 ake edlund-azlannet

Molnet och BigData -‐ nya utmaningar, nya möjligheter

Åke Edlund KTH CSC HPCViz Data-‐Intensive Compu7ng Group KTH CSC PDC-‐HPC Cloud

1

Min bakgrund

PhD, Technion – Israel Ins2tute of Technology. Tekn. Lic. – Uppsala University. Civ Ing. Teknisk Fysik – Uppsala University Forskat på Berkeley och Rice Univ. (USA)

KTH CSC HPCViz Data-‐Intensive Compu7ng (forskning) KTH CSC PDC-‐HPC Cloud Group (molnresurser, projekt)

Leder:

Övrigt: Medlem EU Cloud Expert Group Rådgivare Severalnines.com (DBaaS) Rådgivare SICS Startup Accelerator (medgrundare)

Tidigare: Chief Architect ICT Global Customer Services at Sony Ericsson Mobile CommunicaVons SoluVon Manager at Alzato (real-‐Vme DB, Ericsson Business InnovaVon venture) Product Manager for Cult3D (soXware for interacVve 3D on the Internet) at Cycore Consultant with Parallel, Stockholm (computer security) Co-‐founder of Numeri Ltd (scalable video compression) Board Member of EuroCloud Sweden Coach Aalto Venture Garage, now Startup Sauna

Moln Startups

BigData

2

E\ ekosystem av leverantörer, utvecklare och användare av mjukvara – alla steg som tjänster, levererat över

Internet.

Molnet – möjliggör samverkan

Samverkan är nyckelordet här – en kedja av samverkande

företag 3

h\p://www.vinnova.se/sv/Aktuellt-‐-‐publicerat/Webb-‐tv-‐arkiv/Videoklipp-‐fran-‐konferensen/Webb-‐tv-‐fran-‐VINNOVAs-‐arskonferens-‐den-‐25-‐oktober-‐2012/Ulf-‐Ewaldsson-‐pa-‐VINNOVAs-‐Arskonferens/

Molnet vikVgt? Ja!

Ulf Ewaldsson, Ericsson CTO

"Cloud is coming as the most significant impact, I would say, to communicaVon since we

introduced mobile telephony in the first place.”

“The cloud is going to transform the way we manage our lives and data.”

“It has such an important impact that you have to have cloud as one part of your strategy if you are in

the ICT world" 4

Två studenter, en enkel idé Grundades i juni 2007 Första produkten släpptes i sept. 2008

Allt genom Molnet…..

200M registrerade användare (sep 2013) 100M registrerade användare (nov 2012)

Betalande kunder i 200 länder

5

1 miljard filer sparas på Dropbox varje dygn Används av 2 milj företag Används inom 95% av Fortune 500

Infrastruktur som en tjänst (IaaS) -‐ Skalbarhet genom andras datacenter

Exempel på Molncenter MicrosoXs data center i San Antonio, Texas Cirka 44,000 kvadratmeter

Når alla som har Internet 6

Vad betyder Molnet för företagaren? Enklare – behöver inte hantera egen IT + … Snabbare – uppstart inom minuter + Billigare – betalar bara för det du använder

Möjligt (för fler) Lägre risk (för alla)

Når alla som har Internet

7

….

Vad betyder Molnet för företagaren?

”Vi hade vunnit 6 månader vid uppstarten om vi hade haX dagens molntjänster när vi startade Skype… ”

Niklas Zennström, februari 2012 på SU

8

Molnets ekosystem (förenklad bild)

2

1

3

3

3

1

2

3

Infrastruktur (som en tjänst, IaaS) – här körs större delen av jobbet, här lagras data

Utvecklingsplawormar (som en tjänst, PaaS) – här finns utvecklingsmiljöer för t ex mobila appar

Tjänsterna som kund konsumerar via nätverket (som en tjänst, SaaS)

Infrastruktur

Plawormar

Slutanvändaren

Slutanvändaren

Utvecklaren

Leverantören 1

2

3

Plaworm

Nästa sida

9

Utvecklingsplaworm som en tjänst, PaaS

Slutanvändaren

Utvecklaren

Leverantören 1

2

3

Plaworm

Utvecklare kan i stället för a\ utveckla direkt på molnleverantörens infrastruktur ( ” ” ) välja a\ använda färdiga utvecklingsmiljöer.

Exempel: Google App Engine, MicrosoX Azure, Apple iOS, Android OS Mer: SpoVfy, Dropbox (nästa), …

10

Plawormar för Öppen innovaVon, exempel Dropbox

•  Dropbox öppnar upp mot sin tjänst -‐ och ökar därmed värdet på sin egen tjänst)

•  Plaworm (som en tjänst, PaaS) för andra tjänsteutvecklare -‐ som därigenom slipper synkningsproblemaVken

•  Konkurrerar i de\a exempel med Apple (iCloud) •  Idag: 100,000 akVva appar som byggts på Dropbox plaxorm

11

12

-‐ På F-‐Secure:s utvecklingsplaGorm -‐ 6 månader Vll produkt

E\ större moln-‐exempel -‐ Nexlix

“Globally Distributed Cloud ApplicaVons at Nexlix” October, 2012, Adrian CockcroX

13

Idag: 37 miljoner streaming-‐abonnenter

h\p://www.vinnova.se/sv/Aktuellt-‐-‐publicerat/Webb-‐tv-‐arkiv/Videoklipp-‐fran-‐konferensen/Webb-‐tv-‐fran-‐VINNOVAs-‐arskonferens-‐den-‐25-‐oktober-‐2012/Ulf-‐Ewaldsson-‐pa-‐VINNOVAs-‐Arskonferens/

Molnet och den mobila klienten

Ulf Ewaldsson, Ericsson CTO

> 6 Miljarder mobila abonnemang > 2,3 Miljarder Internetanvändare > 35 Miljarder Appar nedladdade (= 0 innan juli 2008)

14

Molnet och den mobila klienten -‐ 50 miljoner användare (på 35 dagar)

Hur skulle de ha gjort om de inte använt Molnet?

15

Mellansummering (Moln)

•  Molnet är e\ ekosystem av leverantörer, utvecklare och konsumenter av mjukvara – alla steg som tjänster – levererat över Internet

•  Flexibilitet och skalbarhet skapar nya möjligheter

•  Genom Molnet ökar möjligheterna Vll a\ nå den globala marknaden

•  … och konkurrensen blir än mer global

16

BigData

– massiva datamängder med stora underliggande värden

17

18

Molnet OCH BigData

37 miljoner streaming-‐abonnenter

Levererar tjänster genom

Molnet

Analyserar kunddata och förbä\rar tekniken

genom Molnet

19

Vad hände här??

20

SvD, 8 oktober 2013:

•  Den senaste Vden har mycket av arbetet fokuserat på aH hjälpa användarna aH hiHa musik som de vill lyssna på. Med nya funkVoner som Browse och Discover har man dels byggt e\ mer grafiskt Vlltalande och mer lä{llgängligt sä\ a\ visa upp låtkatalogen och genom a\ koppla på både e\ socialt filter, där rekommendaVoner baseras på personer som du följer och vad de lyssnar på och delar med sig av samt algoritmer som analyserar musiklyssnandet.

•  Det här är e\ problem som de flesta streamingtjänster bro\as med. Nexlix har Vll exempel precis lanserat listor som e\ medel i si\ arbete för a\ det allVd ska finnas något som man vill se omedelbart Vllgängligt så snart man startar tjänsten och Wimp har satsat på en tydlig redakVonell profil med rekommendaVoner och arVklar med Vllhörande spellistor på olika

teman för aH skilja ut sig från konkurrensen. SpoVfy är inget undantag, a\ hjälpa användarna a\ hi\a musik de gillar a\ lyssna på är e\ vikVgt och svårt problem a\ lösa.

Trender: Molnet …. och BigData

21

Varför allt tal om ‘BigData’, nu?

Nu: •  Datalagring allt billigare •  Nya lösningar gör a\ allt fler kan få ut allt mer kunskap/värde ur si\ data •  Moln, nya data-‐analys ‘stackar’, nya (skalbara) metoder •  Fler och mer komplexa datakällor a\ analysera och få ut mer

kunskap ur

22

Företag har sedan decennier analyserat stora datamängder – men det har varit kostsamt

och få förunnat….

Källor Vll Big Data

•  Experiment för studie av extrema fenomen i vetenskapliga områden med mogna teorier – Astrofysik, ParVkelfysik, ..

•  Uxorskande av nya områden – Genomsekvensiering, …

•  Skapa kunskap ur akVviteter på Internet •  Sensornätverk





Big Data Ecosystem in One Sentence Use Clouds running Data AnalyVcs processing Big Data

to solve problems in X-‐InformaVcs ( or e-‐X)

X = Astronomy, Biology, Biomedicine, Business, Chemistry, Crisis, Energy, Environment, Finance, Health, Intelligence, Lifestyle, MarkeVng, Medicine, Pathology, Policy, Radar, Security, Sensor, Social, Sustainability,

Wealth and Wellness with more fields (physics) defined implicitly

Spans Industry and Science (research) Geoffrey Fox, Indiana University Bloomington, April 18, 2013

Exempel på BigData – från R&D

26

ParVkelfysik

70+ countries collaboraVng

15 petabytes per year





30 h\p://www.genome.gov/sequencingcosts/

Faster than Moore’s Law

Slower?

“Today is the dawn of personal genomics” David Haussler, USCS





Big Data – Sensors

Stockholm.

32





36 Meeker/Wu May 29 2013 Internet Trends D11 Conference

ZeHabyte = 1000 Exabytes Exabyte = 1000 Petabytes Petabyte = 1000 Terabyte Terabyte = 1000 Gigabytes Gigabyte = 1000 Megabytes

37 Meeker/Wu May 29 2013 Internet Trends D11 Conference

Exempel på BigData – från Internet

38

Vadå ‘Big’?

39

Global Konkurrens

•  Genom Internet blir konkurrensen global •  Någon idé a\ skapa en naVonell dropbox? –  Ja, om du kan lägga Vll ny\ värde, t ex integriet

"CompuVng is being transformed, new companies are emerging. Many organizaVons that have Big Data don’t

have the ability to process Big Data."

Från: Best Prac2ces in Big Data Storage Conducted by: Tabor CommunicaVons Custom Publishing Group

“Big Data is any data that is expensive to manage and hard to extract value from.” Michael Franklin, AMPLab, Berkeley

41

Konkurrensgap

"CompuVng is being transformed, new companies are emerging. Many organizaVons that have Big Data don’t

have the ability to process Big Data."

Från: Best Prac2ces in Big Data Storage Conducted by: Tabor CommunicaVons Custom Publishing Group

“Big Data is any data that is expensive to manage and hard to extract value from.” Michael Franklin, AMPLab, Berkeley

42

Konkurrensgap

Kör, med fri sikt

Kör, utan fri sikt

2010 2011 2012

37% 58% 67%

Andel företag som anser aH (business analys7cs)

ger en konkurrensfördel (USA)

From Value to Vision: Reimagining the Possible with Data Analy7cs What makes companies that are great at analyVcs different from everyone else By MIT Sloan Management Review and SAS Ins7tute (2013)

11%

60%

29% AnalyVcal Innovators

AnalyVcal PracVVoners

AnalyVcal Challenged

43

Globala företag

•  Through Internet, the collaboraVon is global – Teams spread worldwide, already from start

6 persons – 4 countries -‐ Stockholm (HQ), Singapore, Tokyo, Dublin

40 persons, 50/50 US/SE -‐ Boston (HQ), DC, Göteborg, Stockholm -‐ Developers at 6 locaVons around the globe, 4 Vme zones

Big Data Utmaningar •  Need of staVsVcal principles (that scale) to jusVfy the inferenVal leap from data to knowledge

•  Always possible to turn data into something resembling knowledge but which actually is not – … and quite difficult to know that this have happened

h\p://drewconway.com/zia/2013/3/26/the-‐data-‐science-‐venn-‐diagram

McKinsey InsVtute on Big Data Jobs

•  There will be a shortage of talent necessary for organizaVons to take advantage of big data. By 2018, the United States alone could face a shortage of 140,000 to 190,000 people with deep analyVcal skills as well as 1.5 million managers and analysts with the know-‐how to use the analysis of big data to make effecVve decisions.

•  InformaVcs aimed at 1.5 million jobs. Computer Science covers the 140,000 to 190,000

46

h\p://www.mckinsey.com/mgi/publicaVons/big_data/index.asp.

Stora mängder data skapas varje dag, både på Internet och lokalt Experiment, Internet, AffärsinformaVon, Sensornätverk …

Mellansummering (BigData)

Den som kan få ut mest kunskap ur sin data får en konkurrensfördel

Metoder och teknik för aH få fram – och analysera -‐ denna informa7on kräver en kombina7on av ‘hacker’ och matema7ker

Alla verksamheter har stora och växande datamängder – Men många saknar resurser/kompetens för a\ utvinna vikVg

informaVon ur sin egen data

47

E\ ekosystem av leverantörer, utvecklare och användare av mjukvara – alla steg som tjänster, levererat över

Internet.

Molnet – möjliggör samverkan

Samverkan är nyckelordet här – en kedja av samverkande

företag 48

KunskapslyX -‐ Exemplet Finland

70+MEUR under 2010-‐2013, industri-‐drivet forskningsprogram

“Seeking Compe77veness

for Finnish Sofware Industry”

Arbetar helt agilt

Samverkan

Delar på resultaten

www. CloudsoXware.fi, www. Tivit.fi, Janne.jarvinen@f-‐secure.com (program director) 49

Building the future open soXware infrastructure and technologies for services in

the cloud

Bringing the operaVonal efficiency to a new level

increasing producVvity and profitability significantly

Paving the way for Finnish soXware business to succeed

in the cloud

50

2012 Results

New ecosystems being formed e.g. CSC Kajaani Datacenter, Ixonos CityOnline,Tieto ApplicaVon Plaxorm, F-‐Secure 3rd party ecosystem

Several new cloud service concepts and tools developed e.g. o Freenest – Plaxorm for agile cloud development o F-‐Secure – Content cloud plaxorm and service o Vaadin – CollaboraVve SW development o Owela – Conumers say on cloud services

Major Lean/Agile transformaVon programs ongoing e.g. F-‐Secure, Tieto, Ericsson, EB, EXFO, Nokia

51

2012 Results

New ecosystems being formed e.g. CSC Kajaani Datacenter, Ixonos CityOnline, Tieto ApplicaVon Plaxorm, F-‐Secure 3rd party ecosystem

Several new cloud service concepts and tools developed e.g. o Freenest – Plaxorm for agile cloud development o F-‐Secure – Content cloud plaxorm and service o Vaadin – CollaboraVve SW development o Owela – Conumers say on cloud services

Major Lean/Agile transformaVon programs ongoing e.g. F-‐Secure, Tieto, Ericsson, EB, EXFO, Nokia

7.3 MEUR savings in H1/2012

Up to 6x Faster delivery

IPSS: Company revenue tripled

already!

52

AdopVng faster to a changing environment

Need for data analyVcs in near real-‐Vme -‐  Going from reporVng to operaVons -‐  New programming models -‐  Adjusted methods for streaming data -‐  Outlier detecVon in streaming data

An accelera2ng environment…

•  Internet •  Internet-‐Cloud •  Internet-‐Cloud-‐BigData •  Internet-‐Cloud-‐BigData-‐IoT •  Internet-‐Cloud-‐BigData-‐IoT-‐X …. Global compeVVon/collaboraVon (next)

Adding new paradigms to old ones

Slutexempel

– E\ svenskt bolag som använder molnet för a\ leverera analyser av

stora (publika) datakällor från Internet

57

E\ svenskt exempel på Big Data (som använder molnteknik fullt ut)

58

Följade är baserat på “Building a Web Intelligence Machine”

av

Staffan Truvé, PhD CTO, Recorded Future

[email protected]

• Focus only on web intelligence, primarily for governments and Fortune 500 • Backed by Google Ventures, Atlas Venture, Balderton, IA Ventures, and I-‐Q-‐T

59

60

PredicVng EgypVan Protests

61

Slutsummering •  InnovaVonstakten accelererar. Internet ökar global konkurrens/

möjligheter. •  Företag måste lära sig använda och vidareutveckla kring dessa ekosystem •  Kunskap fås genom erfarenhet

–  Många bra exempel a\ lära från t ex Cloud SoXware Finland –  Behov av kompetensutvecklande projekt, gemensamma

utvecklingsmiljöer – samverkan mellan företag

•  Nyckel: Samverkan mellan teknik, affärsutveckling, arbetsmetodik – OCH olika kompetensområden

62

Möjligheter Vll nya kombinaVoner av samverkan -‐ även mellan Vdigare konkurrenter

Tack!

[email protected] [email protected] [email protected]

Åke Edlund

63

Referenser

64

Fron2ers in Massive Data Analysis www.nap.edu/catalog.php?record_id=18374

Value-‐driven business in the cloud www.v\.fi/inf/pdf/researchhighlights/

2013/R9.pdf

XSEDE Cloud Survey Report, September 2013 h\ps://www.xsede.org/xsede-‐nsf-‐release-‐cloud-‐survey-‐report

www.recordedfuture.com

Documents

2013.10.10 ake edlund-azlannet