14
Galaktyka bitów jak przeżyć powódź danych przy pomocy Microsoft i Open Source Ryszard Dałkowski Open Source Strategy Lead Microsoft http://www.chronozoomproject.org/#/t55 Zamiast agendy O tym porozmawiamy… Galaktyka bitów… Dużo danych? Skąd? Charakter Open source z MS? W chmurze Sami spróbujcie

Big data szczecin

Embed Size (px)

DESCRIPTION

prezentacja z konferencji ""Data Scientist: The sexiest job of the 21st century!"

Citation preview

  • 1. Galaktyka bitwjak przey powd danych przy pomocy Microsoft i Open SourceRyszard DakowskiOpen Source Strategy LeadMicrosofthttp://www.chronozoomproject.org/#/t55Zamiast agendyO tym porozmawiamyGalaktyka bitwDuodanych?Skd? CharakterOpensource zMS?WchmurzeSami sprbujcie

2. Sources: The Economist, Feb 10; IDC2000 Projekt Sloan Digital Sky Survey w 7 dni zgromadzi wicejdanych ni wczeniej w caej historii astronomiiDo2016 Chilijski New Large Synoptic Survey Telescope bdzie gromadziokoo 140 terabajtw co 5 dni wicej ni Sloan w cigu 10 lat2013 Wielki Zderzacz Hadronw w CERN generuje 40 terabajtwdanych w cigu sekundy eksperymentuXXI w Wicej informacji w jeden dzie ni czowiek XV w w cigucaego yciaSources: The Economist, Feb 10; DBMS2; Microsoft CorpBing poera ponad 7 petabajtwdanych miesicznieUytkownicy Twittera generujponad 1 terabajt wpisw kadegodniaCisco przewiduje e ruch winternecie osignie w 2013 poziom667 exabajtw (czyli 108) 3. 1,800,000,000,000,000,000,000 bytes1,8 ZBRozmiary cyfrowego wszechwiata 201102468102010 2011 2012 2015W cigu 24 miesicy ilomobilnych urzdze >tradycyjnych komputerwSources: IDC Digital Universe Study 2011, Worldwide Big Data Technology and Services 20122015 ForecastW 2015 ponad 20% informacjibdzie przetwarzanych wchmurze 4. VSBaza relacyjna Baza MapReducePojemnoci Gigabajty (Terabajty) Petabajty (Hexabajty)Dostp Interaktywny i wsadowy WsadowyUaktualnianie Wielokrotny zapis/odczyt Pojedynczy zapis,wielokrotny odczytStruktura Statyczna DynamicznaIntegralno Wysoka (ACID) NiskaSkalowanie Nieliniowe LinioweDBA Ratio 1:40 1:3000 5. Wasna dystrybucjaMicrosoft Wszystkie zmiany oddane doApache Foundation Otwarta i wolna 100% kompatybilnaOptymalizowany dlaWindows & Azure Integracja z AD & SystemsCenter Hadoop-as-a-service-on-AzureDostosowany dlaprogramistw .NET Integracja z Visual Studio Wsparcie dla C# Wydajnoci i skalowalno Wysoka dostpno atwo uycia 6. WsppracaMS + OSSKlienciMS + OSSOtwartachmura+ Apache Hadoop 7. @Hortonworkshttp://spr.ly/6017nTdb #microsoft #bigdatahttp://aka.ms/HadoopWindows+ Open Source 8. + OSS i transfer wiedzy MSDN WindowsAzure.com Channel 9 php.net TechNet Wiki Blogi interoperability brian_swan Silverlining Specyfikacje idokumentacjaPHP at Scale on the Microsoft PlatformAzure Real World: Migrating a Drupal Site from LAMP to Windows Azurehttp://www.chronozoomproject.org/http://www.worldwidetelescope.org/webclient/ 9. http://research.microsoft.com/en-us/um/redmond/groups/cue/sketchinsight/ 10. http://www.microsoft.com/en-us/news/Press/2013/Feb13/02-11BigDataRoundupPR.aspxhttp://www.microsoft.com/bizspark