Dlaczego to nie działa?Rewolucja multimedialna w Internecie i stawiane przez nią wyzwania

Piotr Karwatka (pkarwatka@divante.pl)

O czym opowiem...

… o problemach których doświadczyliśmy i ich rozwiązaniach

SimpleStorage to system dystrybucji treści – stworzony przez Divante i Imagin IT

1. Multimedialna rewolucja

2. Nieprzewidywalne wymagania

3. Zróbmy to sami...

4. Śnieży i przerywa

6. Nie gra

7. ... nie odpowiadają na maile

8. Mityczny percentyl i czarne chmury

9. Co udało nam się osiągnąć

Multimedialna rewolucja

● eMarketer szacuje, że w 2012 już prawie 90% internautów w USA będzie oglądać video online. Daje to 200 milionów użytkowników.

● Według badania comScore Video Metrix amerykanscy internauci obejrzeli pazdzierniku 2008 12.7 mld klipów video w sieci. Średnia ilość filmów obejrzanych przez amerykanskiego internautę w miesiącu to 87

● Gemius SA w najnowszym raporcie "Konsumpcja mediów. Sposoby korzystania z mediów wśród internautów" informuje, że 76% internautów skorzystało z możliwości oglądania telewizji i kipów video w internecie – jest to odsetek większy niż w przypadku innych mediów.

Zastosowania? ● budowanie świadomości marki● przedstawianie informacje o produkcie i firmie● budowanie lojalność● SEO i monetyzacja (reklamy, kontent premium)

Więcej informacji w darmowym raporcie: http://divante.pl/pl/wiedza/strategie-video-w-internecie/

Nieprzewidywalne wymagania

Serwisy społecznościowe

Marketing wirusowy

Sezonowość i akcje reklamowe

Bardzo duży / skokowy ruch

Trudne do przewidzenia koszty

STRACH przed klęską urodzaju!

„Gentlemen! Hold your horses! The elephants are coming!” (stare powiedzenie cyrkowe)

Nieprzewidywalne wymagania

● Przykład? Embed z baska.tivi.pl na Facebooku

„Pałer jak ch**”(Pani Basia - klatkab.tivi.pl)

680Mbit/s przez kilka godzin!

Zróbmy to sami!

Darmowe platformy mogą się nie sprawdzić

● dobre na początek● brak możliwości brandingu● brak możliwości monetyzacji (reklamy, kontent płatny i premium)● brak wpływu na politykę moderacji kontentu● uwaga na licencje!

nasz webmaster da radę!● wstawimy darmowy player we flashu a pliki FLV wystawimy przez

Superhosta, Dreamhost, server4you.com … ● przekodujemy media do FLV (co ze streamingiem live?)● jak będzie duży ruch? Nasz serwer nie ma limitów transferu! A

nawet gdyby pojawił się problem – za 99zł/mc wynajmiemy serwer dedykowany!

Zestawienie platform wideo - http://antyweb.pl/ktory-serwis-wybrac-youtube-czy-vimeo-krotki-test-jednego-nagrania/

Śnieży i przerywa

● zle dobrane parametry kodeków wideo zwłaszcza przy streamingu live psują krew!

● słaba jakość (zwłaszcza przy dużej dynamice)

● duży transfer nie adekwatny do jakości

● brak powtarzalności

● długi czas buforowania

● nie wiadomo co zmienić w ustawieniach!

● użytkownicy tego nie cierpią

Śnieży i przerywa

● informatycy nie znają się na wideo – profile kodowania powinny być stałe, ustalone ze specjalistami od produkcji wideo

● udostępnianie wielu profili kodowania (także na komórki, o mniejszej przepływności, HD …) i automatyczne dopasowywanie do łącza użytkownika

● monitoring przepływności wideo, konfigurowanie czasów buforowania playerów i automatyczne zbieranie feedbacku od użytkowników

● czytać, testować, czytać, testować – o kodekach i ich parametrach (h264, VP6, h263)

Nie gra

Nie gra

● okazało się, że nasz serwer ma limity! Zwłaszcza przepustowości do Internetu

● w połowie transmisji skończył się pakiet transferu, na nowy się czeka kilka dni

● niech szlag trafi priorytetyzację pakietów!

● już wiemy dlaczego zagraniczni dostawcy mają tak niskie ceny i jak się do tego ma ich polityka tranzytu ruchu do Polski!

● stać nas na nowy serwer, ale nie bardzo można go dodać (zresztą zajęłoby to dużo czasu!)

● nasz webmaster-admin akurat był na urlopie jak spalił się dysk podczas transmisji, ciekawe czy mamy kopię danych ...

Nie gra

● hosting != serwer, hosting = elastyczna usługa z gwarancją dostępu

● stosowanie replikacji plików zamiast backupów

● stosowanie wielu węzłów buforujących pliki będące w użyciu

● redundancja sprzętu (2N lub N+1, N+2)

● w miarę możliwości peering bezpośredni i udział w polskich węzłach wymiany ruchu

● rozliczanie za faktyczne zużycie!

● zaakceptowanie faktu występowania uszkodzen i minimalizowanie ich wpływu na cały system (zamiast wyrafinowanego sprzętu – dużo serwerów PC zbudowanych z w miarę standardowych komponentów)

Zobacz na czym dokładnie warto się skupić: http://beta.simplestorage.pl/jak-to-dziala.html

... nie odpowiadają na maile

● im tanszy hosting, tym gorsza obsługa – zwłaszcza w sieciach zagranicznych

● rekompensata za % niedostępności serwera który kosztuje 300 zł...

● czas reakcji pomocy technicznej to kilka dni, po drodze jest tłumacz zatrudniony w polskim oddziale który nie bardzo rozumie o co chodzi

● zwłaszcza, że nasz admin to farbowany programista

● rozbudowa sprzętu w zasadzie nie wchodzi w grę

● streaming wydarzen live zaczyna przypominać ruletkę

… nie odpowiadają na maile

● jedno data-center i jego „fochy”? Zastosujmy klaster serwerów i kilka centrów danych w różnych rejonach geograficznych

● dane zreplikujmy w kilku data-center – backupy są nie potrzebne, a możliwość przerwy w usłudze – minimalna

● zatrudnijmy administratorów i utwórzmy NOC – z gwarantowanym czasem reakcji!

● stwórzmy system automatycznego monitoringu – wyłączający zepsute/nieaktywne węzły naszego klastra

● dbajmy o automatyczne replikowanie plików po awarii (minimum 2 kopie w różnych DC!)

Mityczny percentyl i czarne chmury

● ceny łączy (pasma!) w Polsce są bardzo wysokie, 100Mbit to koszt kilku tys. zł – co przy skoku na kilka godzin do 500-800Mbit/s?

● a rozliczanie metodą 95. percentyla bywa bardzo ryzykowne!

● przy streamingu live pojedynczy serwer z bardzo dużym pasmem może kosztować nas majątek!

● zagraniczne, niskie ceny ciężko niosą za sobą kruczki*

● zazwyczaj musimy deklarować się z wyprzedzeniem czasowym ile zużyjemy

● ciężko jest zareagować na dynamiczny wzrost ruchu

* np. ograniczenia transferu, spadek pasma, współdzielenie pasma, niskie priorytety w tranzycie

Mityczny percentyl i czarne chmury

● lepiej użyć wielu tanich serwerów w różnych lokalizacjach i sumować ich pasmo!

● serwery można w miarę prosto dodawać i zwiększać przepustowość

● dla klienta najlepiej byłoby rozliczać się tylko za zużyty transfer – nie powinny niepokoić go skoki i nie powinien przepłacać

● optymalny model to CDN jako CloudService – S3, Akamai...

● ceny wcale nie są niskie!● w Polsce, zagraniczne sieci mają mało węzłów – nie ma

jakości za którą się płaci!● szybkość działania (S3) może nie wystarczać dla celów

wideo!

Z tych doświadczen narodził się pomysł na SimpleStorage!

Co udało nam się osiągnąć

● stworzyliśmy wersję beta Sieci CDN – można ją za darmo protestować pod http://simplestorage.pl

● pliki są replikowane na węzłach

● już teraz oferujemy przepustowość do 2.2 Gbit/s (w tym 600Mbit/s do TPSA)

● ruch do klienta jest kierowany z najbliższego węzła

● obsługujemy standardowe protokoły (SSL, HTTP, WebDAV) i streaming Live (Flash Media Server)

● bardzo dobre łącza do Polski

● mamy produkcyjne wdrożenia (tivi.pl, dominikanie.pl, promoring.pl)

● udało nam się zachować niskie ceny za realne zużycie

Zapraszamy do testów na http://simplestorage.pl - wszystkie uwagi mile widziane!

Co udało nam się osiągnąć

Co udało nam się osiągnąć

● rozwijamy oprogramowanie videocms.pl

● to kompletna platforma wideo z obsługą streamingu live, kodowaniem mediów do formatów internetowych, obsługą reklam i modyfikowalnym playerem

● udostępniamy przetestowane profile kodowania i kodeki (h264, vp6, h263) – jakość jest osiągalna < 1Mbit/s!

● hosting zapewnia SimpleStorage, ale klient może zdecydować się także na swój serwer lub inny system CDN (np. S3)

Więcej informacji o VideoCMS na stronie http://videocms.pl

Pytania?

Zapraszam do zadawania pytan!

pkarwatka@divante.pl

(chcesz kopię prezentacji? napisz :-) )

Zapraszamy na http://simplestorage.pl oraz http://videocms.pl