64
STREAMING VIDÉO SUR INTERNET ARCHITECTURES, PROTOCOLES ET SERVICES Yassine HADJADJ AOUL [email protected] Maître de conférences à l’Université de Rennes 1 Laboratoire IRISA, Equipeprojet Dionysos (INRIA) Décembre 4, 2013 Ecole d’hiver sur les application de l’informatique industrielle, réseaux et génie logiciel

STREAMING*VIDÉO*SUR*INTERNET* - …pagesperso.univ-brest.fr/~bounceur/ecole_riir/presentations_pdf/... · STREAMING*VIDÉO*SUR*INTERNET* ARCHITECTURES,PROTOCOLESETSERVICES Yassine*HADJADJ*AOUL

  • Upload
    ngobao

  • View
    217

  • Download
    0

Embed Size (px)

Citation preview

STREAMING  VIDÉO  SUR  INTERNET  ARCHITECTURES,  PROTOCOLES  ET  SERVICES

Yassine  HADJADJ  AOUL [email protected]

Maître  de  conférences  à  l’Université  de  Rennes  1

Laboratoire  IRISA,  Equipe-­‐projet  Dionysos  (INRIA)

Décembre  4,  2013

Ecole d’hiver sur les application de l’informatique industrielle, réseaux et génie logiciel

Plan • Généralités

•  Contextes •  Place  de  la  vidéo  dans  l’internet •  Défini]ons

• Architectures  tradi]onnelles • Difficultés  du  streaming  sur  Internet • Améliora]on  du  streaming  sur  Internet

•  Améliora]on  structurelle  (vidéo) •  Améliora]on  protocolaire  (DASH)

•  Architecturale  (CDN  +  Caching)

• Tendances  …

Streaming sur Internet 2

CONTEXTES

Streaming sur Internet 3

Contexte  économique

• Nombre  gigantesque  de  clients  IP  (marché  poten]el  très  important  et  à  moindre  coût)

• Déploiement  généralisé  et  con]nue  de  l’IPTV • Dispari]on  imminente  de  la  télé  analogique  

•  «  Digital  switchover  »,  depuis  2011  en  France

• Croissance  importante  du  nombre  de  disposi]fs  HD • Appari]on  soudaine  de  plateformes  de  partage  de  contenus  (e.g.  Youtube,  Dailymo]on)  et  la  croissance  du  partage  de  fichiers  en  Pair-­‐à-­‐pair  (i.e.  P2P)

Streaming sur Internet 4

Contexte  technologique

Plusieurs  évolu]ons  technologiques  ont  rendu  possible  le  transport  de  la  vidéo  sur  IP:

• Transi]on  vers  la  vidéo  digitale •  La  transmission  en  numérique  possible  par  voie  terrestre,  satellitaire  et  par  câble  

• Avancées  dans  la  compression  vidéo •  Evolu]on  du  premier  standard  (MPEG-­‐1,  1991)  au  standard  de  compression  avancé  H.264

•  La  vidéo  peut  être  transportée  dans  un  réseau  à  capacité  limité  

• Croissance  de  la  capacité  des  réseaux  IP •  Démocra]sa]on  des  accès  large  bande

Streaming sur Internet 5

CES  DÉVELOPPEMENTS  ONT  RENDU  TECHNIQUEMENT  ET  ÉCONOMIQUEMENT  POSSIBLE  LE  TRANSPORT  DE  LA  VIDÉO  HAUTE-­‐QUALITÉ  AUX  NOMBREUX  CLIENTS  IP En  résumé

Streaming sur Internet 6

PLACE  DE  LA  VIDÉO  DANS  L’INTERNET

Streaming sur Internet 7

Etat  des  lieux  (année  2012)

Streaming sur Internet 8

Cisco  forcast

• Les  consommateurs  de  vidéos  représentent  57%  du  nombre  total  de  consommateurs  de  trafic  internet • 69%  en  2017  !

•   La  Vidéo  internet  sur  TV  représente  9% • 14%  en  2017  !  …  probablement  plus  

• Le  trafic  VoD  triplera  en  2017  !

• La  somme  de  toutes  les  formes  de  vidéo  (TV,  VoD,  Internet  et  P2P)  sera  de  l'ordre  de  80  à  90%  du  trafic  mondial  d'ici  2017  !

Etat  des  lieux  (année  2012)  (suite)

Streaming sur Internet 9

0

10

20

30

40

50

60

2012 2013 2014 2015 2016 2017

14,8 19,8

25,8

32,9

41,9

52,7

8,8 11,6

14,6 17,6

20,4 22,9

Vidéo sur Internet

Vidéo sur réseaux managés

Prédic]ons

Trafic  en

 PB  (101

5 )

Croissance  29%  annuel

Croissance  21%  annuel

DÉFINITIONS

Streaming sur Internet 10

L’IPTV  C’EST  LA  TV  PAR  INTERNET Idée  reçue

Streaming sur Internet 11

IPTV

Caractéris]ques •  Flux  con]nus  de  contenu  produit  par  des  professionnels

•  Contenus  uniformes    (tous  les  canaux  partagent  une  même  technique  de  compression,  résolu]on,  débit)

•  Transport  sur  un  réseau  privé  (opéré  de  bout-­‐en-­‐bout) •  xDSL

•  Transport  en  mode  non  connecté  RTP/UDP  (mul]cast)

•  Visualiser  sur  une  télévision  par  le  biais  d’une  set-­‐top  box

IPTV  est  simplement  le  moyen  de  transporter  la  télé  tradi]onnelle  dans  un  réseau  IP

Streaming sur Internet 12

VoD:  Vidéo  à  la  demande

Caractéris]ques •  Contenus  discrets •  Contenus  uniformes •  Transport  sur  un  réseau  privé  (opéré  de  bout-­‐en-­‐bout) •  Transport  en  mode  non  connecté  RTP/UDP  ou  TCP •  Visualiser  sur  une  télévision  par  le  biais  d’une  set-­‐top  box •  Généralement  les  contenus  de  la  catch-­‐up  TV  sont  accessible  durant  une  

période  limité  …

Technique  de  diffusion  de  contenus  vidéo  numérique  bidirec]onnelle  (interac]ve)  offerts  (catch-­‐up  TV)  ou  vendus

Streaming sur Internet 13

Vidéo  par  Internet

Caractéris]ques •  Contenus  discrets •  Millions  de  contenus  vidéo •  Format  des  contenus  très  variable   •  Livraison  sur  le  réseau  Internet •  Transport  en  mode  connecté:  TCP •  Visualiser  par  des  lecteurs  sur  PCs,  Tablexes,  smart  phones,  …  et  la  TV  

(smart  TV)

La  vidéo  par  Internet  se  base  sur  une  livraison  de  contenus  en  u]lisant  un  réseau  public

Streaming sur Internet 14

Avantages  et  inconvénients  du  streaming  sur  Internet

Avantages

• Disponibilité  et  ubiquité • Low  cost  par  rapport  à  une  solu]on  se  basant  sur  un  réseau  opéré

Inconvénients

• Performance  imprédic]ble  (i.e.  réseau  best  effort)

• Coût  réduit  en  infrastructure  …  pas  toujours  vrai

Streaming sur Internet 15

Part  de  la  vidéo  par  internet  en  2015  USA

Streaming sur Internet 16

UGC (e.g. Youtube)

15%

Vidéo mobile 10%

TV live sur PCs 10%

Caméra de sécurité

6% Vidéo conférence

4%

VoD sur PC (e.g. Netflix)

39%

VoD sur TV (e.g. Apple

TV) 17%

ARCHITECTURES  TRADITIONNELLES Evolu]on  de  la  technique  avec  l’évolu]on  de  la  capacité  du  réseau

Streaming sur Internet 17

Download

• Click  and  wait,  le  download  implique  le  téléchargement  de  tout  le  fichier  avant  visualisa]on

Streaming sur Internet 18

Download  (suite)

Avantages

•  Le  moyen  le  plus  simple •  pas  de  contraintes  en  BW  …  accès  modem  

56K

•  Pas  de  problème  de  synchronisa]on  

intra/inter-­‐média

• Une  fois  téléchargé,  la  répé]]on  de  visionnage  ne  consomme  pas  de  BW

•  Fichier  portable,  partageable,  conver]ble  dans  un  autre  format,  …

Inconvénients

•  La  lecture  n’est  possible  qu’à  la  fin  du  téléchargement  du  fichier

•  Après  téléchargement  le  fichier  peut  ne  pas  être  lu  (codec,  player,  …)

•  Contenu  peut  ne  pas  correspondre  aux  axentes  … •  Popularité  des  premières  secondes  (e.g.  Youtube)

Streaming sur Internet 19

Progressive  download

• Dans  le  téléchargement  progressif,  le  lecteur  mul]média  est  configuré  pour  pointer  à  l’URL  de  la  vidéo  à  lire  (e.g.  Youtube)

(1) HTTP request for Meta file

(2) Meta file

(3) Video file requested and sent over HTTP

Streaming sur Internet 20

Progressive  download  (suite)

Avantages •  Pas  d’axente  du  téléchargement  complet  avant  le  démarrage  de  la  lecture

•  Supporté  par  tous  les  lecteurs  les  plus  populaires •  Pas  d’installa]on  de  logiciel  supplémentaire

•  Le  téléchargement  peut  être  interrompu  si  pas  d’intérêt  pour  le  contenu

•  Répé]]on  possible  de  la  lecture  en  local  (pas  de  coût  en  Bande  passante)

•  Fonc]onne  parfaitement  avec  les  CDNs  

Inconvénients

•  Interrup]on  possible  de  la  lecture  (i.e.  playout  interrup]ons)

•  Le  déplacement  dans  la  vidéo  n’est  pas  possible  …

Streaming sur Internet 21

Streaming

• Signifie  que  le  flux  vidéo  est  reçu  par  et  présenté  à  un  u]lisateur  final,  tout  en  étant  délivré  par  une  diffusion  en  con]nu  du  fournisseur.

(1) HTTP request for presentation

description

(2) Presentation description

(3) Video file requested and sent

Live  ou  VoD

Streaming sur Internet 22

Streaming  (suite)

Avantages

•  Visualisa]on  quasi  instantané •  Où  presque,  buffer  de  quelques  secondes

•  Déplacement  possible  à  n’importe  quel  endroit  de  la  vidéo

•  La  bande  passante  u]lisée  est  celle  nécessaire  à  la  visualisa]on

•  Seul  moyen  pour  faire  du  live  …  pas  complètement  vrai

•  Fichier  non  portable  (sécurité)  

Inconvénients

•  Interrup]on  possible  de  la  lecture  (i.e.  playout  interrup]ons)

•  Nécessite  d’avoir  des  serveurs  de  streaming

Streaming sur Internet 23

DANS  LE  STREAMING  PAR  INTERNET,  ON  A  PAS  FORCÉMENT  UN  SERVEUR  DE  STREAMING  … Serveur  web  pour  le  streaming  vidéo

Streaming sur Internet 24

DIFFICULTÉS  LIÉES  AU  STREAMING  SUR  INTERNET

Streaming sur Internet 25

COMPRENDRE  LE  FONCTIONNEMENT  DE  L’INTERNET  POUR  COMPRENDRE  LES  PROBLÈMES  DU  STREAMING  SUR  INTERNET

Streaming sur Internet 26

Structure  de  l’Internet

POP: Point Of Presence (ISP-ISP) NAP: Network Access Point (ISP-Autres)

Réseau d’accès

Réseau d’accès Réseau d’accès

Réseau d’accès Réseau d’accès

Réseau d’accès

Réseau d’accès

Réseau d’accès

ISP A

ISP B

ISP C

IXP

Internet eXchange Point

Lien de peering

POP

NAP

Streaming sur Internet 27

Structure  de  l’Internet:  plus  en  détail

Réseau d’accès

Réseau d’accès Réseau d’accès

Réseau d’accès Réseau d’accès

Réseau d’accès

Réseau d’accès

Réseau d’accès

ISP A

ISP B

ISP C IXP

ISP régionaux

ISP régionaux Fournisseur de

contenus

Streaming sur Internet 28

Structure  de  l’Internet:  plus  en  détail

"  Les  ISPs  “]er-­‐1”  commerciaux  (e.g.,  Level  3,  Sprint,  AT&T,  NTT),  présentent  une  étendue  na]onal  et  interna]onal

"  Les  fournisseurs  de  contenus  (e.g,  Google)  bypass  généralement  les  Tiers  1  et  ISPs  régionaux

Tier 1 - ISP

Tier 1 - ISP Google

ISP régional

ISP régional

Réseau d’accès

Réseau d’accès

Réseau d’accès

Réseau d’accès

Réseau d’accès

Réseau d’accès

IXP IXP IXP

Tier  2  -­‐  ISP

Tier  3  -­‐  ISP

Achat  par]el  de  leurs  trafic

Achat  de  tout  leurs  trafic

Streaming sur Internet 29

TCP  et  le  streaming  sur  Internet

• Protocole  assurant  une  transmission  fiable • Pas  de  dégrada]on  de  la  qualité  de  l’image

• Adapter  aux  services  de  vidéos  à  la  demande  (e.g.  User  Generated  Contents  «  UGC  »)

• Retransmission  des  paquets  perdus  …  même  lorsque  la  retransmission  n’est  pas  u]le

• Permet  de  bypasser  les  firewall  et  NAT • Transport  sur  HTTP/TCP

• Serveur  assez  simple  (e.g.  download  ou  progressive  download)

Streaming sur Internet 30

TCP  et  le  streaming  sur  Internet  (suite)

• Adapta]on  du  débit  de  transmission  (ges]on  de  la  conges]on) • Chute  du  débit  après  une  perte  de  paquet  …  même  si  cela  peut  causer  une  famine  au  niveau  du  client

• Overhead • Three-­‐way  handshake,  entête  TCP  de  20  octets  dans  chaque  paquet  …  trop  pour  l’envoie  de  données  audio

• Envoie  d’acquitement  pour  tous  les  paquets  …  bien  plus  que  nécessaire

• Non  compa]ble  avec  le  mul]cast  (e.g.  IPTV) • Mul]cast  applica]f  ?

Streaming sur Internet 31

Difficultés  du  streaming  sur  Internet

• Réseau  Best  effort • Pas  de  garan]s  en  ressources  (pire    encore:  ressources  variables) • Délais  variables,  pertes

• Limites  de  l’ingénierie  de  trafic  (MPLS,  …) • Pas  de  qualité  en  inter-­‐domaine • Pas  de  QoS  de  bout-­‐en-­‐bout  (i.e.  Enthrone,  …)

• Problème  de  conges]on • Principalement  au  niveau  des  liens  de  peering  

• Pas  de  mul]cast  en  TCP  …  redondance  non  exploitée

Streaming sur Internet 32

Impacte  du  streaming  sur  l’écosystème

• Les  ISP  et  les  réseaux  de  transit  sont  submergés  de  trafic  de  distribu]on  de  contenus

•  Déséquilibre  des  liens  de  peering  (bande  passante  entrante/sortante) •  Le  service  de  peering  ne  peut  plus  être  gratuit  …

•  Réseaux  de  transit  :  mise  à  jour  con]nue  des  liens  de  transmission   •  Passage  par  les  réseaux  de  transit/payement  suivant  le  débit

•  Coût  des  IXPs  reste  non  négligeable •  Mise  à  jour  de  la  capacité  de  transport,  des  équipements  et  la  loca]on  de  l’endroit

•  Achat  du  service  de  distribu]on  d’un  ou  de  plusieurs  opérateurs  de  CDNs

• Qui  doit  payer?

Streaming sur Internet 33

AMÉLIORATION  DU  STREAMING  SUR  INTERNET

Streaming sur Internet 34

Axes  d’améliora]ons

Structure de la vidéo

Base sur des fragments • Popularité/fragment

Plusieurs qualité pour un même contenu • Qualité optimal

Protocole de streaming

Adaptatif • Débit suivant l’état

du réseau

Infrastructure

CDN • Au plus près des

clients

Stockage

Caching dynamique • Popularité/…

Prefetching • Popularité potentiel

Streaming sur Internet 35

DASH:  UNE  STRUCTURATION  ET  UN  PROTOCOLE

Streaming sur Internet 36

Streaming  de  vidéo  à  base  de  fragments

Caractéris]ques •  Streaming  plus  efficace

•  Moins  d’impact  en  cas  de  perte •  U]lisa]on  plus  efficace  de  la  bande  passante

•  Caching  plus  efficace •  Un  cache  à  fragments  offre  une  meilleure  efficacité  qu’un  cache  à  contenu  

complet  (i.e.  Caching  des  chunks  populaires)

•  Pas  d’interdépendance  entre  chunk

La  vidéo  de  streaming  est  divisée  en  segments  (i.e.  chunks)  contenant  une  certaine  durée  de  vidéo  (typiquement:  2  à  10s)

Streaming sur Internet 37

Structure  d’une  vidéo

38

Une séquence vidéo = i groupes d’images Groupe d’images (GoP) = k images Groupe d’images (GoP) = k images

... ...

1 image = m bandes (slices)

1 bandes = p macroblocs

1 macrobloc = 4 blocs

q pixels

r pixels

1 bloc = q x r pixels q = r = {4, 8, 16}

•  Le GOP (Group Of Picture) définit l’enchaînement des images I, P et B dans le flux vidéo.

•  Le GOP commence toujours par une image I.

Structure  d’un  GoP

39

GoP(3,16) I Intracoded frame P Forward/predicted frame B Bi-directional/interpolated frame

Un chunk et un ensemble de GOPs

DASH:  Dynamic  Adap]ve  Streaming  over  HTTP

Le  standard  DASH  est  une  technique  de  streaming  basée  sur  des  segments,  disponible  en  différentes  qualité  et  transportés  en  u]lisant  HTTP  1.1

Streaming sur Internet 40

DASH:  Dynamic  Adap]ve  Streaming  over  HTTP

Avantages •  S’adapte  automa]quement  à  la  bande  passante  disponible

•  Choix  du  débit  par  le  client,  en  fonc]on  des  capacités

•  Passage  transparent  d’une  qualité  à  une  autre

• Encapsula]on  sur  HTTP •  Court-­‐circuite  les  NAT  et  les  firewall

• Déploiement  facile  sur  les  CDNs • Nul  besoin  d’un  serveur  de  streaming

•  Serveur  web

• Déplace  l’intelligence  du  réseau  vers  les  clients

Streaming sur Internet 41

Challenges

•  Instabilité  et  iniquité  du  streaming  en  DASH •  Résultat  du  contrôle  distribué  

Streaming sur Internet 42

J.  Jiang,  V.  Sekar,  and  H.  Zhang.  2012.  Improving  fairness,  efficiency,  and  stability  in  HTTP-­‐based  adap]ve  video  streaming  with  FESTIVE.  In  Proc.  Of  ACM  CoNEXT  '12.  New  York,  NY,  USA,  97-­‐108.

Lien congestionné commun

Challenges  (suite)

Performance: • Détermina]on  de  la  taille  des  chunks • Détermina]on  de  la  stratégie  de  téléchargement  op]male

• Nombre  de  chunk  pour  éviter  la  famine  tout  en  minimisant  la  bufferisa]on

• Caching  des  flux  DASH •  Choix  de  la  qualité  dans  un  réseaux  de  distribu]on  de  contenus  (e.g.  topologie  diverses)

Sécurité: • Stratégie  de  téléchargement  agressive  

Streaming sur Internet 43

RÉVOLUTION  DU  STREAMING  SUR  INTERNET  GRÂCE  AUX  CDNs

Streaming sur Internet 44

Les  intermédiaires Origin Server

Surrogate (cache)

Surrogate (cache)

Surrogate (cache) Surrogate

(cache)

• Mise à l’échelle

Serveurs centralisés

• Efficacité (BW)

Ferme de serveurs

• Coût • Mutualisation

Serveurs miroir

CDNs

Streaming sur Internet 45

CDN:  Content  delivery  Network

Principe •  Rapproche  les  contenus  des  u]lisateurs  (économie  en  bande  passante  

«  coût  »  et  pe]ts  délais) •  Mise  à  l’échelle  et  mutualisa]on  des  ressources:  traitement,  mémoire,  

stockage

•  Favorise  les  contenus  les  plus  populaires   •  Contenus  distribués  en  fonc]on  des  besoins  et  de  leurs  u]lisa]ons

Réseau  en  overlay  chargé  de  distribuer  le  contenu  de  l’endroit  le  plus  op]mal*

*  Ne  signifie  pas  forcément  le  plus  proche  géographiquement

Streaming sur Internet 46

Exemple  de  CDNs

Resulting in traffic of: 5.4 petabytes / day 790+ billion hits / day 436+ million unique clients IPs / day

The Akamai EdgePlatform:

85,000+ Servers

1700+ POPs

72+ Countries

950+ Networks

660+ Cities

Streaming sur Internet 47

Evolu]on  du  trafic  des  CDNs

Streaming sur Internet 48

0 5

10 15 20 25 30 35 40 45 50

2012 2013 2014 2015 2016 2017

10,8 14,6

19,9

26,8

35,8

47,1 Prédic]ons

Trafic  en

 PB  (101

5 )

Croissance  34%  annuel •  Le  CDN  est  la  méthode  dominante  pour  livrer  le  contenu  de  streaming.  

•  51%  du  trafic  Internet  va  traverser  des  CDNs  en  2017,  

contre  34%  en  2012.   •  65%  du  trafic  vidéo  sur  Internet  va  traverser  des  CDNs  en  2017,  en  hausse  de  53%  en  2012

Architecture  type  du  streaming  sur  Internet

Streaming sur Internet 49

V.  K.  Adhikari,  Y.  Guo,  F.  Hao,  M.  Varvello,  V.  Hilt,  M.  Steiner,  and  Z.-­‐L.  Zhang.  INFOCOM,  page  1620-­‐1628.  IEEE,  (2012)

L’exemple:

Réseau  Ne�lix

www.ne�lix.com

Cloud  Amazon  (EC2,  S3  …)

Serveur  Ne�lix Serveur  Ne�lix

1 Enregistrement

Redirec]ons: movies.ne�lix.com  (logged) Signup.ne�lix.com

2 • Authen]fica]on • MàJ  périodique  du  Manifest

3

Copie  de  contenus

Level-­‐3

LimeLight

 Akamai

CDNs

4 Demandes  chunks

5 chunks

Client  MS  Silverlight  (DASH)

Problématique de la sélection de cache/serveur

RÉVOLUTION  DU  STREAMING  SUR  INTERNET  PAR  LE  CACHING  …

Streaming sur Internet 50

Pourquoi  le  caching?

• Changement  de  rapports  entre  opérateurs  de  CDNs  et  ISPs • Augmenta]on  importante  de  la  quan]té  de  trafic,  principalement  le  téléchargement  vidéos

• D’équilibre  entre  le  trafic  entrant  et  sortant  (>    2.5  fois)

• Impacte  du  streaming  sur  les  performances  du  réseau • Satura]on  des  liens  de  peering

• Dégrada]on  de  la  qualité  des  autres  applica]ons  (e.g.  Web)

• Le  caching  semble  être  une  bonne  solu]on  …

Streaming sur Internet 51

Per]nence  du  caching  pour  la  VoD

Streaming sur Internet 52

• Nombre  d’u]lisateurs  ac]fs  >  nombre  de  vidéos  ac]ves

•  Taille  limitée  de  la  vidéothèque  

•  Popularité/Loi  Zipf  (α  =  1.2)* •  Décroissance  rapide  de  la  popularité

• Le  caching  des  contenus  VoD  populaires  est  efficace  

*  C.  Fricker,  P.  Robert,  and  J.  Roberts:  «  A  versa]le  and  accurate  approxima]on  for  LRU  cache  performance  ».  In  Journal  Corr,  Vol.  abs/1202.3974  (2012)

Per]nence  du  caching  pour  le  contenu  UGC

• ANR  ViPeer •  Partenaires:  INRIA,  TB,  Orange,  …

•  Etude:  Per]nence  du  caching

•  Type  de  trafic:  Youtube  (vidéothèque  quasi  illimité)  

• Mesures:  3  zones  ADSL  (villes:  Lyon,  Bordeaux,  et  Paris)

• Hypothèse:  Les  fichiers  visualisés  1  et  2  fois  sont  considéré  comme  du  bruit  pour  le  caching

Fichiers    dis]ncts

Nombre  de  téléchargement

Volume  total

Jour  7

Fichiers 21354 29604 2278.1  GB

>2 1237 7197  (24,3%) 638,1  GB

1 17825  (60,2%) 1182,0  GB

1  semaine

Fichiers 93649 159486 5782,0  GB

>2 9367 63379  (39,7%) 2598,9  GB

1 72451  (45,4%) 2249,7  GB

2  semaines

Fichiers 202772 453345 9442,2  GB

>2 25981 249243  (54,9%) 4730.7  GB

1 149280  (32,9%) 3315,5  GB

Streaming sur Internet 53

Per]nence  du  caching  pour  le  contenu  UGC

• Résultats  (Bordeaux) •  Trafic  des  fichiers  visualisés  1  fois  très  important •  L’élargissement  de  la  fenêtre  d’étude  permet  d’augmenter  le  nombre  de  fichiers  visualisés  +  2  fois  (≈55%)

•  Le  caching  des  fichiers  visualisé  +  2  fois  permexrait  de  réduire  significa]vement  la  bande  passante

•  La  taille  du  cache  (4,7  TB)  à  besoin  d’être  aussi  importante

Fichiers    dis]ncts

Nombre  de  téléchargement

Volume  total

Jour  7

Fichiers 21354 29604 2278.1  GB

>2 1237 7197  (24,3%) 638,1  GB

1 17825  (60,2%) 1182,0  GB

1  semaine

Fichiers 93649 159486 5782,0  GB

>2 9367 63379  (39,7%) 2598,9  GB

1 72451  (45,4%) 2249,7  GB

2  semaines

Fichiers 202772 453345 9442,2  GB

>2 25981 249243  (54,9%) 4730.7  GB

1 149280  (32,9%) 3315,5  GB

Streaming sur Internet 54

Per]nence  du  caching  pour  le  contenu  UGC

• Résultats  (sur  les  3  zones) •  Le  poten]el  de  réduc]on  est  très  important

•  La  taille  du  cache  (12  TB)  à  besoin  d’être  de  plus  en  plus  importante

• Les  contenus  visualisés  changeant  de  jour  en  jour  et  de  semaine  en  semaine •  Renouvellement  du  caching  pour  maintenir  l’efficacité  :  stratégie  de  caching

Fichiers    dis]ncts

Nombre  de  téléchargement

Volume  total

Jour  7

Fichiers 104548 223422 6493,1  GB

>2 9420 115516  (51,7%) 2757,9  GB

1 82350  (36,8%) 2634,6  GB

1  semaine

Fichiers 340702 836236 12484,6  GB

>2 43480 492482  (58,9%) 6124,7  GB

1 250690  (29,9%) 4463,6  GB

2  semaines

Fichiers 865681 2838514 22632,5  GB

>2 145724 1992348  (70,2%) 11916,9  GB

1 593721  (20,9%) 7483,1  GB

Streaming sur Internet 55

Stratégies  de  caching

Caching  réac]f

• Mise  en  cache  de  contenus  populaires  dynamiquement •  Mise  à  jour  des  caches  à  la  demande  et  dynamiquement

•  Techniques:  LRU,  LFU,  LRFU,  Op]mal*,  …

•  Employé  par:  Google  cache  (technique  basée  sur  LRU)

Caching  proac]f  (Prefetching)

• Mise  en  cache  de  contenus  dont  la  popularité  à  un  poten]el  de  croître •  Mise  à  jour  des  caches  en  dehors  des  heures  de  pointes

•  Techniques:  basées  sur  la  prédic]on •  Employé  par:  Facebook  (u]lisa]on  des  liens  sociaux),  …

Streaming sur Internet 56

*  L.  Zhe,  M.K.  Sbai,  Y.  Hadjadj-­‐Aoul,  A.  Gravey,  et  al:  «  Network  friendly  video  distribu]on  ».  NoF  2012,  Tunis,  Tunisia  (November  2012)

Impacte  du  caching  sur  l’écosystème

• Déséquilibre  des  liens  de  peering   •  Importance  du  rôle  des  CDNs  dans  la  chaine  de  distribu]on  de  contenus

•  Développement  de  solu]ons  de  CDNs  par  les  «  Content  Provider  » •  Google  peut  maintenant  avoir  un  lien  directe  avec  les  ISPs  ou  les  ISPs  de  transit  (e.g.  Orange)

• Les  fournisseurs  de  contenus  développent  des  solu]ons  empêchant/gênant  le  caching  puisque  il  entraîne  des  pertes  de  revenus  (i.e.  publicité) •  Youtube  privilégie  le  streaming  en  HTTPs  et  un  streaming  dans  un  ordre  non  conven]onnelle  

• Améliora]on  de  la  QoE  …  consomma]on  d’un  contenus  d’une  meilleure  qualité  (e.g.  HD)  …  problème  de  conges]on  …  

• Développement  de  nouvelles  solu]ons  …

Streaming sur Internet 57

TENDANCES  …

Streaming sur Internet 58

Vers  une  coopéra]on  entre  CPs  et  ISPs

• Une  coopéra]on  entre  CP  et  ISP  est  une  solu]on  gagnant-­‐gagnant •  Les  ISPs  économisent  de  la  bande  passante

•  Les  CPs  ne  perdent  pas  de  revenus  et  décharge  leurs  serveurs/CDNs

• Objec]f  du  projet  ANR  ViPeer •  De  nouvelles  évolu]ons  confirme  l’intui]on  …  

Streaming sur Internet 59

*  L.  Zhe,  M.K.  Sbai,  Y.  Hadjadj-­‐Aoul,  A.  Gravey,  et  al:  «  Network  friendly  video  distribu]on  ».  NoF  2012,  Tunis,  Tunisia  (November  2012)

Vers  une  coopéra]on  entre  CPs  et  ISPs  (suite) Regional CDN ServerPortal dTracker Caching (Peers) Customer

Request « Matrix »3

URL Manifest4

Get URL Manifest5

Redirect dTracker6

Get URL Manifest7

Send modified Manifest8

Upload Manifest

OK

1

2

ChunkRequest(Chz,Peerr)

ChunkRequest(Chx,Peery)

9

Streaming sur Internet 60

La  solu]on  Vipeer  recommande  le  

déploiement  d’un  système  de  caching  opéré  par  

l’opérateur  réseau  dans  son  propre  réseau

Vers  une  coopéra]on  entre  CPs  et  ISPs  (suite)

• Ne�lix:  Ne�lix  Open  Connect  Network •  Permet  aux  ISPs  d’avoir,  en  intra-­‐domaine,  un  serveur  de  caching  local  (i.e.  open  connect)

•  Con]nuer  le  travaille  avec  les  CDNs  commerciaux  …  à  terme  ça  ne  sera  probablement  plus  le  cas  …

•  Serveur  gratuit  pour  les  ISPs •  Ne�lix  CDN  (Storage:  100  TB,  If:  2x10  Gb/s)

•  Coopera]on  between  Ne�lix  and  ISPs   •  Permet  aux  opérateurs  d’avoir  du  contrôle  sur  l’acheminement  de  la  vidéo •  Pre-­‐remplissage  des  caches  pendant  les  heures  creuses

•  Caching  proac]f  et  réac]f

Streaming sur Internet 61

hxp://blog.ne�lix.com/2012/06/announcing-­‐ne�lix-­‐open-­‐connect-­‐network.html  (June  2012)

Streaming  en  P2P

• Le  P2P  est  scalable,  pas  cher  et  axrac]f  mais  …  pas  de  garan]s  en  ressources  …  non  viable  comme  solu]on  commerciale

• P4P  permet  aux  ISPs  d’op]miser  leurs  ges]on  de  ressources •  Réduire  la  charge  des  liens  de  peering  en  favorisant  des  communica]ons  intra-­‐domaine  (iTracker)

• Architecture  hybride  CDN/P2P • Certains  CDNs  commenceraient  déjà  à  avoir  des  composantes  P2P

• Créa]on  d’un  nouveau  WG  à  l’IETF:  PPSP  (P2P  streaming  protocol) • Tout  reste  encore  à  faire  …

Streaming sur Internet 62

*  RFC  6972  (July  2013)

CCN:  Content  centric  networking

CDN surrogate

Portal

Device with caching support (e.g. Router,

DSLAM, …)

STB with possible caching support

dTracker

Streaming sur Internet 63

Routage  sur  les  noms

Stratégies  de  réplica]on  et  de  caching

Plus  de  transport  end2end

Chercher  le  contenus  ou  il  se  trouve  …  plus  de  lien  avec  un  terminal/@IP  par]culière

Meilleures  stratégies?

Quelle  qualité  pour  le  caching?

En  overlay  ou  from  the  scratch?

De  la  centralisa]on  à  la  distribu]on  et  de  la  distribu]on  

à  la  centralisa]on  …

SDN:  So�ware  Defined  Networking?

Streaming  sur  Internet   64