Upload
others
View
4
Download
0
Embed Size (px)
Citation preview
Les données massives de Copernicus :
vers un nouveau paradigme
Hervé Jeanjean
Cnes
1
CLUB GEOSCIENCES DU 24/03/2015
2
Règlement Copernicus du 03/04/2014 : cadre politique,
organisationnel et financier
Règlement délégué du 12/07/2013
sur la diffusion des données : Full Open Free
CLUB GEOSCIENCES DU 24/03/2015
3
Missions contributrices
Observations
in situ
Utilisateurs Copernicus
Sentinelles 1-2-3-4-5 & Jason series
Composante spatiale Copernicus
Système coordonné d’accès aux données
SERVICES COPERNICUS
1
Les services Copernicus remplissent les besoins communs et mutualisés des Etats Membres
2
Certains besoins des services aval à l’échelle régionale et locale ne sont pas couverts par le périmètre « core » de Copernicus
Projets collaboratifs
Un flux de données inédit
avec Copernicus
Données Sentinel : > 13 To/jour en régime de croisière (5 Pétaoctets/an)
Avec les services Copernicus et les produits aval, le volume >> 10 Po/an
– Enjeux • pas uniquement le volume et le stockage des données
• mais la structuration et la gestion des données pour répondre à la diversité des cas d’usage
• avec des moyens de calculs massifs & positionnés auprès des données
• + une interopérabilité des plateformes
• et un point d’entrée unique à terme (one stop shop)
CLUB GEOSCIENCES DU 24/03/2015
4
Volume total
Volume / an
• Hub ESA ouverts mais … – une archive limitée et sans moyens de traitements – besoins du secteur aval et scientifique pas bien couverts
• Réponse de la France = PEPS Plateforme d’Exploitation des Produits Sentinelles – offrant une solution bien adaptée aux besoins pour la période 2015-2017 – en complément de l’architecture européenne, avec toute l’archive temporelle – solution la plus économique basée sur une infrastructure existante (Data Centre du Cnes)
– solution transitoire, flexible, offrant une capacité d’évolution et transférable
CLUB GEOSCIENCES DU 24/03/2015
5
Dissémination des données Sentinelles
PEPS Au plus tard fin 2015 : Hub de distribution
via CLS
Pour tous, performances
limitées
1 utilisateur/ pays, performances
garanties
Réservé aux services Copernicus
performances garanties
Segments sols collaboratifs
• Trois étapes – Définition du processus et collecte des
propositions
– Analyse de la faisabilité des propositions
– Formalisation de la collaboration
• Point de contact national = CNES
• Accord signé entre le CNES et l’ESA (18 mars 2015) – Accord comprenant le site miroir PEPS et une
station bande X (pour CleanSeaNet). Discussions à poursuivre pour d’autres stations de réception
– Autres pays ayant signé : Grèce, Norvège, Italie, Allemagne, Finlande, UK
CLUB GEOSCIENCES DU 24/03/2015
6
PEPS 1, c’est quoi ? • PEPS - tranche 1
– 4 ans : novembre 2014 à fin 2017 + 2018 (année de transition)
– Préparation PEPS2 avec tous les acteurs en parallèle
• Objectifs : servir les utilisateurs nationaux : industriels PME/PMI, scientifiques, organismes institutionnels … – Diffuser / mettre à disposition les données Sentinelles, libres et gratuites
– Permettre le traitement près des données .. et les valoriser
– Favoriser l’innovation par le développement des SAV
– Satisfaire les besoins spécifiques des utilisateurs « aval »
– Structurer la gestion des données selon les différentes utilisations
– Préparer PEPS2 : solutions technologiques, retour de satisfaction et caractérisation du besoin des utilisateurs…
• La solution technique – Une interface Web
– Un système de recherche et d’accès performant
– Une interface avec le hub de l’ESA pour récupérer les produits
– Un système de stockage les données Sentinelles, au fur et à mesure de leur production (sur disques 2Po + sur bandes 5Po)
– Des serveurs de calcul
CLUB GEOSCIENCES DU 24/03/2015
7
Deux développements industriels
• Infrastructure de stockage : BULL (ATOS)-IBM – Solution HPSS
performante, évolutive
– Couplage natif HPC CNES
• Application logicielle : consultation ACIS (choix ATOS)
CLUB GEOSCIENCES DU 24/03/2015
8
Planning PEPS
• V1.1 fin mai 2015 : OUVERTURE DU SERVICE • Version mise en œuvre par le CNES et maintenue par l’industriel
• V1.2 juillet 2015 : • V1.1 industrialisée et consolidée par l’industriel
• V1.3 novembre 2015 • Visualisation avancée - phasé data S2
• V1.4 septembre 2016 • Complet avec services à valeur ajoutée,
évolutions retours utilisateur
CLUB GEOSCIENCES DU 24/03/2015
9
Phase de Bêtatests
Comment bénéficier du Big Data ?
CLUB GEOSCIENCES DU 24/03/2015
10
CLUB GEOSCIENCES DU 24/03/2015
11
Industriels Formation /
Ecoles / Universités
Institutionnels
Citoyens
Consom.
Infrastructures
Entrepreneurs
Pôle de données
Organiser et définir la
gouvernance (mutualisation, croisement, …) Rechercher les solutions à
moindre coûts pour l’utilisation et exploitation des
infrastructures « Big Data »
Soutenir les « startup » (incubateurs : utilisation des
infrastructures institutionnelles pour le développement des
nouveaux services)
Participer aux formations,
partager des retours d’expérience,
Stratégie Open Data pour les
données spatiales
Innovation : définition, participation aux
actions R&D, H2020/ITC, …
Inciter les industriels au
développement des nouveaux
services en croisant les données
Accompagner les changements de
métiers
Le déluge de données : un
nouveau paradigme • Big data : explosion du volume des données (5 V: volume,
vélocité, variété, véracité, valeur)
• Accès aux données qui se démocratise : « open data », (Etalab), directive PSI (gratuité des données publiques) & INSPIRE
• Quelques chiffres – 1 Go coûtait 1 million $ en 1980 : moins de 10 centimes en 2010
– 9 Mds € de chiffre d’affaires dans le monde (2,2 Mds € en Europe)
– 600 $ suffisent pour acheter un disque dur et y stocker toute la musique du monde
– 30 milliards de contenus échangés par mois dans Facebook
– 1 heure de vidéo téléchargée par minute sur YouTube
– 140 Mds €/an : recettes indirectes espérées par le Big Data
– 74% des entreprises françaises convaincues de l’intérêt du Big Data
CLUB GEOSCIENCES DU 24/03/2015
12
Le numérique envahit tout
CLUB GEOSCIENCES DU 24/03/2015
13
Les hyper data centres
1. Range International Information Hub, Langfang, Chine, 580 000 m² – Terminé en 2016. À peu près équivalent au
Pentagone en terme de taille. Destiné à créer de nouvelles tendances dans l’industrie TI. Faire le tour de ses installations prendra toute une semaine.
2. Switch SuperNAP, Las Vegas, Nevada, USA 205 000 m² – Destiné à éviter les désastres naturels au Nevada.
3. Utah Data Center, Bluffdale, Utah, USA, 93 000 m² – Investissement de la NSA de 2 milliards de dollars,
connue comme étant le Intelligence Community Comprehensive National Cybersecurity Initiative Data Center. Source : Microfix
CLUB GEOSCIENCES DU 24/03/2015
14
La rencontre de deux mondes
CLUB GEOSCIENCES DU 24/03/2015
15
Observation de la Terre
Technologies numériques
TIC
Nouvel écosystème
géo information
Producteurs de données
Recherche en géo sciences
Services aval
Intégrateurs ACIS
Opérateurs Clouds
Développeurs Big Data
Brokers de données
Développeurs APIs & Apps
dédiées
Nouvelle alliance (PPP ?)
Nouveaux modèles
économiques
Quels modèles
économiques ?
CLUB GEOSCIENCES DU 24/03/2015
16
Quels partenariats ?
CLUB GEOSCIENCES DU 24/03/2015
17
Vers PEPS 2 • Une mine à valoriser au niveau européen : 30 ans d’observation de
la Terre en France
• Missions spatiales : SPOT, Pléiades, Jason, Calipso, Parasol, IASI …et à venir (Merlin, SWOT…) – SPOT World Heritage : accès à l’archive SPOT > 5ans à la demande (annoncé
au sommet du GEO en janvier)
– Un cas unique en Europe avec la mise en place de pôles de données (thématiques) en partenariat avec la communauté scientifique
• Enjeux – combiner les données sentinelles avec les données de tous les capteurs du
continuum spatial-terrestre
– avec des moyens de calcul et du stockage distribués : hybridation de plateformes
CLUB GEOSCIENCES DU 24/03/2015
18
Enjeu pour la France : valoriser l’expertise scientifique et le savoir faire thématique aval 1
Approche nationale : rôle des industriels, redéfinition de la chaine de valeur, « RFI »… 2
Approche européenne : nouvelle gouvernance projets collaboratifs, task force EC/ESA/Etats Membres 3