Projet Cooperate
Développement scientifique Exemple d’exploitation commune de bases de données
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Puechabon (CEFE, CNRS)
l’idée« Common database for field sites dedicated to experimental studies on climate change in
Southern France »
Fontblanche (Roquefort-la-Bédoule INRA)
O3HP (OHP, CNRS)
CLIMED (Marseille, ANR/IMBE)
Exemple de Mesures
flux de sève & croissance
échanges gazeux foliaires
relations hydrique
s
T, rh%, radiation & météorologie générale
échanges gazeux à l’échelle de la
canopée
Profil geoelectrique par D Hermitte & J-C Parisot
Motif radialby J Cermakrelevés
/échantillons/ saisie biologiques & chimiques & physiques
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
inter
inter-face éxperimentateur & modélisateur
inter-disciplinaire
inter-échelle
inter-site
inter-generation
inter-opérabilité
definition-interoperabilite.infoL’interopérabilité est la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs et ce sans restriction d'accès ou de mise en œuvre.
inter-net
inter-national
inter-ligent
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Site O3HP Site Climed
: zone de base: Capteurs (exemple d’emplacement): secteurs générateur de données
Site Sentinel
Site ICOS
…etc..
Exemple de sites inclus dans Cooperate
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
ServeurFTP
ServeurWeb Commun
(Ex: O3HP,Sentinel,Icos)
Interfaced’interrogationet consultation
Export Graphiques, Fichiers CSV, images, TableauxRésultants des interrogations
Serveur DeTraitementCommun
Interfaced’administration
(utilisateurs privilégiés)
BDD commune
ServeurFTP
BDD thématique 2
BDD thématique 3
Serveur DeTraitement
Fichiers texte(csv)
Relevés manuelsBDD existante BDD thématique 4
Serveur DeTraitement
BDD existante
BDD thématique 5
BDD thématique 6
Site 1
Site 2
Site 3
Site 4
Site 5 Site 6
Fichiers texte(csv)
Centre de Calcul
Site 7
Web service(s)
Sauvegardes
Sauvegardes
Sauvegardes
BDD thématique 1
(Ex: Climed)
(Ex: Phénologie)(Ex: Meteo OHP)
Schéma fonctionnel
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Structure des BDDs Tables communesTables thématiques
Tables statistiques
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
BDD thématique(s)Requêtage
Tables thématiques Tables communes
Statistiques
Bases de données thématiques
BDD commune
Interaction
Extensions thématiques au projet
• BDD ‘Caractéristiques des Plantes/ Faune/ Microbes’• BDD ‘Caractéristiques du Sol’
…
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Bandeau et menus gérés par un CMS.
Iframes déclenchés par les boutons du menu. Contenus indépendants du CMS utilisé.
Application web principe
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Application web démo
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Choix architectural • Equipements
• pour BDD» machine physique multi-processeurs» disques SAS
• Interfaces Web + calculs» VM puissante
• OS :
• Développement : / / / (pour les
menus)• BDDs commune et thématiques
• Sauvegardes journalières• Systèmes + données (Savenet)
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Solutions techniques
• Affichage multi-mesures / multi-sites• bib. HighCharts
• Requêtes sur toutes les BDD en même temps• Modèle BDD + mécanisme PostgreSQL : postgres_fdw (foreign
Data Wrapper)
• Rapidité des requêtes • hardware / software / Modèle BDD (1 table/capt. + évolution
dynamique de la BDD avec détection des nouveaux objets).
• Stockage optimisé• calcul de l’espace nécessaire au préalable• Affichages et export : calcul à la volée des données à la
minute/jour/mois/année
• Vérification et validation des données• Automatiques, semi-automatiques et manuelles (en cours)
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Souplesse d’emploi
• Souplesse sur les normalisations et données en entrée• pas de contrainte sur le pas de temps, sur les noms des
capteurs, etc.
• Rajout d’un nouveau site en « 1 clic » avec un besoin de très peu d’infos• Scripts génériques• Customisation de quelques heures à 1 semaine
» Rajout de méta-infos, nommage d’éléments, etc…
• Code générique : installation possible ailleurs• D’un site (site 3 & 4 dans slide « Schéma fonctionnel »)• De l’ensemble de l’architecture pour des besoins différents
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
Quelques chiffres (pour l’O3HP)
• Données extraites des capteurs• Cyclique : toutes les 5 minutes à toutes les secondes
# 2 500 000 valeurs / jour
• BDD thématique• 1 500 tables, > 1 000 000 000 enregistrements
• Application Web et scripts d’insertion• > 30 000 lignes de code
• Projet informatique• 2 ans de conception et développement• en moyenne : 1,2 H/J (3 ingénieurs à temps partiel)
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014
OHP - Perspectives verticales
0 m – 35000 m
4 km - 80 km
Station Gérard Mégie
2 m -10 m
temporary installations
ANR CANOPEE
10 m -100 m
70 m - 20000 m
-8 m to 6 mCASTAGNOLI Gérard / ROTEREAU Armand
VVT 2014
Financement et soutien
Merci de votre attention
Site Web O3HP :
https://o3hp.obs-hp.fr/index.php
Application Web O3HP :
https://o3hpbd.obs-hp.fr/db/index.php
Application Web COOPERATE (en développement):
https://o3hpbd-dev.obs-hp.fr/db/index.php
Références
CASTAGNOLI Gérard / ROTEREAU Armand VVT 2014