Licence GNU FDL SARL / 22. mars 2017 / www.oslandia.com / infos@oslandia.com

Faciliter l’accès aux données environnementale par le logiciel libre. Utiliser QGIS et les bases relationnelles spatiales pour aller jusqu’à l’utilisateur

Cas d’usage : BD LISA, comment faciliter l’accès à un référentiel complexe

Régis Haubourg, 28 mars 2017

2 /  28

A propos d’OSLANDIASociété française

● Née en 2009

● Entreprise innovante

● Forte croissance (>30%)

● 15 personnes (11 in 2016)

Open Source pure player

Solutions pour les données spatiales

Systèmes d’Information Géographique

3 /  28

Expertise

Conseil / Audit / Support 

Developpement (C++, python, javascript)

Formation

Experts PostGIS 

QGIS core developers

Vous aider à libérer vos SIG (par les bases)

4 /  28

A propos de l’auteur

Régis Haubourg

● Agronome spécialisé en environnement et gestion des eaux

● Géomaticien spécialisé en Open Source

● Administrateur de données géographiques Agence de l’eau Adour Garonne pendant 10 ans

● SIE : production des données de référence carthage, DCE, données qualité des eaux

● Administrateur postGIS, QGIS, appui aux utilisateurs, Architecte SIG● Conception d’applications SIG d’aide à la décision (Pressions / Qualité)

● Ingénieur de recherche IFREMER (Gestion intégrée des zone cotières)

5 /  28

L’accès aux données environnementales

Soyons clairs, tout s’améliore progressivement 

● Aarhus / INSPIRE / Open Data / CADA / data.gouv.fr, licence Ouvertes, l’accès aux données s’ouvre réellement

● Les lots de données de référence sont progressivement documentés● Dictionnaires / Modèles conceptuels● Scénarios d’échanges / gabarits de fichier / services

● Logiciels Open Source, les solutions sont matures

● Les protocoles existent (OGC, INSPIRE, SANDRE), mais restent trop complexes, réservés à de l’échange machine <> machine

6 /  28

L’enfer de l’accès aux données environnementales

Juste assez ... pour donner une idée des potentialités 

● Nouveaux portails nationaux 

● Hackaton Eau, Pesticides, Biodiversité… 

● Innovations internes dans les services de l’État

Mais pas encore suffisamment pour l’utilisateur final 

 Prenons un cas, déjà très avancé sur la donnée

7 /  28

Centrons nous sur un utilisateur déjà expert

Je suis hydrogéologue, je dois évaluer la qualité des ressources en eau de mon département…

● Identifier et connaître les ressources en eau :● Récupérer les données du référentiel géographique

● Récupérer les données de qualité mesurées ● ADES , Données locales

● Faire le travail d’analyse● Comprendre le modèle de données

● Mettre les données en relation (Excel ? Access ? R ? Base relationnel spatiale ? )

● Nettoyer les données

● Traiter les données (formules ? Scripts ? Requêtes SQL ? Algos maison ou modèles)

● Communiquer :● Diffuser les conclusion (rapport 

● Diffuser les résultats

● Diffuser les méthodes (méthode et algorithmes) ayant produit le résultat 

● Faire connaître (réseaux sociaux, institutionnels presse, articles scientifiques)

8 /  28

Et donc, ça coince souvent… dès le début

Récupérer le référentiel hydrogéologique français :

● Il existe, en Open Data – aka  « BD LISA » 

● Référencement Google réservé aux experts :●  « carte Eau souterraine » > rien● « Référentiel hydrogéologique » > 1er résultat

● Oulà ! c’est pas si simple● Ah, je suis un expert (j’avais oublié)● Lien de téléchargement Sandre ● Mince, page d’accueil ● Fiches data.gouv avec liens brisés

9 /  28

10 / 28

11 / 28

Et on arrive enfin là...

12 / 28

 Ah …. 5 à 6 Go pour la métropole  

13 / 28

L’intégration des données

­ ESRI : OK, Geodatabase fournie, tout en un. Mais propriétaire

 ­ les autres : shp / Mapinfo/ CSV. 

­ Pas de modèle SQL / DDL

 > Pour moi en 2016: 7 jours d’intégration

● Création du modèle de données

● Chargement, dédoublonnage des listes entités

● Réparation des anomalies géométriques (plusieurs centaines de milliers)

● Maintenance de l’espace de stockage postgres (+ 8 Go avec les indexes), soit 1/3 du volume total (!) 

● Création d’un projet de consultation et symbologie (2 utilisateurs)

● Rapport d’anomalie et remontée au BRGM (merci!)

14 / 28

L’intégration des données

Une base postgreSQL/PostGIS

Une base SpatiaLite pour archive et usages sans serveur

Un projet QGIS PG     >   Production

Un prêt QGIS Sqlite     >         Archivage / échanges / usage hors ligne

Des fichiers QLR  (equ. .lyr)    

15 / 28

17 / 28

QGIS trop lent ? 

Polygones jusqu’à 400 000 vertices + 70 niveaux de superposition (c’est beaucoup) 

● L’interrogation d’objet était trop lente

● Financement du correctif● Simplification à la volée de l’affichage (Vincent Mora) ● Effet de bord inattendu  , accélération de tout le moteur de rendu (A. 

Huarte)

(Moi content :  argent public bien utilisé, utilisateur content, effet levier inattendu)  

18 / 28

Utilisation 

Rapide 

● mais peut encore mieux faire : trop de vertices, découpage en dalles carrées (indexation spatiale, performances de requêtes) 

 Complexe : 

● filtrage SQL obligatoire par code / domaine /thème

● Pas de filtrage possible par territoire (Administratif / hydrographique)

● Superpositions, Forage virtuel / superposition des coupes :

 Prototypage de 2 plugins QGIS (opportunistes sur http://www.reseau.eaufrance.fr/geotraitements ­ Auteur : Xavier Culos):

● Affichage d’entité WMS (exploite les geoservices )

● Affichage de forage théorique

19 / 28

20 / 28

QGIS trop lent ? 

Polygones jusqu’à 400 000 vertices + 70 niveaux de superposition (c’est beaucoup) 

● L’interrogation d’objet était trop lente (BD LISA V0)

● Financement du correctif● Simplification à la volée de l’affichage (Vincent Mora) ● Effet de bord inattendu  , accélération de tout le moteur de rendu (A. 

Huarte)

(Moi content :  argent public bien utilisé, utilisateur content, effet levier inattendu)  

21 / 28

Si j’ai mis 7 jours, qui d’autre peut faire ça ?

Améliorer la situation en remontant les anomalies

● Pas de forge ou tracker● Si en fait, mais inscription nécessaire, pour initiés: 

https://forge.eaufrance.fr/BDLISA/

Remettre à disposition projet QGIS + SQLITE + dump Postgres ? 

● Github / Gitlab / FramaGit 

● Mmm.. ce sera à moi de maintenir ça ? c’est un FORK (c’est mal)

● Et pourquoi pas un Geopackage OGC + projet QGIS comme format de livraison ?

22 / 28

Pour autant, c’est insuffisant pour une utilisation simple

Nécessité d’un assistant  :

● Aide au filtrage par Domaine / niveau / thème

● Recherche d’entité 

● Affichage de log en local (forage théorique) 

● Affichage de coupes

● Nécessité de mutualiser des représentations avancées 

● Lien vers les fiches (action QGIS)

● Export par zone :● Ajouter tables de relation

g Entité – (commune / dep / région)g Entité – Bassins versants 

23 / 28

Généralisons un peu aux autres données

Données ouvertes, trouvables, ce n’est pas suffisant

Aller jusqu’au bout du cas d’utilisation des utilisateurs cibles 

● Parce qu’on est pas tous des informaticiens

Utiliser une plateforme Open Source pour proposer une implémentation de référence (qui servira aux autres)

S’appuyer sur des standards :

● Échanges = OGC Geopackage  ET  SQL (c’est fait pour gérer des données, c’est standard, c’est performant, c’est à peu près le point commun de toutes les plateformes, et relativement intéropérable) 

Offrir une plateforme collaborative ouverte et moderne

● Lever les freins à la contribution (la force de la multitude)

Bénéficier en retour d’une dynamique vertueuse : plus d’usages, plus de contributions, moins d’efforts sur le reste, des outils qui suivent le besoin.. 

24 / 28

Ne valider un standard d’échange que lorsqu’il a une implémentation de référence ?

Finaliser les dictionnaires de données, modèles d’échange SANDRE SIE / COVADIS / SINP avec l’implémentation de référence

● Épreuve de réalité

● Gage de pérennité

● Adhésion utilisateur immédiate

● Appel à commentaire beaucoup plus facile sur des données réelles et des cas fonctionnels

● Impose l’approche par cas d’utilisation (comme INSPIRE)

25 / 28

Et ça s’applique aussi pour :

Les autres référentiels

● Hydrographiques

● Marins

Les données de mesure / observation

● Biodiversité

● Qualité (sur­ complexes aussi)

Les données de pression

● Prélèvements, rejets

Les algorithmes

● SEEE ? (Traitements en base, librairies R /Python  > tout est disponible !)

Les modèles de données : 

● COVADIS  / Sandre

 

26 / 28

En fait, c’est déjà en route

27 / 28

Modélisation des inondations 

Hydra : hydrologie et hydraulique

1D et 2D couplées

singularités (ouvrages)

Plugin   Ergonomie→

Intelligence   Base de donnée→

28 / 28

Propagation de polluants en nappes

Thyrsis : infiltration et propagation de polluants

Visu :1D vertical

Evolution temporelle

Carto Interactif (60Hz)

3D

Freewat : hydrologie et hydrogéologie (pré et post­pro pour MODFLOW)

29 / 28

Une initiative de plateforme de référence

FREEWAT : 

projet H2020 de plateforme unifiant l’accès aux outils de modélisation basée sur QGIS :

● Chargement de données

● Pilotage de modèles ● Modflow, akvaGIS, SID­&GRID, MARSOL…● Lac, Cours d’eau, Nappes...

● Visualisation de données spatio temporelles

● Outils de calibration, coupes, traçage