Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
©2013 Marc Gauthier CC-BY-NC-SA
Bretagne Vivante Ornithologie
Le Grébion spécial VisioNature 2013
Bulletin de liaison du groupe ornithologique 35
1
Ce numéro spécial du Grébion est consacré à l'outil VisioNature qui anime le site http://www.faune-bretagne.org/. L'objectif de ce numéro est de fournir quelques bases pour utiliser les données VisioNature dans différents outils.
Sommaire
Mes données........................................................................................................................................................................... 2
Les possibilités d'export ...................................................................................................................................................... 2
Les outils de traitement ...................................................................................................................................................... 2
Importer dans un outil ........................................................................................................................................................ 2
Consulter ................................................................................................................................................................................. 3
Mes données....................................................................................................................................................................... 3
Exporter .............................................................................................................................................................................. 3
Importer .................................................................................................................................................................................. 4
Excel 2007 ........................................................................................................................................................................... 4
Google Drive - fichier txt ..................................................................................................................................................... 7
Google Drive - fichier xlsx ................................................................................................................................................. 10
Libre Office 4.1 .................................................................................................................................................................. 12
QGIS .................................................................................................................................................................................. 14
Spatialite ........................................................................................................................................................................... 17
Postgis ............................................................................................................................................................................... 18
R ........................................................................................................................................................................................ 19
Les données .......................................................................................................................................................................... 21
Le Grébion spécial VisioNature 2013 n°2
2
Mes données
Les possibilités d'export
VisioNature propose plusieurs formats d'export : - : texte tabulé
- : Excel 97-2003
- : Excel 2007
- : XML
- : KML Les 4 premiers formats sont utilisables par des outils type tableur alors que le dernier (KML) vise la cartographie web (Google Earth).
Les outils de traitement
Excel QGIS R Spatialite POSTGIS
type tableur SIG intégré logiciel de statistiques
base de données spatiale
base de données spatiale
système Windows, Mac Windows, Mac, Linux
Windows, Mac, Linux
Windows, Linux Windows, Linux
installation simple simple avancé avancé expert
interface graphique graphique ligne ligne ligne
statistiques avancé simple expert simple simple
spatial non simple à expert expert avancé expert
cartographie non simple à avancé simple à expert simpliste simpliste
Le ticket d'entrée sur la majorité des outils est élevé et nécessite une pratique régulière.
Importer dans un outil
Le format Excel 2007 est à privilégier pour une utilisation avec les outils Microsoft (Excel, Access). Pour les outils type QGIS, R, Spatialite, Postgis le format tabulé est préférable. Ce format présente quelques particularités : encodage iso-8859-1, séparateur tabulation, utilisation des quote et double-quote dans les champs. Le format xml ne comporte pas certains champs : commentaires ...
Le Grébion spécial VisioNature 2013 n°2
3
Consulter
Mes données
La première étape consiste à cliquer sur Consulter/Toutes mes données
...
Exporter
Le choix crucial:
- : texte tabulé
- : Excel
- : Excel
- : XML
- : KML
...
Le Grébion spécial VisioNature 2013 n°2
4
Importer
Excel 2007
La première étape consiste à ouvrir le fichier, puis à se déplacer sur le répertoire contenant le fichier
...
Puis à choisir le bon type de fichier
...
Puis à choisir le bon type de fichier, sélectionner le fichier
Le Grébion spécial VisioNature 2013 n°2
5
Il faut préciser une série d'options
...
...
Et terminer
...
Le Grébion spécial VisioNature 2013 n°2
6
Et les données s'affichent
Le Grébion spécial VisioNature 2013 n°2
7
Google Drive - fichier txt
Après s'être connecté, la première étape consiste à créer une feuille de calcul.
...
Puis à choisir le bon type de fichier
...
Puis dans l'onglet Fichier, choisir Importer
Le Grébion spécial VisioNature 2013 n°2
8
Sélectionner le fichier
...
Et la magie doit opérer après quelques instants !
Le Grébion spécial VisioNature 2013 n°2
9
Et avec un peu beaucoup de patience
...
Le Grébion spécial VisioNature 2013 n°2
10
Google Drive - fichier xlsx
Après s'être connecté, la première étape consiste à copier le fichier xlsx dans "Mon Drive" par tirer-déplacer.
...
Puis à choisir le bon type de fichier
Ouvrir ce fichier en tant que "Feuilles de calcul Google"
Le Grébion spécial VisioNature 2013 n°2
11
Puis à choisir le bon type de fichier
Et la magie opère !
Le Grébion spécial VisioNature 2013 n°2
12
Libre Office 4.1
Il faut d'abord choisir le mode "Classeur"
La première étape consiste à ouvrir le fichier en se déplaçant dans le répertoire ad-hoc.
Le Grébion spécial VisioNature 2013 n°2
13
Puis à choisir le bon type de fichier
Les options par défaut sont correctes
Et les données s'affichent
Le Grébion spécial VisioNature 2013 n°2
14
QGIS
La première étape consiste à ajouter une couche de type "texte délimité"
...
L'étape la plus délicate, hors le nom du fichier et le nom de la couche il faut positionner tous les paramètres comme sur l'écran
...
Le Grébion spécial VisioNature 2013 n°2
15
Message d'erreur lié à la présence d'une second ligne d'entête (en français)
...
Le système de projection est WGS84 : coordonnées géographiques
...
Le Grébion spécial VisioNature 2013 n°2
16
Et les données s'affichent dans une couche !
...
Le Grébion spécial VisioNature 2013 n°2
17
Spatialite
-- creation en table virtuelle
DROP TABLE IF EXISTS _export;
CREATE VIRTUAL TABLE _export USING VirtualText("d:/web/oiseau/VisioNature/export_05112013_143212.txt", 'CP1252', 1, POINT, DOUBLEQUOTE, '\t');
-- conversion en table standard
DROP TABLE IF EXISTS export;
SELECT DisableSpatialIndex('export', 'geometry');
DROP TABLE idx_export_geometry;
CREATE TABLE export AS
SELECT * FROM _export;
-- effacement de la table virtuelle
DROP TABLE _export;
-- suppression de la ligne d'entete en francais
DELETE FROM export
WHERE ROWNO = 0;
-- ajout de la colonne geometry
SELECT AddGeometryColumn("export", "geometry", 2154, "POINT", "XY");
SELECT CreateSpatialIndex("export", "geometry");
UPDATE export SET geometry=ST_Transform(GeomFromText('POINT(' || COORD_LON || ' ' || COORD_LAT || ')',4326), 2154);
-- quelques verifications
SELECT spatial_index_enabled
FROM geometry_columns
WHERE f_table_name = 'export';
SELECT ID_SIGHTING, ID_SPECIES, NAME_SPECIES, DATE, PLACE, MUNICIPALITY, INSEE, COORD_LAT, COORD_LON, COMMENT, ESTIMATION_CODE, TOTAL_COUNT, ATLAS_CODE
, ASTEXT(geometry)
FROM export
LIMIT 3;
La requête SQL
Le Grébion spécial VisioNature 2013 n°2
18
Postgis
DROP TABLE IF EXISTS export; CREATE TABLE export ( ID_SIGHTING TEXT, ID_SPECIES TEXT, NAME_SPECIES TEXT, LATIN_SPECIES TEXT, SYS_ORDER TEXT, DATE TEXT, DATE_DAY TEXT, DATE_MONTH TEXT, DATE_YEAR TEXT, DATE_JDAY TEXT, DATE_PENTADE TEXT, DATE_DECADE TEXT, DATE_WEEK TEXT, TIME_START TEXT, TIME_START_HOUR TEXT, TIME_START_MIN TEXT, TIME_STOP TEXT, TIME_STOP_HOUR TEXT, TIME_STOP_MIN TEXT, ID_PLACE TEXT, PLACE TEXT, MUNICIPALITY TEXT, COUNTY TEXT, COUNTRY TEXT, INSEE TEXT, COORD_LON_LIIE TEXT, COORD_LAT_LIIE TEXT, COORD_LON_L93 TEXT, COORD_LAT_L93 TEXT, COORD_LAT TEXT, COORD_LON TEXT, COORD_LAT_DMS TEXT, COORD_LON_DMS TEXT, COORD_F TEXT, COORD_E TEXT, COORD_N TEXT, PRECISION TEXT, GRID_NAME TEXT, ESTIMATION_CODE TEXT, TOTAL_COUNT TEXT, DETAIL TEXT, ATLAS_CODE TEXT, ALTITUDE TEXT, HIDDEN TEXT, ADMIN_HIDDEN TEXT, COMMITTEE_CHN TEXT, COMMITTEE_CHR TEXT, SURNAME TEXT, NAME TEXT, SEARCH_EXPORT_ENTITY_SHORT_NAME TEXT, SEARCH_EXPORT_ENTITY_FULL_NAME TEXT, COMMENT TEXT, PRIVATE_COMMENT TEXT, INSERT_DATE TEXT, UPDATE_DATE TEXT, HAS_DEATH_INFO TEXT ); \copy export FROM 'd:/web/oiseau/VisioNature/export_05112013_143212.txt' WITH DELIMITER AS E'\t' ENCODING 'latin1'; ALTER TABLE export ADD ROWNO SERIAL UNIQUE; -- suppression des lignes d'entete DELETE FROM export WHERE ROWNO < 3; -- ajout des geometries SELECT AddGeometryColumn('public', 'export', 'geom2154', 2154, 'GEOMETRY', 2 ); UPDATE export SET geom2154 = ST_Transform(ST_PointFromText('POINT(' || COORD_LON || ' ' || COORD_LAT || ')', 4326), 2154); CREATE INDEX idx_export_geom2154 ON export USING GIST (geom2154); CLUSTER idx_export_geom2154 ON export; VACUUM ANALYZE export; -- quelques valeurs SELECT ID_SIGHTING, ID_SPECIES, NAME_SPECIES, DATE, PLACE, MUNICIPALITY, INSEE, COORD_LAT, COORD_LON, COMMENT, ESTIMATION_CODE, TOTAL_COUNT, ATLAS_CODE , ST_AsText(geom2154) FROM export LIMIT 3;
La requête SQL
Le Grébion spécial VisioNature 2013 n°2
19
R
library(raster)
library(rgdal)
source("geo/scripts/misc.R");
f_export <- "d:/web/oiseau/VisioNature/export_05112013_143212.txt"
f_utf8 <- "d:/web/oiseau/VisioNature/export_utf8.txt"
# conversion en utf-8
# ca ne marche pas !
# writeLines(iconv(readLines(f_export, encoding ="latin1"), "UTF-8", sub='byte'), f_utf8)
df <- read.csv(file = f_utf8, head=TRUE, sep = '\t', quote = '')
# summary(df)
df <- df[, c('ID_SIGHTING', 'ID_SPECIES', 'NAME_SPECIES', 'DATE', 'PLACE', 'MUNICIPALITY', 'INSEE', 'COORD_LAT', 'COORD_LON', 'COMMENT', 'ESTIMATION_CODE', 'TOTAL_COUNT', 'ATLAS_CODE' )]
# la première ligne en moins
df <- df[-1,]
# transformation en spatial
df [,"COORD_LAT"] <- sapply(df[,"COORD_LAT"], as.character)
df [,"COORD_LAT"] <- sapply(df[,"COORD_LAT"], as.numeric)
df [,"COORD_LON"] <- sapply(df[,"COORD_LON"], as.character)
df [,"COORD_LON"] <- sapply(df[,"COORD_LON"], as.numeric)
coordinates(df) = ~ COORD_LON + COORD_LAT
dfSP <- SpatialPointsDataFrame(df,data.frame(df[,]))
proj4string(dfSP) <- CRS("+init=epsg:4326")
dfSP <- spTransform(dfSP, CRS("+init=epsg:2154"))
plot(dfSP)
Le script Attention : les données doivent être converties au préalable en utf8
Le Grébion spécial VisioNature 2013 n°2
20
Et les données s'affichent
Le Grébion spécial VisioNature 2013 n°2
21
Les données
Anglais Français Remarques
ID_SIGHTING Ref
ID_SPECIES ID Espèce Biolovision L'espèce
NAME_SPECIES Nom espèce
LATIN_SPECIES Nom latin
SYS_ORDER Ordre systématique
DATE Date La date décomposée suivant divers critères
DATE_DAY Jour
DATE_MONTH Mois
DATE_YEAR Année
DATE_JDAY Jour de l'année
DATE_PENTADE Pentade
DATE_DECADE Décade
DATE_WEEK numéro de la semaine
TIME_START Heure début
TIME_START_HOUR Heure de début
TIME_START_MIN Minute de début
TIME_STOP Heure fin
TIME_STOP_HOUR Heure de fin
TIME_STOP_MIN Minute de fin
ID_PLACE ID Lieu-dit Les informations sur le lieu-dit de rattachement
PLACE Lieu-dit
MUNICIPALITY Commune
COUNTY Département
COUNTRY Pays
INSEE Code INSEE
COORD_LON_LIIE X Lambert IIe [m] Les coordonnées dans différents formats
COORD_LAT_LIIE Y Lambert IIe [m]
COORD_LON_L93 X Lambert93 [m]
COORD_LAT_L93 Y Lambert93 [m]
COORD_LAT Lat (WGS84)
COORD_LON Lon (WGS84)
COORD_LAT_DMS latitude (DMS)
COORD_LON_DMS longitude (DMS)
COORD_F fuseau UTM Nord
COORD_E UTM X [m]
COORD_N UTM Y [m]
PRECISION Type de localisation
GRID_NAME SEARCH_EXPORT_TEXT_GRID_NAME La maille Atlas
ESTIMATION_CODE Estimation Le nombre
TOTAL_COUNT Nombre
DETAIL Détails
ATLAS_CODE Code atlas
ALTITUDE Altitude
HIDDEN Protégée
ADMIN_HIDDEN Vérification
COMMITTEE_CHN CHN
Le Grébion spécial VisioNature 2013 n°2
22
COMMITTEE_CHR CHR
SURNAME Prénom
NAME Nom
SEARCH_EXPORT_ENTITY_SHORT_NAME Abréviation personne morale
SEARCH_EXPORT_ENTITY_FULL_NAME Personne morale
COMMENT Remarque Les remarques
PRIVATE_COMMENT Remarque privée
INSERT_DATE Date d'insertion
UPDATE_DATE Date de dernière modification
HAS_DEATH_INFO Contient des détails mortalité