View
468
Download
1
Category
Preview:
Citation preview
23 AUGUST 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Reminders about Data QualitySharon Grant & Sophie Pamerlon
23 AOÛT 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Rappels sur la qualité des données Sharon Grant et Sophie Pamerlon
INDEX
BackgroundData WorkflowData Quality and Digitization
MetadataTaxonomic informationSpatial informationCollection informationDescriptive information
Inde
x
INDEX
ContexteFlux des donnéesQualité des données et numérisation
MétadonnéesDonnées taxonomiquesDonnée spatialesDonnées de collecteDonnées descriptives
Inde
x
From data to understanding…
Oceans of data…
Bac
kgro
und
Des données à la compréhension…
Des océans de données…
Con
text
e
…rivers of information…
Bac
kgro
und
…des rivières d’informations…
Con
text
e
… streams of knowledge…
Bac
kgro
und
… des ruisseaux de connaissances …
Con
text
e
…droplets of understanding
Bac
kgro
und
…des gouttes de compréhension
Con
text
e
Data quality is a relative concept that depends on the use of these data.
"The general intent of describing the quality of a particular dataset or record is to describe the fitness of that dataset or record for a particular use that one may have in mind for the data."
Chrisman, 1991
Fitness for use - DefinitionD
efin
ition
La qualité des données est un concept relatif qui dépend de l’usage qui est fait de ces données…
« L’intention générale, lorsqu’on décrit la qualité d’un jeu de données ou d’un enregistrement, est de décrire l’adéquation de ce jeu de données ou enregistrement à l’usage que l’on souhaite que d’autres personnes en fassent.»
Chrisman, 1991
« Fitness-for-use »
Adéquation à l’usage - définitionD
éfin
ition
Each institution should have:
1.A vision targeted on data quality
o Don’t « reinvent the wheel » and use standardso Seek efficiency (in collecting data and quality checks) and avoid
duplicating effortso Promote sharing (data, informations, tools, standards…)o Think at a large scaleo Cater to users and their needso Invest in documentation and metadata
2.A policy implementing this vision
3.An implementation strategy for this policy (precise goals at short, mean and long term)
Data Processing and QualityD
ata
wor
kflo
w
Chaque institution devrait avoir :
1.Une vision ciblant la qualité des données
o Ne pas “réinventer la roue” et utiliser les standardso Chercher l’efficacité (dans la collecte et l’assurance qualité)
and éviter la duplication d’efforto Encourager le partage (données, informations et outils)o Réfléchir à long termeo Prendre soin des utilisateurs et de leurs besoinso Investir dans la documentation et les métadonnées
2.Une politique implémentant cette vision
3.Une stratégie d’implémentation pour cette politique (échéances précises à court, moyen et long terme)
Chaîne des Données et QualitéFl
ux d
e do
nnée
s
Quality loss happens at every step.The responsibility in terms of data quality has to be assigned at the earlier possible step of the process.
Dat
a w
orkf
low
Data Processing and Quality
La perte de qualité survient à chaque étape.La responsabilité en terme de qualité de données doit être assignée le plus tôt possible dans cette chaîne.
Flux
de
donn
ées
Chaîne des Données et Qualité
CuratorRetranscription quality in the database
Regular validation tests.
Data regularly saved and archived
Keep precedent versions
Ensure respect of private life, intellectual rights, local traditions and sensibilities ...
Provide quality documentation (including known issues about the data)
Take feedback into account
Responsibility for maintenance but also moral responsibility to improve data quality (if possible) for future uses and users.
Sharing responsibilitiesUserInform data curators about Mistakes and et omissions in data and documentation.
Provide feedback to define future priorities
When using data, determine whether data are adequate for intended use and not use them if this is not the case.
CollectorLabels and logs are as correct, complete and readable as possible
Collection methods are vastly documented
Remarks are clear and non-ambiguous
Dat
a flo
w
ConservateurQualité des retranscriptions dans la base de données
Tests de validation réguliers et documentés.
Les données sont sauvegardées et archivées
Les versions précédentes sont conservées
Assurer le respect (vie privées, propriété intellectuelle, traditions locales, ...)
Fournir une documentation de qualité (incluant les problèmes connus)
Les retours utilisateurs sont pris en compte
Responsabilité de maintenance et d’améliorer la qualité des données pour de futurs utilisateurs et usages.
Partage des ResponsabilitésUtilisateurInformer les conservateurs des erreurs et omissions dans les données et la documentation
Définir les priorités futures
A l’usage, déterminer si les donnés sont adaptées à l’usage prévu et ne pas les utiliser de façon non-adéquate.
CollecteurL’étiquetage et les journaux sont corrects, aussi complets que possible et lisibles
Les méthodes de collecte sont largement documentées
Les remarques sont claires et non-ambiguës
Flux
de
donn
ées
What can the digitization team do?
1. Help document the data(set) through metadata and record-level annotations2. Ensure the maximum quality possible when digitizing:
1. Taxonomic data2. Geographical data3. Collection and collector data4. Descriptive data
Dat
a w
orkf
low
Que peuvent faire les équipes de numérisation ?
1. Aider à documenter le(s) jeu(x) de données grâce aux métadonnées et annotations sur les occurrences2. S’assurer de la meilleure qualité possible lors de la numérisation :
1. Données taxonomiques2. Données géographiques3. Données sur la collection et le collecteur4. Données descriptives
Flux
de
donn
ées
Metadata = « Data about the data »
• Describe content, accessibility, completeness...• About the dataset• Error documentation• Documentation of validation process, data cleaning
and data correcting
Metadata must be rich enough to allow data (re)use by a third party without them having to refer to the data source.
Met
adat
aDocumenting quality during digitization
Métadonnées = « Données sur les données »
• Décrivent le contenu, l’accessibilité, la complétude, ...• A propos du dataset• Documentation de l’erreur• Documentation des procédures de validation, de
nettoyage et de correction appliquées
Les métadonnées doivent être suffisamment riches pour permettre l’usage des données par des tiers sans devoir se référer à la source de ces données.
Mét
adon
nées Documentation de la qualité pendant la numérisation
• Names (scientific, vernacular, rank, hierarchy, …)
• Statuts (synonyms, valid names, …)
• References (author, date and location)
• Identification (by whom and when?)
• Quality terms (ID certainty, …)
Taxo
nom
ic d
ata
Taxonomic data: definition
• Noms (scientifique, vernaculaire, rang, hiérarchie, …)
• Statuts (synonymes, nom valide, …)
• Références (auteur, date et lieu)
• Détermination (par qui et quand ?)
• Champs relatifs à la qualité (certitude, …)
Don
nées
taxo
nom
ique
sDonnées taxonomiques : définition
Scientific/vernacular name = entry point
Risk of propagating errors during the whole data publishing process
Possible errors and solutions:
• Incorrect identifications (calls for help from a taxonomist)• Typos (data cleaning)• Wrong format (data cleaning)
Errors can affect scientific and vernacular names, from all taxonomic ranks
Taxo
nom
ic d
ata
Taxonomic data
Souvent le nom = point d’entrée
Risque de propagation des erreurs tout au long du processus de publication des données
Erreurs possibles et solutions :
• Identification incorrectes (requiert l’aide d’un taxonomiste)• Erreurs orthographiques (nettoyage des données)• Mauvais format (nettoyage des données)
Les erreurs peuvent concerner noms scientifiques et noms communs, à tous les niveaux de taxonomie
Don
nées
taxo
nom
ique
sDonnées taxonomiques
• Missing data (e.g.: subspecies written but not the species)
• Incorrect values (typos, wrong column, symbols « ?? », …)
• Non-atomic values (e.g.: « subsp. bicostasa » in a single term)
• Uncertainty on at least one name of the binominal nomenclature
• Duplicates (synonyms, several valid names…)
• Inconsistent data after to databases fusion using several checklists
Taxo
nom
ic d
ata
Taxonomic data: common MISTAKES to avoid
• Données manquantes (ex : sous-espèce renseignée mais pas l’espèce)
• Valeurs incorrectes (fautes de frappe, mauvaise colonne, symboles « ?? », …)
• Valeurs non-atomiques (ex : « subsp. bicostasa » dans un seul champ
• Incertitude sur un des noms de la nomenclature binomiale
• Valeurs dupliquées (synonymes, plusieurs noms valides…)
• Données inconsistantes suite à la fusion de deux bases de données utilisant différents référentiels
Don
nées
taxo
nom
ique
sDonnées taxonomiques : ERREURS à éviter
Spatial data (textual or geo-referenced) are one of the key information to determine the fitness-for-use of biodiversity primary data:
• Species distribution modelling• Selection of areas to protect• Resources and environment
management• ...
Spa
tial d
ata
Spatial data: definition
Les données spatiales (textuelles ou géoréférencées) représentent un des aspects cruciaux pour déterminer l’adéquation à l’usage des données primaires de biodiversité:
• Modélisation de la distribution des espèces• Sélections des zones à protéger• Gestion de l’environnement et
des ressources• ...
Don
nées
spa
tiale
sDonnées spatiales : définition
What are we talking about?• Latitude and longitude • Area• Point + radius• Bounding box = rectangle calculated from the coordinates of two points)• Polyline• Grid reference
Spa
tial d
ata
Spatial data: definition (2)
De quoi s’agit-il ?• Latitude et longitude • Aire• Point + rayon• Boîte englobante (bounding box = rectangle calculé à partir des coordonnées de deux points)• Polyline• Référence de grille
Don
nées
spa
tiale
sDonnées spatiales : définition (2)
Spa
tial d
ata
Data based on a grid
Don
nées
spa
tiale
sDonnées basées sur une grille
• Coordinates: a code documenting a position on Earth, expressed with a SRS (spatial reference system). Most of the time: latitude/longitude
• Georeferencing: the process of assigning a geographical reference to a given record.
• Datum: geodetic system
Spa
tial d
ata
Spatial data: a few more definitions
• Coordonnées : un code documentant une position sur la surface de la terre, exprimé suivant un SRS (spatial reference system). En pratique; souvent latitude/longitude
• Géoréférencement : le procédé qui consiste à assigner une référence géographique à un enregistrement donné.
• Datum : système géodésique
Don
nées
spa
tiale
sDonnées spatiales : quelques définitions
• Coordinates inversion
• Null values
• Unknown datum
• Inadapted SRS
• Conversion issues.
Spatial data: common MISTAKES to avoid
Early GBIF map showing USA data, making evident some common mistakes:
● 0,0 coordinates (Greenwich meridian and Equator)● Reverse coordinates (mirror effect on China and slight
mirror effect west of Chile)
Spa
tial d
ata
• Inversion des coordonnées
• Valeur(s) zéro
• Système géodésique oudatum inconnu
• SRS inadapté
• Problèmes de conversion.Don
nées
spa
tiale
sDonnées spatiales : ERREURS à éviter
Ancienne carte GBIF que présentait les données des États Unis, montrant des exemples d’erreurs communes :
● Coordonnées 0, 0 (méridien de Greenwich et Equateur)
● Coordonnées inversées (miroir sur la Chine et léger miroir à l’ouest du Chili)
• Collector name• Collect date• Additional information: habitat, soil, meteorological
conditions…
Relevance depends on dataset type:
• Static collection (museum) : collector name and ID, date, habitat, capture technique...
• Observations: observation length, area, time of day, activity, sex of the observed specimen…
• Sampling-event data: sampling methods, grid size, frequency, collection of reference specimens
Col
lect
ion
data
Collection data: definition
• Nom du collecteur• Date de collecte
• Informations supplémentaires: habitat, sol, conditions météorologiques…
La pertinence dépend du type de jeu de données:
• Collection statique (musée) : nom et ID du collecteur, date, habitat, méthode de capture ...
• Observations: +durée d’observation, zone, période de la journée, activité, sexe du spécimen observé…
• Échantillonnage et inventaires exhaustifs : +méthode, taille de la grille, fréquence, si des spécimens de référence ont été collecté (+références)
Don
nées
de
colle
cte
Données de collecte et de collecteur : définition
• Exactitude: names of the collector(s), date,…
• Consistency: use of a controlled vocabulary for soils, habitats…
• Completeness: some terms are very rarely completed (flowering period, associated species…) which can impede data (re)use
Col
lect
ion
data
Collection data: factors
• Exactitude: nom du ou des collecteurs, date,…
• Cohérence: utilisation d’une terminologie (différente pour les sols, les habitats…)
• Complétude : certains champs sont très rarement renseignés (floraison, espèces associées…) ce qui peut limiter la réutilisation des données
Données de collecte et de collecteur : facteursD
onné
es d
e co
llect
e
• Variable quality: historical data impossible to check, data description too expensive on time/money, subjectivity (colour or abundance estimation…)
• Often data relative to the whole taxonomic rank and not the specimen in particular
• Completeness: generally impossible to achieve on a given specimen
• Consistency: some traits can be non consistento FLOWER_COLOUR = Carmineo FLOWER_COLOUR = Crimson
Des
crip
tive
data
Descriptive data: factors
• Qualité très variable : données historiques impossibles à vérifier, description trop coûteuse en temps/argent, subjectivité (estimation des couleurs, de l’abondance…)
• Souvent des données s’appliquant au niveau taxonomique et pas au niveau du spécimen
• Complétude : généralement impossible à atteindre sur un même spécimen
• Cohérence: attributs non consistantso FLOWER_COLOUR = MAUVEo FLOWER_COLOUR= violet clairD
onné
es d
escr
iptiv
es Données descriptives : facteurs
23 AUGUST 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Reminders about Data QualitySharon Grant & Sophie Pamerlon
23 AOÛT 2016THE BID PROGRAMME IS FUNDED BY THE EUROPEAN UNION
Rappels sur la qualité des données Sharon Grant et Sophie Pamerlon
Recommended