Upload
geological-survey-of-sweden
View
69
Download
0
Embed Size (px)
Citation preview
1 Naturvårdsverket | Swedish Environmental Protection Agency 1
Valideringstjänst för
Miljöövervakningsdata
GeoArena 2014 2014-10-14
Anders Foureaux
Processledare Dataflöden – Datavärdskap
Enheten för integrerad miljödataförsörjning
Naturvårdsverket
2 Naturvårdsverket | Swedish Environmental Protection Agency 2
Den svenska miljöövervakningen bygger i hög
grad på att data samlas in av väldigt många olika
utförare på nationell, regional och lokal nivå.
Varje utförare ska enligt kontrakt leverera data till
en Datavärd som har i uppgift att:
1. Leveranskontrollera data
2. Lagra data
3. Tillgängliggöra data
Det finns mellan 10 och 15 datavärdar
Bakgrund
3 Naturvårdsverket | Swedish Environmental Protection Agency 3
4 Naturvårdsverket | Swedish Environmental Protection Agency 4
Utförare
Konsulter
Beställare
Avtal
Datavärd
Dataleverans
Avtal
5 Naturvårdsverket | Swedish Environmental Protection Agency 5
Utförare
Konsulter Datavärd
Dataleverans
Beställare
Avtal Avtal
6 Naturvårdsverket | Swedish Environmental Protection Agency 6
Fråga: Svar:
När är en dataleverans till
datavärd godkänd?
Vem godkänner leveransen?
Med stöd av vad?
Manual?
Erfarenhet?
Magkänsla?
Vem bestämmer?
7 Naturvårdsverket | Swedish Environmental Protection Agency 7
• Det tar idag för lång tid mellan insamling av data innan en användare kan använda datat
• Kvalitetskontrollen tar för lång tid och är alltför personberoende
• Det är svårt för slutanvändaren att hitta relevant kvalitetsinformation i anslutning till datat.
Problem
8 Naturvårdsverket | Swedish Environmental Protection Agency 8
En valideringstjänst för miljödata
Utvecklad av Metria på uppdrag av
Naturvårdsverket
Arbetet är fortfarande under utveckling
HaV ansluter nu till utvecklingsarbetet
Lösning
9
1. -Korta tiden mellan datafångst och användning eller presentation av data
2. -Kontrollera kvaliten på data mot erkända standarder och kvalitetsmåttt
3. -Skapa metadata för kvalitetsbeskrinving "on-the fly" I samband med kvalitetskontrollen
4. -Samla alla kvalitetskrav i en Data Produkt Specifikation.
5. -Spara tid så att anlitade experter hos datavärden ges möjlighet till mer kvalificerade analyser istället för att rätta felaktiga datafiler
6. -Så långt möjligt, använda samma OGC- och ISO standarder för Miljödata som INSPIRE föreskriver för Geodata.
Mål
10 Naturvårdsverket | Swedish Environmental Protection Agency 10
En av >150 manualer
för insamling av data…
11 Naturvårdsverket | Swedish Environmental Protection Agency 11
?
?
?
?
?
?
Manualerna
behöver bli
mer precisa!
Data Produkt Specifikation
ISO 19 131
Vi har för våra miljödata (tabelldata) testat att använda en
rad ISO standarder för att beskriva de kvalitetskrav vi
sedan länge ställer på de data vi samlar in.
Vi utgår från samma standarder som används inom
INSPIRE, men refererar även till andra
Vi samlar allt i ett och samma dokument för respektive
datatyp/ manual. Metaller och miljögifter i sediment t ex.
Dokumentet heter Dataproduktspecifikation och följer
standarden ISO 19 131
Vi är inte riktigt klara…
13 Naturvårdsverket | Swedish Environmental Protection Agency 13
DPS för Metaller
och miljögifter i
sendiment
14 Naturvårdsverket | Swedish Environmental Protection Agency 14
DPS för Miljögifter
i biota
(fisk t ex)
15 Naturvårdsverket | Swedish Environmental Protection Agency 15
DPS för
Luftkvalitetsmätni
ngar i tätorter
16 Naturvårdsverket | Swedish Environmental Protection Agency 16
Handbok för DPS
finns att ladda ned
hos SIS
kostnadsfritt!
17 Naturvårdsverket | Swedish Environmental Protection Agency 17
Indatamall (xls) Metaller och miljögifter i
sediment
Ex ANALYSINSTRUMENT
Obligatorisk parameter
enligt DPS och kodlista
Ex SEDIMENT FÄRG
Valfri parameter
enligt DPS
Excel är inte slutmålet för inleverans av data…
18 Naturvårdsverket | Swedish Environmental Protection Agency 18
Indatamall (xls) Luftkvalitet
Excel är inte slutmålet för inleverans av data…
19 Naturvårdsverket | Swedish Environmental Protection Agency 19
Data-
specification Data-
model Codelists
Cloudbased
Validation Service
Data
Specificaton
compliance
Metadata
Translation Validation
Data
host
Datafile in xls is
transformed into O&M (xml)
20 Naturvårdsverket | Swedish Environmental Protection Agency 20
Data-
specification Data-
model Codelists
Cloudbased
Validation Service
Data
Specificaton
compliance
Metadata
Translation Validation
Data
host
Datafile in xls is
transformed into O&M (xml)
21 Naturvårdsverket | Swedish Environmental Protection Agency 21
Data-
specification Data-
model Codelists
Cloudbased
Validation Service
Data
Specificaton
compliance
Metadata
Translation Validation
Data
host
?
Datafile in xls is
transformed into O&M (xml)
StnReg WFS-T
22 Naturvårdsverket | Swedish Environmental Protection Agency 22
The validation
service need other
look-up services
for example
At JRC
23 Naturvårdsverket | Swedish Environmental Protection Agency 23
The validation
service need other
look-up services
for example
At JRC
At EEA
24 Naturvårdsverket | Swedish Environmental Protection Agency 24
The validation
service need other
look-up services
for example
At JRC
At EEA
Our
Station registry
WFS-T
25 Naturvårdsverket | Swedish Environmental Protection Agency 25
Validation Service (FME)
Registry of monitoring stations (WFS-T)
Two ongoing pilot project together with Metria and
Sweco (consultants) and the Data hosts and other
experts
Two pilots
26
2012-02-02 27
XLS (t ex)
28
Respons per mail till leverantören om det
gick bra. Datavärden får filen med data +
specifikationsuppfyllelse + kvalitetsrapport
Kvalitetsrapport
Orginalfil (xls)
Leveranskvitto
Omtransformerad
Enligt O&M (xml)
29
Respons per mail till leverantören om det
INTE gick bra. Datavärden får ingen
leverans.
30
Stationen saknas i
Stationsregistret
som just nu är en
pilot, utvecklad av
Sweco i form av en
WFS-tjänst som
svarar på anrop från
valideringstjänsten.
WFS = Web Feature
Service (OGC- och
ISO standard
Fel!
Respons per mail till leverantören i om det
INTE gick bra. Med förklaringar.
31
Kvalitetsrapporten i xml enligt ISO 19139
vilket är samma som ISO 19115, dvs
”Inspire-standard för metadata”
• För att på ett standardiserat och spårbart sätt kunna
beskriva mätdatas kvalitet.
• För att låta en maskin i steg ett automatiskt göra de
kontroller som idag görs av människor
(och som är en av de främsta orsakerna till att data
inte kommer ut på webben i den takt användarna
förväntar sig)
• För att att skapa en starkare koppling mellan
kvalitetskraven i manualerna och valideringen.
Varför en fristående valideringstjänst ?
• Ger Naturvårdsverket (eller annan beställare)
ett verktyg att underlätta och kvalitetssäkra
miljöövervakningens datainsamling.
• Att satsa på en fristående tjänst som kan
nyttjas av många måste rimligen bli billigare
än att varje datavärd bygger sin egen tjänst
• Att satsa på en gemensam tjänst kommer
främja samordningen kring termer, begrepp,
kodlistor
• Kan utökas till alla datatyper, format, för t ex
utsläpp
Fördelar ?
Tillämpade standarder
• Dataspecifikation ISO 19131 struktur enligt
INSPIRE (även kallad produktspecifikation)
• Datamodell baserad på ISO 19156 Observations
and measurements vilket gör datamodellerna
kompatibla med INSPIRE datatema EF,
stationsregistret och analysmetodregister
• Kvalitetskontroll i enlighet med ISO 19157
• Metadata, resultat från QC enligt ISO 19139
(Samma som ISO 19115 fast uttryckt i XML)
35 Naturvårdsverket | Swedish Environmental Protection Agency 35
36 Naturvårdsverket | Swedish Environmental Protection Agency 36
Fråga: Svar:
När är en dataleverans till
datavärd godkänd?
När den uppfyller kraven i
dataproduktspecifikationen
Vem godkänner leveransen? En maskin i steg ett
En människa i steg två
Med stöd av vad?
Dataproduktspecifikationen
+ Expertbedömning
(människan behövs )
Manual? Behöver kopplas till DPS!
Erfarenhet? Bra om det finns
Magkänsla? Bra om den finns
Vem bestämmer? Beställaren
37 Naturvårdsverket | Swedish Environmental Protection Agency 37
Frågor?