Upload
warren
View
22
Download
0
Embed Size (px)
DESCRIPTION
Hvordan bliver vi bedre til at måle statistikkens kvalitet?. 29. september 2008. Tre udsagn. Tal er tyranni Man kan kun have tillid til statistik man selv har manipuleret (Churchill) Ikke alt der tæller kan tælles – og ikke at der kan tælles tæller (Einstein). Varedeklarationer i pressen. - PowerPoint PPT Presentation
Citation preview
Hvordan bliver vi bedretil at måle
statistikkens kvalitet?
29. september 2008
2
Tre udsagn
• Tal er tyranni
• Man kan kun have tillid til statistik man selv har manipuleret (Churchill)
• Ikke alt der tæller kan tælles – og ikke at der kan tælles tæller (Einstein)
3
Varedeklarationer i pressen
4
Tal er tyranni
• Hvad er forskellen på:- ”Varedeklarationerne kan gøres bedre”
og kun hver femte dansker kan tyde dem- ”Nogle få genstande for meget” og en promille på 1,37- ”Kødpriserne stiger” og de er steget 3,78% siden nytår
Eksakte tal har en selvbekræftende rigtighed og autoritet,der ikke stilles spørgsmålstegn ved.
Danmarks Statistik har en stærk troværdighed, og mange menerat statistik enten er helt rigtig eller forkert.Virkeligheden mere nuanceret.
Ethvert (demokratisk) samfund har brug for statistik
5
Kun tillid til statistik man selv har manipuleret
• Statistik er bearbejdning af informationer baseret på på metoder og valg- informationerne kan have forskellig kvalitet- metoderne kan være fagligt forankret eller subjektive- valgene kan forbedre eller forværre
• Hvis man kender dem kan man bruge statistikken
• Producentens ansvar
6
Ikke alt der tæller kan tælles
• Det gælder også mål for kvaliteten af statistik
• Tre ting kan gå helt galt:- hvordan man måler (spørgeskemaet)- mangelfuld udvalgsramme (population) og udvælgelse- bortfald og dataindsamlingenog selvfølgelig forkerte metoder/principper
• Noget er svært at måle med tal, fx kvaliteten og betydningen af spørgeskemaet, udvalgsrammen og bortfaldet – og selvfølgelig forkerte metoder/principper
• Ingen statistik er stærkere end sit svageste led
7
Disposition
• Hvorfor skal kvalitet måles?
• Hvilke redskaber findes der?
• Hvordan kan de bruges?
8
Hvordan bliver kvalitetsmål anvendelige?
• Flere andre lande har store manualer for kvalitet, fx ONS, Finland og Canada
• EUROSTAT og internationale organisationer arbejder med fælles kvalitetsmål – OG kontrol
• Arbejdsgrupper i DST om delemner: Stikprøver, registre, indeks eller sæsonkorrektion
• Overordnet mål:• Kan vi finde en vinkel der giver os et anvendeligt mål
der reelt beskriver statistikkens og sikkerhed uden det ”drukner i store rapporter og kontrol” - og sætter fokus på brugerne, ressourcer og forbedringer?
9
Hvorfor skal kvalitet måles?
• Brugernes nytteværdi af statistikken
• Vores interesse i korrekt anvendelse
• Mere målrettet fokus på kvalitet- og derved bedre kvalitet
• Optimal anvendelse egne ressourcer
• Omverden ved hvad de får for pengene
10
Hvilke redskaber findes der?
• Indikatorer for kvaliteten af outputtet
• Standarder for produktionen
• Kvalitative analyser, test eller beskrivelser
11
2 - Hvilke redskaber findes der?
• Svage indikatorer (I1), fx andel af fejl i en fejlsøgning- kan kun sammenlignes inden for tællingen
• Stærke indikatorer (I2), fx bortfaldet eller uoplyste- kan sammenlignes over tid for en konkret tælling og mellem tællinger af samme type
• Universelle indikatorer (I3), fx varianskoefficienten i en stikprøve- kan sammenlignes over tid, mellem tællinger og lande.
12
Input og output
• Grundlæggende kvalitet i inputtetEksterne forhold, fx forskerbeskyttelse i CPR eller selvrapportering i CVRRessourcer, fx stikprøvestørrelsenMålingen, fx indholdet i registeret eller kvaliteten spørgsmålene i spørgeskemaetDataindsamlingen, fx bortfald
• Endelige kvalitet i outputtet – det relevante målEfter bearbejdning, fx fejlsøgning, sæsonkorrektion eller opregningAnalyser, der dokumenterer problemer, metoder og effekt
• Kompetencer påvirker begge dele
13
Fire kvalitetsniveauer
Fire kvalitetsniveauer
• A - Meget høj kvalitet
• B - Høj kvalitet
• C - Rimelig kvalitet
• D - Usikker kvalitet
De to højeste niveauer kræver tilgængelig dokumentation
14
2- Hvordan kan fire mål bruges?
• Den basale kvalitet af en indikatorer kan hæves:- analyser der kvalitativt og kvantitativt beskriver
og håndtere et problem- analyser der dokumenterer en effekt
Fx kan bortfaldet i en stikprøveundersøgelse være så stort, at den basale kvalitet er Usikker eller Rimelig, men bortfaldsanalyser og opregningen kan hæve kvaliteten– hvis de er dokumenteret og tilgængelige
15
3 - Hvordan kan de fire mål bruges?
• Generelle fælles mål for- fx stikprøveusikkerhed- opfyldelsen af forudsætninger for sæsonkorrektion- andelen af uoplyste- graden af entydig flet af registre
• Konkrete defineret for den konkrete statistik, fx- Prisindeks- Fejlsøgning- Specifikationsgrad af kommunale budgetposter
16
Hvordan kommer vi i gang?
• Første trin en afprøvning på udvalgte statistiker• Først bruges de generelle, der relevante• Derefter suppleres evt. med konkrete, der er
relevante• Man står selv inden for tilgængelig
dokumentation overfor eksterne brugere eller interne brugere, hvis man vurdere høj eller meget høj kvalitet
• Kontorchefen godkender den endelige vurdering
17
Eksempel 1
Uoplyste værdier for hovedvariabler (I2)+ Korrektion (imputering, vægtning) for uoplyst, der inddrager
korreleret registerinformation kan flytte en grad.
+ Dokumenteret reduktion af uoplyst bias endnu en grad
Usikker kvalitet: Over 5 % af enhederne
Rimelig kvalitet: Under 5 % af enhederne
Høj kvalitet: Under 3 % af enhederne
Meget høj kvalitet: Under 1 % af enhederne
18
Eksempel 2
Populationsudvikling over tid (K)
Usikker kvalitet: Ingen analyser over tidRimelig kvalitet: Beskrivende macroanalyser af
variabler over tidHøj kvalitet: Beskrivende microanalyser af
enheder over tidMeget høj kvalitet: Microanalyser af enheder over
tid dokumenteret i en kvalitetsrapport med vurdering af betydningen for ændringer over tid
19
Eksempel 3
Revisioner samt foreløbige og endelige tal (I2)+ Analyse, der beskriver størrelsen og retningen af forskellen mellem
første og endelig publicering
Usikker kvalitet: Over 2 % forskel
Rimelig kvalitet: Under 2 % forskel
Høj kvalitet: Under 1 % forskel
Meget høj kvalitet: Under ½ % forskel
20
Eksempel 4
Kontrol/fejlsøgning af registeret inden det overdrages til DST (S)
+ Analyse, der beskriver kvaliteten
Usikker kvalitet: Ikke systematisk fejlsøgning
Rimelig kvalitet: Stikprøvebaseret fejlsøgning
Høj kvalitet: Fejlsøgning af mindst halvdelen af alle enheder i praksis
Meget høj kvalitet: Fejlsøgning af ”alle” enheder i praksis
21
Eksempel 5
Sammenlignelighed over tid uden databrud (I2)+ Korrektion for eller analyser af betydningen af databruddet+ Dokumenteret stor reduktion af bias ved databruddet endnu en grad
Usikker kvalitet: Kan ikke sammenlignes en periode tilbageRimelig kvalitet: Mindst en periodeHøj kvalitet: Over 5 årMeget høj kvalitet: Over 10 år
22
Eksempel 6
Alder på stikprøve (I2)
Usikker kvalitet: Opdateret mere end to år siden
Rimelig kvalitet: Der trækkes en ny stikprøve hvert andet år
Høj kvalitet: Der trækkes en ny stikprøve hvert år
Meget høj kvalitet: Der trækkes en ny stikprøve ved hver tælling
23
Eksempel 7
Cut-off (I2) (i erhvervsundersøgelser)+ Korrektion (vægtning, imputering) for cut-off, der
inddrager korreleret registerinformation + Dokumenteret stor reduktion af cut-off bias endnu en
grad
Usikker kvalitet: Over 20 %Rimelig kvalitet: Under 20 %Høj kvalitet: Under 10 %Meget høj kvalitet: Under 5 %
24
Eksempel 8
Stikprøveusikkerhed for hovedvariabler (I3)Hvis fokus er på ændringer også usikkerheden af
ændringen
Usikker kvalitet: Stikprøvefejl på over 3 % på totaler hhv. 15 % for undergrupper
Rimelig kvalitet: Under 3%/15%Høj kvalitet: Under 2/10%Meget høj kvalitet: Under 1%/5%
25
Eksempel 9
Bortfald (I2)+ Korrektion for bortfald, der inddrager korreleret registerinformation
+ Dokumenteret stor reduktion af bortfaldsbias endnu en grad
Usikker kvalitet: Over 40% af de udvalgte enhederRimelig kvalitet: Under 40% af de udvalgte enhederHøj kvalitet: Under 20% af de udvalgte enhederMeget høj kvalitet: Under 5% af de udvalgte enheder
26
Eksempel 10
Kvaliteten af opregning (K)
Usikker kvalitet: Ikke baseret på udvalgssandsynlighederne på udtrækstidspunktet (ikke repræsentativ)
Rimelig kvalitet: Simpel opregning for udvalgssandsynligheder ved udtrækstidspunktet
Høj kvalitet: Registerinformation inddrages som hjælpeinformation, men effekten er ikke dokumenteret
Meget høj kvalitet: Registerinformation inddrages som hjælpeinformation og effekten er dokumenteret
27
Eksempel 11 – et eksakt fra statistikkontoret
Indeks (I2)Statistikkontoret fastlægger niveauer for dækning (xx) og antal
indberetninger (yy), der er relevant for at belyse sikkerheden af både aggregerede indeks og delindeks. Fx på baggrund af EU krav eller målsætningen for suppleringen med nye indberetninger.
Usikker kvalitet: Under 80 % af alle offentliggjorte indeks opfylder kravet
Rimelig kvalitet: Over 80% opfylder kravetHøj kvalitet: Over 90% opfylder kravetMeget høj kvalitet: Over 95% opfylder kravet
28
Eksempel 12 – et eksakt fra statistikkontoret
Specifikationsgrad i offentlige budgetter
Steget eller faldet, måske opdelt i intervaller
29
Samlet vurdering
• Sjældent højere end det svageste led
- og aldrig højere end det/de vigtigste led
- fx hæves kvaliteten ikke ved at øge stikprøvestørrelsen, hvis det største problem er bortfaldet eller underrapportering
30
Samlet vurdering 2
• Samlet vurdering af kvaliteten- statistikkens smertegrænse
Fx at ændringer på op til 1 % kan skyldes statistikkens usikkerhed. Samt om man generelt undervurderer eller overvurderer udviklingen.
• Samlet vurdering op forrest i varedeklarationen
31
Samlet vurdering 3
• Når brugerne ved hvordan statistikken er blevet ”manipuleret” har de mulighed for at vurdere dens anvendelighed
• Statistikproducenten har ansvaret for at fortælle hvor langt den kan fortolkes og ikke dække sig bag tallenes ”tyranni”
• Hvis man ikke er åben om sin kvalitet og/eller ikke kan måle og beskrive den - er alt lige godt/dårligt og man kan jo så lige så godt vælge den billigste datafangst- og kan ikke begrunde ønsket om flere ressourcer
• Når producenten bliver mere bevist om sit svageste punkt har man mulighed for at sætte ind hvor problemet er størst
32
En stadig proces
• Kvalitet er svært at måle- og det er umuligt hvis man ikke prøver
• Måleredskabet skal løbende forbedres- første versionen bliver aldrig perfekt- første fase i 2008- de vigtigste derudover i 2009
Tak for ordet