Upload
nordisk-statistikermote-2013
View
94
Download
0
Embed Size (px)
DESCRIPTION
Kvalitetsredovisning i webpanelundersökningar
Citation preview
Kvalitetsredovisning i
webpanelundersökningar
Nordiskt statistikermöte i Bergen
2013-08-15
Gösta Forsman
Svenska Surveyföreningen och Statisticon AB
Vad är en webbpanel?
• Ett register över personer som förklarat sig
villiga att delta i webbundersökningar
• E-postadressen är känd samt ett antal
andra bakgrundsvariabler
• Ofta representerar panelen allmänheten i
någon mening
• Undersökningar görs på urval ur panelen
Varför panel?
• För webbundersökningar behövs ett
register som kan fungera som ”urvalsram”
• E-postadresser till allmänheten finns inte i
befintliga register
• (Notera: longitudinella undersökningar
eller förändringsskattningar är ej primära
syften)
Hur rekryteras webbpaneler?
• Baserat på sannolikhetsurval
– Urval med enda syfte att rekrytera till panelen
– Urval med andra syften där fråga om
deltagande i panelen finns med
• Olika former av självrekryterade paneler
– Rekrytering via annons, hemsida eller ”pop-
up”
Profilundersökning
• Rekryterade personer genomgår en
profilundersökning där bakgrundsvariabler
registreras
• Urval dras ur panelen för specifika
undersökningar. Respondenten kontaktas med
epost och får en länk till en webbenkät
Bakgrund till den svenska
Surveyföreningens engagemang
• Allt vanligare med undersökningar utförda
på webbpaneler
• Stickprovsteorin oftast inte tillämplig
• Svårt att utvärdera kvaliteten (represen-
tativitet, generaliserbarhet) i resultat
• En webbpanelkommitté tillsattes
Webbpanelkommittén - Roll att fylla
• Föreslå beskrivningsmått för bedömning av
kvaliteten i resultat från webbpanelundersökningar
• Komplement till ISOs, AAPORs och ESOMARs
riktlinjer
• Målgrupp
– Panelleverantörer, undersökningsköpare, andra
användare av undersökningsresultat
• Öka transparensen i tillvägagångssätt och
metoder
– Viktigt för branschens förtroende och för kundernas förståelse
Länk till kommitténs rapportutkast
• http://statistikframjandet.se/?page_id=135
• Eller kontakta:
Beskrivningsmått för bedömning av kvalitet
Mått relaterade till bortfall
• Mått med kopplingar till traditionella undersökningar
• Rekrytering – Rekryteringsandel RA
– Sannolikhetsbaserade urvalsmetoder för rekrytering
• Profilundersökning – Profilandel PA
• Specifik undersökning – Deltagarandel DA
• Kumulativ deltagarandel KA = RA × PA × DA
• Exempel:
– Antag RA=0,3, PA=0,8, DA=0,5
– Kumulativ deltagarandel KA=0,3×0,8 ×0,5=0,12
Övriga mått: Två typer
• Mått relaterade till panelen
• Mått relaterade till en specifik undersökning
• Samband mellan mått och kvalitet ofta
komplicerat
Mått relaterade till panelen Uppgiftslämnarbörda
• Belysa hur många undersökningar
panelmedlemmarna konfronteras med (per år)
• Två mått:
– UB1: antal utsända inbjudningar totalt i förhållande till
panelstorlek
– UB2: antal komplett besvarade enkäter i förhållande
till panelstorlek
Mått relaterade till panelen Dominans från vissa
panelmedlemmar
𝐷20 = Andel ifyllda enkäter som de 20
procent mest aktiva medlemmarna står för
Mått relaterade till en specifik undersökning
Anpassat svarsbeteende (Conditioning)
Anpassat svarsbeteende innebär att
panelmedlemmen förändrar sitt svarsbeteende
med tiden. Det kan ske på olika sätt:
1. Medlemmen besvarar enkäterna slarvigt
2. Medlemmen ”professionaliseras”
Conditioning (forts)
Mått:
• Dela in de svarande i grupper efter hur många
undersökningar de tidigare svarat på och jämför
gruppernas svarsmönster
• Beräkna
– AS1 = andel obesvarade frågor (slarv)
– AS2 = mediantiden att besvara enkäten (slarv)
– AS3 = andel med t ex extrempunktsvärde på vald
fråga (professionalisering)
Nåbarhetsandel (Absorbtion rate)
• Nåbarhetsandel NA – andelen av alla
inbjudningar som kommer fram (ej returneras)
• Måttet NA mäter den grundläggande kvaliteten
på e-postadresserna
Avbrottsandel (Break-off rate)
• Avbrottsandel AA - Andelen enkäter som öppnats
men klassats som ej svar i förhållande till samtliga
öppnade enkäter (besvarade och ej besvarade)
• Är en möjlig indikator på problem med designen av
ett frågeformulär (för långt, för tråkigt)
• Kan säga något om förekomsten av tekniska
problem
• Hög avbrottsandel tyder på att man bör kontrollera
undersökningen
Komplement: Verbala beskrivningar
• T ex
– Urval – hur gick urvalet till?
– Viktning – redovisa på ett transparant sätt hur
eventuella vägningar har genomförts
Planerad fortsättning
• Publicering av rapporten under hösten 2013
• Inbjudan till undersökningsföretag att presentera
värden på olika mått på Surveyföreningens
hemsida (flera företag är intresserade)
• Uppbyggnad av erfarenheter när det gäller
relationen mellan måttens värden och
resultatens kvalitet
Tack!