2016-09-13 1

Konsten att ställa frågor Fråge- och enkätkonstruktion

Fredrik Scheffer (fredrik.scheffer@scb.se)

Enheten för Mätteknik (PCA) SCB

• Frågekonstruktion – psykologi &språk

• Att designa frågor och svarsalternativ

• Insamlingsmetoder - olika insamlingsmetoders för- och nackdelar

• Struktur & Layout

• Test - Vikten av att testa en blankett, vad vi gör, vad ni kan göra

Mätteknik?

Mätfel… Mätfel… Mätfel…

Totalt fel… Totalt fel… Totalt fel…

…finns inte! Varierande egenskaper… …språkförståelse …kognitiva förutsättningar (förmåga) …ålder, ursprung, kultur, utbildning etc.

Den standardiserade

respondenten…

Mätinstrumentet

?

Frågekonstruktör Uppgiftslämnare

=

Frågeblanketten - kommunikation

Kommunikation via språket (tal/skrift)

Kommunikation via språket (tal/skrift)

Frågekonstruktör Uppgiftslämnare

=

Frågeblanketten - kommunikation

8

Ska det vara så svårt att kommunicera med uppgiftslämnarna?

Språket är inte ett perfekt verktyg för kommunikation!

Språket

”Två, tack!”

KONTEXT…

Svarsprocess

CASM-modellen/4-stegs modellen

Bedöma svaret

Finna svar

Förstå fråga

Avge svaret (Tourangeau et al. 2000 m.fl.)

Frågekonstruktion

• Frågan ska vara: enkel, kort, rak, neutral och begripligt formulerad.

• Frågan ska förstås av ALLA!... • …och på samma sätt.

• Betrakta blanketten som ett samtal (som

genomförs standardiserat)

Som man frågar får man svar

Exempel på frågor som kan ge problem vid

tolkningen av resultaten

1

Att vara specifik

1

Tror du att barn far illa av att titta på program med våld i?

Utvärderingar visade att testpersonerna uppfattade begreppen ”barn”, ”far illa” och ”våld” väldigt olika. (Belson, 1981)

Att vara specifik

Att vara specifik

Tycker du om fotboll?

Att vara specifik

Tycker du om fotboll?

Ledande fråga

Den nya James Bond filmen har redan setts av 80 miljoner människor. Har du sett den? Ja Nej

Ledande fråga

Har du sett den nya James Bondfilmen? Ja Nej

Ledande fråga

Hur bra trivs du på ditt arbete? Hur dåligt trivs du på ditt arbete? Hur trivs du på ditt arbete?

Mer än en fråga

Har du bytt arbetsgivare och arbetsplats under det senaste året? 1. Ja 2. Nej

Frågor om det förflutna

Frågor om det förflutna

Det första man bör fråga sig är om respondenterna kan förväntas ha uppmärksammat och ”lagt på minnet” det man frågar efter överhuvudtaget. Hur många bilar passerade dig på vägen till jobbet imorse?

Hur långt tillbaka kan man fråga om då?

Det beror på vad man frågar efter. Riktlinjer:

Framträdande händelser (större inköp, sjukhusvistelser, viktiga livshändelser etc) = kan minnas många år senare

Vardagliga händelser (matinköp, motionerande etc) = Få veckor

Minnet är inte ett fotoalbum med objektiva bilder som förblir oförändrade över tid!

Referensperioder

Senaste veckan…/ 3 mån…/12 mån

Minne - Logiskt

Frågor om framtiden

Skulle du kunna tänka dig att ta ett arbete som innebär att resan från hemmet till arbetet tar mer än 1 timme?

Attitydfrågor

Att fråga efter någons attityd – åsikt – inställning… …till någonting

Attitydfrågor

Attityd / åsiktsfrågor Attityd/åsiktsfrågor kan vara en utmaning att utforma…

Respondenten kanske inte har någon åsikt/kunskap om ämnet (attitydobjektet)…

… 30% anger en åsikt om påhittade ämnen (Schuman & Presser, 1981)

Attitydfrågor

Två typer av attityder • ”Stabila” • ”Temporära”

Attitydfrågor ”Stabila”

The filedrawer model (Wilson & Hodges 1992)

• Förstå fråga • Finna svar • Bedöma svar • Avge svar

Attitydfrågor ”Stabila”

The filedrawer model (Wilson & Hodges 1992)

Antaganden: • Attityder finns redan • Attityder är stabila

Attitydfrågor ”Temporära”

Skapa en åsikt ”här och nu” • Förstå fråga • Skapa svar • Bedöma svar • Avge svar

Attitydfrågor ”Temporära”

Skapa en åsikt ”här och nu” Perifer info blir viktigt: • Frågekontext • Frågeordning • Andra omständigheter = osäkra mätningar(?)

Attityder…

Att tänka på: (Wärneryd m.fl.)

• Var försiktig med att fråga om ämnen som folk inte intresserat sig för

• Var försiktig med att dra slutsatser från svaren på enstaka frågor

Attitydfrågor

Frågor i påståendeform

Frågor i påståendeform ÄR problematiskt

Frågor i påståendeform ÄR problematiskt • Ursprung • Varför fungerar det dåligt? • När fungerar det?

Frågor i påståendeform

• Mer komplicerad kognitiv process • Mindre förpliktigande • Hypotetiska situationer • Uppmuntrar till ”acquiescence” (benägenhet

att hålla med) • Osäkrare på sina svar • Svårt att utforma neutrala påståenden

Frågor i påståendeform Varför fungerar det dåligt?

Frågor i påståendeform När fungerar det?

• ”Aktuella” påståenden, som alla kan förväntas ha en uppfattning om

• När ämnet är känsligt – mindre konfrontativt • Bättre för attityder/värderingar än för rena

faktafrågor

Problematiskt…

• …avancerad kognitiv uppgift • …bedömning var för sig/i relation +

ordna

• Tar tid – resp. gör egna lösningar

Rangordning

”Villkor” Deltog du, på din fritid, i någon kurs eller annan aktivitet som leddes av lärare eller instruktör under vecka 32, till exempel gympapass, studiecirkel, föreläsning eller trafikskola?

”Villkor” Om du tänker på din fritid under v. 32: Deltog du i någon kurs eller annan aktivitet som leddes av lärare eller instruktör? (Exempel???? ……förlorar vi något?)

Exemplifiering Använde du på något sätt arbetsförmedlingens tjänster när du fick ditt nuvarande arbete, t.ex. deras tjänster på internet? Risk att exemplifieringen styr…

Undvik… • …Långa meningar, långa ord, svåra

begrepp, facktermer • …bindeord (och, samt, eller) • …negationer • …ledande frågor (pos/neg laddade)

Tips vid frågekonstruktion

1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt

Svarsalternativ

Grundregler • Ömsesidigt uteslutande • Uttömmande • Överblickbara • Jämna skalsteg • Ett svar på frågan

Svarsalternativ

1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt

Svarsalternativ

• Konsekvens i blanketten om möjligt • Verbaliserade svarsalternativ • Jämna skalsteg

Svarsskalor

1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt

Svarsalternativ

Antal skalsteg • 2-7... (11?)... 4-5 • Dock två aspekter

1. Reliabilitet – validitet 2. Användarvänligt

Hur ska analysen göras/se ut?

Svarsskalor

1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt

Svarsalternativ

Mittenalternativ

Hur trivs du på ditt arbete?

• Mycket bra • Ganska bra • Varken bra eller dåligt • Ganska dåligt • Mycket dåligt

• Varken bra eller dåligt ??? • Både bra och dåligt… (lika mycket bra som dåligt)

Mittenalternativ

Mittenalternativ

Mittenalternativ kan ge bias: Uppgiftslämnare med olika förutsättningar använder samma svar: Vill inte ta ställning Har ingen åsikt Vill ligga i mitten av skalan (“lika bra som dåligt”)

Mittenalternativ

15 möjliga mittpunkter (tolkningar): • Varken P eller N • Proportionellt lika mycket P och N • Oproportionellt P och N • Samtidigt helt P och helt N • Dynamisk blandning av lika mycket P och N • Till hälften helt P och till hälften helt N • Halva tiden P och halva tiden N • Ibland P, ibland N, ibland varken eller • Ibland P, ibland N, ibland båda • Ibland P, ibland N, ibland varken eller, ibland båda • Osäker proportion • Okänd proportion • Irrelevant proportion • Ovilja att svara • Ingen åsikt om proportion

Yorke 2001

Mittenalternativ bipolär skala

• Mycket bra • Ganska bra • Varken bra eller dåligt • Ganska dåligt • Mycket dåligt

• Mycket bra • Ganska bra • Ganska dåligt • Mycket dåligt

Mittenalternativ bipolär skala

Inget mittenalternativ kan ge bias: Ej jämna skalsteg: Större avstånd mellan mittenalternativen jämfört med övriga

Mittenalternativ bipolär/unipolär skala

• Mycket bra • Ganska bra • Varken bra eller dåligt • Ganska dåligt • Mycket dåligt

• Mycket bra • Ganska bra • Ganska dåligt • Mycket dåligt

• Mycket bra • Ganska bra • Inte så bra • Inte alls bra

Mittenalternativ bipolär/unipolär skala

Unipolär skala kan ge bias: Positivt skev skala?: Alla skalsteg nämner ordet ”bra” Kan det dock underlätta att ange negativa svar?

1 Grundregler 2 Svarsskalor 3 Antal skalsteg? 4 Mittenalternativ? 5 Vet inte/ingen åsikt/ej aktuellt

Svarsalternativ

• En väg ut…

• Det ska finnas ett svarsalternativ

för alla upptänkliga svar

Svarsalternativ

Svarsskalor

”Alla respondenter måste vara överrens om tolkningen av varje skalstegs mening, och frågeställarna måste veta vad denna tolkning är…” ”…Dvs. för att få reliabilitet måste respondenten ha klart för sig vad varje skalsteg står för. Ju mer respondenten måste tolka, ju större risk för inkonsistens i svar över tid och mellan respondenter” (Krosnick et.al. 2005)

• Det är inte alltid våra ”teoretiska”

regler stämmer överens med verkligheten

Frågans koncept

Frågans koncept

• Trivs mycket bra • Trivs ganska bra --------------------------- • Trivs ganska dåligt • Trivs mycket dåligt

• Mycket trygg • Ganska trygg ------------------------ • Ganska otrygg • Mycket otrygg

Frågans koncept

• Trivs mycket bra • Trivs ganska bra --------------------------- • Trivs ganska dåligt • Trivs mycket dåligt

• Mycket trygg • Ganska trygg ------------------------ • Ganska otrygg • Mycket otrygg

• Mycket trygg ---------------------- • Ganska trygg • Ganska otrygg • Mycket otrygg

Barn-ULF

Stämmer precis

Stämmer ungefär

Stämmer dåligt

Stämmer inte alls

Positvt (%) 98 2

Positvt (%) 97 2

Positvt (%) 98 2

Positvt (%) 98 2

Negativt (%) 42 57

Negativt (%) 26 72

Negativt (%) 10 90

Negativt (%) 26 73

(10-11 åringar), svarsfördelning positivt och negativt riktade påståenden

Tolkning…

“Jag känner mig trygg I skolan” (5:e klassare)

Stämmer helt Stämmer ganska bra

Stämmer ganska dåligt

Stämmer inte alls

Vägt genomsnitt %

65,3 28,2 x x

Nyhet 17:e april 2012 (SVT Aktuellt):

“9 av 10 barn i Sverige känner sig trygga i skolan”

“Mer än 3 av 10 barn i Sverige känner sig inte trygga i skolan”… ?

Insamlingsmetoder

• Besöksintervju

• Telefonintervju

• Postenkät

• Webbenkät

Via örat… ljud Via ögat… visuellt

Insamlingsmetoder

Insamlingsmetoder

Primacyeffekt: Respondenten väljer ett av de första svarsalternativen (typiskt web/papper) Recencyeffekt: Respondenten väljer ett av de sista svarsalternativen (typiskt telefon)

Blandad insamling “Mixed mode”

Anledningar till att blanda insamlingsmetoder:

1) Öka svarsfrekvensen (olika personer föredrar olika datainsamlingsmetoder)

2) Att utnyttja olika metoders styrkor (intervju för komplexa frågor och själv-administrerade för känsliga)

3) Att spara pengar – starta med ett billigt alternativ och spara de dyrare till uppföljningar.

Blandad insamling Mixed mode

Varför kan vi förvänta oss skillnader mellan olika datainsamlingsmetoder?

1) Intervjuarpåverkan (både pos och neg)

2) Människors vana av och beteenden kan variera mellan olika datainsamlingsmetoder (t.ex. Internetvana)

3) Presentation av informationen (visuellt eller ljudmässigt, öga eller öra)

Webb → Smartphone

Två insamlingsmetoder? • Skärmstorlek • Frånvaro av fysiskt tangentbord och mus • Var man befinner sig när man svarar

Smartphone

Webblankett via mobil • Högre andel avhopp

• Längre svarstid

• Färre/kortare öppna svar

• Risk för skevhet i svar

Smartphone

Insamlingsverktyget bör kunna optimera för vilken enhet uppgiftslämnaren använder!

Smartphone

• Allt som rör den enskilda frågan ska synas på skärmbilden…

• …uppgiftslämnaren ska inte behöva scrolla, zooma, svepa.

• Undvik onödiga element

• Tablåfrågor → separata frågor

Smartphone

Webblankett via mobil • Ny värld av paradata (”data om data”)…

• …gör applikationen redo att samla in detta, t.ex. svarstid, enhet (device) m.m.

• Kommer troligen öka men sannolikt aldrig bra för längre undersökningar…

Strukturen i en blankett • Vad är viktigt? Börja med det (efter vissa

bakgrundsfrågor…)

• Så få hoppanvisningar som möjligt

• Använd filterfrågor ”Om du har bil…?” Fråga: Ej svar eller partiellt bortfall? • Logisk ordning • Samma ämne – samma avsnitt • Rubriker…

Blankett - layout

• Intresseväckande • Lätt att läsa • Lätt att förstå • Lätt att fylla i • Rationell att hantera

6

Instruktioner

(Thanks: Jussi Rouhunkoski stat. Finland)

Instruktioner

(Thanks: Jussi Rouhunkoski stat. Finland)

Blankett - layout

Visuell design • Bryt ner komplexa frågor till flera, enklare frågor

• Ha en konsekvent layout på sidan/skärmen

• Använd visuell design för att tydliggöra vad som hör ihop och inte

• Frågor och svarsalternativ ska vara nära varandra

• Ha instruktioner vid frågan där de behövs – undvik separata instruktioner

…handlar mycket om att dra nytta av perceptionslagar, respondenternas allmänna erfarenheter och att vara konsekvent

• Gör viktiga områden visuellt distinkta, mindre viktiga områden visuellt perifera

• Gör navigering enkel – (upp->ned, vänsterjusterat)

• Ha frågan i fet stil och svarsalternativen i normal stil

• Ha svarsalternativen vertikalt!

Visuell design

2016-09-13 85

Hur ofta äter du på restaurang?

Forskning (av t.ex. Mick Couper) har visat att bilder och till och med perifera visuella signaler kan påverka svaren.

Bilders påverkan

Visuell information - bilder

Visuell design - bilder

Att tänka på

• Allt man gör ska hjälpa respondenten att läsa, förstå och svara på frågan!

• Plats får inte vara en faktor. I webb kostar det inte mer att använda mer plats!

Mycket att tänka på… …men:

Genom att följa grundreglerna kommer man långt! • Frågan: enkel, kort, rak, neutral och begripligt formulerad. • Svaren:

• Ömsesidigt uteslutande • Uttömmande • Överblickbara • Jämna skalsteg (så gott det går) • Ett svar på frågan

• Dom ska förstå frågorna… • …Vi ska förstå svaren • …SUNT FÖRNUFT!

Att testa en blankett

SCB - Enheten för mätteknik

Varför testa en blankett

Varför se till att fallskärmen fungerar innan man hoppar?

Varför testa en blankett?

• I det stora hela: Minska det totala felet Strategier: • Låtsas som det regnar • Skatta alla felkomponenter • Preventiva åtgärder

- Varför testa överhuvudtaget? Extremt svårt att formulera frågor ”vid skrivbordet”. Minska mätfel, öka svarsfrekvens, minska kostnader för granskning etc.

Att testa en blankett

SCB enheten för mätteknik

• Debriefing • Fokusgrupper • Expertgranskning • Kognitiva intervjuer

Test – villkor

• Om mätinstrumentet är helt nytt.

• Om mätinstrumentet ändras, t.ex. frågor eller insamlingsmetod.

• Om mätsituationen förändras.

• Om det finns indikationer på problem.

• Om mätinstrumentet inte har testats tidigare.

• Om kunden önskar test, eller av policyskäl.

Att testa en blankett

Testa blanketten!

Ny bok i tryck…

Att testa en blankett

Testa blanketten!

Tidningsrubrik Cyklister är för hjälmlag 73 procent är för lag om obligatorisk cykelhjälm

Tidningsrubrik Frågan bakom rubriken och artikeln: ”Skulle du vilja ha en lag om cykelhjälm om den hjälpte till att rädda cirka 30 liv per år?”

Tack för mig!

Fredrik.scheffer@scb.se

Litteratur:

Schwarz N, Sudman S (1996): Answering Questions Jossey-Bass

Tourangeau, R., Rips, L. J., & Rasinski, K.(2000). The psychology of Survey Response. Cambridge: Cambridge University Press.

Buskirk, T. D., Andrus, C. (2012) Smart Surveys for Smart Phones: Exploring Various Approaches for Conducting Online Mobile Surveys via Smartphones

De Bruijne, M., Wijnant, A., (2013) Comparing Survey Results Obtained via Mobile Devices and Computers: An Experiment With a Mobile Web Survey on a Heterogeneous Group of Mobile Devices Versus a Computer-Assisted Web Survey.

To Mix or Not to Mix Data Collection Modes in Surveys (de Leeuw 2005): http://www.odum.unc.edu/odum/content/pdf/deleeuw%20mixed%20mode%20jos%202005.pdf

Dillman, D. A. (2007). Mail and Internet Surveys: The Tailored Design Method. (2nd ed., 2007 update). Hoboken, John Wiley Co., New Jersey.

Litteratur:

Schuman H, Presser S, eds. (1981). Questions and Answers in Attitude Surveys: Experiments on Question Form, Wording and Context. New York: Academic

Sudman, S., Bradburn, N.M., & Schwarz, N. (1996). Thinking about answers – The application of cognitive processes to survey methodology. SF: Jossey-Bass Publishers

Wilson, T.D., & Hodges, S.D. (1992). “Attitudes as Temporary Constructions” in L. Martin, & A. Tesser, (eds.) The Construction of Social Judgment. Hillsdale, NJ. Erlbaum.

Krosnick, J.A., Judd, C.M., & Wittenbrink, B. (2005) The Measurement of Attitudes. In D. Albarracin, B.T. Johnson & M.P. Zanna (Eds.) The Handbook of Attitudes (Chapter 2) Mahwah, NJ: Lawrence Erlbaum Associates, Inc.

Yorke, M., (2001). Bipolarity… or not? Some Conceptual Problems Relating to Bipolar Scales. British Educational Research Journal. Vol. 27, No. 2 pp. 171-186.

Wärneryd B m.fl. (1990) Att fråga, Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån.

Litteratur:

Fowler Floyd J. (1995) Improving Survey Questions, Design and Evaluation

Willis G. B. (2005) Cognitive Interviewing, SAGE Publications

Saris, W. E., Krosnick, J. A., Revilla, M., Shaeffer, E. M., (2010). Comparing Questions with Agree/Disagree Response Options to Question with Item-Specific Response Options, Survey Research Methods, Vol.4, No.1, 61-79.

Couper M. (2008) Designing Effective Web Surveys. Cambridge New York.

Dillman D, Smyth J.D, Christian L.M. (2009) Internet, Mail and Mixed Mode Surveys, The Tailored Design Method. Wiley & Sons

Millar, M. M., Dillman, D. A. (2012) Encouraging Survey Response via Smartphones: Effects on Respondents´ Use of Mobile Devices and Survey Response Rates

Belson, W. A. (1981) The design and understanding of survey questions. Gower Publishing, Co, Aldershot, England.

Bra svensk litteratur om statistiska undersökningar

Wärneryd B m.fl. (1990) Att fråga, Om frågekonstruktion vid intervjuundersökningar och postenkäter. Statistiska centralbyrån.

Dahmström K (2000). Från datainsamling till rapport – att göra en statistisk undersökning Studentlitteratur, Lund

Ribe M. (1994, 1996) ABC i statistik, DEF i statistik Särtryck ur Välfärdsbulletinen

Wallgren A och B, Persson R, Jorner U, Haaland J-A , (1996): Graphing Statistics & Data. Creating Better , Charts SAGE Publications

Att köpa statistiska undersökning (1998) SCB

Fråga rätt! Utveckla, testa, utvärdera och förbättra blanketter (2001) SCB

Persson A. (I tryck, 2016) Frågor och Svar – Om frågekonstruktion i Enkät- och Intervjuundersökningar. SCB

Kontaktstrategier – web/mixed mode

• Optimal Contact Strategy in a Mail and Web Mixed Mode Survey (Holmberg, Lorenc, Werner 2008):

http://epp.eurostat.ec.europa.eu/portal/page/portal/research_methodology/documents/S8P4_OPTIMAL_CONTACT_STRATEGY_HOLMBERGLORENCWERNER.pdf