Upload
liutbert-affolter
View
108
Download
0
Tags:
Embed Size (px)
Citation preview
Philosophische Fakultät – Institut für Kommunikationswissenschaft
Ringvorlesung: Einführung in die Methoden der empirischen
Sozialforschung II
Fragebogenkonstruktion: von der Kunstlehre zur Wissenschaft
PD Dr. Wolfgang Schweiger
2
Von der Kunstlehre zur Wissenschaft
The Art of Asking Questions
Scientific Paradigm for Surveys Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15, 3-7.
Tourangeau, R.; Rips, L. J.;Rasinski, K. (2000). The psychology of survey response. Cambridge: University Press.
Payne, S. L. (1951). The art of asking questions. Princeton: University Press.
3
Heutiger Ablauf
Effekte der Frageformulierung & Skalengestaltung
Kontexteffekte
Evaluation von Fragen & Fragebogen
Regelwerke & Kuchbücher
Die schlimmste Frage der Welt?
4
Der Fragebogen ist ein sensibler Stimulus
Jedes Messinstrument ist reaktiv
Messen = Stimulus
Ergebnisse einer Befragung
Tatsächliche Meinungen usw. der Befragten
Störeinflüsse
5
Effekte der Frageformulierung &
Skalengestaltung
6
Glauben Sie an die große Liebe?
Ja 52%
Nein 29%
Ungewiss 19%
Frageformulierungen - Split-Ballot-Experimente (1)
Glauben Sie eigentlich an die große Liebe?
Ja 57%
Nein 26%
Ungewiss 17%
Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195.
7
Frage an Hausfrauen: Würden Sie eigentlich gerne berufs-tätig sein, wenn es möglich wäre?
möchte berufstätig sein 52%nein, mache lieber HH 32%unentschieden 16%
Frageformulierungen - Split-Ballot-Experimente (2)
Frage an Hausfrauen: Würden Sie eigentlich gerne berufs-tätig sein, oder machen Sie am liebsten nur Ihren Haushalt?
möchte berufstätig sein 38%nein, mache lieber HH 46%unentschieden 16%
Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 195; Erhebungszeitpunkt: 1973.
8
Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie verbieten?
ja, verbieten 21%
nein 79%
Frageformulierungen - Split-Ballot-Experimente (3)
Finden Sie, die Vereinigten Staaten sollten öffentliche Äußerungen gegen die Demokratie nicht erlauben?
nicht erlauben 48%
erlauben 52%
Noelle-Neumann, E., Petersen, T. (2005). Alle nicht jeder. Einführung in die Methoden der Demoskopie. Berlin: Springer, S. 197.
9
Do you favor or oppose the proposal for a constitutional amendment to require a balanced Federal Budget by the year 2003 and every year after that?
favor 70%
oppose 18%
undecided 12%
Frageformulierungen – ‚Mitliefern‘ von Argumenten
Do you favor or oppose the proposal for a constitutional amendment to require a balanced budget that cuts Government spending on Medicare by 20% over the next 7 years?
favor 31%
oppose 58%
don‘t know 11%
10
Skalengestaltung – Zahlen (1)
Schwarz, N, Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183, S. 179; n=70 Undergraduates.
11
Skalengestaltung – Zahlen (2)
Schwarz, N., Knäuper, B., Hippler, H.-J., Noelle-Neumann, E., Clark, L (1991). Rating Scales. Numeric Values may Change the Meaning of Scale Labels. Public Opinion Quarterly, 55, 570-582, S. 573
12
Skalengestaltung – Design (1)
Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183, S. 179; n=97 Undergraduates.
13
Skalengestaltung – Design (2)
Schwarz, N., Grayson, C.E. & Knäuper, B. (1998). Formal Features of Rating Scales and the Interpretation of Question Meaning. International Journal of Public Opinion Research, 10: 177-183; n=97 Undergraduates.
14
Kontexteffekte
15
Das Interview als soziale Situation
Stabile Persönlichkeit & kognitive Struktur
InterviewerAktuelle Kognitionen &
Affekte
Befragte/r Interview
Fragebogen
Hintergründe
Stimulus
Rekonstruktion von Verhalten,
Wissen, Emotionen & Einstellungen
Befunde
16
Beantwortung von Testfragen als Informationsverarbeitung
Verstehen der Frage
Abruf relevanter Informationen
UrteilsbildungAntwort-formulierung
17
Kontexteffekte im Überblick
Befragter
• Stimmungen
• Themeninteresse & -kompetenz
• Soziale Erwünschtheit & Tabus
Fragebogen
• Thematische Kontexteffekte
• Reihenfolge-Effekte
• Konsistenz- & Kontrast-Effekte
Interviewer
• Interviewer-Effekte
• Anwesenheit anderer Personen
Hintergründe
• Sponsorship-Effekt
• Incentives
18
Stimmungen als Kontexte
Experiment: Auswirkung von Stimmungen
• Stimmungsinduktion durch vorangegangene Fragen nach positiven oder negativen Ereignissen in letzter Zeit (‘feel good’ / ‘feel bad’)
• Signifikante Unterschiede bei Fragen zu …o Glücklichsein (‚happiness‘) o Lebenszufriedenheit
Erklärung
• Verfügbarkeitsheuristik (Tversky & Kahneman): Befragte generieren Antworten auf Basis verfügbarer Informationen und Gefühle im Moment der Befragung
Schwarz, N.; Gerald, L. C. (1983). Mood, Misattribution, and Judgments of Well-being: Informative and Directive Functions of Affective States. Journal of Personality and Social Psychology, 45, 513-523.
19
Thematische Kontexteffekte
Tourangeau, R. et al. (1989). Carry-over effects in attitude surveys. Public Opinion Quaterly, 53, 495-524.
20
Reihenfolge-Effekte
Reihenfolge-Effekte bei generellen vs. spezifischen Bewertungen
• Frage: Generelle Bewertung – Zufriedenheit mit Leben
• Frage: Spezifische Bewertung – Zufriedenheit mit Ehe
Frage-Reihenfolge & Korrelationen
• Lebenszufriedenheit Ehezufriedenheit: r= 0,32
• Ehezufriedenheit Lebenszufriedenheit: r= 0,67
Erklärung
• Verfügbarkeitsheuristik: Frage nach Ehe aktiviert Gefühle/Erlebnisse, die Frage nach allgemeinem Lebensglück beeinflusst
Schwarz, N., Strack, F. & Mai, H.-P. (1991). Assimilation and Contrast Effects in Part-Whole Question Sequences: A Conversational Logic Analysis. Public Opinion Quarterly, 55 (1): 3-23.
21
Interviewer-Effekte im Überblick
Faktoren
• Demografische Merkmale (Alter, Geschlecht, Hautfarbe)
• Auftreten, Sympathie, usw.
• Erfahrung & Schulung
Interviewer-Schulung
• Interviewer müssen keine …o thematischen Experten und o Befragungs-Experten sein
• Ziel: Minimale Beeinflussung des Befragteno Einhalten der Frageformulierung & Antwortvorgabeno Minimale Erläuterungen bei Unverständnis
• Umgang mit ‚schwierigen‘ Interviewpartnern
22
Interviewer-Effekte (1)
Interviewer-Effekte bei Wahlstudien
• Studie zum Interviewer-Einfluss bei Wahlprognose zur Gouverneurs-Wahl in Virginia
• Vorhersage in Befragung: haushoher Sieg für schwarzen Kandidaten (Wilder) gegenüber weißem Kandidaten (Coleman)
• Wahlausgang: nur knapper Vorsprung für Schwarzen
Ursache?
Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313-330.
23
Interviewer-Effekte (2)
Respondent’s Predisposition
Republicans Democrats
Voting Intention White Interviewer
Black Interviewer
White Interviewer
Black Interviewer
Wilder (B) 26,5 27,0 70,5 94,7
Undecided 4,1 21,6 11,3 5,3
Coleman (W) 69,4 51,4 18,2 0,0
Finkel, S.E., Guterbock, T.M & Borg, M.J. (1991). Race of Interviewer Effects in a Preelection Poll: Virginia 1989. Public Opinion Quaterly, 55, 313-330.
24
Sponsorship-Effekt – Beispiel Website-Besucherbefragung
Website-Bewertung im selben Fragebogen nach fünf Fragen zu unterschiedlichen Bewertungsdimensionen
Mangel-haft
Aus-reichend
Befrie-digend
Gut Sehr gut
Gesamt
Website-Bewertung am Frage-bogenanfang
Mangelhaft 11 4 3 0 0 18
Ausreichend 1 17 10 3 1 32
Befriedigend 0 6 37 22 3 68
Gut 0 3 9 70 9 91
Sehr gut 0 0 3 4 14 21
Gesamt 12 30 62 99 27 230
Eigene Erhebung; n=230; MW1: 3,08; MW2: 3,24; t=2,81; p<0,01
25
Sensible Themen (1)
Experiment zur Telefonabfrage sexuellen Verhaltens – Faktoren
• Auswahlmöglichkeit des Interviewers nach Geschlecht
• Geschlechtskonstellation Interviewer – Befragter
• Standardfragen vs. unterstützende Fragen; z.B.
Catania, J.A., Binson, D., Canchola, J., Pollack, L.M., Hauck, W. & Coates, T.J. (1996). Effects of interviewer gender, interviewer choice, and item wording on responses to questions concerning sexual behavior. Public Opinion Quarterly, 60 (3): 345-375.
26
Catania et al., 1996
Sensible Themen (2)
27
Sensible Themen (3)
Catania et al., 1996
28
Evaluation von Fragen & Fragebogen
29
Evaluationsverfahren im Überblick
Prüfer, P., Rexroth, M. (1996). Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten, 39, 95-115, S. 96f.
30
Behavior Coding
31
Behavior Coding
Vorgehen
• (Video-/Audio-Aufzeichnung von Interviews)
• Beobachtung des (aufgezeichneten) verbalen oder nonverbalen Verhaltens von Interviewer und Befragten
• Grobe Codierung
• Fragen, bei denen bestimmte Verhaltensweisen häufig vorkommen, sind veränderungsbedürftig
Beispiele
• Interviewer liest entgegen Anweisung Frage nicht wörtlich vor
• Befragter bittet um Wiederholung der Frage
• Befragter bittet um Erläuterung
32
Behavior Coding: mögliches Codesystem
Prüfer & Rexroth 1996, S. 100
33
Think-Aloud
34
Think-Aloud / Methode des lauten Denkens
Varianten
• Concurrent-Think-Aloud-Methode: Die Befragten werden aufgefordert, laut zu denken, während sie ihre Antwort formulieren.
• Retrospektive-Think-Aloud-Methode: Die Befragten werden aufgefordert, nach der Beantwortung der Frage zu beschreiben, wie die Antwort zustande kam.
• Verbale Protokolle Codierung
Ziel
• Hinweise darauf, wie Fragen oder einzelne Begriffe verstanden werden
35
Response Latency
36
Response Latency
• Response Latency / Reaktionszeit als Indikator für Aufwand der Informationsverarbeitung zu einem Thema / einer Frage
• Lange Reaktionszeiten als Indikator für Frageprobleme
• Einfache & kostenlose Messung bei computerunterstützten Befragungen
37
Response Latency
Bassili, J. & Scott, B. S. (1996). Response Latency as a Signal to Question Problems in Survey Research. Public Opinion Quarterly, 60, 390-399, S. 393.
38
Regelwerke & Kuchbücher
39
Wie befragt man richtig?
Grundsätze
• Ein Interview soll wie ein normales Gespräch verlaufen!
• Antwortvorgaben müssen zu Fragen passen!
• Dramaturgie und Umfeld des Interviews beachten!
• Befragte ernst nehmen!
40
Porst (2000): 10 Gebote
1. Einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden!
2. Lange und komplexe Fragen vermeiden!3. Hypothetische Fragen vermeiden!4. Doppelte Stimuli und Verneinungen vermeiden!5. Unterstellungen und suggestive Fragen vermeiden!6. Fragen vermeiden, die auf Informationen abzielen, über die viele
Befragte mutmaßlich nicht verfügen!7. Fragen mit eindeutigem zeitlichen Bezug verwenden!8. Antwortkategorien verwenden, die erschöpfend und disjunkt
(überschneidungsfrei) sind!9. Sicherstellen, dass der Kontext einer Frage sich nicht auf deren
Beantwortung auswirkt!10.Unklare Begriffe definieren!
Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2.
41
1. Verwende einfache & unzweideutige Begriffe
Grundvoraussetzung für standardisierte Befragungen: Frage muss von allen Befragten in gleicher Weise verstanden werden
einfache, unzweideutige Fragen entwickeln!
Ideal: gemäßigte, formal korrekte Umgangssprache
• Achtung: Einfachheit richtet sich nach dem befragten Personenkreiso Expertenbefragung vs. repräsentative Befragung
• Konflikt zwischen einfacher und unzweideutiger Formulierung
im Zweifelsfall für eindeutige Fragen entscheiden
Beispiel
• „Wie hoch ist Ihr eigenes monatliches Nettoeinkommen? Ich meine dabei die Summe, die nach Abzug der Steuern und Sozialversicherungsbeiträge übrigbleibt.“
• „Wie viel verdienen Sie im Monat?“
42
2. Vermeide lange & komplexe Fragen
Fragen …
• werden schnell unverständlich
• können Zielperson verwirren
• enthalten häufig Redundanzen oder überflüssige Informationen
Beispiel
• „Wie Sie wissen, sind manche Leute politisch ziemlich aktiv, andere Leute finden dagegen oft keine Zeit oder haben kein Interesse, sich an politischen Dingen aktiv zu beteiligen. Ich lese Ihnen jetzt eine Reihe von Sachen vor, die Leute tun. Bitte sagen Sie mir jedesmal, wie oft Sie persönlich so etwas tun bzw. wie häufig das bei Ihnen vorkommt. (Liste mit den Antwortkategorien oft - manchmal - selten - niemals). Zuerst: wie oft führen Sie eine politische Diskussion?“
• „Wie häufig nehmen Sie an öffentlichen Diskussionen zu politischen Themen teil, oft, manchmal, selten oder nie?“
43
3. Vermeide hypothetische Fragen
• Bei hypothetischen Fragen muss sich Befragter eventuell in unrealistische bzw. unbekannte Situationen versetzen
• Problem: Hat sich der Befragte mit der hypothetischen Situation schon einmal auseinandergesetzt?
• Wie nahe oder entfernt ist diese Situation für sie/ihn?
Aussagekraft der Befunde?
Beispiele
• „Einmal angenommen, Sie würden im Lotto eine Million Mark gewinnen - würden Sie dann aufhören zu arbeiten oder würden Sie weiterarbeiten?“
• Stellen Sie sich einmal vor, Sie wären verheiratet und hätten einen Sohn im Alter von etwa 16 Jahren, der seine Lehre abbrechen möchte, um Fußballprofi zu werden. Würden Sie ihn in diesem Wunsch unterstützen oder würden Sie ihm raten, zuerst seine Ausbildung zu Ende zu bringen?
44
4. Vermeide doppelte Stimuli & Verneinung
Doppelte Stimuli
• Bei doppelten Stimuli sind zwei unterschiedliche Antworten möglich
• Beispiel: „Hören Sie gerne Musik von Chopin und Wagner?“
Verwirrend und frustrierend für Befragte
Ergebnisse unbrauchbar
Doppelte Verneinung
• Verwirrend für Befragte
• Beispiel: „Es ist nicht gut, wenn die Wähler nicht zur Wahl gehen.“ mit der Antwortskala 1 „trifft überhaupt nicht zu“ bis 7 „trifft voll und ganz zu“
45
5. Vermeide Unterstellungen & suggestive Fragen (1)
Unterstellungen
• Unterstellungen führen dazu, dass derjenige, der die Unterstellung nicht teilt, die Frage nicht beantworten kann
• Beispiel: „Hat der mangelnde Respekt der Schüler vor ihren Lehrern Ihrer Ansicht nach Einfluss auf die tägliche Unterrichtsgestaltung in den Schulen?“
Suggestive Fragen
• Suggestive Fragen legen Befragtem eine Antwort nahe
Befunde wertlos (Ausnahme: Legitimationsforschung)
• Beispieleo „Finden Sie nicht auch, dass…?“o „Führende Wissenschaftler sind der Ansicht, …. Halten Sie diese
Ansicht für richtig, oder halten Sie diese Ansicht für falsch?“
46
Es wird ja in Dresden darüber diskutiert, am Waldschlöss-chen eine Elb-Brücke für den Straßenverkehr zu bauen. Sind Sie für oder gegen den Bau der Waldschlösschenbrücke?
dafür 58%
dagegen 22%
weiß nicht 14%
5. Vermeide Unterstellungen & suggestive Fragen (2)
Sind Sie dafür, statt der land-schaftszerstörenden, langen Waldschlösschenbrücke mindestens zwei Dresden-typische, kürzere und kosten-günstigere Brücken mit insgesamt höherer Entlas-tungswirkung zu bauen?
dafür 59%
dagegen 18%
weiß nicht 21%
DNN-Barometer
47
6. Vermeide zu schwierige Fragen
Vermeiden von Fragen, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen
• Verfügt die anzusprechende Zielgruppe über Informationen, die zur Beantwortung der Frage ausreichend sein könnten?
• Frustrationseffekt, evtl. Fragebogenabbruch
Beispiel
• „Sind in Ihrer Gemeinde bereits Maßnahmen zur Umsetzung der lokalen Agenda 21 getroffen worden?“
48
7. Verwende eindeutige Zeitbezüge
Fragen mit eindeutigen zeitlichen Bezug verwenden
• Bei Sachverhalten oder Meinungen, die sich auf bestimmte Zeiträume beziehen, müssen diese Zeiträume definiert werden
Schlecht
• „In der letzten Zeit ...“
• „Früher“
• „In naher Zukunft ...“
Gut
• „Seit dem ...“
• „In den letzten 12 Monaten ...“
49
8. Verwende erschöpfende & überschneidungsfreie Antwortkategorien
Überschneidungsfreie Antwortkategorien
• Antwortkategorien müssen vom Befragten zweifelsfrei zugeordnet werden können, daher dürfen Überschneidungen nicht möglich sein
• Beispiel: Einkommen 0-500 €, 500-1000 €; 1000-2000 € usw.
Erschöpfende Antwortkategorien
• Abdeckung alle möglichen Antworten durch Antwortvorgaben
• Beispiel: „Was ist Ihr Lieblingssender?“ Antwortvorgaben ARD, ZDF, Arte, 3Sat
• Besser: „Nun folgt eine Liste ausgewählter Fernsehsender. Welchen davon mögen Sie am liebsten?“
50
9. Achte auf den Kontext
Kontext der Frage darf sich nicht auf andere Fragen auswirken
• schwer zu kontrollieren
• Erfahrungen durch Pretest oder im ungünstigsten Falle bei der Datenauswertung
Beispiel
• Frage: „Alles in allem: Was halten Sie ganz allgemein von der CDU?“ - Antwortskala von 1 = „überhaupt nichts“ bis 11 = „sehr viel“
• Vorfrage 1: „Wissen Sie zufällig, welches Amt Richard von Weizsäcker ausübt, das ihn außerhalb des Parteiengeschehens stellt?“ – Mittelwert 3,4
• Vorfrage 2: kein politischer Inhalt – Mittelwert 5,2
• Vorfrage 3: „Wissen Sie zufällig, welcher Partei Richard von Weizsäcker seit mehr als 20 Jahren angehört?“ – Mittelwert 6,5
51
10. Definiere unklare Begriffe
• Unklare & ungebräuchliche Begriffe vermeiden
• Bei Bedarf definieren
• Problem: Forscher verfügt meist über ausgeprägten Wissenshintergrund
Betriebsblindheit
Unnötige Überforderung der Befragten
Beispiele
• „Mediennutzung“
• „Was glauben Sie: In welchem Alter beginnt bei Männern normalerweise die Andropause?“
• „Mit dem Begriff Andropause umschreibt man das Eintreten hormoneller Veränderungen beim Mann, die sich auf das Gefühls- und Sexualleben auswirken können. Vergleichbar ist dieser Prozeß der Menopause bei Frauen, also den sogenannten Wechseljahren. Was glauben Sie....“.
52
Die schlimmste Frage der Welt?
53
Die schlimmste Frage der Welt?
• Antwort-Alternative nicht ausformuliert
• setzt Wissen voraus (Wer ist Franco?)
• keine Alltagssprache („retaliatory“)
• wertende Begriffe – Suggestivfrage („piracy“)
• vage (Welche Gegenmaßnahmen?)
Gallup Umfrage (1937):
„Are you in favor of direct retaliatory measures against Franco‘s piracy?“
(„Sind Sie für direkte Vergeltungsmaßnahmen gegen Francos Untaten?“)
54
55
56
Literaturtipps
• Atteslander, P. (2000). Methoden der empirischen Sozialforschung. Berlin, New York: de Gruyter.
• Bortz, J. & Döring, N. (1995). Forschungsmethoden und Evaluation für Sozialwissenschaftler. Berlin: Springer.
• Brosius, H.B., Koschel, F. (2003). Methoden der empirischen Kommunikationsforschung. Opladen: Westdeutscher Verlag.
• Dillman, D.A. (2006). Mail and Internet Surveys: The Tailored Design Method — 2007 Update with New Internet, Visual, and Mixed-Mode Guide. New York u.a.: Wiley.
• Porst, R. (2000). Question Wording - Zur Formulierung von Fragebogen-Fragen. ZUMA-How-to-Reihe, Nr. 2. Online unter: http://www.gesis.org/Publikationen/Berichte/ZUMA_How_to/.
• Schnell, R., Hill, P. & Esser, E. (1992). Methoden der empirischen Sozialforschung. München: Oldenbourg.
• ZUMA – Zentrum für Umfragen, Methoden und Analysen: http://www.gesis.org/ZUMA/index.htm.