RingvorlesungEinführung in die

Methoden der empirischen Sozialforschung II

Voruntersuchungen - Pretests

"Even after years of experience, no expert can write a perfect questionnaire.“ (Sudman/Bradburn 1982)

Regeln für die Fragebogengestaltung können lediglich grobe Fehler vermeiden. Alle Regeln bleiben aber letztlich (noch) unvollständig.

"If you don't have the resources to pilot test your questionnaire, don't do the study." (Sudman/Bradburn 1982)

Beispiel 1

I.: Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?ZP.: Oh je, vielleicht sechs Stunden.

I.: Wie kommen Sie jetzt darauf?

ZP.: Geraten, geschätzt – jeden Tag ne Stunde. Mehr jeden Tag: jeden Tag zwei Stunden.Sind 14 Stunden. Ja 14 Stunden.

Pretest-Ziele: (aus der Literatur = relativ konfus)

1. Verständlichkeit der Fragen prüfen

2. Aufgetretene Varianz ermitteln

3. Übersichtlichkeit des Fragebogens testen

4. Eventuelle Schwierigkeiten bei der Beantwortung von Fragen ermitteln

5. Theoretische Aussagekraft des Fragebogens prüfen

6. Feldbedingungen prüfen, keine Studentenbefragungen

Überblick Pretestverfahren

1. Pretestverfahren im Feld:

Standard-Pretest

Behaviour Coding

Problem Coding

Random Probe

Intensiv-Interview

Qualitative Interviews

Analyse der Antwortverteilungen

Split-Ballot

2. Kognitive Verfahren (Labor):

− Think-Aloud

− Probings

− Confidence Rating

− Paraphrasing

− Sorting-Verfahren

− Response Latency

3. Weitere Verfahren:

− Focus Groups

− Expertendiskussionen

1. Pretest-Verfahren im Feld

Standard Pretest (Beobachtungspretest)

− Κaum verbindliche Regeln

− Stichprobengröße zwischen 10 und 200, zumeist 20 bis 50 (Quota nach Geschlecht und Alter oder Random)

− Interviewer: Besonders geschulte oder „normale“ Interviewer, Mitglieder der Forschungsgruppe

− Εinmalige Befragung unter realistischen Bedingungen

− Beobachtung von Auffälligkeiten

− Κein aktives Hinterfragen

Vorteile

− Relativ billig, ohne zu großen Zeitaufwand

− Befragungsdauer lässt sich gut ermitteln

Grenzen:

- Idee: Schlechte Fragen fallen auf stimmt aber nicht: Auch auf recht erstaunliche Fragen wird geantwortet.

- Nichtwissen und Nichtverstehen wird nicht eingestanden.

- Wenig systematisch, „Auffälligkeiten" werden subjektiv gedeutet

− Relativ grob

Behaviour Coding

Strukturierte Verhaltensbeobachtung (Codierung des Verhaltens) von Interviewern und Interviewten

Tonbandmitschnitte

Beispiel:

Codesystem für das Behaviour Coding

Code BeschreibungInterviewere Exact ... liest exakts Slight change ... nimmt leichte Veränderungen vorm Major change ... nimmt starke Veränderungen vor

Befragter1 Interruption ... antwortet vorzeitig (unterbricht)2 Clarification ... will eine Wiederholung der Frage oder eine Erklärung der Frage oder

macht eine Bemerkung, die auf Verständnisprobleme hindeutet3 Adequate answer ... antwortet adäquat4 Qualified answer ... antwortet adäquat und macht eine zusätzliche Bemerkung, die auf

Unsicherheit schließen lässt5 Inadequate answer … antwortet inadäquat6 Don’t know ... weiß nicht7 Refusal to answer ... verweigert die Antwort

Vorteil: Bringt reliablereErkenntnisse

Nachteil: Ursachen für Auffälligkeiten bleiben ungeklärt, gleiche Idee wie beim Standard Pretest, aufwendig, Einfluss der Tonbandmitschnitte unklar

Problem Coding

Systematische Bewertung der Verhaltensweisen der Zielperson währenddes Interviews

- Reduziertes Codesystem auf 0: adäquat und 1: nicht adäquat

- Nur durch geschulte Interviewer möglich

Random Probe

Für geschlossene Fragen, bei zufällig ausgewählten Items werden Zusatzfragengestellt, z.B. 10 von 200

Beispiele

„Bitte nennen Sie ein Beispiel für das, was Sie meinen!“

„Ich verstehe Sie, und warum haben Sie das geantwortet!“

„Können Sie mir bitte etwas mehr dazu sagen!“

Intensiv-Interview

• Ziel: Falsches Frageverständnis bei formal richtiger Antwort erkennen

• Nach Ende des Interviews werden Verständnisfragen gestellt: Die zu untersuchende Frage und die entsprechende Antwort werden nochmals verlesen. Zielperson soll die gegebene Antwort begründen.

Qualitative Interviews (frühes Stadium der Fragenentwicklung, weniger benutzt bei Skalenentwicklung)

Tiefeninterviews, nicht standardisiert:

Interviewer stellt beliebig Nachfragen, hinterfragt die Antworten, erkundigt sich nach Alternativen usw.

Analyse von Antwortverteilungen

Suche nach:

− Μinimal oder nicht besetzten Kategorien

− Εxtremen Häufigkeitsverteilungen

− Wahl von Ausweichkategorien (Weiß nicht, verweigert usw.)

- Voraussetzung: relativ hohe Fallzahl

Split-Ballot

• Mehrere Varianten einer Frage werden eingesetzt

• Vergleich der Häufigkeitsverteilungen

• Relativ große Stichproben erforderlich

• Kombination mit anderen Verfahren möglich

• Beispiel: ALLBUS CAPI-PAPI 2000

2. Kognitive Verfahren

Ziel: Frageverständnis und Informationsbeschaffung aufdecken

Think-Aloud-Method

Zielperson wird zu lautem Denken aufgefordert, zugleich Tonbandaufzeichnungen

Während oder nach der Beantwortung

- Bei retrospektiven Fragen (Wird vorwärts oder rückwärts gedacht?)

− Αuch bei Meinungsfragen

- Expertenbefragungen (Problemlösungsverhalten)

− Hohe Anforderungen an die Zielpersonen

Beispiel 2:

„Ich werde Ihnen jetzt gleich eine Frage stellen. Danach fordere ich Sie dazu auf, laut zu denken. Sie sollen bitte alle Gedanken laut aussprechen, die Ihnen durch den Kopf gehen. Bitte beginnen Sie damit, sobald Sie die Frage gehört haben und fahren Sie so lange fort, bis Sie zu einer Antwort gelangt sind. Das müssen natürlich keine ganzen Sätze sein. Sollten Sie einmal ins Stocken kommen, so werde ich Sie daran erinnern, weiter zu sprechen.“

„Als Sie eben die Frage beantwortet haben, an was haben Sie da gedacht?Was ist Ihnen alles durch den Kopf gegangen, bis Sie die Antwort gegeben haben?“

Frage: Kommen wir nun zu der Demokratie in der Bundesrepublik Deutschland: Wie zufrieden oder unzufrieden sind Sie – alles in allem – mit der Demokratie, so wie sie der der Bundesrepublikbesteht?• Sehr zufrieden• Ziemlich zufrieden• Etwas zufrieden• Etwas unzufrieden• Ziemlich unzufrieden• Sehr unzufrieden

Beispiel 3

Retrospective-Think-Aloud

(‚sehr zufrieden‘) Intuitiv geantwortet, denke am meine vielen Freiheiten, meine Rechte und habedas mit anderen Ländern verglichen, und das schätze ich sehr“

(‚ziemlich unzufrieden‘) Erstens mein Gehaltszettel und die Vorstellung an meine zukünftige Rente, auch mit Ausländerzufluss in Deutschland, mit Arbeitslosigkeit bei Jugendlichen, fehlende Perspektive in vielen Bereichen

Frage: Ein Mann schlägt sein 10-jähriges Kind, weil es ungehorsam war. Halten Sie das fürsehr schlimm, ziemlich schlimm, weniger schlimm oder für überhaupt nicht schlimm?“

Beispiel 4

Concurrent-Think-Aloud

Das kommt darauf an, in was für einer Situation das ist. Ich meine, es kann Situationen geben,in denen ein Kind es extrem darauf anlegt und wo es auch mal gerechtfertigt ist, ein Kind zuschlagen. Es aber auch nicht richtig schlagen, sondern ihm mal eine Ohrfeige geben oder so.Aber es kommt halt darauf an, wenn der Mann seinen Frust gerade hat, dann ist es sehr schlimm.Eine Ohrfeige wäre nicht so schlimm. Also das kann man so nicht bewerten.

Probing = Zusatzfragen zu bestimmten Items

− Follow-up-Probings (nach der Antwort)

− Post-Interview-Probings (nach dem Interview)

− Comprehension-Probings (Frageverständnis), Bedeutung von Begriffen, Erläuterung der Antwort

− Information-Retrieval Probing (besonders für retrospektive Fragen)

Beispiel 5:

I.: Wie lange haben Sie in den vergangenen sieben Tagen ferngesehen?ZP.: Zehn Stunden.

I.: Und wie sind Sie auf zehn Stunden gekommen?ZP.: Na das ProgrammI.: Ja, wie kommt es zu den zehn Stunden?ZP.: Ja also ich hab ungefähr täglich zwei Stunden, ne also es

muss 14 Stunden sein.Zwei Stunden vielleicht auch etwas mehr.Täglich gucke ich ungefähr zwei und eine halbe Stunden insgesamt

„Das Ziel der Nationalsozialisten war, durch den Krieg gegen die Sowjetunion den jüdischen Bolschewismus zu beseitigen.“

Probing (unmittelbar nach der Beantwortung): „Und warum haben Sie sich für diesen Skalenwert entschieden?“

ID Skalenwert Antwort auf die Nachfrage

2/01 4 Das weiß ich nicht. Ich kann mit der Aussage nichts anfangen.2/03 2 Ich weiß es nicht, aber ich glaube es nicht. Habe die 2 vergeben aufgrund

meines Bauchgefühls.2/05 4 Bin mir relativ unsicher, dachte ich nehme einen Mittelweg. Die 4 deshalb, weil

ich es nicht weiß2/06 1 Weil ich mir einfach nicht vorstellen kann, dass die Nationalsozialisten ein

anderes Ziel hatten, als in dem fall Land zu gewinnen. Vermute es aber, habekeinen blassen Schimmer.

2/04 6 Ich vergebe ungern 1 und 7. Mit der 6 möchte ich relativieren und ich glaube, dass es das Ziel der Nationalsozialisten war.

2/02 5 Es war immer das Ziel der Nationalsozialisten gegen die Juden zu handeln.

„Hinter der offiziellen Kritik am Kommunismus haben viele Nazis und Mitläufer nach 1945 den alten nationalsozialistischen Antibolschewismus versteckt.“

Probing nach Abschluss des Interviews: „Was verstehen Sie unter nationalsozialistischem Antibolschewismus?“

ID Skalenwert Antwort auf die Nachfrage

3/01 5 Das sind Leute, die gegen den Bolschewismus waren, also gegen linke Ideale. Und nationalsozialistisch ist dann noch eine Stufe mehr, die extrem dagegen waren.

3/02 weiß nicht Das war offensichtlich. Nationalsozialismus ging total gegen den Kommunismus.

3/03 6 Das war im Dritten Reich alles, was mit Kommunismus verbunden war, dass man das alles abgelehnt hat.

3/04 3 Das weiß ich nicht so genau. Bolschewismus gleich Kommunismus. Die drei soll die Mitte sein, weil ich es nicht so genau weiß.

3/05 3 Oh je, da kann ich nicht viel dazu sagen, das weiß ich eigentlich gar nicht.

Paraphrasing

Nach der Antwort die Frage mit den eigenen Worten wiederholen

Fragetext:„Im Vergleich dazu, wie andere hier in Deutschland leben: glauben Sie, dass Sie Ihren gerechtenAnteil erhalten, mehr als Ihren gerechten Anteil, etwas weniger oder sehr viel weniger?“

Antworten (Paraphrasing)

1. Glauben Sie, dass Sie in Ihrer jetzigen Tätigkeit, verglichen mit anderen in Deutschlandlebenden, den gerechten Anteil bekommen, weniger gerecht, einigermaßen gerechtoder ganz ungerecht?

2. Dass ich sagen sollte, dass ich im Vergleich zu anderen Bevölkerungsteilen über Maßenvom Sozialstaat profitiere.

3. Ob ich eigentlich mit dem, was ich besitze, was ich habe, mit dem, was ich tun kann, zufrieden bin.

Sorting

Ziel: Informationen zum Begriffsverständnis

− Free Sort (Gruppierung nach eigenen Kriterien)

− Dimensional Sort (Kriterien vorgegeben)

Response latency

CATI, Messung der Antwortzeit, Lange Reaktionszeiten deuten auf Probleme hin

Confidence RatingVerlässlichkeit der eigenen Antwort schätzen:„Wie sicher waren Sie sich bei Ihrer Antwort: sehr sicher, eher sicher, eher unsicher, sehr unsicher?“

Vorteile kognitiver Verfahren

- Relativ schnelle Durchführung

- Geringe Kosten

- Bei verschiedenen Stadien der Frageentwicklung einsetzbar

Nachteile kognitiver Verfahren

- Aufgrund der geringen Fallzahl schwierig zu verallgemeinern

- Keine Aussagen zum Fragebogen als Ganzes

3. Weitere Verfahren

Focus Groups

− Frühphase: Hinweise auf Akzeptanz und Verständnis des Themas der

Befragung bzw. auch einzelner Begriffe und Fragen

− Für schriftliche Fragebögen, Ausfüllen, dann Wiederholung des Fragebogens

und Diskussion der Eindrücke

− Βeachte Gruppensituation

Expertenbefragung

Viele Hinweise, kostengünstig, aber: wenig reliabel

Fazit

Es reicht nicht aus, nur ein Verfahren einzusetzen, um alle möglichen Probleme bei der Fragekonstruktion zu erkennen

Weitere Literatur (Auswahl)

• Sudman, Seymour/ Bradburn, Norman M. (1982): Asking Questions: A Practical Guide to Questionnaire Design. San Francisco: Jossey-Bass.

• Sudman, Seymour/ Bradburn, Norman M./ Schwarz, Norbert (1996): Thinking about answers. The application of cognitive processes to survey methodology. San Francisco: Jossey-Bass.

• Prüfer, Peter/ Rexroth, Margit (1985): Zur Anwendung der Interaction-Coding-Technik. In: ZUMA-Nachrichten Heft 17, S. 2-49.

• Prüfer, Peter/ Rexroth, Margit (1996a): Verfahren zur Evaluation von Survey Fragen: Ein Überblick. In: ZUMA-Nachrichten Heft 39, S. 95-116.

• Prüfer, Peter/ Rexroth, Margit (1996b): Verfahren zur Evaluation von Survey Fragen: Ein Überblick. ZUMA-Arbeitsbericht 1996/05. Mannheim: ZUMA.

• Prüfer, Peter/ Rexroth, Margit (1999): Zwei-Phasen-Pretesting. In: Mohler, Peter Ph./ Lüttinger, Paul (Hrsg.): Querschnitt. Festschrift für Max Kaase, Mannheim: ZUMA, S. 203-219.