Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr. Michael Bosnjak

Strategische Ausrichtung des Teams ´Survey Operations´

Prof. Dr. Michael Bosnjak Infrastrukturangebot

e:Standardisi

erte und maßgeschneiderte

Projektberatung

Forschung: ´Evidenzba

siertes Survey

Operations´

Universitäre Lehre,

Wissensvermittlung

und Nachwuchsförderung

Agenda• Verortung des Teams Survey Operations– im GESIS Gesamtkontext– innerhalb der Abteilung SDM– innerhalb des Bereichs Survey Operations

• GESIS Panel (seit 1/2013)• Aufgaben des Teams Survey Operations (seit 10/2014)

• Anvisierte strategische Ausrichtung des Teams– Infrastrukturangebote– Forschungsschwerpunkte– Universitäre Lehre und Wissensvermittlung

• Diskussion: SHARE-Bedarfe und –Beteiligung?

Forschungsdatenzyklus & GESIS Infrastrukturangebote

Studien planenArchivieren und

Registrieren

Recherchieren

Daten erhebenDaten analysieren

Bereiche der Abteilung SDM

SO-Bereich: Team GESIS Panel seit 1/2013

• Aufbau und Betrieb eines offenen, für Deutschland repräsentativen Mehrthemenpanels (Mixed Mode)

• 2013: Rekrutierungs- und Aufbauphase• Seit 2014: Regulärer Betrieb mit knapp 5000 Panelisten• Leitlinien:

– Standardisierung und größtmögliche Automatisierung (Einreichungsprozess, Datenbereitstellung)

– Maximale Transparenz (Datensatz, Instrumente, technische Berichte, etc.)

– Maximale Anteil an Eigenleistungen (externe Vergaben vermeiden)-> Service-relevante Erfahrungen für Bereich SO

Team Survey Operations seit 10/2014

• Entwicklung von standardisierten Infrastrukturangeboten • Anfragespezifische Projektberatungen• Leitlinien bei der Auswahl von Themen für

standardisierte Angebote:– Bedarfsorientierung – Kernkompetenzen innerhalb des Teams, SDM und darüber

hinaus nutzend (abteilungsübergreifend, Institute einbeziehend)

– Vorausschauend im Hinblick auf den Forschungsdatenzyklus (abteilungsübergreifend)

– Bestehende Infrastrukturen nutzend (Survey Guidelines, Archiv, Wissensvermittlung)

Team Survey Operation: Schwerpunkte

1. Standardisierte Ausschreibungsunterstützung (SDM Survey Guideline)

2. Standardisierte Dokumentationsempfehlungen(SDM Survey Guideline)

3. Interviewerschulung (und –zertifizierung)(Wissensvermittlungsangebot)

4. Experimentelles Sample für das GESIS Panel(geplanter DFG Antrag)

Ausschreibungsunterstützung1. Zielsetzung und Aufbau des Leitfadens2. Voraussetzungen und Abgrenzung3. Grundgesamtheit und Stichprobe4. Erhebungsinstrumente und Erhebungsmodus5. Kontakt- und Interaktionsplanung (inkl. Incentives)6. Feldpretest7. Feldarbeit8. Daten- und Dokumentationslieferung9. Zeitplanung10. Vertragliche Eckpunkte11. Modus-spezifische Anforderungen

1. Komplexe Erhebungsprojekte2. Panelbefragungen3. Haushaltsbefragungen/Multi-Actor-Befragungen4. Mixed-Mode Erhebungen5. (weitere spezifische Fälle)

Dokumentationsempfehlungen1. Ziel von Dokumentation2. Kernbestandteile einer Studiendokumentation• Studienbeschreibung• Erhebungsinstrument(e)• Codebuch• Daten (Inhalts-, Para- und Metadaten)

3. Selbstarchivierung im GESIS Datorium4. Archivierung im GESIS Datenbestandskatalog• Voraussetzungen• Zugang• Ablauf des Archivierungsprozesses

5. Prospektive Dokumentations- und Archivierungsplanung gemäß DDI3.x-Lifecycle

6. Weiterführende Informationen

Interviewerschulung

1. Grundlagen persönlich-mündlichen Befragungen

2. Aufgaben einer/es Interviewers/in

3. Best practices: Ausgestaltung der Kernphasen eines Interviews• Kontaktierung von Zielpersonen• Durchführung eines Interviews• Prozessdokumentation

Bezüge zu SO Kernthemen

• Survey mode(s) selection• Contact and interaction

protocol development• Incentive scheme• Field monitoring

strategy/documentation• Staff / interviewer

selection / training

Preparation

• Contact and data collection monitoring

• Incidence-based adjustments / revisions

• Documentation of the fielding process

Fielding • Data cleaning• Finalization of

documentation• Bias analyses• Construction of weights

(e.g., nonresponse weights)

Post-Processing

Ausrichtung des SO-Teams

Infrastrukturangebote:Standardisierte und maßgeschneiderte

Projektberatung

Forschung: ´Evidenzbasiertes

Survey Operations´

Universitäre Lehre, Wissensvermittlung




Projektberatung


Survey Operations´



InfrastrukturangeboteEvidenz-basierte Empfehlungen in anderen Bereichen: Gesundheitswissenschaften

InfrastrukturangeboteEvidenz-basierte Empfehlungen in anderen Bereichen: Public Policy Interventions

InfrastrukturangeboteEvidenz-basierte Empfehlungen in anderen Bereichen: Erziehungswissenschaften

Infrastrukturangebote´What works, what doesn´t, and why in Survey Methodology´

Das SO Team unterstützt den Ausbau der SDM Survey Guidelines in Richtung eines umfangreichen Wissensportals.

Quellen für Survey Operations-spezifische Inhalte:• Übergeordnete Darstellung des SO-Phasenmodells und die

einzelnen Entscheidungen unterstützende, spezifische Themen.

• Systematische Ableitung von Empfehlungen auf Basis der ´besten´ Evidenz gemäß Evidenzpyramide (eigene und externe Forschungsprojekte: Meta-Analysen und experimentelle Studien besonders gewichtet).

• Erweiterung und Pflege aus (a) Projektberatungs-dokumentation, (b) Vorschläge von Nutzerinnen des Portals, (c) team- und abteilungsübergreifendes Vorschlagswesen, (d) pro-/aktiver Einbezug von Experten.

SO-Phasenmodell





Preparation




Fielding • Data cleaning• Finalization of

documentation• Bias analyses• Construction of weights

(e.g., nonresponse weights)

Post-Processing



Projektberatung


Survey Operations´







Preparation




Fielding• Data cleaning• Bias analyses• Construction of weights

(e.g., nonresponse weisghts)

• Finalization of documentation

Post-Processing

RepresentativenessExternal Validity

Nonresponse Bias

Measurement Quality

Laufende Projekte (Auswahl)• Meta-Analysen:– Aktualisierung und Erweiterung der 2008 Web-RR Meta-Analyse

(mit Katja-Lozar Manfreda, U Ljubljana)– Moderatoren der Reliabilität von Survey-Items

(mit GESIS Team Messinstrumente)– Moderatoren der Repräsentativität von Befragungen

(mit Carina Cornesse, U Manheim, GIP A8)– Studienqualitätsbewertungssysteme (Study DIAD, GRADE)

(mit Kai Becker, FU Bozen)– Nonresponse Bias & SO-Variablen

(Erweiterung von Groves & Peytcheva, 2008)• Quasi-experimentelle Studie:

Repräsentativität von Panel-basierten Daten: Probabilistisch vesus nicht-probabilistische Panels im Vergleich(GESIS Panel gemeinsam mit Team GIP, A8 Projekt)



Projektberatung


Survey Operations´



Lehre, Wissensvermittlung, Nachwuchsförderung

• Universitäre Lehre• Angebote der Teamleitung:

• Systematische Übersichtsarbeiten und Meta-Analyse (Einführungs- und Fortgeschrittenenkurse, z.B. ´Meta-Analyse mit R´)

• Survey Operations / Survey Implementation• Team-Mitglieder mit Habilitationsabsicht sollen ihre Expertise in

eigenen Lehrveranstaltungen einbringen• GESIS Wissensvermittlung

Alle Teammitglieder beteiligen sich aktiv an Veranstaltungen (Workshops, Summer Schools) zu SO-Themen• Ideenbörse für Qualifikationsarbeiten,

verbunden mit Betreuungsangebot

DiskussionSHARE-Bedarfe: • Intervierschulung durch GESIS (und

Zertifizierung)?• Muster-Curriculumsentwicklung mit GESIS (und

Akkreditierung)?• Projektspezifische Schulungsbedarfe (mit GESIS)?

SHARE-Beteiligung:• … an der Ausgestaltung standardisierter Inhalte

(GESIS Survey Guidelines)?• … an einem Austausch zu konkreten SO-Inhalten?

Documents

Strategische Ausrichtung des Teams ´Survey Operations´ Prof. Dr. Michael Bosnjak