Upload
others
View
3
Download
0
Embed Size (px)
Citation preview
Wirkungsevaluation mit Augenmaß Analyseansätze und Beispiele gelungener Wirkungsberichterstattung
Präsentation im Rahmen des DZI Spenden-SiegelFORUM 2015 in Berlin
Dr. Stefan Silvestrini Geschäftsführer der CEval GmbH
DZI, Berlin, 18. Mai 2015
Gliederung
Wirkungsevaluation – eine kurze Einführung Begriffsbestimmung Evaluation
Ziele und Ablauf von Evaluationen
Wirkungsorientierung und Ansätze zur Wirkungsevaluation
Voraussetzungen für eine valide und reliable Wirkungsmessung Hypothesengeleitete Vorgehensweise
Triangulation
Partizipative Vorgehensweise
Beispiele von Wirkungsevaluationen und guter Wirkungsberichterstattung Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
2 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Wirkungsevaluation – eine kurze Einführung
3 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Begriffsbestimmung Evaluation
An (sozial-)wissenschaftlichen Standards ausgerichtete systematische Untersuchung und Bewertung von Organisationen und Projekten/Programmen
Anwendung empirischer Methoden zur Informationsgewinnung
Bewertung anhand offengelegter, intersubjektiv nachprüfbarer Kriterien
Allgemein: Bewertung des Nutzens eines Objekts Organisationen
Strukturen & Prozesse
Maßnahmen, Projekte, Programme
Politiken/Strategien, Sektoren, Länder
Generierung steuerungsrelevanter Informationen
4 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Ziele von Evaluation
Grundfragen Primäre Zielsetzung Festlegung der Bewertungskriterien Leistungen der Evaluation Verantwortlichkeiten Methodische Herangehensweise
5
Erkenntnis
Lernen
Kontrolle
Legitimation
Evaluation
Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Ablauf von Evaluationen
6
Klärung der Ziele, Adressaten und weiteren
Stakeholder der Evaluation
Entwicklung eines Datenerhebungsplans:
Formulierung der Evaluationsfragen und zu
überprüfenden Hypothesen
Indikatorenentwicklung
Identifikation der Datenquellen
Entwicklung eines Untersuchungsdesigns und der
Erhebungsinstrumente
Datenerhebung und Überprüfung der Datenqualität
Datenaggregation und -analyse
Reporting:
Interpretation der Untersuchungsergebnisse
Ableitung von Schlussfolgerungen und
Empfehlungen
Daten verfügbar?
Ja
Nein
Ja
Nein Daten ausreichend?
Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Wirkungsorientierung
Nicht Planung und Umsetzung (Prozesse) stehen im Vordergrund sondern erzielte Ergebnisse und direkte Wirkungen
Fokus liegt auf Identifikation erzielter Ergebnisse und darauf wie (durch was) diese Ergebnisse zustande kamen
Wichtig: Erfassung der Nettowirkungen! Beobachtbare intendierte Veränderungen + Beobachtbare nicht-intendierte Veränderungen = Bruttowirkungen – intervenierende Faktoren – Design-Effekte = Nettowirkungen
7 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
‚Berechnung‘ der Nettowirkungen
8
Indikator „I“ Intervention
t1 Erhebungszeitpunkt t2
Differenz von I zwischen Ziel- und Vergleichsgruppe
nach Interventions-teilnahme (t2)
t0
Differenz von I zwischen Ziel- und Vergleichsgruppe vor
Interventionsteilnahme (t0)
Mittelwert von I für die Zielgruppe
Mittelwert von I für die Vergleichsgruppe
Geschätzter kontrafaktischer Mittelwert von I für die Zielgruppe
Nettowirkung
Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Wirkungsevaluationsansätze
Wissenschaftlich orientierte Ansätze (Auswahl)
Experimentelle Designs (Randomized Control Trial)
Quasi-experimentelle Untersuchungsdesigns
Regression Discontinuity Design
Strukturgleichungsmodellbasierte Designs
Zeitreihendesigns
Pipeline-Designs
Problem: Hohe Anforderungen an Methodenkompetenz, Ressourcenintensiv, setzen z.T. bestimmte Programmkonzeptionen voraus
Praxisorientierte Ansätze (Auswahl)
Participatory Impact Monitoring
Method for Impact Assessment of Programs and Projects
Most Significant Change
Problem: Mangelnde Validität der Ergebnisse, erlauben i.d.R. keine eindeutige Wirkungsattribution, Gefahr subjektiver Bewertungsergebnisse
9 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Regression Discontinuity Design I
10 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
6 6+ 5- 5 5+ 4- 4 4+
Notenverteilung der ersten Klassenarbeit
3- 3 3+ 2- 2 2+ 1- 1
Schwellwert
L L L L L K K K K K K K K
J J J J J 6
6+
5-
4-
4
4+
3-
3
2-
2
2+
5
5+
1-
3+
1 Notenverteilung der zweiten Klassenarbeit
L
L
K
K
K K
K
J
J
K
K K
K
K
J
J
J
J
Differenz an der Schnittstelle der Regressionsgeraden
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Regression Discontinuity Design II
Möglich bei Programmen bei denen die Teilnahme von einem bestimmten Schwellwert abhängt (z.B. aktuelles Einkommen bei Förderprogram zur Einkommenssteigerung)
Vergleich der Wirkungsindikatoren von ZG- und VG-Mitgliedern, deren Werte sehr nah an dem Schwellwert liegen
Verfahren erlaubt nur Identifikation von lokalen Effekten des Programms in der Nähe des Schwellwerts
Bei nicht linearen Regressionsfunktionen Gefahr der Fehlinterpretation von Kurvensteigerungen als Wirkung
11 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Voraussetzungen für eine valide und reliable Wirkungsmessung
12 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Hypothesengeleitete Vorgehensweise
13 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Analyse der dem Programmkonzept zugrundeliegenden Wirkungsannahmen
Rekonstruktion des Wirkungsmodells unter Berücksichtigung externer Einflussfaktoren
Überprüfung der Plausibilität der Ursache-Wirkungsbeziehungen
Messung der in den Wirkungsfeldern beobachtbaren Veränderungen
Zuordnung der Veränderungen zu den Programmmaßnahmen oder alternativen Erklärungsansätzen
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Triangulation
Datentriangulation
Gewinnung von Informationen zu gleichen Fragestellungen aus unterschiedlichen Datenquellen
Ziel: Verminderung von quelleninduzierten Verzerrungseffekten
Wichtig: Daten müssen unterschiedlichen Ursprungs sein
Methodentriangulation
Gewinnung von Informationen zu gleichen Fragestellungen mit unterschiedlichen Methoden
Ziel: Verminderung von methodenspezifischen Verzerrungseffekten
Wichtig: Kombination qualitativer und quantitativer Methoden
Forschertriangulation
Gewinnung, Analyse und Interpretation von Daten durch mehrere Forscher
Ziel: Verminderung von forscherinduzierten Verzerrungseffekten, Erhöhung der Objektivität
Wichtig: Kombination möglichst unterschiedlicher Expertisen
14 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Partizipative Vorgehensweise
Zielsetzung Verbesserung der Transparenz und Nachvollziehbarkeit
der Evaluationsergebnisse
Gewährleistung der Akzeptanz der Ergebnisse
15 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Evaluierende Evaluierte
Informieren im Vorfeld über Ziele und Vorgehensweise
Tragen zur Operationalisierung des Untersuchungsgegenstands bei
Geben kontinuierlich Rückmeldung zur Umsetzung
Geben Zugang zu Informationsquellen bzw. stellen Infos zur Verfügung
Informieren über die Ergebnisse der Evaluation
Liefern Hinweise zur Interpretation und Bewertung der Ergebnisse
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Beispiele von Wirkungs-evaluationen und guter Wirkungsbericht-erstattung
16 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Fairtrade Wirkungsstudie I
Ziel der Evaluation
Vollständige Wirkungserfassung
Ermöglichung einer kausalen Ursachenzuschreibung
Zu überprüfende Wirkungshypothese: „Fairtrade hat positive Auswirkungen auf die ländliche Entwicklungen und trägt damit zur Armutsbekämpfung bei.“
Herausforderungen
Identifikation von Wirkungen auf drei Ebenen: Individuum, Organisation, Gemeinde
... und in fünf lebensweltlichen Bereichen: Soziale Strukturen, sozio-ökonomische Situation der Arbeiter und Kleinbauern, Organisation ländlicher Regionen, lokale und nationale Entwicklung, Umgang mit natürlichen Ressourcen
Verschiedene Produktgruppen, Länder, soziokulturelle Rahmenbedingungen, Produzentenorganisationen
17 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Fairtrade Wirkungsstudie II
Quasi-experimentelles Design
18 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
ZIELGRUPPE
Fairtrade-zertifizierte
Produzentenorganisation
+ Dörfer
VERGLEICHSGRUPPE
nicht-Fairtrade zertifizierte
Produzentenorganisation
+ Dörfer
Systematischer Vergleich
Systematischer Vergleich VORHER NACHHER
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Fairtrade Wirkungsstudie III
Hypothesengeleiteter Multi-Methoden-Ansatz
Anwendung des Lebensverlaufs-, Innovations-, Organisationsmodell
Daten-, Methoden- und Forschertriangulation
Qualitative Daten 128 Leitfadengestützte Interviews auf allen Ebenen
32 Gruppendiskussionen
11 teilnehmende Beobachtungen
Quantitative Methoden 6 standardisierte Erhebungen mit Farmern und Arbeitern
3750 beantwortete und auswertbare Fragebögen
Blumen-, Tee-, Kaffee-, Bananen-, Kakao- und Baumwollsektor
19 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Fairtrade Wirkungsstudie IV
20 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Soziale Strukturen
Forschungsfeld
Bildung
Gender
Unterthemen
Anzahl der Frauen in Führungspositionen
Messbare Indikatoren
Fehltage der Schüler
Aktive Partizipation von Frauen in lokalen Institutionen
Malariaverbreitung
Anzahl der Ärzte
Anzahl der Kinder, die auf eine weiterführende Schule gehen
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Fairtrade Wirkungsstudie V
21 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Anzahl der Ärzte Anwesenheit der
Schüler
Aktive Partizipation von Frauen in öffentlichen
Institutionen
Literatur- und Dokumentenanalyse
Experteninterviews
Leitfadengestützte Interviews
Standardisierte Befragungen
Gruppendiskussionen
Teilnehmende Beobachtungen
Daten-, Methoden- und Forschertriangulation
Erhoben durch:
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
World Vision Wirkungsbericht I
Zielsetzung Darstellung der Beiträge der von World Vision geförderten
Projekten an möglichen positiven wie negativen Veränderungen in den Projektregionen
Generierung von Wissen über die Funktionsweise und Wirksamkeit der Vorhaben
Förderung von Lernprozessen bei Zielgruppen, Partnern und World Vision
Rechenschaftslegung
Stärkung der Handlungsfähigkeit der Partner und Zielgruppen
22 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
World Vision Wirkungsbericht II
23 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
LEAP Zyklus
© World Vision 2014
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
World Vision Wirkungsbericht III
24 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Ermittlung der Gesamtwirkungsbilanz
Entwicklung plausibler Wirkungszusammenhänge
© World Vision 2014
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
World Vision Meta-Evaluation
25 Silvestrini: Wirkungsevaluation mit Augenmaß, DZI Spenden-SiegelFORUM 2015, Berlin
Aufgabe
Analyse und Bewertung von 34 Evaluationsberichten hinsichtlich ihrer Qualität und Aussagekraft zu den Untersuchungsfragestellungen
Ableitung von Empfehlungen zu Design und Umsetzung zukünftiger Evaluationen
© World Vision 2014
Einführung
Begriffsbestimmung
Ziele und Ablauf
Ansätze
Voraussetzungen
Hypothesengeleitete Vorgehensweise
Triangulation
Partizipation
Beispiele
Fairtrade Wirkungsstudie
World Vision Wirkungsbericht
Vielen Dank für Ihre Aufmerksamkeit!