View
214
Download
0
Category
Preview:
Citation preview
1 Developmental Evaluation in Aktion
Evaluation und Organisationsberatung Evaluation and Organisational Development
Dr. Maria Gutknecht-Gmeiner 13. September 2013
„Developmental Evaluation in Aktion“ Erfahrungen mit Pattons Ansatz zur Bewältigung von Unsicherheit und Komplexität
DeGEval Jahrestagung 2013, Workshop D1
2 Developmental Evaluation in Aktion
„Was Sie erwartet“ oder das Präsentations-Dilemma
Inhalte - traditionell ◼ Beschreibung des Evaluationsgegenstands: in diesem Fall der neue
Ausbildungsschwerpunkt CSM
◼ Beschreibung der Evaluation: Design/Methoden, Umsetzung
◼ Reflexion der Evaluation, Erkenntnisse, offene Fragen, Diskussion
Verfügbare Zeit?
-- Erfahrungen reflektieren an einem Beispiel
3 Developmental Evaluation in Aktion
Innovative Projekte: Kennzeichen
◼ Neuland
◼ Komplexe und relevante Probleme
◼ Allgemein gehaltene Ziele
◼ Relativ hohe Unsicherheit
◼ Projekte entwickeln sich im Prozess
◼ Engagement und Expertise der Umsetzenden
◼ („schwieriges“ Umfeld)
4 Developmental Evaluation in Aktion
Erste Reflexion
Was bedeuten diese Voraussetzungen für die Evaluation?
◼ Hoher Bedarf an (expliziter) Definition und Operationalisierung
◼ Notwendigkeit die Evaluation an die Entwicklung des Projekts anzupassen
◼ „Etappenweise“ Evaluation – Zweck der Evaluation: Formative? Summativ?
◼ Stark evaluative Vorgansweise der Projekte – Rolle der EvaluatorInnen?
-- Developmental Evaluation nach Patton
(aka „evolutive Evaluation“)
5 Developmental Evaluation in Aktion
Definition „Developmental Evaluation“
Evaluation, die
„speziell auf die Bewertung von Innovationen
in komplexen dynamischen Umfeldern abzielt,
in denen innovative Interventionen
eine ständige Anpassung
unter von hoher Unbeständigkeit und Unsicherheit geprägten Rahmenbedingungen erfordern“
Michael Patton, EVALTALK, 23.8.2011, s. auch Patton 2008 und 2010
6 Developmental Evaluation in Aktion
Merkmale der Developmental Evaluation (DE)
◼ Fokus auf Entwicklung (versus Verbesserung, Rechenschaft oder summative Bewertung)
◼ Findet in einem komplexen, dynamischen Umfeld statt ◼ Feedback ist zeitnah (so “Echtzeit” wie möglich). ◼ Die/der EvaluatorIn arbeitet mit den Programmumsetzenden zusammen,
um neue Ansätze zu konzipieren, zu designen und zu testen in einem langfristigen, andauernden Prozess der Anpassung, bewussten Veränderung und der Entwicklung.
◼ Die/der EvaluatorIn kann Teil des Interventionsteams sein ◼ Die wichtigsten Aufgaben der Evaluatorin sind:
Innovation sowie Anpassungsprozesse beleuchten und erklären; ihre Implikationen und Ergebnisse nachverfolgen & den Entscheidungsprozess ständig, datenbasiert & in “Echtzeit” zu unterstützen.
◼ DE wird Teil der Intervention. ◼ Kein “Modell” – eine Herangehensweise
7 Developmental Evaluation in Aktion
CSM: Hintergründe
◼ Geschlechtsspezifische Segregation der beruflichen Bildung in Sekundarstufe II in Ö ◼ „HTL“ – technische Schulen: Burschen
◼ „HLW“ – wirtschaftsberufliche Schulen: Mädchen
◼ Starre Schultypen
◼ Kaum Veränderung der Geschlechterzusammensetzung bei SchülerInnen in HTL trotz langjähriger Bemühungen ◼ Konzept: „Mädchen in die Technik bringen“
◼ ABER: kritische Masse nicht erreicht
◼ 2011/12 ◼ HTL (im engeren Sinn): Mädchen 12,7%
◼ HLW: Mädchen 90,3%
8 Developmental Evaluation in Aktion
CSM: Lösungsansatz
Konzept „Computer-Science-Management“ (CSM)
◼ „Technik zu den Mädchen bringen“
◼ Technische Ausbildung an einer typischen „Mädchenschule“
◼ Breite hybride Ausbildung: IT, Nawi, Sprachen, Wirtschaft
◼ Propädeutischer Ansatz durch Kooperation mit technischer Fachhochschule
9 Developmental Evaluation in Aktion
Komplexität
Gewissheit
Übe
rein
stim
mun
g
Nahe zu Fern von
Fern
von
N
ahe
zu
Einfach Planen, kontrollieren
Zone der Komplexität
Technisch kompliziert Experimentieren, Expertise koordinieren
sozial kompliziert Beziehungen pflegen, eine gemeinsame Basis aufbauen
10 Developmental Evaluation in Aktion
Merkmale CSM: Komplexität
Zone der Komplexität
Gewissheit
Übe
rein
stim
mun
g
Nahe zu Fern von
Fern
von
N
ahe
zu
Einfach Planen, kontrollieren
Technisch kompliziert Experimentieren, Expertise koordinieren
sozial kompliziert Beziehungen pflegen, eine gemeinsame Basis aufbauen
Einzigartiges Curriculum
Neuartige Kooperationen
Zielgruppe ansprechen?
Schultypen Systemmerkmal
Lehrplan NEU OE & PE
11 Developmental Evaluation in Aktion
5 Funktionen von DE
1. Laufende Entwicklung unterstützen
2. Wirksame Prinzipien an einen neuen Kontext anpassen
3. Rasche ReakBonen in turbulenten Katastrophen(arBgen)-‐SituaBonen unterstützen
4. Prä-‐formaBve Entwicklung von potenBell übertrag-‐ und skalierbaren InnovaBonen
5. Umfassende Veränderungen im System
12 Developmental Evaluation in Aktion
Vorgehensweise 1
Explorative Vorstudie ab 2008 während der Entwicklung von CSM
◼ 36 qualitative Interviews mit der Zielgruppe, d.h. Mädchen mit nawi/technischem Interesse, vor und nach der Bildungsentscheidung mit 15
◼ Fragestellung: Eignung des Konzepts für gesamte Ausbildungsphase (Wahl bis Abschluss), relevante Prägungen vor Ausbildungswahl
Teilnahme der Evaluatorin an Sitzungen der Steuerungsgruppe seit erster Sitzung 2008, laufende Datenerhebung/aufbereitung & Berichterstattung
13 Developmental Evaluation in Aktion
Vorgehensweise 2
Ab 2010/11 (Beginn der Ausbildung): begleitende Evaluationen (3)
◼ 3 Zyklen: Jahr 1, Jahr 2, Jahr 3
◼ Durchgängige Schwerpunkte ◼ Eignung des Konzepts, (Erreichung der) Zielgruppe, Umsetzung
◼ Jahresweise Schwerpunkte, pro- oder reaktiv an Entwicklungen angepasst ◼ Z.B. Individualisierung, gendergerechter Unterricht, IT-Unterricht, Sicht der Wirtschaft,
gendergerechte Fachdidaktik IT
◼ Weiter Teilnahme der Evaluatorin an Sitzungen der Steuerungsgruppe, laufende Datenerhebung/aufbereitung & Berichterstattung
14 Developmental Evaluation in Aktion
Programmbaum (Beywl) als Modell für die Einordnung der Fragestellungen
◼ Incomes
◼ Konzept
◼ Umsetzung, Zwischenergebnisse
◼ Input/Struktur; Kontext; erste Auswirkungen auf Beteiligte
Betroffene und Beteiligte („360°“)
◼ SchülerInnen
◼ Lehrkräfte
◼ Management der beteiligten Institutionen
◼ Eltern
◼ VertreterInnen der Wirtschaft und KooperationspartnerInnen
◼ (Schulaufsicht)
Design & Methoden 1
15 Developmental Evaluation in Aktion
Design & Methoden 2
Mixed methods, Triangulation
◼ Qualitative Interviews mit allen SchülerInnen 1-2x pro Jahr ◼ Gruppendiskussionen und Reflexionen im LehrerInnenteam ◼ Qualitative Beobachtungen im Unterricht ◼ Teilnehmende Beobachtung Tag der offenen Tür ◼ Interviews mit einzelnen LehrerInnen (KV, IT/Nawi-Lehrkräfte) ◼ Interviews und Diskussion mit Eltern, VertreterInnen der Wirtschaft,
KooperationspartnerInnen, ExpertInnen (IT, Lehre)
◼ Umfangreiche Sekundäranalysen, SchülerInnenprofile ◼ Quantitative Befragung am Tag der offenen Tür ◼ Quantitative Befragung aller SchülerInnen aller Jahrgänge 1-2x pro Jahr
◼ Diskussionen und Reflexionen der Steuergruppe, regelmäßige Besprechungen mit Umsetzenden (Management, Lehrkräfte)
qual
quant
16 Developmental Evaluation in Aktion
Spezielle Charakteristika
3 Ebenen
◼ Ebene der Schulverwaltung
◼ Ebene der Institutionen
◼ Ebene der Lehrkräfte
Rollen und Aufgaben der Evaluatorin
◼ Auftragsklärung Erstellung eines Designs, Durchführung Erhebung & Auswertung, Berichterstattung
◼ Teilnahme der Evaluatorin an Sitzungen der Steuerungsgruppe seit erster Sitzung 2008, laufende Datenerhebung/aufbereitung & Berichterstattung
◼ Moderation und Koordination des Entwicklungsteams
◼ Wissenschaftliche Begleitung (Individualisierung, IT-Fachdidaktik), auch Einbindung weiterer ExpertInnen
◼ (((Marketing)))
17 Developmental Evaluation in Aktion
Reflexion 1
◼ Es macht Spaß (wenn man gerne mit engagierten Menschen in innovativen Projekten zusammenarbeitet, gerne immer wieder knifflige Probleme löst und Neues ausprobiert)
◼ Enge Zusammenarbeit mit AuftraggeberIn und Umsetzenden essenziell
◼ Hohes Ausmaß an Interaktion und Kommunikation
◼ Berücksichtigung der Ergebnisse in der Umsetzung und damit hohe Zufriedenheit der Evaluatorin (UFE-Ausrichtung)
◼ Vorbedingungen
◼ Hohes gegenseitiges Vertrauen und sehr gute Arbeitsbeziehung
◼ Anerkennung der Rolle der Evaluatorin
18 Developmental Evaluation in Aktion
Reflexion 2
◼ Außergewöhnlich tiefe Einblicke in den Evaluationsgegenstand, intensive Befassung und umfassende Kenntnis, „wandelndes Archiv“
◼ Abgrenzung der eigenen Rolle immer wieder nötig (strategisch, operativ; emotional)
◼ Unabhängigkeit? v.a. externe Wahrnehmung
◼ 3-Ebenen-Berichterstattung ist Herausforderung: Vertraulichkeit, „Sitzenbleiben“ auf Wissen
◼ Fragestellungen: manche durchgängig, manche nicht; Herausforderung: durchgängige Fragestellungen möglichst rasch erkennen und berücksichtigen, Anhaltspunkte:
◼ Kernziele des Evaluationsgegenstand, Zielgruppe(n), Kernstreitpunkte
Ihre Kommentare, Anregungen, Fragen...
Recommended