Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Professionalisierung durch Prozess-Standardisierung? Definition des Evaluationsprozesses im DAAD
Session A1: Professionalisierung von Evaluation in Kultur und Auswärtiger
Kultur- und Bildungspolitik
Dr. Martin Bruder
Jahrestagung der DeGEval und SEVAL Zürich, 11. September 2014
1
Überblick
2
Der DAAD: Stakeholder und Netzwerk
Prozess-Standardisierung
Kontext Organisationsentwicklung
Vorgehen
Schritte des Evaluationsprozess
Vertiefend: Management Response-Prozess
Fragen und Diskussion
Überblick
3
Der DAAD: Stakeholder und Netzwerk
Prozess-Standardisierung
Kontext Organisationsentwicklung
Vorgehen
Schritte des Evaluationsprozess
Vertiefend: Management Response-Prozess
Fragen und Diskussion
Drei strategische Handlungsfelder
4
WISSEN FÜR WISSENSCHAFTS-KOOPERATIONEN
WELTOFFENE STRUKTUREN
STIPENDIEN FÜR DIE BESTEN
Stipendien für die Besten vergeben, damit sich künftige Fach- und Führungskräfte an den besten Orten qualifizieren, sich auf verantwortliches Handeln vorbereiten und dauerhafte Verbindungen in die ganze Welt schaffen.
Weltoffene Strukturen schaffen, damit Hochschulen kooperieren, um die Qualität von Forschung und Lehre zu verbessern und mit starken Partnern den Herausforderungen der Zukunft zu begegnen. damit mehr Menschen über Grenzen gehen, erfolgreich studieren und forschen. damit Deutsch eine wichtige Kultur- und Wissenschafts- sprache bleibt. damit Hochschulen zu Entwicklung beitragen und Brücken über Grenzen und Konfliktlinien schlagen.
Wissen für Wissenschaftskooperationen bereitstellen, damit Wissenschaft und Politik gut informiert entscheiden und gestalten können.
Stakeholder: Deutsche Hochschulen und Studierendenschaften
5
Der DAAD ist eine Selbst- verwaltungsorganisation der deutschen Hochschulen
239 Mitgliedshochschulen
121 Studierendenschaften
Stakeholder: Ausländische Projektpartner
6
Stakeholder: Geförderte Einzelpersonen
7
4.602 IN
41.586 OUT
Nord-Süd- und Westeuropa
2.087 IN
5.339 OUT
Nordamerika
7.425 IN
3.243 OUT
Lateinamerika Afrika/Subsahara
4.481 IN
1.798 OUT
Nordafrika/Naher und Mittlerer Osten
Mittel- und Osteuropa/GUS
Asien/Australien/Ozeanien
16.048 IN
9.745 OUT
8.489 IN
6.003 OUT
6.961 IN
2.099 OUT
50.093 Ausländer
69.813 Deutsche *einschl. EU-Programme Stand 2013
Stakeholder: Deutsche und ausländische Geldgeber
8
Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung: 40 Mio. EUR = 9 %
Europäische Union: 60 Mio. EUR = 14 %
Sonstige Geldgeber: 45 Mio. EUR = 11 %
Auswärtiges Amt: 181 Mio. EUR = 43 %
Bundesministerium für Bildung und Forschung:
101 Mio. EUR = 23 %
430 Mio. EUR
Zahlen 2013 (Ist)
Sonstige
EU
BMZ BMBF
AA
Gesamt:
Netzwerk: Außenstellen und Informationszentren
9
Buenos Aires Santiago de Chile
São Paulo
Bogotá
Caracas San José
San Francisco
Toronto
Rio de Janeiro
Mexiko-Stadt
New York
London
Brüssel Paris
Riga Minsk
Kiew Warschau
Prag
Rom Bukarest
Nowosibirsk
Budapest
Madrid
Tunis
Accra Yaoundé
Nairobi
Athen Belgrad Istanbul
Ankara
Addis Abeba
Ostjerusalem Abu Dhabi
Amman
Eriwan
Erbil
Tiflis Almaty Baku
Teheran
Bischkek Taschkent
Duschanbe Islamabad Kabul
Pune Chennai
Neu Delhi
Tokio Peking
Shanghai
Seoul
Taipei Hongkong
Guangzhou
Hanoi
Bangkok Ho-Chi-Minh-Stadt
Kuala Lumpur Singapur
Sydney
Informationszentren
Außenstellen, Zentrale und Hauptstadtbüro
Bonn Berlin
Johannesburg
Kairo
Jakarta
Tel Aviv
St. Petersburg Moskau
Kasan
Zentrale in Bonn/Büro Berlin plus Netzwerk: ca. 900 Mitarbeiter
Überblick
10
Der DAAD: Stakeholder und Netzwerk
Prozess-Standardisierung
Kontext Organisationsentwicklung
Vorgehen
Schritte des Evaluationsprozess
Vertiefend: Management Response-Prozess
Fragen und Diskussion
Organisationsentwicklung: Kontext
11
Durchführung gemeinsam mit Unternehmensberatung Kienbaum Management Consultants GmbH
Ziel: Analyse, Neukonzeption und Umsetzung einer optimierten Organisationsstruktur
Organisationsentwicklung: Verfahren der Prozessoptimierung
12
Prozesslandkarte erarbeiten
Schlüsselprozesse auswählen
Ist-Prozesse aufnehmen
Soll-Prozesse in der neuen Aufbauorganisation definieren
Organisationsentwicklung: Verfahren der Prozessoptimierung
13
Prozesslandkarte erarbeiten
Schlüsselprozesse auswählen
Ist-Prozesse aufnehmen
Soll-Prozesse in der neuen Aufbauorganisation definieren
Organisationsentwicklung: Verfahren der Prozessoptimierung
14
Prozesslandkarte erarbeiten
Schlüsselprozesse auswählen
Ist-Prozesse aufnehmen
Soll-Prozesse in der neuen Aufbauorganisation definieren
Organisationsentwicklung: Verfahren der Prozessoptimierung
15
Prozesslandkarte erarbeiten
Schlüsselprozesse auswählen
Ist-Prozesse aufnehmen
Soll-Prozesse in der neuen Aufbauorganisation definieren
Klärung des Prozessablaufs
Klärung der Verantwortlichkeit/Art der Beteiligung verschiedener interner und externer Akteure
Reflexion der Prozesse hinsichtlich Optimierungspotential
Überblick
16
Der DAAD: Stakeholder und Netzwerk
Prozess-Standardisierung
Kontext Organisationsentwicklung
Vorgehen
Schritte des Evaluationsprozess
Vertiefend: Management Response-Prozess
Fragen und Diskussion
Schritte des Evaluationsprozesses
17
1. Programmkonzeption
2. Jährliche Evaluationsplanung
3. Ausschreibung und Vergabe
4. Auftragsklärung und Auftragsdurchführung
5. Berichtslegung und Veröffentlichung
6. Management Response/Lernen aus Evaluationen
Programmkonzeption
18
Gemeinsam mit dem Geldgeber sollte die Umsetzung der in der Bundeshaushaltsordnung vorgesehenen abgestuften Erfolgskontrolle programmspezifisch geplant werden (VV von 2006 zu den §§ 23 und 44 der BHO)
Programmlogik ausformulieren Ziele kontextangemessen definieren Realistische Berichts- und Überprüfungszeiträume für Outputs,
Outcomes und Impacts festlegen Offenheit für Unerwartetes/Anpassungen der Programmziele
bewahren (z.B. geopolitische Lage) Einbindung des Evaluationsreferats in die Programmkonzeption Momentan Pilotphase im Förderbereich des BMZ (unterstützt von
Syspons GmbH)
Jährliche Evaluationsplanung
19
Gemeinsam mit den programmführenden Referaten sollte eine budgetär realistische und inhaltlich angemessene Planung der anstehenden Evaluationen stattfinden
Evaluationsplanung gemeinsam mit der Jahresplanung der programmführenden Referate zum Jahreswechsel
Mindestanforderung für alle Programme mit einem jährlichen Programmvolumen von über 250.000 Euro oder einer Gefördertenzahl von über 1.000 Personen pro Jahr: erstmalige Evaluation nach 5 Jahren sowie im Anschluss mindestens alle 10 Jahre
Erstmals 2015: Workshop für alle Arbeitseinheiten, die eine Programmevaluation durchführen
Ausschreibung und Vergabe
20
Der DAAD beauftragt jährlich ungefähr
1-2 programmübergreifende oder ein Programm längerfristig begleitende Evaluationen
1-3 Studien zu programmübergreifenden strategischen Fragen
5-8 Programmevaluationen (i.d.R. Zwischenevaluationen)
8-12 Projektevaluationen
Ausschreibung und Vergabe
21
Anforderung: Vergaberechtskonforme Auftragsvergabe Zukünftig formale Vergabeaspekte über zentrale Service-Einheit
organisiert Anforderung: Optimale inhaltliche Abstimmung Vergabeverfahren: häufig freihändige Vergabe nach
Teilnahmewettbewerb Begründung gem. § 3 Abs. 5 lit. h VOL/A: die Leistung kann nicht so
eindeutig und erschöpfend beschrieben werden, dass hinreichend vergleichbare Angebote erwartet werden können.
Andererseits sind die Details des Programms den potentiellen Auftragnehmer nicht bekannt und Abweichungen vom Ausschreibungstext werden ggf. als riskant betrachtet
Abstimmung in anspruchsvollen Evaluationsverfahren schwierig
Auftragsklärung und Auftragsdurchführung
22
Bessere Strukturierung der Auftragsklärungs-Phase (inception phase)
Stärkere Einbindung der Geldgeber
Beratungs-/Steuerungsgremium im DAAD nur bei EU-weit ausgeschriebenen Evaluationen (i.d.R. nur Programmbereichs-Evaluationen)
Berichtslegung und Veröffentlichung
23
Stärkere Standardisierung der Berichtsformate von Programmevaluationen, um effiziente Veröffentlichung zu ermöglichen
Prozess der Entscheidung hinsichtlich Veröffentlichung ist im Evaluationskonzept definiert Prozessdefinition unterstützt die konsequente Umsetzung
Veröffentlichung wird im Einzelfall unter Berücksichtigung berechtigter Interessen der beteiligten Stakeholder entschieden
Überblick
24
Der DAAD: Stakeholder und Netzwerk
Prozess-Standardisierung
Kontext Organisationsentwicklung
Vorgehen
Schritte des Evaluationsprozess
Vertiefend: Management Response-Prozess
Fragen und Diskussion
Management Response: Ausgangssituation
25
Management Response: Online-Evaluationsreport
26
Zusätzliche Erfassung der Evaluationsergebnisse über einen Online-Fragebogen
Ziele:
Vollständige und vergleichbare Dokumentation von Evaluationsverfahren
Einheitlich strukturierter Startpunkt für Management Response-Prozess
Verbesserung der Möglichkeit von Meta-Evaluationen und zusammenfassenden Darstellungen von Evaluationsergebnissen
Einholung von Feedback von Auftragnehmern
Online-Evaluationsreport: Startseite
27
Online-Evaluationsreport: Organisatorische Rahmendaten zur Evaluation
28
Vollständiger Name des Evaluationsinstituts Kontaktdaten des Auftragnehmers Ansprechpartner auf Seiten des Auftragnehmers Projektleiter auf Seiten des Auftragnehmers Weitere Projektmitarbeiter Beteiligte Referate im DAAD Ansprechpartner im DAAD Geldgeber des Programmes Beginn der Evaluation Datum der Abnahme des Evaluationsberichts Finanzieller Umfang der Evaluation (netto)
Online-Evaluationsreport: Informationen zum evaluierten Programm
29
Titel des evaluierten Programmes Art des Programmes (Individualförderung/Projektförderung) Zielgruppe der Förderung (Studierende aus In- und Ausland/Graduierte
aus In- und Ausland/Doktoranden aus In- und Ausland/Wissenschaftler, Hochschullehrer aus In- und Ausland/Hochschulen im In- und Ausland/Sonstiges)
Beschreiben Sie bitte kurz die zentralen Ziele des Programmes Handelt es sich um die erste extern durchgeführte Evaluation (oder
Studie) zu diesem Programm? Falls nein: Name der Firma/des Instituts, der bereits durchgeführten
Evaluation + Publikationsjahr des Abschlussberichts der Evaluation
Online-Evaluationsreport: Zusammenfassung des Evaluationsvorhabens
30
Kurzfassung des Evaluationsberichts
Online-Evaluationsreport: Methoden der Evaluation
31
Welche Sekundärdaten bzw. Dokumente haben Sie für diese Evaluation analysiert?
Welche (Personen-)Gruppen wurden mit quantitativen Methoden befragt?
Aktuelle Stipendiaten; Alumni des Programms; Aktuelle Projektleiter; Ehemalige Projektleiter; Mitarbeiter/Leiter von Hochschulen oder Forschungseinrichtungen; Mitarbeiter von Ministerien oder Botschaften; Mitarbeiter von Unternehmen; Lehrer und Kursleiter; Mitglieder von Auswahlkommissionen; Mitarbeiter der DAAD-Außenstellen/ICs; Sonstige Personengruppen
Mit welchen (Personen-)Gruppen wurden qualitative Interviews durchgeführt?
Ergänzende Angaben zu Datenquellen und Methoden
Online-Evaluationsreport: Zentrale Ergebnisse
32
Wie viele Personen haben an der Befragung teilgenommen? Aktuelle Stipendiaten/Geförderte Alumni Aktuelle Projektleiter Ehemalige Projektleiter Mitarbeiter/Leiter von Hochschulen oder
Forschungseinrichtungen Mitarbeiter von Ministerien oder Botschaften Mitarbeiter von Unternehmen Lehrer und Kursleiter Mitglieder von Auswahlkommissionen Mitarbeiter der DAAD-
Außenstellen/Informationsbüros
■ Ergebnisse für genannte Gruppen: ■ Gesamtzufriedenheit mit dem
Programm ■ Zufriedenheit mit der
Kooperation/Betreuung durch den DAAD Sehr zufrieden Zufrieden Teils teils Unzufrieden Sehr unzufrieden Nicht abgefragt
■ (Weitere) relevante empirische Befunde der quantitativen und qualitativen Befragungen (insofern diese nicht schon in der Executive Summary genannt sind)
Online-Evaluationsreport: Übergreifende Bewertung
33
Folgendes ist zu bewerten (angelehnt an Notenskala von 1 bis 6):
Beitrag, den das Programm zur individuellen Mobilität hervorragender Studierender und Wissenschaftler leistet
Beitrag, den das Programm zur Internationalisierung der deutschen Hochschulen leistet Beitrag, den das Programm zu Wissen über die Strukturen der deutschen
Hochschulkooperationen und wissenschaftlichen Systeme weltweit leistet Bewertung des Programmes nach den Kriterien
Relevanz Effektivität Effizienz Nachhaltigkeit
Gesamtbewertung für das Programm Erläuterungen zur Bewertung
Online-Evaluationsreport: Zusammenarbeit mit dem DAAD
34
Bewertung
des Vergabeprozesses
der Zusammenarbeit mit dem programmführenden Referat
der Zusammenarbeit mit dem Referat „Evaluation und Statistik“
Online-Evaluationsreport: Empfehlungen
35
Auflistung aller Empfehlungen
Empfehlung im Wortlaut
Adressat der Empfehlung
Management Response
36
Informationen aus Online-Evaluationsreport gehen in den Management Response-Prozess ein
Vereinfachte Erstellung von Kurzfassung der Evaluationsergebnisse für Leitungsgremien
Basis für Umsetzungsplanung
Lernen aus Evaluationen/ Meta-Evaluationen
37
Überblick
38
Der DAAD: Stakeholder und Netzwerk
Prozess-Standardisierung
Kontext Organisationsentwicklung
Vorgehen
Schritte des Evaluationsprozess
Vertiefend: Management Response-Prozess
Fragen und Diskussion
Professionalisierung durch Prozess-Standardisierung?
39
Der Prozess der Prozess-Standardisierung ist eine Lerngelegenheit, die dabei hilft die eigenen Prozesse gemeinsam mit allen Beteiligten kritisch zu
reflektieren und dadurch die Evaluierungsexpertise in der Organisation in der Breite zu stärken
eine gemeinsame Verantwortlichkeit für die neuen Prozesse zu schaffen und sie fest in der Prozess-Struktur der Organisation zu etablieren
den Vergleich mit Peers zu suchen und gute Beispiele zu adaptieren Standardisierte Prozesse setzen (im besten Fall) gute Praxis
konsistent um und tragen somit zur Qualität und (zeit-)effizienten Durchführung von Evaluationsprozessen bei
Professionalisierung durch Prozess-Standardisierung?
40
Prozess-Standardisierung birgt (möglicherweise) dadurch Probleme, dass
die Weiterentwicklung auf anderen Ebenen weniger Aufmerksamkeit erhält (z.B. Entwicklung tragfähiger Indikatoren, Verbesserung der Datengrundlage)
untypische Einzelfälle nicht angemessen abgebildet werden
die resultierende Prozess-Routine den Blick auf spezielle Anforderungen eines Evaluationsprozesses (z.B. Einbindung wissenschaftlicher Expertise) verdeckt
41
Danke für Ihre Aufmerksamkeit Martin Bruder Referat „Evaluation und Statistik“ 0228-882-859, [email protected] Deutscher Akademischer Austauschdienst (DAAD) Kennedyallee 50 53175 Bonn www.daad.de
© M
icha
el J
orda
n