Ablauf der Evaluation von Dienstleistungseinrichtungen

Die Besondere Einrichtung für Qualitätssicherung (QS) ist an der Universität Wien für die Organisation des Qualitätsmanagements in folgenden Bereichen zuständig:

• Forschung

• Lehre

• Management und Dienstleistung

Zweistufiges Verfahren „Informed Experts“

Daten, AnalysenIndikatoren (quantitativ)

Selbstevaluationsbericht der DLE

Stufe 1

Stufe 2

„informed Experts“: Besuch vor Ort

Bericht der Experten,Stellungnahmen

Follow-up

Fragenkatalog(qualitativ)

Zweck von Evaluation

• Qualität der Forschung, Lehre und der hierfür benötigten administrativen Unterstützung zu analysieren• Wissenschaftliche Kreativität und Innovationsbereitschaft zu fördern• Entscheidungshilfen bei der mittel- und langfristigen Planung zu erarbeiten• Rechenschaft gegenüber der Öffentlichkeit abzulegen

Primäre Ziele der Evaluation von DLEs und administrativen Einrichtungen

• Analyse und Optimierung des Portfolios der Dienstleistungen

• Analyse und Optimierung einzelner Leistungen (DLE soll und kann eigene Schwerpunkte setzten)

• Einbringen der Perspektive der KundInnen, Optimierung der Serviceorientierung

Langfristige Aspekte der Qualitätssicherungsmaßnahmen

• Systematische Einbeziehung der KundInnenperspektive zur Gestaltung der Dienstleistungsprozesse

• Regelmäßige Beurteilung der Dienstleistungsqualität durch die KundInnen

• Gedanke der stetigen Verbesserung der Dienstleistungen

Zweistufiges Evaluationsverfahren(Informed-Experts-Review Verfahren)

• Selbstevaluation / inklusive NutzerInnenbefragung

• Fremdevaluation

• Follow-Up

• kontinuierliches Monitoring

Ablauf Experten Evaluation

•Informationsphase

•Phase der Berichterstellung

•Vorbereitung Site Visit

•Site Visit

•Berichterstellung

•Follow Up

Informationsphase

Kontaktaufnahme

QS mit

LeiterIn der DLE

Vereinbarung Inhalt:• Struktur des

Selbstevaluations-berichts

• Benötigte Daten• Schwerpunkte• Agenda

VereinbarungenZeitplanung:

• Abgabe Selbst- evaluationsbericht• Site Visit

Informationsveranstaltung für die

DLE-Mitglieder

Daten und Analysen:

• Benötigte Daten (Budget etc.)

• Festlegung der Fragestellungen für die KundInnenbefragungen

Einladung des externen

ExpertInnenteams

Selbstevaluations-bericht der DLEan QS

Phase der Berichterstellung

Durchführung der Befragungen durch die BEfQS

Erstellung des Selbst-Evaluationsberichts:• Strategie• Daten und Aktivitäten• Analyse und künftige Maßnahmen

Übermittlung von Dokumenten an und Fixierung sämtlicher Termine (z.B. Site Visit, Report) an ExpertInnen

Vorbereitung Site Visit und Site Visit

Detaillierte Planung

des Site Visits

Organisatorische

Aktivitäten QS:

Hotelreservierungen

Fragen zum Selbstevaluationsbericht

an die ExpertInnensenden

Organisatorische Aktivitäten DLE:• Besprechungsräume• Mittagessen• Kaffeepausen

Site Visit

Berichterstellung

Site VisitExpertInnen erstellen

Rohbericht während des Site Visits

Endbericht der ExpertInnen

Stellungnahme der DLE

Publikation des Berichts durch BEfQS

Follow Up

Follow-Up

Gespräche mit BEFQS und Rektorat

Umsetzung der beschlossenen Maßnahmen

Monitoring der Follow-Up Ergebnisse

durch BEfQS und Rektorat

Bestandsaufnahme und Beurteilung des Dienstleistungsangebotes

• Schlüsselprozesse der Dienstleistungen erfassen sowie ihre Leistungsmerkmale (Indikatoren) und Qualitätsanforderungen

• Kundinnen- und Kundengruppen der Dienstleistungen zu identifizieren

• Kriterien ermitteln, anhand derer Dienstleistungsqualität und KundInnenorientierung bewertet werden können

SelbstevaluationenEbene der Betrachtung Themen1. DLE

a) Selbstverständnis und Zieleb) Zentrale Aufgaben und Prozessec) Struktur, Aufbau und Ausstattungd) Dienstleistungsangebot im Überblicke) KundInnen im Überblickf) Kooperationen und Schnittstelleng) Personalh) Strategie und Zukunfti) Fragen an die Experten

2. Abteilunga) Selbstverständnis, Ziele und Aufgabenb) Dienstleistungsangebotc) KundInnen d) Fragen an die Experten

Selbstevaluation

• nicht unreflektierte Auflistung aller Tätigkeiten

• knapp und informativ

• kritische Selbstanalyse Stärken Schwächen Maßnahmen

Selbstevaluation – Self-Evaluation-Report

Zeitraum

2005 2006 2007 2008 2009 2010 2011 2012 2013 2014

Self-Evaluation-Report

5 Jahre prospektiv4 Jahre retrospektiv

ExpertInnenevaluation

• externes, internationales Evaluierungskomitee

• Site Visit :- persönliche Begutachtung der Gegebenheiten vor

Ort

- persönliche Gespräche mit den VertreterInnen der

DLE

Evaluierungskomitee

• Externes, auch international zusammengesetztes Evaluierungskomitee, das im Bereich des Qualitätsmanagements von universitären DLEs erfahren ist

• Expertinnenbestellung erfolgt durch Leiterin der QS

Gesamtbericht

Der Gesamtbericht besteht aus:

• Bericht der ExpertInnen

• sämtlichen Stellungnahmen

Stellungnahme der DLE zum Bericht

Reaktion der GutachterInnen darauf

• Unterlagen zum Site Visit, exklusive

Selbstevaluationsbericht

Follow-Up

• Follow-Up-Gespräche Umsetzung der Evaluierungsergebnisse

Maßnahmenkatalog

• Beginn eines Qualitätszirkels

• Festlegung von Time-lines

• Gegenwärtiger Evaluationsprozess ist abgeschlossen

• Monitoringprozess beginnt