Impressum Qs-Leserservice – Postfach 30 01 45 – … · Zielgeführte Evaluation von Programmen – ein Leitfaden – Impressum Herausgeber: Bundesministerium für Familie, Senioren,

Zielgeführte Evaluation

von Programmen

– ein Leitfaden –

Impressum

Herausgeber: Bundesministerium für

Familie, Senioren, Frauen und Jugend

– Referat 501 –

11018 Berlin

Schriftleitung: Wennemar Scherrer

Am Kämpken 24

48163 Münster-Albachten

Satz/Design: 4D Design-Agentur GmbH

51427 Bergisch Gladbach

Druck: Vereinigte Verlagsanstalten Düsseldorf

September 2000

Qs-Leserservice – Postfach 30 01 45 – 51411 Bergisch GladbachPostvertriebsstück – G 49161 – Gebühr bezahlt

QS 29

Materialien zur

Qualitätssicherung

in der Kinder- und Jugendhilfe

Nr.29

ISSN 1430-8371

QSKopiervorlage

An den über Fax Nr.

Qs-Leserservice (0 22 04) 2 28 28Postfach 30 01 45


Betr. Qs – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe

❒ Bitte nehmen Sie mich/uns für die Lieferung der künftigen Qs-Hefte mit einem/ ..… Ex. in

den Verteiler auf.

❒ Von den bisher erschienenen Heften bestelle/n ich/wir die Ausgaben

Nr.: ….. ….. ….. ..… …..

in den angegebenenen Stückzahlen: ….. ….. ….. ..… …..

…………… ………………………………Datum Unterschrift

Lieferanschrift:

❒ Herrn ❒ Frau

.............................................................................Name

............................................................................Organisation

.............................................................................Straße

.............................................................................PLZ Ort

Gedruckt auf chlorfrei wiederaufbereitetem 100 % Recycling-Papier.

Alle Rechte vorbehalten. Auch die fotomechanische Vervielfältigung

des Werkes (Fotokopie/Mikrofilm) oder von Teilen daraus bedarf der

vorherigen Zustimmung des Herausgebers.

Hinweis für neue Leserinnen und Leser

Neue Interessenten/Interessentinnen können sich in die Verteilerliste für die künftigen Qs-Hefte

eintragen lassen und auch bisherige Hefte bestellen, soweit diese noch verfügbar sind.

Bitte berücksichtigen Sie bei Ihrer Bestellung, dass eine Lieferzeit von drei bis vier Wochen für die

Bearbeitung nötig ist.

Achtung:

Es können pro Bestellung

nicht mehr als 5 Ausgaben

angefordert werden.

Qualitätmacht Spaß

inkl. 1 CD-ROM

Titel Qs 29-RZ 22.12.2000 10:55 Uhr Seite 1

Mit der Broschürenreihe Qs veröffentlicht das Bundesministerium für

Familie, Senioren, Frauen und Jugend (BMFSFJ) Fachinformationen für die

Jugendhilfe. Sie wird im Rahmen der Anregungskompetenz des Bundes

gemäß § 83 KJHG als Teil der Bundesinitiative „Qualitätssicherung in

der Kinder- und Jugendhilfe“ kostenfrei herausgegeben und ist nicht für

den Verkauf bestimmt. Die inhaltliche Verantwortung für namentlich ge-

kennzeichnete Artikel liegt bei den Autorinnen/Autoren.

Dieser Leitfaden ist Produkt eines Kooperationsprojektes zwischen UNIvation

e.V. und wdoeff training & beratung und geht zurück auf langjährige Zusam-

menarbeit bei Evaluationstrainings und Ausbildungen sowie Evaluationsbera-

tungen für soziale Verbände und Dienste sowie Behörden und Betriebe.

This manual is the prouct of a cooperative project by UNIvation e.V. and wdoeff

training & consulting. It is the result of long years of experience and cooperation

in the field of evaluatdion training and evaluation exercises for social welfare orga-

nizations and social services, public-sector authorities and business companies.

Wegen weiterer Informationen wenden Sie sich bitte an:

Dr. Wolfgang Beywl, Sozial- und Wirtschaftswissenschaftler, Evaluator, Organi-

sationsberater. Qualitätsentwicklung für Jugendverbände, Einrichtungen der Ju-

gendhilfe, Jugendämter und -ministerien; Ausbilder in Evaluation und Selbst-

evaluation, Vorstandsmitglied der Deutschen Gesellschaft für Evaluation, Wis-

senschaftlicher Leiter von UNIvation e.V., Institut für Evaluation und wissen-

schaftliche Weiterbildung.

Dr. Wolfgang Beywl

UNIvation e.V., Institut für Evaluation und wissenschaftliche Weiterbildung,

Zülpicher Straße 58, 50674 Köln

Tel: 02 21 - 4 24 - 80 71

Fax: 02 21 - 4 24 - 80 72

E-Mail: [email protected]

Internet: http://www.univation.org

Ellen Schepp-Winter, Diplom-Pädagogin, selbstständige Trainerin, Beraterin

und Supervisorin im Profit- und Nonprofit-Sektor, Verwaltungen und Verbände,

klein- und mittelständische Unternehmen.

Ellen Schepp-Winter

wdöff training & beratung

Estermannstr. 204, 53117 Bonn

Tel: 02 28 - 67 46 63

Fax: 02 28 - 68 04 00

Internet: http://www.wdoeff.de

Sonja Ahland zeichnete mit Robine Val das Cartoon auf Seite 10.

2

QS 29

Qs 29 innen-RZ 22.12.2000 10:18 Uhr Seite 2

3

QS 29


von Programmen


Dr. Wolfgang Beywl

Ellen Schepp-Winter

Materialien zurQualitätssicherung


QS


Vorwort

Liebe Leserin, lieber Leser,

Die Qualitätsdiskussion der letzten Jahre hat erheblich zu Verbesserungen in

der Kinder- und Jugendhilfe beigetragen und insgesamt zu einem ständigen

Qualitätsentwicklungsprozess geführt:

❒ von der Leistungsorientierung

(„Was tun wir?“)

❒ zur Zielorientierung

(„Welches Ergebnis streben wir an?“) und inzwischen auch

❒ zur Wirkungsorientierung

(„Was wollen wir mit unserem Einsatz bei wem verändern?“).

In den verschiedensten Feldern der Kinder- und Jugendhilfe auf 0rts-, Lan-

des- und Bundesebene führen zahlreiche Träger jährlich viele tausend Maß-

nahmen durch, die aus Jugendhilfe-Programmen gefördert werden. Inzwi-

schen liegen viele Konzepte vor, wie diese evaluiert werden können, entwe-

der durch Selbstevaluation oder mit Hilfe einer Fremdevaluation.

Herr Dr. Wolfgang Beywl und Frau Ellen Schepp-Winter, die bereits mit dem

Qs-Heft Nr. 21 Anregungen für die Zielfindung und Zielklärung gegeben ha-

ben, sind jetzt noch weiter gegangen: Sie legen hiermit einen EDV-gestüzten

Leitfaden für die Evaluation von Programmen vor. Dabei geht es auch um die

Dokumentation der Evaluationsergebnisse. Leider werden noch die wenigs-

ten Programme und Projekte systematisch evaluiert; aber vielleicht ist dieses

Heft eine weitere Anregung dafür, dass die Träger von geförderten Maßnah-

men nicht nur eine mehr oder weniger zufällige Selbstreflexion einplanen,

deren Ergebnisse in Sachberichten festgehalten werden. Ich würde es sehr

begrüßen, wenn die Selbstevaluation zu einem festen Bestandteil der Arbeit

gemacht würde. Das vorliegende Heft zeigt, wie die Ergebnisse der Evaluati-

on dann dokumentiert und für viele nutzbar gemacht werden können.

Ich hoffe und wünsche mir, dass bald noch mehr Programme systematisch

evaluiert und die Ergebnisse dokumentiert werden, was letztlich die kontinu-

ierliche Qualitätsentwicklung in der Kinder- und Jugendhilfe sichtbarer ma-

chen wird.

Dr. Peter Fricke

Leiter der Abteilung Jugend im

Bundesministerium für Familie, Senioren, Frauen und Jugend

4

QS 29 Vorwort des BMFSFJ


5

QS 29Inhaltsverzeichnis

Inhalt

Vorwort Dr. Peter Fricke, BMFSFJ

0 Was diese Broschüre bezweckt und was Sie darin finden

1 Ziele finden und klären ...

2 Evaluation planen

2.1 Was ist Evaluation? Was wird evaluiert?

2.2 Was ist der Nutzen von Evaluation? – Zu welchen Zwecken wird

sie eingesetzt?

2.3 Fragestellungen sind Schlüssel für gelingende Evaluationen

2.3.1 Fragestellungen finden und schärfen

2.3.2 Fragestellungen passend, wertebewusst, zielgeführt und

beantwortbar formulieren

2.4 Durchführbarkeit der Evaluation überprüfen

2.4.1 Wer steuert die Evaluation?

2.4.2 Entscheidungshilfen

3 Evaluations- und Datenerhebungsplan erstellen

3.1 Welche Erhebungsmethode wähle ich?

3.2 Programmintegrierte Feedbackeinheiten

3.3 Beobachtung

3.4 Befragung

3.5 Der Fragebogen – weit verbreitet und anspruchsvoll!

3.5.1 Fragen formulieren

3.5.2 Gestaltung des Fragebogens

3.5.3 Fragebogen mit GrafStat WIN

3.6 Auswertung von Befragungen

3.6.1 Auswertung quantitativer Daten der Befragung mit

GrafStat WIN

3.6.2 Auswertung qualitativer Daten mit der Text-Sortier-Technik (TST)

3.6.3 GrafStat WIN und Text-Sortier-Technik

4 Bewerten und Schlussfolgern mit der FIWE-Methode

4.1 Vom Schnellentscheid zum wertereflektierten Schlussfolgern

4.2 Auswertung mit der FIWE-Methode und Sachberichte

5 Evaluationsberichte

5.1 Planungsschritte zur Erstellung des Evaluationsberichts

5.2 Wahl der passenden Berichtsform

6 Anhang

6.1 Standards für Evaluationen

6.2 Glossar

6.3 Muster für einen Evaluationsvertrag

7 Inhalt und Anleitung zur CD-ROM

Impressum/Bestellvordruck

Seite

5

4

6

9

17

17

20

24

25

28

30

30

32

37

42

43

46

48

50

51

56

57

60

60

62

63

72

72

80

83

84

87

92

92

95

96

97

Materialien

CD-ROM

Arbeitsblätter

Nr.1

Arbeitsblätter

Nr.2, Nr. 21

Arbeitsblätter

Nr.3, Nr.31

Nr.32

GrafStat WIN

Nr.4

Nr.5

Evaluations-

bericht: Semi-

nar, Beruf u.

Arbeitwelt

Nr. 2


6

QS 29Was diese Broschüre bezweckt und was Sie darin finden

Diese Broschüre soll haupt- und ehrenamtliche Mitarbeiterinnen1 der Ju-

gendhilfe unterstützen, sich in der Denk- und Arbeitsweise von Evaluation zu

qualifizieren. Unser vorrangiges Ziel ist es, die Qualifizierung der Kinder- und

Jugendhilfe durch evaluative Planungs- und Untersuchungsinstrumente zu

unterstützen. Aktive in der Jugendhilfe nehmen zur Qualitätsentwicklung

von Projekten und Programmen regelmäßig Reflexionen vor. Wer darüber

hinaus zielgeführte Evaluationen auf der Basis empirischer Daten durch-

führen will, findet in dieser Broschüre und auf der beiliegenden CD-ROM

konkrete Arbeitsanregungen und Instrumente. Sie enthält methodische Hil-

fen für zielgeführte Evaluationen von Programmen.

Wir bauen auf Konzepten und Materialien auf, die im QS-Heft 21 enthalten

sind2. Damit streben wir an, Konzeptentwicklung und Evaluation eng zu ver-

schränken, damit Evaluationen möglichst praxisnah und praxisintegriert an-

gelegt werden.

Was die Broschüre für Sie leisten soll:

1 Wir haben uns überwiegend für die weibliche Sprachform entschieden und bitten die Leser,die andere Form jeweils mitzudenken.

2 Qs 21 steht im Adobe-Format auf der beiliegenden CD-ROM

❒ Programme sind Bündel von Maßnahmen, je bestehend aus einer Fol-

ge von Aktivitäten, basierend auf einem Set von Ressourcen, gerichtet

auf bestimmte, bei bezeichneten Zielgruppen zu erreichende Ergeb-

nisse (outcomes).

❒ Projekte sind zeitlich befristete Programme. Oft haben Projekte Ent-

wicklungs- und Experimentierfunktion, sind also (noch) nichtetablier-

te Programme. Im Rahmen großer Programme oder von Programm-

bündeln zum Beispiel des Kinder und Jugendplans des Bundes oder ei-

nes Landesjugendplans) wird unter Projekten die dezentrale Umsetzung

der Programme verstanden. Kennzeichen ist auch hier die Befristung

und der Erprobungscharakter.

Vgl. Fachlexikon der Sozialen Arbeit, 1997, S. 736-737.

Ende 2000 soll Interessierten eine Broschüre mit entsprechenden Arbeits-

hilfen zur Verfügung stehen. Haupt- und Ehrenamtliche in der Jugendhil-

fe können sich damit mit Vorgehensweisen und Instrumenten von Eva-

luation vertraut machen.

Zu Beginn unserer Redaktionsarbeit für dieses Heft haben wir folgen-

des Ziel formuliert:


7

QS 29

Dieses Qs-Heft gibt Ihnen Anregungen

❒ zur Zielfindung und Zielklärung Ihrer Programme: Arbeitsblätter als Kopiervorlage in der Broschüre und auf der CD-ROM

❒ zu Ihrer theoretischen Orientierung: eine kurze Einführung in das Konzept und in wichtige Begriffe zielgeführter Evaluation

von Programmen

❒ zur Prüfung Ihres Evaluationsanliegens: Arbeitsblätter als Kopiervorlage im Heft und auf der CD-ROM

❒ zur Planung Ihrer Evaluation: Arbeitsblätter als Kopiervorlage im Heft und auf der CD-ROM

❒ zur Durchführung von Datenerhebungen:

• ein Überblick über verschiedene Instrumente der Datenerhebung

• eine Einführung in die Erstellung und Auswertung von Fragebogen

• ein Instrument zur Bearbeitung qualitativer Textdaten zum Beispiel Antworten

auf offene Fragen) – die Text-Sortier-Technik

❒ zur Interpretation der Daten und Entwicklung von Schlussfolgerungen:die FIWE-Methode mit Erläuterung und Arbeitsblatt

❒ zur Erstellung von Evaluationsberichten:eine Einführung in das Berichte-Schreiben und Arbeitsblätter als Kopiervorlage im Heft

und auf der CD-ROM.

Auf der CD-ROM finden Sie in Ergänzung zum Heft:

• Arbeitsblätter mit Sichtfenstern,die weitere Erklärungen und Hilfestellungen geben;

• die Software GrafStat WIN zur Durchführung von Befragungen, Erstellung und Auswertung von Fragebogen;

• den umfassenden Beispielbericht einer Evaluationaus der Jugendbildung3;

• eine kommentierte Literaturliste,wenn Sie sich weiter in Theorie und Praxis von Evaluation einarbeiten wollen;

• das QS-Heft 29 als Dateiim Adobe-Acrobat-Format verlinkt, so dass Sie komfortabel – je nach Interesse oder Fra-

ge – zwischen verschiedenen Kapiteln hin- und herspringen können;

• die QS-Hefte 19 und 21als Dateien im Adobe-Acrobat-Format, um bei Fragen noch einmal nachschlagen zu

können.

3 Wir danken Valeria Aebert und Anno Kluß von der Jugendakademie Walberberg e.V. dafür, dass sie uns das umfangreiche Material zur Verfügung gestellt haben.

Wenn Sie dieses Heft durchgearbeitet haben, wissen Sie:

1. welche Handlungsziele Sie mit einem Programm verfolgen und wie diese mit über-

geordneten Leit- und Mittlerzielen verbunden sind;

2. wie Sie Evaluationen planen und sich Sicherheit über Ihre Umsetzbarkeit verschaffen;

3. wie – mit welchen Instrumenten der Datenerhebung – Sie überprüfen, inwieweit die-

se Ziele erreicht wurden (=Ergebnisse);

4. welche Erkenntnisse und Schlussfolgerungen Sie aus den gewonnen Daten ziehen;

5. welche Ergebnisse welcher Adressatengruppe auf welche Weise vermittelt werden.


8

QS 29Von den verschiedenen Instrumenten, die wir vorstellen, sind Ihnen manche

sicher vertraut. Andere erfordern eine gewisse Einarbeitung und Übung, wie

zum Beispiel das EDV-Programm GrafStat WIN zur Erstellung und Auswer-

tung von Fragebogen oder die Text-Sortier-Technik zur Auswertung offener

Fragen und Texte. Nicht alle bereit gestellten Techniken sind für jede Evalua-

tion sinnvoll und nützlich. Diese Entscheidung können letztlich nur Sie tref-

fen. Hierfür benötigen Sie einige Grundkenntnisse zur Evaluationsplanung

und etwas Übung. Unser Vorschlag ist, dass Sie sich – wenn aktueller Bedarf

in Ihrem Praxisfeld sichtbar wird – ein Instrument nach dem anderen aneig-

nen.

Evaluationsberichte und Sachberichte

Sachberichte bedienen vorrangig Informationsinteressen der Geldgeber,

rechtfertigen die Förderung durch Belege von Leistungen und tragen auf

zentraler Ebene zur Weiterentwicklung der Kinder- und Jugendhilfe bei.

Evaluationen, wie sie in diesem Heft beschrieben werden4, orientieren sich

vorrangig an den zukunftsorientierten Fachfragen der Praktikerinnen. Das

bedeutet, dass sie sich exemplarisch an interessierenden Fragestellungen

ausrichten und immer auch experimentell sind. Evaluation bietet mehr als

andere Ansätze bewährte Verfahrensweisen, die den besonderen Erforder-

nissen von Qualitätsentwicklung in den Humandienstleistungen entspre-

chen.5

Ein Teil der Daten, die Sie in einer Evaluation erheben, deckt sich mit den Da-

ten, die in Sachberichten gefordert werden. Hier können Sie in Zukunft Ar-

beit sparen, zumal wenn Sie die Daten einmal elektronisch erfasst haben.

Einem Sachbericht können, müssen aber nicht durch Evaluation gewonnene

Daten zugrunde liegen. Hinzugezogen werden regelmäßig Abrechnungsun-

terlagen, Dokumentationen und Auskünfte derje-

nigen, die eine Maßnahme verantwortlich durch-

führen.

Evaluation erzeugt oft mehr Daten, als für einen

Sachbericht benötigt werden – diese werden

zunächst intern genutzt.

Evaluation wird Ihnen Spaß machen, wenn Sie die ersten Schritte mit Mut

für Experimente und Augenmaß für das Leistbare machen.

Hierbei wünschen wir Ihnen viel Erfolg!

4 Dieses Heft bezieht sich auf einen begrenzten Ausschnitt von Evaluationspraxis, nämlich die zielgeführte Evaluation von Programmen, wiesie von zuständigen haupt- und ehrenamtlichen Mitarbeiterinnen selbst durchgeführt werden kann.

5 vgl. W. Beywl, H. Bestvater: Selbstevaluation in pädagogischen und sozialen Arbeitsfeldern. In: Qualitätssicherung durch Evaluation. Schrif-tenreihe der Bundesvereinigung Kulturelle Jugendbildung e.V., Bd. 46. 1998.

Ergebnisse interner Evaluationen sind

nicht automatisch für die Öffentlichkeit

bestimmt, sondern zunächst für die

haupt- und ehrenamtlich Mitarbeitenden.

Zwischen Sachberichten und Evaluationsberichten gibt es Schnittmengen.


9

QS 291 Ziele finden und klären ...

Es geht dabei um die Frage, was die erwünschten Zustände sind, die bei den

Kindern und Jugendlichen durch eine bestimmte Intervention oder Aktivität

ausgelöst sein sollen. Damit sind wir bei den Zielen von Programmen bis hin

zu Zielen einzelner Interventionen.

Je nachdem, ob ich von den Zielen eines Programms oder einer Intervention

spreche, handelt es sich um unterschiedliche Grade von Konkretisierung. Das

Ziel für ein übergreifendes Programm, wie zum Beispiel Entwicklung der Ju-

gendarbeit im ländlichen Raum, muss allgemeiner – weniger operationali-

siert – bleiben als zum Beispiel das Ziel, das eine Jugendgruppenleiterin mit

einer bestimmten erlebnispädagogischen Intervention während eines Pfad-

finderlagers verfolgt, welche als Projekt in diesem Programm stattfindet.

Handlungsziele haben also je nach Komplexität und Größe der zu evaluieren-

den Aktivität höhere oder niedrigere Ausprägungen an Präzision.

In QS 21 haben wir ein Zielsystem vorgestellt, mit dem sich unterschiedliche

Ebenen von Zielen verbinden lassen. Wir werden hier noch einmal kurz die

Definitionen angeben und ein Beispiel anführen, damit Sie danach gleich

loslegen und mithilfe der Arbeitsblätter auf den Seiten 11 bis 13 Ihr Zielsy-

stem entwickeln und die Ziele Ihres Programms klären können. Wer lieber

mit den Formularen der CD-ROM arbeitet und direkt am Bildschirm die Ar-

beitsblätter ausfüllen möchte, kann stattdessen auf die Formulare der CD-

ROM gehen.

Leitziele geben die Grundausrichtung einer Organisation, eines Programms,

eines Projekts oder einer Konzeption an und sind längerfristig gültig. Sie

drücken zugrunde liegende Werte und Normen aus und geben den Bereich

an, auf den sich die Aktivitäten der Organisation, des Programms, der Grup-

pe der Mitarbeitenden insgesamt beziehen sollen. Leitziele sind Teil eines

Leitbildes, der Philosophie einer Organisation oder Teil von Grundkonzeptio-

nen. Sie sind wegen ihrer Allgemeinheit und ihres übergeordneten Charak-

ters nur schwer bis gar nicht operationalisierbar, sollen aber eine Vorausset-

zung sein, um Ziele auf weiteren Ebenen ableiten oder auf Passung prüfen

zu können, so dass schließlich operational formulierte Handlungsziele

„akzeptabel“ sind.

Ein Mittlerziel verbindet die Ebene der Leitziele und der Handlungsziele. Es

ist mittelfristig angelegt und vom Leitziel aus gesehen der nächste Schritt der

Konkretisierung. Es setzt Schwerpunkte im Bereich des Leitziels und be-

schreibt zum Beispiel Leistungen, die in einem bestimmten Zeitraum für eine

Zielgruppe erbracht werden sollen, und spezifiziert Teile des Leitzieles. Was

die Operationalisierung (vgl. Glossar) angeht, so enthält es im Unterschied

zum Leitziel schon operationalisierte Elemente.

Leitziele

Mittlerziel

Soll Wirksamkeit pädagogischer Arbeit beschreibbar und damit nachvoll-

ziehbar werden, muss zuvor klar sein, was bewirkt werden soll.

Zielsystem


Ein Handlungsziel ist die eindeutige Beschreibung eines spezifischen Zu-

stands, der durch bestimmte Interventionen erreicht werden soll. Es ist kon-

kret, überprüfbar, zeitlich festgelegt und realistisch. Ein Handlungsziel ist

operationalisiert.6

Und jetzt geht´s los mit den ersten Arbeitsblättern, mit deren Hilfe Sie sich

zunächst auf die Zielgruppe einstimmen, um dann Ihr Zielsystem zu ent-

wickeln. Wenn Sie zur Orientierung über das Zielsystem noch Beispiele lesen

möchten, sehen Sie sich die Beispiele auf Seite 15 an, bevor Sie mit den Ar-

beitsblättern hier in diesem Heft oder auf der CD-ROM beginnen.

10

QS 29

6 QS 21 S. 817 QS 21 S. 42 ff.

Handlungsziel

❒ Leitziele geben die Grundausrichtung des Programms oder Projekts an.

❒ Mittlerziele sind vom Leitziel aus der nächste Schritt der Konkretisierung,

stellen vom Handlungsziel aus die Anbindung an das Leitziel sicher.

❒ Handlungsziele dienen der unmittelbaren Orientierung für die Praxis,

sind den einzelnen in der Praxis zu realisierenden Interventionen vor-

geschaltet und sollen – wie der Begriff sagt – Handeln freisetzen.7

Cartoon: „Klares Ziel bringt Erfolg.“


11

QS 29Arbeitsblatt Nr. 1: Zielsystem/Zielgruppe

Arbeitsblatt Nr. 1: Zielsystem/Zielgruppe8 (Seite 1)

Für welche Zielgruppe wird das Programm/das Projekt geplant?

1.1 Alter

von bis Schwerpunkt bei

1.2 Geschlecht

(Wollen wir in gleichem Umfang Mädchen und Jungen ansprechen oder ist ein ge-

schlechtsspezifisches Programm geplant?)

1.3 Nationalität/en

1.4 Räumliche Merkmale (städtische/ländliche Herkunft)

1.5 Bildungs-/ Erwerbsstatus

1.6 Für das Programm vorausgesetzte Kompetenzen oder Fertigkeiten

1.7 Merkmale, die die Zielgruppe als besondere Stärken mitbringt

1.8 Auf die Zielgruppen bezogene Hürden, Belastungen, Schwierigkeiten

1.9 Andere Merkmale, die wir für wichtig halten

1.10 Formulieren Sie nun in ein bis zwei Sätzen, wie Ihre Zielgruppe

beschrieben werden kann

8 Wenn Sie Unklarheiten mit dem Begriff Zielgruppe haben, können Sie zur Begriffserklärung im Glossar nachschlagen.


12

QS 29 Arbeitsblatt Nr. 1: Zielsystem/Leitziele

Arbeitsblatt Nr. 1: Zielsystem/Leitziele (Seite 2)

Was sind auf Ihre Zielgruppe bezogene Leitziele?

2.1 Bitte schreiben Sie spontan ein oder zwei Leitziele Ihres Programms auf, bevor Sie die

nächsten Fragen und Anregungen durchlesen und sich am Ende der Seite auf eine For-

mulierung festlegen, mit der Sie weiter arbeiten möchten.

2.2 In welchem Zusammenhang stehen Ihre Leitziele zu denen des Trägers Ihres Pro-

gramms?

Notieren Sie stichwortartig Leitziele des Trägers, die sich mit Ihren Leitzielen decken:

2.3 Notieren Sie stichwortartig Leitziele des/der Finanziers des Programms, die sich mit

Ihren Leitzielen decken (auch Leitziele aus einem Förderprogramm, wie zum Beispiel

KJP oder Landesjugendplan):

2.4 Welche Wörter in Ihrer Leitzielformulierung bringen zum Ausdruck, was durch das Pro-

gramm bei der Zielgruppe verändert oder bewirkt werden soll?

2.5 Entspricht dieses Leitziel Ihren Wertvorstellungen und denen der anderen Menschen,

die im Projekt mitarbeiten? Listen Sie Werte auf, die hinter Ihrem Leitziel stehen. (Am

besten in Form kurzer Ausrufesätze wie „Kinder haben ein Recht auf einen eigenen

Weg!“)

2.6 Leitziele des Programms sind:9

2.6.a

2.6.b

9 zu den Quellen für Leitziele vgl. Kap.4.1.2 in QS 21


13

QS 29Arbeitsblatt Nr. 1: Zielsystem/Mittlerziele

Arbeitsblatt Nr. 1: Zielsystem/Mittlerziele (Seite 3)

3.1 Schreiben Sie zunächst spontan auf, welche auf Ihr(e) Leitziel(e) bezogenen Mittlerzie-

le Sie für Ihr Programm anstreben.

Überprüfen Sie Ihre Mittlerziele anhand der folgenden Fragen:

3.2 Begründung in Stichworten, weshalb gerade jetzt, gerade dieses Ziel:

3.3 Was wären, vom Leitziel aus gesehen, mögliche 1 bis 3 andere Mittlerziele?

3.4 Für welche Schwerpunktsetzung entscheiden Sie sich mit diesen Mittlerzielen?

3.5 Auf welche Besonderheiten der Zielgruppe oder gesellschaftlicher Rahmenbedingun-

gen beziehen sich Ihre Mittlerziele?

3.6 Was grenzen Sie durch diese Schwerpunktsetzung bewusst aus? (stichwortartig einige

Beispiele):

3.7 Mittlerziele des Programms sind:

3.7.a

3.7.b

3.7.c


14

QS 29 Arbeitsblatt Nr. 1: Zielsystem/Handlungsziele

Arbeitsblatt Nr. 1: Zielsystem/Handlungsziele (Seite 4)

4.1 Schreiben Sie zunächst spontan auf, welche auf Ihre Mittlerziele bezogenen Hand-

lungsziele Sie anstreben.

Überprüfen Sie Ihre Handlungsziele anhand der folgenden Fragen:

4.2 Begründung in Stichworten, weshalb gerade jetzt, gerade diese Ziele?

4.3 Was wären, von den Mittlerzielen aus gesehen, mögliche andere 2 bis 4 Handlungsziele?

4.4 Welche Interventionen lassen sich aus den Handlungszielen ableiten? (Listen Sie einige

Stichworte auf!)

Prüfen Sie die Handlungsziele anhand folgender Kriterien (vgl. QS 21, Seiten 63 ff.)

Geben die Handlungsziele eine Erfolgsspanne an, in welchem Grad, in welcher Ausprägung

etwas minimal bis optimal erreicht werden soll?

Handlungsziele unseres Programms sind:

4.5.a

4.5.b

4.5.c

Spezifisch: ein konkretes Teilziel ist angegeben

Messbar: der Grad der Zielerreichung lässt sich beobachten oder direkt messen

Akzeptabel: ein Minimalkonsens mit allen Beteiligten, dass dieses Ziel verfolgt

werden soll

Realistisch: das Ziel ist unter den gegebenen Rahmenbedingungen erreichbar

Terminiert: der Zeitpunkt der Zielerreichung ist angegeben


15

QS 29Beispiele zum Zielsystem:

Das Prinzip ist ganz einfach: Aus einem allgemeinen, übergeordneten Leit-

ziel lassen sich mehrere Mittlerziele ableiten, die jeweils Teilbereiche des Leit-

ziels abdecken und es stärker konkretisieren. Ein Mittlerziel lässt sich wiede-

rum in eine Vielzahl von Handlungszielen übersetzen, die unmittelbar der

Intervention in der Praxis vorgeschaltet sind und deren Erreichung überprüf-

bar ist. Wir haben nicht alle Beispielfelder ausgefüllt, damit Sie selbst die Fel-

der ergänzen können, um sich auf diese Denkweise einzustellen.

Programm: Jugendarbeit im ländlichen Raum

Aktivierung von Kindern für Angebote verbandlicher Jugendarbeit

H1 In der Region Unterfranken ist bis Ende des Jahres 2001 eine neue

Kindergruppe in der Altersstufe neun bis 13 Jahre mit mindestens

neun neuen Mitgliedern gegründet.

H2 In drei bestehenden Kinder- und Jugendgruppen wird das Thema

„Gewinnung neuer Mitglieder“ an zwei Gruppennachmittagen be-

arbeitet.

Die Kinder haben gemeinsam mindestens drei von der Mehrheit un-

terstützte Ideen dazu entwickelt, von denen sie mindestens eine in

den darauf folgenden zwei Monaten ausführen wollen.

H3 Bis zum Ende des Planungsjahres hat die hauptamtliche Mitarbeite-

rin zusammen mit interessierten Kindern den Verband in mindestens

fünf Schulen der Region, durch einen Stand, auf Schulfesten, durch

Teilnahme an Projekttagen der Schulen und Ähnliches vorgestellt.

M1

Neue junge Mitglieder

nehmen an Aktivitäten

des Pfadfinderverban-

des teil.

M2

Für die Kinderarbeit

stehen mehr interes-

sierte und kompetente

Gruppenleiterinnen

zur Verfügung.

M3

Mehr Kinder und ihre

Eltern kennen den

bayerischen Landes-

verband und die An-

gebote seiner Gliede-

rungen.

HANDLUNGSZIELE

ZU

M1

MITTLERZIELE

LEITZIEL


16

QS 29Übung:

Handlungsziele zu M2

Was wären mögliche Handlungsziele zu Mittlerziel 2?

H1

H2

H3

Jungen und Mädchen sind sich bewusst, wie ihre Geschlechtsrolle ihre

Berufs- und Lebensplanung beeinflusst.

H1 Die Teilnehmenden können auf sich selbst bezogen in einem Inter-

viewspiel mindestens drei Sätze dazu sagen, wie ihr Geschlecht ihre

Berufswahl beeinflusst.

H2 Die Jugendlichen können sich in einem Rollenspiel dazu äußern

(mindestens zwei unterschiedliche Statements pro ***), wie sie sich

in einem typischen Beruf des anderen Geschlechts fühlen und was

ihre Freunde sagen würden, wenn sie diese Berufswahl treffen.

H3 ...

M1

Die Teilnehmenden

der internationalen

Begegnung mit Polen

kennen jeweils typisch

männliche und ty-

pisch weibliche Kriteri-

en für die Berufswahl

in beiden Ländern.

M2

Die Teilnehmenden

kennen unterschiedli-

che Rollenzuweisun-

gen für die Erzie-

hungsleistung in bei-

den Ländern.

M3

...

HANDLUNGSZIELE

ZU

M1

MITTLERZIELE

LEITZIEL


17

QS 292 Evaluation planen

2.1 Was ist Evaluation? Was wird evaluiert?

Typische Evaluationsgegenstände aus dem Bereich

pädagogischer oder sozialer Arbeit, mit denen wir

uns in dieser Broschüre beschäftigen, sind Veran-

staltungen, Kurse, Projekte, Materialien und Medi-

en. In der Evaluationstheorie hat man sich darauf

geeinigt, diese Art von Evaluationsgegenständen

„Programme“ zu nennen. Wir führen hier also in

die Programmevaluation ein.

Wir geben Ihnen ein Muster an die Hand, mit dem Sie die vielgestaltige Wirk-

lichkeit pädagogischer oder sozialer Arbeit so ansehen und beschreiben kön-

nen, dass sie durch Datenerhebungen erfassbar wird, dass nachvollziehbar

darüber berichtet werden kann und Schlussfolgerungen gezogen werden

können, von denen auch Nichtbeteiligte lernen können. Evaluation betrach-

tet daher die Wirklichkeit der Kinder- und Jugendhilfe, als bestünde sie aus

vielen großen und kleinen Programmen.

Ein Programm besteht aus einem fixierten, ver-

schriftlichten Plan oder Entwurf und dessen Umset-

zung in Praxis oder Handeln. Im Programmplan

sind die Ziele und Vorgehensweisen der Praxis kon-

kret vorweggedacht. Die Programmumsetzung (besonders in sozialen und

pädagogischen Handlungsfeldern) unterliegt vielen finanziellen, personellen

und politischen Rahmenbedingungen, die lediglich teilweise voraussehbar

sind. Damit ist auch jede Evaluation ein Experiment.

Unter Evaluation versteht man, eine sys-

tematische, auf vorliegenden oder neu

erhobenen Daten beruhende Beschrei-

bung und Bewertung von Gegenstän-

den der sozialen Wirklichkeit.

Programme

... auch Modellprogramme, Angebote, Hilfen, Maßnahmen, Interventionen, Aktionen

sind häufig vorkommende Benennungen. Kennen Sie noch weitere typische Bezeich-

nungen für „Programme“? Sind Sie im Zweifel, ob das, was Sie evaluieren wollen, ein

„Programm“ ist, das mit Hilfe dieser Broschüre evaluiert werden kann?

Dann schreiben Sie eine E-Mail mit dem Betreff „QS 29“ an:

[email protected].

Beispiele für Programmevaluation

... sind Ferienfreizeiten, Gruppenleiterkurse, Modellprojekte.

Tipp: Beginnen Sie mit der Evaluation

„kleiner“ Programme, bis Sie Routine haben.

Politikevaluation Jugendhilfepolitik einer Kommune,

Bundessozialhilfegesetz

Organisationsevaluation Jugendzentrum, lokaler Träger der

Wohlfahrtspflege

Personalevaluation Sozialarbeiter/-innen, Erzieher/-innen,

Lehrer/-innen

Produktevaluation Spielgeräte, Kinderstühle

Andere Evaluationstypen Beispiel


18

QS 29Was ein „kleines“ und was ein „großes“ Programm ist, hängt immer vom

Standpunkt des Betrachtenden ab: Für einen Bundespolitiker ist ein Programm,

in dessen Rahmen pro Jahr 50 Begegnungen zwischen deutschen und polni-

schen Jugendlichen finanziert wird, „klein“, für den polnischen Träger in Kra-

kow ist die Organisation einer zweiwöchigen Austauschfahrt mit Vor- und

Nachbereitungswochenenden vielleicht ein „großes Programm“.

Perspektive der Evaluation

Wenn man auf Basis von Evaluationen vergleicht, bewertet oder entschei-

det, wird die Komplexität, Vielgestaltigkeit und Vitalität der Wirklichkeit re-

duziert. Evaluation ist eine Perspektive auf die Wirklichkeit unter mehreren.

Sie gibt organisationalem und kollektivem Lernen eine Datenbasis. Es sind

andere Perspektiven und andere Zugänge möglich, zum Beispiel Konzept-

oder Organisationsentwicklung, Supervision, kollegiale Beratungen oder

Visitationen, die ihren eigenen Wert haben. Evaluation ist ein traditionelles

Konzept der Pädagogik. Insbesondere Feedback steht der Evaluation sehr

nahe. Ein Unterschied liegt – wie auch zu Supervision oder Reflexion – dar-

in, dass beim Feedback keine systematische Datenerhebung, -auswertung

und Berichterstattung erfolgt. Allerdings lassen sich Feedback-Methoden als

Datenerhebungsinstrumente in Evaluationen einsetzen (vgl. Kapitel 3.2).

eine Gruppenstunde Sommercamp auf Föhr

Kurseinheit „Präsentieren und moderieren“ Fortbildung für die Bundestutoren

Übermittagbetreuung von Schulkindern Integration freier und schulgebundener

an der Schule Y in Großstadt X Angebote der Sozialarbeit in Stadt X

Gestaltung der Abendessensituation in der Integration flexibler Hilfen im Trägerver-

Heimgruppe bund

Beispiele

für kleine Programme für große Programme

Stark fokussierte Evaluationen haben oft Wirkungen weit hinein in das

Umfeld der Organisation und ihrer Kooperationspartner.

Unsere Erfahrung:


19

QS 29Schematisch betrachtet besteht jedes Programm aus drei Grundelementen:

Grundelemente eines Programms

Ausgangssituation ist in der Kinder- und Jugendhilfe die soziale Situati-

on, die gesundheitliche, seelische und geistige Verfassung von Familien,

Kindern, Jugendlichen, Fortbildungsteilnehmerinnen, ..., kurz den Ziel-

gruppen.

Es finden Aktivitäten wie Beratung, Therapie, Kurse, Freizeitveranstaltun-

gen, Seminare der politischen Bildung, Jugendbegegnungsfahrten und

Ähnliches statt.

Diese zielen darauf, Veränderungen auszulösen, Stabilisierung zu errei-

chen, bewirken, dass die Zielgruppen über neues Wissen verfügen; verän-

derte Einstellungen, neues Handeln sind die Resultate.

Resultat

Aktivitäten

Ausgangssituation

Untersuchungen in der Evaluation richten sich auf alle drei Elemente:

❒ In welcher Verfassung waren die Mitglieder der Zielgruppe vor Beginn des

Programms? Was wussten sie? Wie waren ihre Einstellungen? Wie handel-

ten sie?

❒ Welche Aktivitäten/Interventionen sind durchgeführt worden, welche nicht

oder nur teilweise? Wie viele haben als Helfer, Ehrenamtliche, Berater mit-

gearbeitet? Wie viele Mitglieder der Zielgruppe haben teilgenommen, in

welcher Altersmischung usw.?

❒ Was ist dabei herausgekommen? Ist das Ziel erreicht, sind die angestrebten

Wirkungen ausgelöst worden? In welcher Verfassung befindet sich die Ziel-

gruppe am Ende/nach Abschluss des Programms?

1

2

3


20

QS 292.2 Was ist der Nutzen von Evaluation? – Zu welchen Zwecken wird sie

eingesetzt?

Der entscheidende Schritt der neueren Evaluati-

onsansätze besteht darin, dass Evaluation nicht

mehr nur rückwärts gewandt arbeitet: Was hat

stattgefunden? Vielmehr bringt sie gleichzeitig vorwärts gewandt eine eva-

luative Logik in die Planung von Programmen ein.

Evaluation ist damit

• Planungsinstrument,

• Untersuchungsinstrument.

In dieser Broschüre verbinden wir diese beiden Funktionen und stellen sie

integriert vor.

Die evaluative Planung eines Programms bedeutet, dass die Verantwortli-

chen ein Programm so planen, dass die Ziele drängende Bedarfe der Ziel-

gruppen aufgreifen, gut auf deren Ausgangssituation abgestimmt sind und

dass die Aktivitäten auf die so ermittelten Ziele genau zugeschnitten sind.

Am Ende dieser Arbeit steht ein Programmplan.

Wie die Ziele von Programmen gefunden und geklärt werden, darauf sind

wir ausführlich in QS 21 eingegangen. Im ersten

Kapitel der vorliegenden Broschüre bringen wir

Zielfindung und Zielklärung mit evaluativer Pro-

grammplanung zusammen. Beispiele für Evaluati-

onsinstrumente, die der Planung dienen, sind Be-

darfsanalyse, Zielklärung oder die Mock-Evaluati-

on mit der FIWE-Methode (vgl. Kap. 4). Auch in

der Planungsphase werden gelegentlich Daten er-

hoben, zum Beispiel in der Bedarfsanalyse, doch

im Kern bedeutet evaluative Planung einen struk-

turierten Denkprozess. Diesen wollen wir durch

die verschiedenen Arbeitshilfen dieser Broschüre

unterstützen.

Die evaluative Untersuchung eines Programms erfordert eine Klärung, was

Gegenstand der Untersuchung ist. Hierzu werden Fragestellungen festgehal-

ten. Es ist zu klären, wie die erforderlichen Daten erhoben werden (mit wel-

chen Erhebungsinstrumenten, Stichproben, ...), wie die Daten ausgewertet

und interpretiert werden und schließlich, wie darüber in schriftlicher oder

mündlicher Form berichtet wird.

Evaluation ist zukunftsorientiert.

Evaluation und Konzeptentwicklung

Unser Vorgehen hat viele Gemeinsam-

keiten mit der Konzeptentwicklung.

Konzepte, begriffen als „Entwürfe für

neue Maßnahmen oder Projekte“ sind

jedoch weder immer zeitlich terminiert ,

noch weisen sie notwendig messbare

Ziele, konkrete Planung von Interventio-

nen aus. Programmpläne sind also kon-

kreter, stärker handlungsleitend und

festlegend als Konzepte.10

10 vgl. Pedro Graf: Konzeptentwicklung. Alling, Verlag Dr. Jürgen Sandmann, 2. Auflage 1996.


21

QS 29Auch die Untersuchungsebene muss geplant werden (Evaluationsplan).

Dann muss sie durchgeführt werden, was insbesondere einen Blick auf das

mit begrenzten Untersuchungsressourcen Machbare und vorhandenes

Know-how erfordert. Die evaluative Untersuchung von Programmen steht

im Vordergrund dieser Broschüre. Wir wollen hiermit viele praktikable Anre-

gungen für Ihre Untersuchungspraxis geben.

Die Aufgabe von Programmevaluation als Untersuchung besteht darin, den

Beteiligten und Betroffenen (= Interessenhalter; engl. stakeholder) nützliche

und abgesicherte Informationen über einen Evaluationsgegenstand, zum

Beispiel eine Kursreihe oder ein Präventionsprogramm, zur Verfügung zu

stellen.

Es gibt dabei zwei alternative Leistungsschwerpunkte:

Die Beteiligten können unterstützt werden,

• den bewerteten Gegenstand schrittweise zu stabilisieren oder zu verbessern:

formative oder Gestaltungsevaluation;

• Entscheidungen zu treffen über Beendigung oder Fortführung, Auswei-

tung oder Rückführung des Programms:

summative oder Bilanzevaluation.

Wir empfehlen dringend, sich bei einer konkreten Evaluation für einen der bei-

den Leistungsschwerpunkte zu entscheiden und dies klar zu kommunizieren.

Evaluative Programmplanung und evaluative Untersuchung von Pro-

grammen sind zwei unverzichtbare Bestandteile von Evaluation. Darüber

hinaus – so unsere Überzeugung – dienen sie der kontinuierlichen Ver-

besserung der Praxis. Evaluation bedeutet mehr als „Daten erheben“. Es

geht darum, pädagogische und soziale Praxis vor, während und nach der

Datenerhebung dabei zu unterstützen, gezielter, effizienter und befriedi-

gender für möglichst viele Beteiligte und besonders die Zielgruppen aus-

zugestalten.

Zwischenresümee

Der englische Begriff Stakeholder hat einen umfassenden Geltungsbe-

reich. Bei einer Evaluation können dazu ganz verschiedene Interessen-

gruppen zählen. Das sind alle diejenigen, die ein Interesse am zu eva-

luierenden Programm haben können, wie zum Beispiel die Mitarbeiter/-

innen, Entscheider in und außerhalb der Institution, Betroffene, Teilneh-

mende (= Zielgruppe), Menschen, die ein besonderes Interesse an der

Zielgruppe haben (zum Beispiel Eltern, Lehrer/-innen, Erzieher), ...

Beteiligte und Betroffene


22

QS 29In den Fragestellungen zum Evaluationsgegenstand wird konkretisiert, ob

die summative oder die formative Funktion im Vordergrund steht:

Formative Evaluation ist bei solchen Programmen sinnvoll, die wiederholt

werden. Formative Evaluationen stehen in einer kontinuierlichen Schleife da-

tenbasierter Reflexion und Innovation. In diesem Heft geht es in erster Linie

um die formative Evaluation, also Evaluationen mit solchen Untersuchungs-

fragestellungen, die der fortschreitenden Verbesserung und Qualitätsent-

wicklung von Programmen dienen.

Eng verbunden mit der Frage nach dem Zweck der Evaluation sind Fragen

nach Anlass und Auftraggeber. Das können stärker außen gesteuerte Anlässe

sein, wo mit der Mittelvergabe für Programme die Auflage verbunden ist,

das Programm zu evaluieren. Letzteres geschieht häufig bei Modellprogram-

men auf Bundes- und Landesebene. Der Auftrag zur Evaluation eines Pro-

jekts könnte von der Geschäftsführung eines Trägers oder der Einrichtungs-

leitung kommen, die ein Interesse an qualitativ hochwertiger Arbeit hat und

diese glaubhaft nach außen dokumentieren möchte. In letzter Zeit kommt

das Interesse an Evaluation verstärkt aus der Fachpraxis selbst. Verbreitete

Verfahren der Praxisreflexion wie Supervision und kollegiale Beratung wer-

den ergänzt durch datenbasierte Evaluation. Schon bei der anfänglichen Aus-

einandersetzung mit Fragestellungen und Themen der Evaluation stellt sich

ein zusätzlicher Praxisnutzen ein: Denken und Planen werden von Anfang an

auf empirisch fundierte Realitätsprüfung ausgerichtet. Die Beteiligten fan-

gen an, „evaluativ“ zu denken.

Typische

Fragestellungen

Was sind Stärken und

Schwächen des Pro-

gramms?

Wie schätzen Teilneh-

mende ihre Lernfreude

und ihren Lernzuwachs

ein?

Welche Interventionen

führen in welchem

Grad zu den ge-

wünschten Ergebnis-

sen?

Erreicht das Programm

seine Ziele in befriedi-

gendem Umfang?

Wie effizient wurden

die Mittel eingesetzt?

Wie schneidet das Pro-

gramm im Vergleich zu

anderen ab?

Beispiel für

Teilfragestellung

Welchen Einfluss hat

die Zusammensetzung

einer Kursgruppe nach

Geschlecht und Alter

auf die Zufriedenheit

der Teilnehmenden?

Welchen Beitrag leisten

die Bewerbungstrai-

nings zur Verhaltenssi-

cherheit der Absol-

vent(inn)en bei der fol-

genden Ausbildungs-

platzsuche?

Nutzungsabsicht

Alters- und Ge-

schlechtsmischung

durch gezieltere Teil-

nehmendengewinnung

optimieren

Kurselement „Bewer-

bungstrainings“ aus-

weiten, rückführen,

einstellen

Hauptnutzer

Fachkräfte, Teilneh-

mende (gegebenen-

falls Eltern)

Finanziers/Finanzver-

antwortliche, Leitungs-

kräfte

form

ati

vsu

mm

ati

v

Formative Evaluation hilft, das bewertete Programm während der Lauf-

zeit schrittweise zu verbessern.

Summative Evaluation findet am Ende des Programmes statt und gibt

Anregungen für die Fortsetzung oder für ähnliche neue Programme.

Zweck derEvaluation


23

QS 29Ein kleines Beispiel für die empirisch abgesicherte Planung eines Programms:

Ein Team von Fortbildungsreferentinnen eines Jugendverbandes drohte in eine

längere Diskussion darüber abzugleiten, was Hauptamtliche sich als Ziele und In-

halte einer Fortbildung „Train the Trainer“ vorstellen. Die Teammitglieder hätten

ihre unterschiedlichen Annahmen mit immer neuen Argumenten lange diskutieren

können. Stattdessen hat jeder fünf Hauptamtliche telefonisch und per Fax/E-Mail

kurz befragt, „Was sind eure Assoziationen zu ‚Train the Trainer’? Was erwartet

ihr in einer Broschüre zu lesen, auf deren Deckblatt ‚Train the Trainer’ steht?“ Die

Ergebnisse dieser kleinen Befragung wurden verschriftlicht und das Team war

nicht weiter seinen Spekulationen überlassen.

Wo immer das Motiv zur Durchführung einer Eva-

luation entsteht: Je größer der Nutzen von den un-

mittelbar Beteiligten eingeschätzt wird, desto

wahrscheinlicher ist es, dass die Ergebnisse in

zukünftigen Planungen berücksichtigt und umge-

setzt werden.

Prozessnutzen von Evaluation

Baut man eine Evaluation gut in die Alltagsarbeit ein, indem man die Eva-

luationsplanung schon zusammen mit der Konzepterstellung ansetzt,

spart man eine Menge Zeit und hat einen unmittelbaren Nutzen für die

Praxis. Der Nutzen stellt sich dann nicht erst mit der Auswertung und

Rückmeldung der Evaluationsergebnisse ein. Die zu beantwortenden Fra-

gestellungen schärfen zugleich das Konzept. Was sind die Ziele des Pro-

gramms? Was soll das Programm leisten? Was wissen wir schon über die

Zielgruppe? Welche Informationen fehlen uns? Auf welche Weise, mit

welchen Instrumenten können wir das herausfinden?

Durch die mit einer Evaluation verbundene Verschriftlichung und die Ent-

scheidung für eine datenbasierte Auswertung erhalten konzeptionelle

Überlegungen höhere Verbindlichkeit und Kontinuität.

Es ist nie zu spät, ein Programm zu eva-

luieren. Aber beginnen Sie so früh wie

möglich!


24

QS 29Sechs Schritte einer nutzenfokussierten Evaluation

2.3 Fragestellungen sind Schlüssel für gelingende Evaluationen

Wie die Ruderpinne für das Segelboot, so sind Evaluationsfragestellungen

das wichtigste Steuerungsinstrument für die Evaluation. Wenn Fragestellun-

gen bedeutsame Aspekte des Programms thematisieren, Interessen wichti-

ger Beteiligter aufgreifen, wenn sie realistisch im Sinne von beantwortbar

sind, wenn sie verständlich und damit kommunizierbar sind, bieten sie eine

optimale Grundlage für eine nützliche und wirksame Evaluation.

Um eine Entscheidung sicherer treffen zu können, um Verbesserungen ge-

zielt einleiten zu können, benötigen die Hauptnutzer der Evaluationsbefun-

de Daten, Informationen und darauf basierende Schlussfolgerungen. Evalua-

tionsfragestellungen halten diesen Prozess von der Informationsgewinnung

bis zur Berichterstellung auf Kurs.

1 Feststellung der wichtigen Beteiligten und Betroffenen insbesondere derer, die Eva-

luationsinformationen nutzen werden

2 Feststellung von Werten, Interessen, Erwartungen und Befürchtungen bei wichtigen

Beteiligten

3 Formulierung der zentralen Fragestellungen, Umfang/Auswahl zu gewinnender Infor-

mationen; Bewertungsmaßstäbe, an denen erhobene Daten beurteilt werden sollen

4 Auswahl/Entwicklung geeigneter Datenerhebungsinstrumente; Durchführung von Er-

hebungen/Auswertungen

5 Interpretation der Ergebnisse auf Basis ausgewiesener Bewertungsmaßstäbe; Schluss-

folgerungen, Entscheidungsvorlagen, Maßnahmelisten

6 Rückmeldung von Ergebnissen/Bewertungen an Beteiligte und Betroffene; Diskussion,

Vorbereitung von Umsetzungen

Fragestellungen richten sich dabei auf alles, was man durch die Evaluation über ein

Programm herausfinden will (= auf den Evaluationsgegenstand).

Fragen werden in Interviews oder in schriftlichen Befragungen an Teilnehmende oder

andere Informationsgeberinnen gestellt.

Fragestellung – Frage: Eine Fragestellung lässt sich selten direkt in eine Frage umset-

zen; meist erfordert es Antworten, Auswertungen und Interpretationen zu mehreren

Fragen um eine Fragestellung beantworten zu können.

Fragestellungen und Fragen

sind beides Begriffe, die im Zusammenhang mit Evaluationen auftauchen.


25

QS 29Zu konkreten Formulierungen für Evaluationsfragestellungen kommt man,

indem man sich selbst zunächst folgende Fragen beantwortet:

• „Zu welchem Programmbereich wollen wir Informationen gewinnen?“

• „Bei welchen Aspekten, Elementen, Interessen setzen wir Schwerpunkte?“

• „Wo liegen Grenzen, oder wo setzen wir Grenzen, was nicht untersucht werden soll oder

kann?“

Evaluationsfragestellungen sind Ergebnis der ersten Phase einer Evaluation

(der Gegenstandsbestimmung) und steuern die Aktivitäten in den beiden

folgenden Phasen der Informationsgewinnung und Ergebnisvermittlung. In

den Evaluationsfragestellungen wird spezifiziert, zu welchen Sachverhalten

welche Informationen gewonnen werden sollen.

2.3.1 Fragestellungen finden und schärfen

Das Interesse für ein Evaluationsvorhaben drückt sich am Anfang meist in ei-

ner einfachen Zwecksetzung aus. Beispielsweise „Wir wollen darüber entscheiden, ob ...“,

„Wir wollen uns vergewissern, ob das Programm wirklich so wichtig für uns ist.“

„Wir wollen klären, wie das Programm noch besser werden kann.”

Nachfolgend möchten wir ein Klärungs- und Ordnungsschema für Evaluati-

onsfragestellungen vorstellen. Fragestellungen können sich auf verschiedene

zeitliche Dimensionen eines Programms beziehen. Sie sind eher vorgelagert

(= Struktur, Konzept, Input), eher begleitend (= Prozess) oder eher nachge-

lagert (= Ergebnis).

Struktur = fixe/langfristig geltende Voraussetzungen

Räumliche, finanzielle, personelle Rahmenbedingungen eines Programms,

wie Raumangebot und Raumausstattung, Finanzausstattung, Abrechnungs-

modalitäten, Formalqualifikationen oder Alters-/Geschlechtsmischung des

Personals, Sozialstruktur der Wohngegend, aus der Teilnehmende kommen.

Wie werden die Ressourcen genutzt; wie passen sie zu den Erfordernissen

des geplanten Programms, wie zu den vorgesehenen Prozessen; welche Wir-

kung haben sie auf die Attraktivität des Angebotes, die Zufriedenheit der

Teilnehmenden? Achtung: Strukturevaluationen führen oft zu nicht nutzba-

ren Ergebnissen, da die Bedingungen festgeschrieben sind.

Struktur – Prozess – Ergebnis

Wir erweitern das Schema „Struktur/Prozess/Ergebnis“ (wie von Maja Heiner vorgeschlagen) um die Dimension

„Konzept“ und die Dimension „Inputs“. Gerade in pädagogischen Arbeitsfeldern ist sie essenziell, erinnert sie

doch daran, dass die Eingangsmerkmale (wie Kompetenzen und Motive der Teilnehmenden) genauso aus-

schlaggebend sind für einen gelingenden Prozess wie für die Zielerreichung.

Struktur

Die Evaluationszwecke werden oft in Frageform formuliert und man denkt dann, man habe

schon die Evaluationsfragestellung gefunden. In Wirklichkeit kleidet man die Nutzungsab-

sicht, die man mit den zu gewinnenden Informationen verbindet, in eine Frage. Formulieren

Sie den Evaluationszweck/die Nutzungsabsicht als Aussagesatz!

Und leiten Sie daraus eine passende Fragestellung ab, an der die nachfolgenden Phasen der Eva-

luation ausgerichtet werden können.

Tipp


26

QS 29Konzept = Merkmale des Konzeptes/des Programmplans

Übereinstimmung von Annahmen mit aktuellen fachlichen/fachwissenschaftli-

chen Erkenntnissen oder Standards, Klarheit und logische Struktur, plausible

Verbindungen zwischen den drei Ebenen des Zielsystems, zwischen Zielen

und Interventionen, Abgleich zwischen Zielen und Bedarfen und Anforderun-

gen der Zielgruppe, anderer wichtiger Beteiligter oder der Gesellschaft.

Input = soziale, kulturelle und personale Merkmale der Teilnehmenden oder

Klienten sowie der Fachkräfte

Die Qualität personaler Dienste wie Jugendarbeit, Beratung und Betreuung,

Aus- und Weiterbildung kommt durch das Zusammenwirken von Teamerinnen

und Teilnehmenden, Ausbildenden und Auszubildenden, Helfenden und Hilfe

Empfangenden zustande. Daher sind die personalen Ressourcen, die in ein Pro-

gramm fließen (Inputs), zentraler Bestandteil jedes pädagogischen oder sozia-

len Programms. Im Gegensatz zu den formalen Qualifikationen, die in eine

Strukturevaluation einfließen können, geht es hier um das persönliche Engage-

ment und persönliche Kompetenzen der Mitwirkenden, die bei Durchführung

des Programms gegenwärtig sind und von den Teilnehmenden wahrgenom-

men werden.

Prozess = organisatorische und pädagogische Umsetzung des Programms

Stabilität und Flexibilität der Abläufe, Lernsettings, Störungsfreiheit der Aktivitä-

ten, Methoden- und Medieneinsatz; Interaktions- und Kommunikationsmuster

zwischen Teilnehmenden untereinander, zwischen Teilnehmenden und haupt-

oder ehrenamtlich Mitarbeitenden. Was sind Vor- und Nachteile einzelner Inter-

ventionen, Methoden, kleinerer Teile des Programms?

Konzept

Input

Prozess

Eine Konzeptevaluation kann ein vermeidbarer Umweg sein. Wenn Sie eine systematische Zielfin-

dung und Zielklärung betreiben, kann dies eine Konzeptevaluation ersetzen. Wenn Ihnen allerdings

wichtige Daten für die Konzeptentwicklung fehlen, bietet sich vielleicht eine Bedarfsanalyse an.

Tipp

Oft scheitern Programme daran, dass sie von unrealistischen Eingangsbedingungen, sei es

der Hauptamtlichen, der Ehrenamtlichen oder der Teilnehmenden, ausgehen. Teilnehmer-

und Personalgewinnung sind die Achillesferse vieler Programme. Daher lohnen sich – beson-

ders bei Neuentwicklungen – Datenerhebungen zu den personalen Inputs.

Tipp


27

QS 29

Ergebnis = Resultate/Wirkungen

Veränderungen im Wissen, in den Einstellungen, im Handeln oder im sozia-

len Status der Teilnehmenden. Auswirkungen auf

das Klima in einer Organisation (zum Beispiel

Schule, Erziehungsheim), auf die soziale Integrati-

on in einer Kommune oder Region, auf das Zusam-

menleben in der Gesellschaft. Vorsicht: Gültige Messinstrumente zu ent-

wickeln und Daten zu erheben, bedeutet oft großen Aufwand.

Ordnen Sie die 9 Fragestellungen den 5 Programmdimensionen zu.

Formulieren Sie pro Dimension eine weitere Fragestellung:

Ergebnis

Übung:

Die Zwecksetzung der Evaluation besteht darin zu klären, wie der Selbstverteidigungs-

kurs für Jungen verbessert werden kann. Folgende Fragestellungen stehen zur Auswahl

um den Evaluationszweck zu erreichen:

Wenn wir sehr wenig wissen:

1 „Was sind die Stärken, was sind die Schwächen des Kurses aus Sicht

a) der teilnehmenden Jungen,

b) der Eltern dieser Jungen,

c) der Jungen, die den Kurs vor einem Jahr abgeschlossen haben?“

Wenn das Kurskonzept klar und verschriftlicht ist:

2 „Stimmen die im Kurskonzept gesetzten mit den tatsächlichen Erwartungen und Interes-

sen der teilnehmenden Jungen überein?“

3 „Gibt es aus Sicht der Teilnehmenden langweilige, überflüssige, wirkungslose Elemente im Kurs?“

4 „Sind die teilnehmenden Jungen körperlich und psychisch fit für den Kurs?“

5 „Welche Handlungsziele werden in welchem Maße erreicht?“

6 „Führt der Kurs bei großen Teilen der teilnehmenden Jungen zu den beabsichtigten Wirkungen?“

7 „Gibt es aus Sicht der Beteiligten Kurselemente, die fehlen?“

8 „Ermöglichen die Übungsräume eine sichere und zielgerichtete Durchführung des Kurses?“

9 „In welchem Maße stimmen die sozialen Merkmale der Teilnehmendengruppe mit unse-

ren Vorstellungen von der Zielgruppe überein?“

Eine Ergebnisevaluation (Wirkungseva-

luation) ist oft sehr anspruchsvoll.

Planen und realisieren Sie Ihre Programme strikt zielgeführt – es ist dann von Anfang an klar,

welche Fragestellungen Sie zu den Programmwirkungen stellen können und wie Sie Daten er-

heben können. So realisieren Sie eine anspruchsvolle Evaluation mit vertretbarem Aufwand.

Tipp

Das meiste, das wir unter dem Stichwort „Seminarauswertung“ kennen, ist eine Form einfa-

cher Prozessevaluation: Die Zufriedenheit der Teilnehmenden mit Elementen des Kurses, der

Ferienfreizeit usw. wird erfasst. Mit Sicherheit ist dies ein wichtiges Element von Prozessqua-

lität, doch sollte man sich klar drüber sein, dass es sich bei Messungen der Kundenzufrieden-

heit um die Wahrnehmung der (realen) Prozesse aus lediglich einer relevanten Perspektive

handelt. Wir empfehlen, auch die Zufriedenheiten der anderen Beteiligten zu erheben, zum

Beispiel der hauptamtlich und ehrenamtlich Mitarbeitenden.

Tipp


28

QS 29

2.3.2 Fragestellungen passend, wertebewusst, zielgeführt und beant-

wortbar formulieren

Die Fragestellungen müssen auf Sachverhalte gerichtet sein, die entweder

Bestandteil des Programms sind, also zu dessen Struktur, Input, Konzept oder

Prozess gehören, oder als Ergebnisse oder Wirkun-

gen in der Reichweite des Programms liegen. Wird

nach Auswirkungen des Programms gefragt, muss

durch plausible Annahmen begründet sein, dass

das Programm wirklich einen bedeutsamen Einfluss ausübt. Auch die zeitli-

che Distanz zwischen Programm/Intervention und Ergebnis/Wirkung darf

nicht zu groß sein.

Ein Programm ist meist darauf angelegt, bei einer bestimmten Zielgruppe et-

was zu verändern. Wenn die beruflichen Fähigkeiten bei Weiterbildungsteil-

nehmerinnen verbessert werden sollen, dann hört die Zuständigkeit des Pro-

gramms vor deren Freizeitverhalten oder Privatleben auf. Fragestellungen,

die in diese Bereiche hinein reichen, sind dann nicht zulässig. Sollen zum

Beispiel umfassend personale Kompetenzen von Jugendlichen gestärkt wer-

den, dann ist das Programm nicht dafür zuständig, auch deren politische

Handlungskompetenz zu beeinflussen. Hieraus ergeben sich klare Grenzen

für Evaluationsfragestellungen.

In Ihre Fragestellungen fließen immer auch Werthaltungen und Grundan-

nahmen über die Wünschbarkeit der Wirkungen geplanter Interventionen

ein. Als Wert kann zum Beispiel in der Fragestel-

lung „In welchem Maße stimmen die sozialen

Merkmale der Teilnehmendengruppe mit unseren

Vorstellungen von der Zielgruppe überein?“

stecken: dass sozial benachteiligte Jungen besonders gefördert werden soll-

ten. Eine Annahme über die Wirkung der Programm-Intervention, die hinter

den Fragestellungen steckt, ist, dass Jungen, die an einem Selbstverteidi-

gungskurs teilnahmen, eine bessere Kontrolle über ihre impulsiven Reakti-

onsmuster haben. Das Beispiel macht deutlich: die Schärfung von Evaluati-

onsfragestellungen kann in einem Team einiges an Diskussionsstoff auslö-

sen, zugrunde liegende Werte und Annahmen, werden über die Konkretisie-

rung der Fragestellungen offensichtlich.

Fragestellungen lassen sich ableiten aus Annahmen über Ressourcen, über

das Konzept, zu Eingaben (Inputs) der Teilnehmenden und Mitarbeitenden,

zu Hoffnungen, Befürchtungen und erwarteten Widerständen gegenüber

der Programmdurchführung oder über beabsichtigte Wirkungen/angestreb-

te Ziele.

In dieser Broschüre empfehlen wir als Königsweg, die Fragestellungen

aus den Handlungszielen des Programms abzuleiten.

Eine Evaluationsfragestellung muss die

Grenzen des Programms einhalten.

Machen Sie sich die Werte klar, die in

Ihren Fragestellungen mitschwingen.

Programm Frage Zusätzliche Fragestellungen

Struktur

Konzept

Input

Prozess

Ergebnis


Dies ist einerseits anspruchsvoll und setzt voraus, dass das Programm mit

evaluativer Logik geplant und umgesetzt wird. Wenn Sie andererseits bei

schlecht formulierten oder fehlenden Handlungszielen eine Untersuchung

zu den Wirkungen durchführen, gehen Sie das Risiko ein, dass die gewonne-

nen Informationen nicht genutzt werden – Sie werden sich vielleicht im

Nachhinein noch streiten, ob die eingetretenen Wirkungen denn nun er-

wünscht oder unerwünscht, befriedigend oder unbefriedigend sind.

Wenn die Ziele des Programms nicht oder noch nicht klar sind,

❒ verzichten Sie auf eine evaluative Untersuchung und investieren die Arbeit

statt dessen in die evaluative Planung des nächsten Programmdurchlaufs;

❒ führen Sie eine Konzeptevaluation durch, sammeln Sie Daten zu Bedarfen

und Anforderungen an das Programm;

❒ beschränken Sie sich auf eine Prozessevaluation und stellen fest, wie Sie

Abläufe, deren Zielgerichtetheit außer Frage steht, optimieren können.

Der erste Schritt zur Grob-Formulierung der Fragestel-

lung ist damit getan. Im nächsten Schritt geht es dar-

um, die Fragestellung so zu formulieren, dass sie durch

systematische Informationsgewinnung beantwortbar

ist. In solchen Formulierungen liegt eine zentrale Evaluationsleistung inso-

fern sie eine Art Übersetzung und Konkretisierung des Evaluationsinteresses

sind.

Wir kommen zur Veranschaulichung noch einmal auf das Beispiel „Selbstver-

teidigungskurs für Jungen“ zurück:

Die Fragestellung 2 aus der Übung, Seite 27 „Stimmen die im Kurskonzept

gesetzten mit den tatsächlichen Erwartungen und Interessen der teilneh-

menden Jungen überein?“ lässt sich zum Beispiel durch folgende Teil-

fragestellungen konkretisieren: „Was sind die Beweggründe für Jungen sich zu diesem Kurs anzumelden/am Kurs regelmäßig teil-

zunehmen?

Welche konkreten Erwartungen richten Sie an die Kursleitenden, die anderen Kursteilnehmenden?

In welchem Maße werden diese Erwartungen erfüllt?

Welche von uns beeinflussbaren Faktoren führen zum Abbruch des Kurses?

Welche von uns beeinflussbaren Hindernisse für Kursverbleib gibt es bei anderen Beteiligten, z.B.

Eltern oder Lehrern?

Welche Elemente unseres Angebotes müssen wir deutlicher herausstellen, damit der Kurs attrakti-

ver ist?“

Für jede dieser Teilfragestellungen muss ich mir nun vorstellen, mit welcher

Art von Datenerhebungsinstrument (also zum Beispiel Fragebogen oder Kur-

zinterview) die erforderlichen Informationen beschafft werden können, wen

ich befragen muss (ob diese Personen erreichbar/motivierbar sind), wie vie-

le ich mindestens fragen muss, ob ich die Zeit/die Mittel dafür zur Verfügung

habe, ... Es läuft also eine kleine Erhebungsplanung (vgl. hierzu ausführlich

Seite 37 ff.), und ich habe eine erste Einschätzung über die Beantwortbarkeit

der Fragestellung. Die Fragestellungen müssen zu diesem Zeitpunkt nicht

operational formuliert sein. Ich muss noch nicht wissen, welche Indikatoren

diesen Sachverhalt anzeigen. Die Operationalisierung komplexer, oft mehr-

dimensionaler Sachverhalte – „soziale Kompetenz“ ist ein Beispiel dafür – ist

eine zentrale Aufgabe in der zweiten Phase der Evaluation, wenn die Date-

nerhebungsinstrumente entwickelt werden.

29

QS 29

Eine Fragestellung für die Evaluation

muss beantwortbar sein.


30

QS 29

2.4 Durchführbarkeit der Evaluation überprüfen

Was aber, wenn diese Entscheidung noch nicht getroffen ist und erwogen

wird, ein externes Evaluationsinstitut zu beauftragen? Um die Entscheidung

für eine selbst verantwortete, intern durchgeführte Evaluation abzusichern,

bietet dieses Kapitel Anhaltspunkte.

2.4.1 Wer steuert die Evaluation?

Evaluation wird heute stark nachgefragt, besonders von Politikern, Finan-

ziers und Leitungskräften. Teilweise steht sie als Empfehlung oder Pflicht in

Gesetzen und Verordnungen oder wird mit einer Finanzierungszusage zur

Auflage gemacht. Gleichzeitig gibt es viele Befürchtungen und Widerstände

gegen Evaluation. Das beginnt mit der zusätzlichen Qualifikation und Leis-

tung, die sie den haupt- und ehrenamtlich Mitarbeitenden abverlangt. Es

geht weiter mit der Befürchtung, dass Evaluationen, die zum Zweck der Pro-

grammverbesserung eingesetzt wurden, zu Entscheidungen gegen das Pro-

gramm missbraucht werden. Oder aber es könnten unter der Hand Personal-

entscheidungen mit Ergebnissen von Evaluation begründet werden.

Wir glauben, dies hängt damit zusammen, dass Evaluationen notwendig

Werthaltungen und Interessen der Beteiligten und Betroffenen berühren (vgl.

Kapitel 4) und dass Unklarheiten und Konflikte viel eher auch für Dritte sicht-

bar werden, als dies zum Beispiel bei der Konzeptentwicklung der Fall ist.

Vorrangig bietet das Heft Fachwissen und Instrumente für Mitarbeitende,

Programmverantwortliche und Leitungskräfte, die zielgeführte Evaluatio-

nen mit eigenen Kräften und Mitteln durchführen wollen.

Eine zentrale Rolle spielt die Frage, wer die Evaluation steuert, welche Per-

son (!) verantwortlich dafür ist, dass ein Evaluationsplan fertig gestellt,

Datenerhebungen durchgeführt und die gewonnenen Informationen

rückgemeldet werden.

Fragestellungen

sind der Schlüssel für gute Planung und Ausführung von Evaluationen. In ihnen findet

sich wieder, zu welchen Aspekten des Programms systematisch gewonnene Informatio-

nen vorrangig sind. Wenn sich die Fragestellungen im Rahmen des Programms und sei-

ner von ihm beeinflussbaren Umwelt befinden,

wenn in sie bereits Fach- und Feldkenntnisse eingegangen sind,

dann sind sie gute Grundlagen für eine informative, genutzte und letztlich wirksame

Evaluation:

Sie sind Schlüssel für gelingende Evaluationen.


31

QS 29

Wenn Mitarbeiterinnen sich aus der Perspektive

„Macht und Einfluss“ für eine der Evaluationsar-

ten entscheiden können, werden sie die Selbsteva-

luation oft der internen Evaluation vorziehen,

denn letztere schafft eine zusätzliche Arbeitsteilung, konzentriert Informatio-

nen bei der Evaluationsverantwortlichen und bringt ihr mitunter mehr Ein-

fluss in der Organisation. Sie werden sich vielleicht eher für interne als für ex-

terne Evaluation entscheiden, denn letztere bringt „Fremde“ in die Organi-

sation, die außerhalb der sozialen Beziehungen stehen und deren Kommuni-

kation mit der Organisationsspitze dem Einblick der Mitarbeiterinnen entzo-

gen ist. Es gibt häufig die Vermutung bei Haupt- und Ehrenamtlichen: Je en-

ger Evaluationsverantwortung an die Programmverantwortung gebunden

ist, desto höher die Kontrolle der im Programm Mitarbeitenden über den

Evaluationsprozess und die Verwendung der Evaluationsergebnisse.

Wenn Mitarbeiterinnen sich aus der Perspektive „Arbeitsbelastung/Quali-

fikationsanforderungen“ entscheiden, werden sie oft die externe der inter-

nen Evaluation vorziehen, denn Externe bringen Evaluations-Know-how mit,

werden speziell für diese Arbeit bezahlt und sind erfahren in der Abschät-

zung dessen, was mit einem bestimmten Evaluationsbudget geleistet wer-

den kann und was nicht. Sie werden vielleicht auch die interne der Selbste-

valuation vorziehen, denn Wissen und Kompetenz kann dadurch gebündelt

werden, die sonst notwendige Einarbeitungszeit in die Evaluation steht wei-

terhin der pädagogischen Arbeit zur Verfügung und Rollenkonflikte zwischen

Evaluations- und Programmverantwortlichkeit können gemindert werden. Es

gibt also auch einiges, was dafür spricht, Evaluationsverantwortung zu kon-

zentrieren oder auch nach außen abzugeben.

11 vgl. Heiner, Maja: Selbstevaluation. In: Lexikon der Sozialpädagogik und derSozialarbeit, 4. Aufl., München 2000, S. 590-597

Freiwilligkeit ist ein unverzichtbares Ele-

ment der Selbstevaluation.11

Selbstevaluation

interne Evaluation

externe Evaluation

Wir sehen drei grundsätzliche Möglichkeiten mit vielen Mischformen:

• Die Personen, die für die Programmplanung und -umsetzung zuständig

sind, sind auch für die Evaluation verantwortlich und entscheiden sich

frei für oder gegen ein evaluatives Engagement = Selbstevaluation.

• Aus dem Kreis der Mitarbeiter/-innen einer Organisation oder Einrich-

tung wird eine Person verantwortlich für die Evaluation bestimmt, die

hierfür qualifiziert qua Stellenbeschreibung zuständig ist – andere sind

für das Programm verantwortlich = interne Evaluation.

• Eine Evaluationsspezialistin von außerhalb der Organisation wird mit

der Planung und Durchführung der Evaluation beauftragt; sie betritt

die Organisation als „Fremde“ und ist in keiner Weise verantwortlich

für das Programm und seinen Erfolg = externe Evaluation.


32

QS 292.4.2 Entscheidungshilfen

Wir können es mit dieser Broschüre nicht leisten, Ihnen klare Entscheidungs-

regeln und Empfehlungen für die eine oder andere Art der Evaluation zu ge-

ben. Dies erfordert eine genaue Kenntnis Ihres Programms, Ihrer Organisati-

on und der Menschen, die dort arbeiten. Da Sie diese gut kennen, gewinnen

Sie vielleicht anhand folgender Übersicht mehr Sicherheit für die anstehende

Entscheidung:

Entscheidungshilfen für die zu wählende Art der Evaluation

Größenordnung des Eva-

luationsgegenstandes

Fristigkeit der Evaluati-

onsfragestellungen

Klarheit von Leitzielen,

Abläufen, Zuständigkeiten

Motivation zur Evaluation

Konfliktpotenzial

Interne Evaluationskom-

petenz

Budget für Evaluation

Evaluationsgegenstand

liegt zu 100 % in Zustän-

digkeit der Selbstevalua-

torinnen

Die Fragestellungen be-

treffen dauerhaft wichti-

ge Elemente des Pro-

gramms und erfordern

laufende Bearbeitung

Große Klarheit über Zie-

le und Verfahren, eine

Kultur kollegialer Refle-

xion und gegebenenfalls

Schriftlichkeit

Mitarbeitende haben ei-

genes Interesse an

Selbstevaluation/lassen

sich leicht gewinnen

Übereinstimmung über

die Leitziele und zentra-

le fachlich-pädagogi-

sche Werte, gegenseiti-

ge Wertschätzung und

Konfliktfähigkeit (Ver-

trauenskultur) ist vor-

handen.

Alle beteiligten Mitar-

beitenden haben eine

Grundqualifikation in

Selbstevaluation

Es stehen keine/geringe

Zusatzmittel zur Verfü-

gung/es muss aus bishe-

rigen Arbeitsbereichen

umgeschichtet werden

Evaluationsgegenstand

ist bei interner Beauftra-

gung/Absprache klar

abgegrenzt

Verschiedene Fragestel-

lungen sind mit unter-

schiedlicher Regel-

mäßigkeit von Interesse

Klares und akzeptiertes

System des Qualitäts-

oder Sozialmanage-

ments in Organisation

vorhanden

Qualitätsentwickelnde

Maßnahmen werden als

notwendig akzeptiert

und ihre Chancen wer-

den deutlich wahrge-

nommen

Fachliche Konflikte wer-

den in akzeptierten Ver-

fahren geregelt; Lei-

tungspersonen ge-

nießen Akzeptanz; das

Programm ist nicht ge-

fährdet

Es sind für Evaluation

vorqualifizierte und wei-

tergebildete Mitarbeite-

rinnen vorhanden

Zumindest eine Person

kann, mit einem substan-

ziellen Stellenanteil/Zeit-

budget und Sachmitteln

ausgestattet, für Evaluati-

on tätig werden

Die Komplexität oder

der Umfang des Evalua-

tionsgegenstandes ist

sehr groß

Besonders herausgehobe-

ne, gegebenenfalls ein-

malige Fragestellungen

(zum Beispiel Neuorgani-

sation eines Programms)

Evaluation ist auf begin-

nende Organisations-

entwicklung/Qua-

litätsmanagement abzu-

stimmen

mit der Einführung von

Evaluation muss für Ak-

zeptanz und Mitarbeit ge-

worben werden (gegebe-

nenfalls auch konfrontativ)

Das Programm steht un-

ter Legitimationsdruck/

interne Konflikte sind

stark, so dass Glaubwür-

digkeit der Befunde eine

ausgewiesen unabhän-

gige Evaluatorin erfor-

dert

Glaubwürdige und kom-

petente Evaluationsex-

pertinnen von außen

sind bekannt und be-

zahlbar

Eine Finanzierungsquel-

le für externe Evaluation

ist vorhanden (Rückla-

gen, Fördermittel)

Selbstevaluation Interne Evaluation Externe Evaluation

Schützen Sie sich vor Missbrauch dieser Tabelle. Wenn eine bestimmte An-

forderung/ein bestimmtes Hindernis aus einer der Zellen der Tabelle nicht

zutrifft/zutrifft, heißt dies noch lange nicht, dass eine bestimmte Evaluati-

onsart definitiv ausscheidet. Sie muss gegebenenfalls angepasst werden.

Tipp


Für ein konkretes Vorhaben sind oft Mischformen

und Kombinationen angemessen. In unserer Bera-

tungsarbeit haben wir immer wieder die Erfahrung

gemacht, dass es allen Berufsgruppen schwer fällt,

Untersuchungsvorhaben für ihre eigene Praxis so

zu strukturieren, dass Evaluationen ihnen praktischen Nutzen bringen. Das

heißt insbesondere, dass wirklich bedeutsame Fragestellungen formuliert

werden und dass diese mit den verfügbaren Ressourcen bearbeitbar sind.

❒ Wenn Sie dazu tendieren, eine externe Evaluation zu beauftragen, so fin-

den Sie im Anhang und auf der CD-ROM (Nr. 2) ein Muster für einen „Eva-

luationsvertrag“, der auflistet, was es bei der Vertragsvorbereitung und

-schließung zu beachten gilt.

❒ Wenn Sie eine Selbstevaluation beginnen oder anregen möchten, dann

sehen Sie sich im nächsten Kapitel Kriterien zur Auswahl von Selbstevalua-

tionsvorhaben und die Checkliste „Wann sollte ich eine Selbstevaluation

durchführen?“ an (Nr. 21 auf der CD-ROM).

❒ Wenn Sie sich zu einer internen Evaluation entschließen, ziehen sie alle

drei Materialien zu Rate und notieren Sie sich, welche Anregungen Sie für

die Einführung und Anlage der internen Evaluation mitnehmen.

Auf der nächsten Seite finden Sie die Kriterienliste12, die bei der Präzisierung

der Evaluationsfragestellung hilft.

33

QS 29

12 nach Beywl/Bestvater: Kursmaterial zur Selbstevaluation in der Kinder- und Jugendhilfe.Unveröffentlichtes Material.

Auch bei Selbstevaluation ist es sinnvoll,

sich durch Interne oder Externe punktu-

ell beraten zu lassen.


34

QS 29Auswahl von Selbstevaluationsvorhaben

Um zu entscheiden, welche Fragestellungen oder Vorhaben sich am ehes-

ten für eine Selbstevaluation eignen, kann die Beantwortung folgender

Fragen hilfreich sein:

❒ Geht es bei dem Vorhaben um eine Tätigkeit oder einen Tätigkeitsbe-

reich, der zu unserem beruflichen oder ehrenamtlichen Handeln

gehört, unser Auftrag ist, in der Stellenbeschreibung steht, im Kreis

der Verantwortlichen vereinbart ist, ...?

➟ Das ist eine Voraussetzung.

❒ Wiederholt sich diese Art der Tätigkeit in unserem beruflichen oder

nebenamtlichen Kontext?

➟ Unikate eignen sich nicht so gut.

❒ Ist zur erfolgreichen Abwicklung des Vorhabens entdeckendes, pro-

bierendes oder sogar experimentierendes Handeln nötig?

➟ Eignet sich weniger gut.

Wenn mehrere Vorhaben in Frage kommen, können folgende Fragen

weiter helfen:

Bei der ersten Selbstevaluation:

❒ Welches ist das Vorhaben mit den wenigsten Schritten, dem wenigs-

ten Aufwand, der kürzesten Zeit, also das am stärksten fokussierte?

➟ Als Erfolgsstrategie sehr wichtig.

Bei späteren Vorhaben kann es wie folgt weitergehen:

❒ Welches kann am schnellsten erledigt werden?

➟ In angespannten Arbeitssituationen oft wichtig, hiermit anzufan-

gen.

❒ Habe ich einen Auftrag, eine bestimmte Frage in der Selbstevaluation

zu bearbeiten, die auch andere interessiert?

➟ Externe wie Zuwendungsgeber, Öffentlichkeit; Interne wie Vorge-

setzte, Kollegen, Vorstandsmitglieder, ...

❒ Mit welchem Vorhaben ist am meisten Anerkennung verbunden?

(Kolleg(inn)en, Geldgeber/-innen, Presse, „Kund(inn)en“).

➟ Oft ist es sinnvoll, im Interesse der Selbstmotivation hier anzufangen.

❒ An welchem Vorhaben hängt mein Herz?

➟ Häufig ist dies am wenigsten geeignet.

❒ Ist der Bereich, der für Selbstevaluation in Frage kommt, mit subjektiv

starkem Problemdruck belastet?

➟ In der Regel ungeeignet.

❒ Gibt es ein Vorhaben, dessen Bearbeitung ein oder mehrere andere

mit erledigt?

➟ In der Regel sehr günstig, da mit wenig Aufwand viel Arbeit erle-

digt werden kann.

❒ Die Vernachlässigung welchen Vorhabens ist mit den negativsten

Konsequenzen verbunden?

➟ Oft ist es nötig, hier anzufangen.


35

QS 29

Wenn Sie diesen Bogen zur Auswahl zwischen mehreren grundsätzlich möglichen Vorhaben nut-

zen wollen, vergleichen Sie einfach die Anzahl der voll zutreffenden Antworten.

Wann sollte ich eine Selbstevaluation durchführen?

Gehen Sie die folgende Liste durch und kreuzen Sie an, welche Aussagen

„voll“(▲), „überwiegend“(● ) oder „kaum/nicht“(■ ) zutreffen.

Wenn Sie ein ■ ankreuzen, scheidet eine Selbstevaluation meist aus.

Ähnliches gilt, wenn Sie zu häufig „trifft kaum/nicht zu“ ankreuzen.

Zum Praxisbereich, der evaluiert werden soll:

Folgendes betrifft stärker den Aspekt der Untersuchung in unserer

Selbstevaluation:

Weitere Kriterien, die wir für wichtig halten:

1. Es soll eine Tätigkeit evaluiert werden, die zu unserem haupt- oder nebenamtlichen

Handeln gehört, also zu unserem Auftrag, zu unserer Alltagsarbeit.

2. Das Praxisvorhaben betrifft zentrale Ziele unserer Arbeit.

3. Die evaluierte Tätigkeit wiederholt sich in unserem beruflichen Zusammenhang.

4. Es ist grundsätzlich zulässig, dass das herausfordernde Handlungsziel nicht voll er-

reicht wird, es besteht kein Erfolgszwang.

5. In unserem Praxisbereich gibt es genügend Spielräume für Verbesserungen/Verände-

rungen, auf die unsere Selbstevaluation abzielt.

6. Wir fühlen uns in diesem Arbeitsfeld/Tätigkeitsbereich genügend sicher, da wir schon

länger darin tätig sind oder andere fachliche Erfahrungen übertragen können.

7. Der Bereich, der für Selbstevaluation in Frage kommt, ist von subjektiv starkem Pro-

blemdruck, belastenden persönlichen Verwicklungen frei.

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

8. Mit der Evaluation und Dokumentation unseres Handelns ist Anerkennung/wohlwollen-

des Interesse verbunden (von Kolleg(inn)en, Geldgeber/-innen, Teilnehmer/-innen, ...).

9. Es gehen uns Chancen verloren, wenn wir die Selbstevaluation unterlassen.

10. Bei aller Belastung haben wir Ressourcen für die Selbstevaluation, zum Beispiel Zeit,

persönliche Stütze durch Kolleg(inn)en/Vorgesetzte, (minimale) Ausstattung.

11. Wir wissen, wo und wie wir erforderliche fachliche Beratung oder Unterstützung für

die Selbstevaluation bekommen können.

12. Wir können uns ein realistisches Bild davon machen, was wir nach Abschluss unserer

Selbstevaluation anders tun werden als vorher.

13. Die Selbstevaluation machen wir zu einem großen Teil für uns selbst.

14. Wir können anderen (Kollegen, Vorgesetzten, ...) gegenüber offen legen, dass wir die-

se Selbstevaluation durchführen (wir sind nicht gezwungen, es geheimzuhalten)

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

▲ ● ■

15.

16.

▲ ● ■

▲ ● ■

Trifft bei mir▲ voll● überwiegend■ kaum/nichtzu.

Checkliste


Risikoanalyse: Wie schätze ich das Risiko meiner Fragestellung ein?

Mit der Risikoanalyse13 können Sie sich vor Augen führen, was passieren

könnte, wenn Sie bestimmte Fragestellungen untersuchen und zu Ergeb-

nissen kommen, die manchen Leuten gefallen, anderen nicht.

1. Wählen Sie eine Fragestellung aus und notieren Sie diese im Arbeitsschema zur Risikoanalyse.

2. Wenn Sie diese Fragestellung mithilfe systematisch gewonnener Informationen beantwor-

tet hätten, was könnte wohl das Ergebnis Ihrer Untersuchung sein?

3. Wer interessiert sich für das Ergebnis? Listen Sie zunächst auf einem separaten Blatt die

wichtigsten Personen auf und ordnen Sie diese den Gruppierungen auf dem Arbeitssche-

ma zu.

4. Notieren Sie, wen (Person/Institution) Sie aus welchen Gründen als Verlierer/Ge-

winner/Mächtigen/Störenfried eingestuft haben. Was hoffen, befürchten oder beeinflus-

sen diese Personen? Tragen Sie Ihre Ideen in das Arbeitsschema ein. (Möglicherweise ist es

sinnvoll, für unterschiedliche Untersuchungsergebnisse, die Sie für denkbar halten, ge-

trennte Bögen anzulegen.)

5. Welche Konsequenzen ziehen Sie aus der Risikoanalyse für die geplante Untersuchung?

(Andere Fragestellung? Beteiligungsformen vorsehen?) Bitte im Arbeitsschema notieren.

13 Idee: Maja Heiner

36

QS 29

Evaluationsfragestellung:

Konsequenzen der Untersuchung

Sie machen sich zu Recht

Hoffnungen.

Welche?

Sie haben zu Recht Be-

fürchtungen.

Welche?

Sie können die Durchfüh-

rung der Untersuchung

stark beeinflussen.

Wie?

Sie haben unrealistische

Hoffnungen/Befürchtun-

gen oder andere Interessen.

Welche?

Die Gewinner Die Verlierer Die Mächtigen Die Störenfriede


37

QS 29Arbeitsblatt Nr. 3: Evaluationsplanung

3 Evaluations- und Datenerhebungsplan erstellen

Arbeitsblatt Nr.3: Evaluationsplanung (Seite 1)

1. Chancen und Risiken einer Evaluation abschätzen

a) Folgende Vorteile erhalte ich, wenn ich die Evaluation durchführe:

❒

❒

❒

b) Folgende Nachteile bedeutet es für mich, wenn ich die

Evaluation durchführe:

❒

❒

❒

2. Welche der folgenden Aussagen trifft für Sie zu?

a) Ich bin sicher, dass die Vorteile größer sind als die Nachteile.

➟ Machen Sie mit dem nächsten Punkt weiter: Fragestellungen für Ihre Untersuchung.

b) Ich vermute, dass die Vorteile die Nachteile überwiegen.

➟ Führen Sie eine „Risikoanalyse“ durch – vgl. Kap. 2.4.2, S. 36.

c) Ich denke, Vor- und Nachteile halten sich die Waage.


d) Ich vermute, dass die Nachteile die Vorteile überwiegen.


e) Ich bin sicher, dass die Nachteile größer sind als die Vorteile.➟ Geben Sie den Auftrag zur Evaluation zurück/verhandeln Sie ihn neu/holen Sie sich Unterstützung in ei-

ner (kollegialen) Beratung.

3. Ich will Fragestellungen für meine Untersuchungen formulieren.

a) Folgende Fragestellungen zum Programm soll meine Untersuchung beantworten.

*Wenn der Zusammenhang zwischen Fragestellung und Handlungsziel nicht offensichtlich ist, erläutern Sie ihn. Machen Sie Ihre Hinter-

grundannahmen deutlich. Ein Handlungsziel kann in Zusammenhang mit mehreren Fragestellungen stehen; eine Fragestellung kann auf

mehrere Handlungsziele bezogen sein.

b) Tragen Sie die Fragestellungen aus der Tabelle 3 a) in folgende Matrix aus Punkt 4

ein und beurteilen Sie diese nach: Wichtigkeit für Sie selbst, Wichtigkeit für andere

sowie Beantwortbarkeit.

Nr. Fragestellung Hängt zusammen mit Handlungsziel Nr.*


38

QS 29 Arbeitsblatt Nr. 3: Evaluationsplanung

Arbeitsblatt Nr.3: Evaluationsplanung (Seite 2)

4. Welche Fragestellungen will ich in datenbasierter Evaluation vorrangig bearbeiten?

Je mehr ▲ eine Fragestellung aufweist, desto eher lohnt sich eine empirische Erhebung (2 oder 3 ● können Sie als ein ▲ rechnen)

5. Ich will eine Erhebungsmethode auswählen.

Für folgende Ergebungsmethoden zur Beantwortung meiner Fragestellungen entscheide

ich mich:

Fragestellung 1. Rang



6. Verfügbarkeit von Daten/Instrumenten:

zu Fragestellung 1. Rang

a) Daten liegen schon vor, ich muss nur noch auswerten

b) Ein Erhebungsinstrument liegt vor, ich kann (gegebenenfalls nach leichter Anpassung) mit

dem Sammeln der Daten beginnen

c) Ein neues Instrument muss entwickelt werden











7. Machen Sie weiter mit der Erstellung des Datenerhebungsplans.

Fragestellung

A

mir wichtig

B

wichtig für ...

C

Antwort

umstritten

D

Aufwand zur

Beantwortung

Rang der

Fragestellung

▲ sehr wichtig

● wichtig

▲ sehr

● etwas

▲ gering

● mittel


39

QS 29Datenerhebungsplan

Nachdem Sie die Fragestellung für Ihre Evaluation geklärt haben, geht es um

die Planung, aus welchen Quellen (Datengebern), zu welchen Zeitpunkten,

mit welchen Instrumenten Sie die Daten erheben können, die eine Antwort

auf Ihre Fragestellungen geben. Wir machen Sie im Folgenden mit einem

Datenerhebungsplan bekannt. Dieser ist ein Hilfsmittel, um die einzelnen

Schritte konkret aufzuschlüsseln, die Sie dann umsetzen können. Arbeiten Sie

zunächst den mit einem Beispiel ausgefüllten Plan durch. Einiges dürfte sich

selbst erklären und durch das Wissen erschließen, das Sie sich bereits durch

die Lektüre der vorangehenden Kapitel angeeignet haben. Im Anschluss fin-

den Sie ein Beispiel und auf Seite 41 ein Blankoformular, das Sie sich mehr-

mals kopieren können, um damit zu arbeiten.

Wenn Sie zu viele Fragestellungen haben, ist es erforderlich Prioritäten zu

setzen.

Dennoch ist es sinnvoll, zunächst einen Datenerhebungsplan zu erstellen:

Die Prioritätensetzung verläuft dann informierter; Sie haben Ideen für späte-

re Evaluationen konkretisiert; Sie können Dritten deutlich machen, welche

Ressourcen es erforderte, umfassendere Evaluationen durchzuführen.

Frage mindestens

höchstens

Liegen

genug

Daten

vor?

Erhebungszeit-

punkte

Datenerhe-

bungsinstru-

ment

Wer könnte Daten

geben? (Quelle)

Wer könnte Daten

erheben? (Erheber)

Durch-

führ-

barkeit

Stich-

pro-

be

Erhe-

bungs-

zeit-

raum

Evaluations-

fragestellung

Erfolgskriterien/

Erwartungen

Datenerhebungsplan

Geben Sie

den Zeit-

raum an, auf

den die Er-

hebung sich

bezieht.

Die letzte

Überprüfung:

Ist der geplan-

te Einsatz an

Datenerhe-

bungsinstru-

menten zeit-

lich, fachlich,

ethisch ver-

tretbar?

Hier listen Sie Ihre

aus der Grob-Frage-

stellung konkretisier-

ten Teilfragestellun-

gen auf.

In dieses Feld kommen

die Erfolgskriterien zu

Ihren Fragestellungen. In

welchem Umfang streben

Sie mindestens/höchstens

an, dass etwas umgesetzt

wird, zutrifft, erfüllt wird?

Hier entscheiden

Sie, mit welcher

Art Erhebungsin-

strument Sie Ihre

Fragestellung

beantworten

wollen. Mit Hilfe

eines standardi-

sierten Fragebo-

gens, eines Inter-

views, eines

Feedbackverfah-

rens und ande-

ren, vgl. Kap. 3.

In vielen Fällen gibt es durch bestehendes statistisches Material, wie et-

wa Anmeldeformulare, Teilnehmerlisten etc., schon hinreichende Infor-

mationen zu Ihrem Programm, besonders zu den soziographischen Da-

ten Ihrer Teilnehmer/-innen. Ob Sie in diesem Feld ein Ja oder Nein ank-

reuzen, bestimmt maßgeblich die Menge Arbeit, die mit der Beantwor-

tung dieser Frage verbunden ist.

In dieses Feld

tragen Sie

ein, wer Ih-

nen die zur

Beantwor-

tung der Fra-

gestellung

nötigen Infor-

mationen lie-

fern kann.

Wer hat die Zeit, ist

fachlich kompetent

und autorisiert, die

Daten zu erheben?

Was sind Zeit-

punkte für die

Erhebung, die

in den Pro-

grammablauf

und zur Frage-

stellung pas-

sen?

Wenn Sie ohne zu

viel Aufwand alle für

diese Frage relevan-

ten Datengeberinnen

befragen können,

sollten Sie dies tun.

Wenn nicht, entschei-

den Sie sich für ein

geeignetes Verfahren

zur Stichprobenzie-

hung.

Wie bekommen wir Wann Welche Informationen von Wem?


Arbeitsblatt Datenerhebungsplanung: Beispiel

40

QS 29 Arbeitsblatt Datenerhebungsplanung

Frage

1. Wie viele Teilneh-

mer/-innen waren

im Kurs?

2. Wie viele davon

männlich/weib-

lich?

3. Wie haben die

Lehrer/-innen der

Schule vom Kurs

erfahren?

4. Wie zufrieden wa-

ren die Teilneh-

mer/-innen mit

dem Kurs?

5. Schätzen sich die

Teilnehmer so ein,

dass sie im Kurs

Bedeutsames ge-

lernt haben?

6. Haben die Teil-

nehmenden ihre

mündliche Aus-

drucksfähigkeit in

Vorstellungsge-

sprächen verbes-

sert?

7. Haben die Kurs-

durchführenden

die Einschätzung,

sie sind von den

Lehrern gut auf

die Klasse vorbe-

reitet worden?

8. Welche Vorschlä-

ge zur Verbesse-

rung des Kurses

haben Kurslei-

tung und Lehrer?

9. Welche Vorschlä-

ge zur Verbesse-

rung des Kurses

haben die Leh-

rer/-innen der

Klassen?

10.Haben die Kurs-

leiter/innen Ihr

geplantes Pro-

gramm durchge-

führt?

mindestens

höchstens

mindestens 20

höchstens 30

mindestens 1/3 weiblich

höchstens 2/3 weiblich

mindestens 80 % der Teil-

nehmenden sollen sich

zufrieden und sehr zufrie-

den äußern


nehmenden sollen auf die

Frage x; y ankreuzen


nehmden sollen sich in

Vorstellungsgesprächen

sicher präsentieren kön-

nen

Alle Kursdurchführende

fühlen sich von Lehrern

gut oder sehr gut über

die Klasse informiert

mindestens 1

höchstens 3 pro Person

mindestens 1

höchstens 3 pro Person

10a Kennenlernspiel,

mindestens solange,

bis alle Namen be-

kannt sind; nicht län-

ger als 30 Minuten

10b eigene Stärken und

Schwächen benen-

nen können; Einheit

von mind. 2 Ustd. da-

zu durchgeführt

10c Fähigkeiten im Ge-

spräch präsentieren;

Rollenspiel dazu

durchgeführt, in dem

jede/r üben konnte

Liegen

genug

Daten

vor?

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

Erhebungszeit-

punkte

Kursbeginn

1.3.00

Kursende

5.3.00

Vorbereitungs-

besuch 15.1.00

5.3

5.3.

Vorbereitungs-

gespräch

16.1. und Aus-

wertungsge-

spräch 10.3.

Auswertungs-

gespräch

10.3.

09.3

fortlaufend

Datenerhe-

bungsinstru-

ment

Anmeldeformular

Teilnehmerliste

Anmeldeformular

Teilnehmerliste

Interview

Fragebogen

Fragebogen

Beobachtung

Befragung

moderiertes

Gruppen-

interview

Telefoninterview

Planung und

Protokoll

Wer könnte Daten

geben? (Quelle)

Lehrer

Teilnehmer/-innen

Teilnehmer/-innen

Teilnehmer/-innen

Kursdurch-

führende

Kursleitung und

Lehrer

Lehrer/-innen

Kursleitung

Wer könnte Daten

erheben? (Erheber)

Verwaltung

Kursleitung

Verwaltung

Kursleitung

Kursleitung

Kursleitung

dafür bestimmter

Beobachter

Kursleitung

Kursleitung

Kursleitung

Kursleitung

Durch-

führ-

barkeit

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

Stich-

pro-

be

alle

alle

alle

alle

alle

alle

alle

alle

alle

alle

Erhe-

bungs-

zeit-

raum

04 bis

12/00

1.-5.3.

Evaluations-

fragestellung

Erfolgskriterien/

Erwartungen

Datenerhebungsplan

✓

✓

✓

✓

✓

✓

✓

✓✓

✓

✓

✓

✓

✓

✓

✓

✓

✓

✓✓


41

Arbeitsblatt Nr. 31: Datenerhebungsplanung

Frage mindestens

höchstens

Liegen

genug

Daten

vor?

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

Erhebungszeit-

punkte

Datenerhe-

bungsinstru-

ment

Wer könnte Daten

geben? (Quelle)

Wer könnte Daten

erheben? (Erheber)

Durch-

führ-

barkeit

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

❒ Ja

❒ Nein

Stich-

pro-

be

Erhe-

bungs-

zeit-

raum

Evaluations-

fragestellung

Erfolgskriterien/

Erwartungen

Datenerhebungsplan

QS 29


42

QS 293.1 Welche Erhebungsmethode wähle ich?

In diesem Kapitel stellen wir folgende Erhebungsmethoden vor:

❒ Programmintegrierte Feedbackeinheiten

❒ Beobachtung

❒ Befragung

❒ Standardisierter Fragebogen

❒ Mit GrafStat WIN gestalteter Fragebogen

Auf die Festlegung der Fragestellung Ihrer Evaluation folgt die Phase der In-

formationsgewinnung bzw. Datenerhebung. Hier bedient Evaluation sich

der Methoden und Techniken der qualitativen14 und quantitativen15 Sozialfor-

schung (Inhaltsanalyse, Beobachtung, Befragung), nutzt diese allerdings in

unmittelbar praxisbezogener Absicht. Die Auswahl der Erhebungsmethode

hängt ab von der zu beantwortenden Fragestellung, von den verfügbaren

Zeitressourcen und muss soziale und kulturelle Besonderheiten der beteilig-

ten Menschen berücksichtigen.

Zu bevorzugen sind solche Methoden, die sich gut in das Programm inte-

grieren lassen. Als didaktisch-methodischer Teil des Programms dienen sie

dann gleichermaßen der Umsetzung von Programmzielen und Beantwor-

tung von Evaluationsfragestellungen. Ein Beispiel für praxisintegrierte Daten-

erhebung ist der Einsatz eines Rollenspiels, das auf Video aufgezeichnet wird.

Es gehört zum pädagogischen Teil des Programms, die Teilnehmenden üben

zum Beispiel ein Bewerbungsgespräch. Gleichzeitig kann dies – auf Video

aufgezeichnet – der systematischen Beobachtung und Auswertung dienen,

um Antworten darauf zu geben, ob Teilnehmer zum Beispiel gelernt haben,

ihr Interesse deutlich und überzeugend zum Ausdruck zu bringen.

14 Texte, Bilder etc.15 in Zahlen umgesetzte Antworten

❒ Zuerst auf vorliegende Dokumente, Statistiken, ... zurückgreifen,

dann erst „frische” Daten erzeugen;

❒ Fragebögen, Beobachtungen, Tests und Ähnliches sparsam konzipie-

ren, so dass kein Datenüberschuss (= Blindleistung) entsteht;

❒ bevorzugt beobachtbares/beschreibbares Verhalten erheben – und

lediglich hilfsweise Einschätzungen;

❒ bei Einschätzungsfragen nicht bloß die Positiv-/Negativ-Bewertung,

sondern auch die Wichtigkeit des Kriteriums abfragen;

❒ Instrumente vor Echteinsatz mehrfach kritisch diskutieren und testen

(keine Erhebung ohne bestandenen Pretest!);

❒ Erhebungen so anlegen und terminieren, dass die Befragten schnell

Rückmeldungen über die Ergebnisse bekommen.

Bevor Sie ein neues Instrument für Ihre Evaluation entwickeln, gehen

Sie die nachstehende Checkliste durch.


43

QS 293.2 Programmintegrierte Feedbackeinheiten

Manchmal können sie unverändert genutzt werden, manchmal bedarf es

leichter Anpassungen, um die erforderlichen Informationen zu erhalten. Bei

der Planung von Interventionen und einzelnen Kurselementen lohnt es sich

zu überlegen, wie eine Aufgabenstellung an die Teilnehmenden lauten kann,

so dass die von ihnen erarbeiteten Ergebnisse für die Evaluation auswertbar

sind. Die bekanntesten Instrumente sind die verschiedensten Feedback-

methoden, also Verfahren zur Zwischen- und Schlussauswertung von Semi-

naren. Es gibt kaum eine pädagogische Maßnahme, in die nicht am Ende

und in verschiedenen Zwischenphasen Feedbacks der Teilnehmenden ein-

geplant sind. Werden solche Feedbackeinheiten auf die Fragestellung der

Evaluation bezogen und die Ergebnisse verschriftlicht, können sie als Daten-

erhebungsinstrument genutzt werden.

Wir führen im Folgenden exemplarisch drei Feedbackinstrumente mit Mus-

tern für Datenerhebungsraster auf.

16 In modifizierter Form entnommen aus: AGB-Arbeitsgemeinschaft für Gruppenberatung (Hg.): Das Methodenset. Bd. 4, Münster 1996

Blitzlicht

Viele Interventionen, die in pädagogische Programme eingeplant sind,

eignen sich zugleich zur systematischen Erhebung von Daten zur Evalua-

tionsfragestellung.

Bekannte Feedbackmethoden sind Partnerinterview, Blitzlicht, Manöver-

kritik, Malen der Gruppensituation, Stimmungsbarometer, mit Moderati-

onskarten durchgeführte Abschlussbewertungen.

Die Teilnehmenden äußern sich nach einem Abschnitt eines Kurses zum

Beispiel „Welche Inhalte des Kurses würdet ihr gern vertiefen?“ Die Teil-

nehmenden geben eine Stellungnahme ab, dürfen Äußerungen der ande-

ren aber nicht kommentieren. Die Stellungnahme sollte möglichst nur aus

einem Satz bestehen, eventuell einem positiven und einem negativen.

Die Reihenfolge der Wortmeldungen kann beliebig sein. Es ist aber auch

möglich, der Reihe nach vorzugehen. Dabei kann ein „Sprechstein“ wei-

tergereicht werden.

Anmerkung: Diese Methode eignet sich sowohl nach kürzeren Abschnit-

ten im Rahmen einer längeren Maßnahme als auch zum Abschluss.

Hinweis für Evaluatorinnen

Die zu beantwortende Frage folgt einer die Evaluation leitenden Fra-

gestellung.

Zur Dokumentation sollte – nach Einverständnis der Teilnehmenden – ein

Aufnahmegerät genutzt werden. Die Daten können dann nach den Kon-

ventionen der Text-Sortier-Technik in eine Textverarbeitung aufgenommen

und systematisch ausgewertet werden. Vgl. Kapitel 3.6.2.

3.2.1 Blitzlicht16


44

QS 29

17 In modifizierter Form entnommen aus: AGB-Arbeitsgemeinschaft für Gruppenberatung (Hg.): Das Methodenset. Bd. 4, Münster 1996

Jede/-r Teilnehmer/-in erhält eine rote, eine gelbe und eine grüne Karte.

Er/sie macht (z.B. in der Schlussrunde) eine kurze Aussage zur Maßnah-

me („Bitte formulieren Sie einen Satz“). Um ein Gruppenbild zu dieser

Aussage zu erhalten, signalisieren alle Teilnehmenden gleichzeitig durch

Hochhalten der für sie zutreffenden Karte ihre Zustimmung, Ablehnung

oder Zwischenposition.

- Grüne Karte: Zustimmung zur gemachten Aussage

- Gelbe Karte: Zwischenposition teils/teils

- Rote Karte: Ablehnung der gemachten Aussage

Variation: Teilnehmende, die das möchten, können ihre Entscheidung

kurz erläutern. So kann z.B. ein Gruppenmitglied, das mit seiner Farbe al-

leine geblieben ist, eine kurze Begründung geben.

Wichtig ist, dass pro Person nur je eine kurze Aussage gemacht wird. Län-

gere Diskussionen bei den einzelnen Aussagen vermeiden! Falls bei ei-

nem Thema großes Gesprächsbedürfnis besteht, sollte nach Abschluss

des Ampelfeedbacks mit einer stärker diskussionsorientierten Methode

weitergearbeitet werden.

Anmerkung: Die Methode ist auch gut geeignet zum Einsatz in Konferen-

zen, Arbeitsgruppen, Sitzungen etc.; sogar auf größeren Arbeitstagungen

ist sie geeignet, wenn genügend Menschen beim Zählen der Karten hel-

fen.

Hinweis für Evaluatorinnen

Um während der Durchführung des Ampelfeedbacks die Ergebnisse zu

dokumentieren empfiehlt sich die Anfertigung eines Rasters im Querfor-

mat, in dem die Aussagen und die Reaktionen festgehalten werden.

Die so erhobenen Daten können zum Beispiel in Säulengrafiken umge-

setzt, in den Evaluationsbericht einfließen.

Maßnahme: Datum: Gesamtzahl anwesende Teilnehmer:

Aussage Reaktion der anderen Teilnehmenden

Anzahl grün Anzahl gelb Anzahl rot

Ampelfeedback 3.2.2 Ampelfeedback17


45

QS 29

18 Entnommen aus: Landesinstitut für Schule und Weiterbildung: Methodensammlung – Anregungen und Beispiele für die Moderation. Soest 1995

Die Teilnehmenden werden gebeten, in der Rückschau auf das abgelau-

fene Programm positive Elemente, negative Elemente und alternative

Möglichkeiten für die Zukunft aufzuschreiben. In Einzelarbeit dokumen-

tieren die Teilnehmenden die unterschiedlichen Ergebnisse ihrer Rückbe-

trachtung auf Moderationskarten in drei unterschiedlichen Farben schlag-

wortartig. Die Karten werden eingesammelt, in einer Pause von der Lei-

tung oder einigen Teilnehmenden strukturiert und an drei durch die

Überschriften „Vorteile“, „Nachteile“, „Alternativen“ gekennzeichneten

Stellwänden ausgehängt. Nachdem die Strukturierungskriterien erläutert

wurden, schließt sich eine Diskussion an.

Anmerkung: Es empfiehlt sich, als Erinnerungshilfe zuvor noch einmal

den Ablauf zu rekapitulieren. Das Verfahren kann zur Auswertung eines

Programms oder einer einzelnen Phase angewendet werden. Es bezieht

alle Teilnehmenden ein und ist auf eine positiv konstruktive Kritik mit Ge-

staltungsmöglichkeiten für die Zukunft gerichtet.

Hinweis für Evaluatoren

Die Fragen folgen der die Evaluation leitenden Fragestellungen. Zum Bei-

spiel: Welche Stärken hat das Programm aus Sicht der Teilnehmenden?

Welche Verbesserungserfordernisse gibt es aus Sicht der Teilnehmen-

den?

Die angehefteten Karten können – aufgenommen in eine Textverarbei-

tung – nach Text-Sortier-Technik bearbeitet werden. Vgl. Kapitel 3.6.2.

Programmkritik3.2.3 Programmkritik18

Zeitsparend ist es, den Text der Karten, während diese noch hängen, auf

ein Diktiergerät zu sprechen. Sie sparen das Aufkleben/Abfotografieren

und haben präsent, welcher Kommentar dazu gegeben wurde.

Tipp


46

QS 293.3 Beobachtung

Im Gegensatz zur Alltagsbeobachtung, die von individuellen Vorlieben und

Interessen geleitet ist, wird die Beobachtung im Rahmen von Evaluationen

planmäßig und kontrolliert durch die Evaluatorin vorgenommen und doku-

mentiert. Die systematische Beobachtung setzt einen genauen schriftlichen

Beobachtungsplan voraus, der festlegt, was zu beobachten ist, wann und wo

die Beobachtung stattfindet und wie das Beobachtete – in einem Beobach-

tungsschema – zu protokollieren ist.

Die halbstandardisierte Beobachtung enthält offe-

ne Kategorien oder Fragen und weist die Beobach-

terin lediglich an, worauf sie während der Beob-

achtung zu achten hat. Die standardisierte Beob-

achtung gibt die Merkmale und ihre möglichen

Ausprägungen zur Protokollierung genau vor. Alle denkbaren Situationen

des zu beobachtenden Geschehens müssen im Prinzip bekannt sein, und das

Geschehen muss sich gut in einzelne Elemente und Segmente zerlegen las-

sen, die dann Gegenstand der Beobachtung sind.

Das Beispiel zeigt, dass die Planung von Beobachtungen aufwändig ist:

❒ Für jedes zu beobachtende Phänomen (hier: aktuelle Beteiligung an der

Kommunikation) muss eine vollständige Liste aller möglichen Ausprä-

gungen erstellt werden;

❒ diese Ausprägungen dürfen sich nicht überschneiden, sonst weiß der Be-

obachter nicht, wo er ankreuzen soll;

Soll beispielsweise auch erfasst werden, welche emotionale Ladung die ge-

rade stattfindende Kommunikation hat (stark/leicht aggressiv – neutral –

leicht/stark unterstützend), muss das Beobachtungsschema erweitert wer-

den.

Mehr als vier oder fünf Phänomene lassen sich selbst durch geübte Beobach-

ter nicht gleichzeitig erfassen, besonders wenn viele Ausprägungen möglich

sind.

Man unterscheidet zwischen

halbstandardisierter Beobachtung

und standardisierter Beobachtung.

Beispiel: Welche Form der Kommunikation findet, zu jeder dritten vollen Minute beob-

achtet, in der Plenumssitzung gerade statt?

- Alle Schweigen

- Moderator spricht mit Referent

- Referent spricht zum Moderator

- Moderator spricht zum Publikum

- Moderator spricht zum Publikum/einem bestimmten Teilnehmer

- Referent spricht zum Publikum/einem bestimmten Teilnehmer

- Ein Teilnehmer spricht zum Moderator

- Ein Teilnehmer spricht zum Referenten

- Ein Teilnehmer spricht zum Publikum/einem bestimmten Teilnehmer

- Es sprechen mehrere Personen gleichzeitig, und zwar ...

- Sonstige Kommunikationssituation (Beispiel: Hausmeister kommt herein und spricht

zum Moderator)


47

QS 29Wenn mehr als eine Person beobachtet, muss eine gründliche Beobach-

tungsschulung stattfinden, damit alle Beobachtenden gleiche Ausprägun-

gen auch gleich aufzeichnen. So gültig und nahe an der Wirklichkeit Beob-

achtungen sein können, so aufwändig sind sie zu planen und durchzuführen.

Eine komplett unstrukturierte bzw. freie Beobach-

tung wird vor allem dann eingesetzt, wenn die Ge-

genstände noch weitgehend unbekannt sind. Für

die Evaluation dürfte dies als zentrale Erhebungs-

methode in der Regel ein zu wenig zielgerichtetes

und zu aufwändiges Verfahren sein. Wenn man al-

lerdings eine bis dahin unbekannte Gruppe trifft,

erstmals eine bestimmte Einrichtung besucht, ist

es lohnenswert, zehn Minuten einer solchen freien Beobachtung zu widmen.

Unverzichtbar ist auch hier, dass Sie sich minimale Aufzeichnungen dazu ma-

chen.

Der Unterschied zwischen teilnehmender und nichtteilnehmender Beobach-

tung liegt darin, dass im einen Fall die Beobachterin an der zu beobachten-

den Situation teilnimmt, also mitmacht, im anderen Fall eine passiv-rezepti-

ve Rolle einnimmt. Systematisierung ist bei der teilnehmenden Beobachtung

dann schwierig, wenn man als Evaluatorin auch Einsätze im Programm hat,

wenn man zum Beispiel als Kursleiterin gleichzeitig Programmverantwortli-

che ist. Vorteil ist hier der geringe Zusatzaufwand, allerdings muss das Beob-

achtete nach Abschluss der Beobachtungsaufgabe schriftlich dokumentiert

werden. Die nichtteilnehmende Beobachtung bietet den Vorteil, dass sich

der Beobachter vollständig auf das Geschehen und das Protokollieren kon-

zentrieren kann, entsprechend genauer kann die Beobachtung ausfallen,

und es können mehrere Merkmale der Situation gleichzeitig beobachtet wer-

den. Der Nachteil liegt im erheblichen personellen Zusatzaufwand, da ja ei-

ne zusätzliche (speziell dafür qualifizierte und instruierte) Person tätig wer-

den muss.

Die Beobachtung kann in verschiedenen Phasen der Evaluation eines Pro-

gramms eingesetzt werden. So könnte zu Beginn einer Maßnahme Beobach-

tung eingesetzt werden, um die Stimmigkeit der Vorannahmen über die Ziel-

gruppe zu überprüfen und eventuell Zielanpassungen vorzunehmen. Etwas,

das wahrscheinlich haupt- und ehrenamtliche Fachkräfte ohnehin automa-

tisch zu Beginn einer Veranstaltung tun.

Im Verlauf einer Maßnahme können im Rahmen einer Prozessevaluation

durch die Beobachtung der Teilnehmer wichtige Informationen über mehr

oder weniger unterstützende Interventionen, Verhalten in der Gruppe und

Ähnliches gesammelt werden, um die Interventionen der Maßnahme ent-

sprechend anzupassen.

Insbesondere in Maßnahmen mit Teilnehmenden, die nicht ausreichend

schreibkundig sind, oder auch in sehr emotional geprägten Veranstaltungen

empfiehlt es sich, die systematische Beobachtung auch zur Ergebnisevaluati-

on zu nutzen. Dafür ist es erforderlich, Aktivitäten und Situationen in den

Programmablauf einzuplanen, in denen das Verhalten der Teilnehmenden

unaufwändig und störungsfrei beobachtet werden kann.

Hinweis: Nach unserer Erfahrung sind Er-

zieherinnen durch ihre Ausbildung gut

als Beobachterinnen geschult. Wenn die-

se als Datenerheberinnen mitarbeiten, ist

Beobachtung eine erfolgversprechende

Erhebungsstrategie.


48

QS 293.4 Befragung

Schriftliche und mündliche Befragungen sind in der Evaluation häufig einge-

setzte Mittel zur Datenerhebung. Aus den Fragestellungen der Evaluation

werden Fragen an Teilnehmende entwickelt. Die Auskünfte und die subjekti-

ven Einschätzungen der Teilnehmenden sollen eine Antwort auf die Evaluati-

onsfragestellung geben können.

Es gibt verschiedene For-

men, wie die Antworten er-

fragt werden können:

Schriftliche Befragungen. Die-

se werden von Befragten ins-

gesamt als anonymer erlebt,

was sich positiv auf die Bereit-

schaft zu ehrlichen Antwor-

ten und gründlicher Ausein-

andersetzung mit den Fragen

auswirken kann. Allerdings

können Unklarheiten zum

Beispiel in der Frageformulie-

rung nicht mehr oder nur mit

hohem Aufwand geklärt wer-

den, was eine sehr gute Vor-

ab-Prüfung des Instrumentes

durch Probebeantwortung

(= Pretest) erfordert.

Mündliche Befragungen. Die-

se können face-to-face oder

telefonisch stattfinden. Wenn

ein standardisiertes Befra-

gungsinstrument als fixe Fra-

geroute vorliegt, kann eine

große Ähnlichkeit der einzel-

nen Interviews gesichert wer-

den. Andererseits ist es mög-

lich, Unklarheiten durch

Rückfragen zu klären. Dies

kann allerdings eine Grat-

wanderung werden bis hin

zur unbeabsichtigten Beein-

flussung von Antworten. Dies

ist besonders in der Selbste-

valuation eine nicht zu unter-

schätzende mögliche Glaub-

würdigkeitslücke, wenn es

auch darum geht, nach außen

Transparenz über Prozesse

oder Ergebnisse zu schaffen

Von der Fragestellung zur Frage

... ein Beispiel Im Rahmen eines Drogenpräventionsprogramms

finden Selbstbehauptungskurse für Jungen statt.

Ziel der Kurse ist es, die Selbstsicherheit der Jun-

gen zu fördern.

Eine Fragestellung für die Evaluation könnte sein:

„Verfügen die Teilnehmenden nach Ende des Kur-

ses über ein hohes Maß an Selbstsicherheit?“

Daraus abgeleitete Fragen* an Teilnehmer:

offene Frage für Interview oder Fragebogen

• Denke daran, was der Kurs bei dir ausgelöst

hat. Wenn du von einer Gruppe Jugendlicher

auf der Straße provoziert wirst: Was ist ähnlich,

was ist anders als vor dem Kurs?

geschlossene Frage für Interview oder Fragebo-

gen

• Stell dir vor, du wirst von einer Gruppe Jugend-

licher auf der Straße provoziert. Hast du in die-

sem Kurs etwas erfahren, das dir in solchen Si-

tuationen nützt?

sehr vieles ❒ ❒ ❒ ❒ ❒ gar nichts

5 4 3 2 1

*In beiden Fragen kommt das Wort „Selbstsicher-

heit“ nicht vor. Bei der offenen Frage würde es die

Antworten zu sehr lenken, würde man das Wort

benutzen – ich muss also aus den sehr unter-

schiedlichen Antworten, die gegeben werden,

schließen, ob Selbstsicherheit ausgelöst ist. Am

besten, ich habe schon vorher einige mögliche

Antworten festgehalten, von denen ich auf „Selbst-

sicherheit“ schließe.

Bei der geschlossenen Frage ist es ähnlich: Eine Ein-

schätzung „Ich bin jetzt selbstsicherer“ ist schwer

zu geben. Man fragt daher nach einem Teilaspekt

(„Nützliches erfahren“) und hat somit einen Indi-

kator/Anzeiger für Selbstsicherheit. Vielleicht sind

noch weitere „Indikatoren“erforderlich, also zwei

weitere geschlossene Fragen. Ich kann die Einschät-

zung des besten Freundes/Freundin hinzunehmen

und habe dann den Vergleich von Selbst- und

Fremdbild. Nehme ich als Drittes ein Rollenspiel da-

zu, dann habe ich das Ideal der Datenerhebung

realisiert: einen Sachverhalt aus mindestens drei

Perspektiven betrachtet (=Triangulation).

Befragung


49

QS 29und Legitimation zu gewinnen. Die Entscheidung,

ob eine Befragung mündlich oder schriftlich erfol-

gen soll, hängt ab vom Inhalt, der Art und Anzahl

der Befragten und den finanziellen und zeitlichen

Rahmenbedingungen.

Das nichtstandardisierte Interview eignet sich vor al-

lem für Vorhaben, bei denen es zunächst um eine

erste Orientierung geht und man sich Informatio-

nen zu einem bestimmten Gegenstandsbereich

verschaffen muss. Die Gesprächsführung ist offen,

Interviewer und Befragter sind in ihren Äußerun-

gen frei. Die Äußerungen der befragten Person

werden entweder in Stichworten mitprotokolliert

oder mit einem Aufnahmegerät aufgezeichnet. Dieser Interviewtypus sollte

in der Evaluation eine Ausnahme sein; seine Nutzung ist Indikator dafür, dass

die Zielklärung des Programms und die Klärung der Evaluationsfragestellun-

gen unvollständig sind.

Von einem halbstandardisierten Interview spricht man, wenn dem Intervie-

wer die zentralen Themen der Befragung oder mögliche Fragen, eventuell

auch einige verbindliche Kernfragen ohne vorgegebene Reihenfolge zur

Verfügung stehen. Man spricht hier auch von einem leitfadenorientierten In-

terview.

Halbstandardisierte Interviews sind vor allem für formative Evaluationen ge-

eignet, weil man durch Antworten auf offene Fragen wichtige Hinweise der

Teilnehmenden zu Verbesserungen eines Programms bekommen kann, et-

was über die Bedarfe von Zielgruppen erfährt und all das erkunden kann, zu

dem es noch wenig Vorwissen seitens der Programmverantwortlichen gibt.

Bei den standardisierten mündlichen Interviews sind die Reihenfolge und die

Formulierung der einzelnen Fragen eindeutig vorgegeben und für den Inter-

viewer verbindlich. Das Mitprotokollieren von Aus-

sagen wird meist durch ein Ankreuzen der vom Be-

fragten genannten Alternative durch den Inter-

viewer ersetzt. Standardisierte Interviews eignen

sich ähnlich wie die standardisierte Beobachtung

für genau umgrenzte Themengebiete, über die bereits detaillierte Vorkennt-

nisse vorhanden sind, und sollten zum Beispiel in der Ergebnisevaluation be-

vorzugt zum Einsatz kommen (möglichst ergänzt durch andere, auch offene

Instrumente). Wegen des hohen Zeitaufwands für die Erhebung mit einem

voll standardisierten Instrumentarium per Interview kann aus ökonomischen

Gründen gleich dazu übergegangen werden, einen schriftlichen Fragebo-

gen einzusetzen.

In unserer eigenen externen Evaluationspraxis führen wir mündliche Präsenz-

interviews aus Kostengründen sehr selten durch. Bei internen und Selbsteva-

luationsvorhaben können diese öfter kostensparsam durchgeführt werden,

da Teilnehmende, Kollegen und Veranstaltungsbesucher ohnehin anwesend

sind. Ist dies nicht der Fall, raten wir zu Telefoninterviews. Hiermit haben wir

in den vergangenen Jahren sehr gute Erfahrungen gemacht; zwischen 50 %

Tipp: Zur Protokollierung von Interviewdaten

empfehlen wir für praxisnahe Evaluationen auf

den Tonbandmitschnitt zu verzichten. Machen

Sie besser handschriftliche Notizen und erstel-

len Sie unmittelbar nach dem Interview ein Ge-

dächtnisprotokoll am PC. Wenn Sie ein Tonband

mitlaufen lassen, schreiben Sie es auf keinen Fall

komplett ab. Schon bei einem Dutzend

45-minütiger Interviews würde dies wahrschein-

lich ihr Zeitbudget sprengen. Hören Sie das

Band ab und diktieren Sie ein Protokoll bei Über-

nahme wichtiger wörtlicher Passagen auf ein

Handdiktiergerät, das Sie später abschreiben

(lassen). Schon während des Protokollierens lei-

sten Sie wichtige Auswertungsarbeit!

Tipp: Die Auswertung der Interviewprotokolle

und Tonbandaufzeichnungen kann mittels Text-

Sortier-Technik erfolgen (vgl. Kapitel 3.6.2).

Telefoninterviews


50

QS 29und 90 % der Angerufenen erklärten sich zur Auskunft am Telefon bereit. Eine

lange Liste von Sachauskünften zu erhalten, ist am Telefon sehr mühsam; will

man hingegen einige kurze Auskünfte erhalten oder einige komplexere The-

men bearbeiten, so ist das Telefoninterview ein sehr geeignetes Verfahren.

3.5 Der Fragebogen – weit verbreitet und anspruchsvoll!

Der Fragebogen ist das beliebteste Mittel zur Datenerhebung, weil er mit re-

lativ wenig Aufwand die Befragung einer großen Gruppe von Menschen er-

möglicht und, wenn er gut konzipiert ist, umfangreiches Datenmaterial für

die Evaluation bereitstellt. Mit dem Programm GrafStat WIN, das diesem

Heft beigelegt ist, haben Sie zwei komfortable Möglichkeiten:

• den Fragebogen schnell in grafisch ansprechender Weise auszudrucken

und nachfolgend die Antworten in eine Eingabemaske zu übertragen;

• einen elektronisch ausfüllbaren Fragebogen zu erstellen („Bildschirmin-

terview“), den die zu Befragenden am PC beantworten; damit wird Ih-

nen die oft aufwändige Aufnahme der Daten erspart.

Für beide Vorgehensweisen enthält das Programm auch noch ein statisti-

sches Auswertungsmodul und ein Modul zur Erstellung von Präsentations-

grafiken. Das Programm ist für Anwender mit einfachen bis durchschnittli-

chen Computerkenntnissen besonders geeignet. Es wurde ursprünglich für

die Nutzung von Schülern im Unterricht konzipiert und ist daher didaktisch

gut aufgebaut. Zunächst zum Fragebogen und der Kunst, die richtigen Fra-

gen zu formulieren.

19 bzw. Klient(inn)en, Kund(inn)en, Besucher/-innen, je nachdem, in welchem Zusammenhang Sie arbeiten.

Fragestellung der Evaluation ... Fragen an Teilnehmer/-innen19

Formulieren Sie zunächst Ihre Fragestellung für die Evaluation,

etwas, das Sie über Ihr Programm herausfinden möchten.

Fragestellung für die Evaluation:

Leiten Sie aus der Evaluationsfragestellung möglichst spontan einige Fra-

gen an Teilnehmende/Mitglieder der Zielgruppe/andere relevante Aus-

kunftspersonen ab.

Frage für Fragebogen oder Interviewleitfaden:

1

2

3

Wie Sie diese Fragen fein einstellen und präzise auf Ihre Untersuchungs-

ziele zuschneiden, erfahren Sie im nächsten Abschnitt.

Fragebogen


51

QS 293.5.1 Fragen formulieren

Im Folgenden geht es ausschließlich um die Formulierung von Fragen für

Fragebogen. Bei mündlich gestellten Fragen, in denen die Schaffung und

Aufrechterhaltung eines guten Gesprächsklimas eine große Rolle spielt, sind

zum Teil andere Aspekte zu berücksichtigen. Im Beispielkasten auf Seite 48

haben Sie schon die wichtigste Unterscheidung von Frageformen kennen ge-

lernt: offene und geschlossene Fragen.

Offene Fragen ...

lauten zum Beispiel: „Wie hast du dich am ersten Tag in der Gruppe gefühlt?

Was waren in dieser Woche wichtige Lernerfahrungen für dich?“

Es ist den Antwortenden überlassen, auf welche besonderen Aspekte sie sich

beziehen. Sie können viel über die persönliche Verfassung, Erfahrung, Kennt-

nisse, Sichtweisen, Meinungen etc. der Antwortenden erfahren. Offene Fra-

gen sind interessant, wenn Sie von Ihren Teilnehmern Anregungen zu Verän-

derungen und Verbesserungen haben wollen.

Trotz dieser möglichen Erträge spricht einiges gegen offene Fragen: Sie sind

für Ungeübte schwer auszuwerten, die Antworten sind schwer vergleichbar

und ihre Auswertung erfordert viel Zeit. Aus diesen Gründen bestehen die

meisten Fragebogen überwiegend aus geschlossenen Fragen.

Geschlossene Fragen ...

haben zur Voraussetzung, dass die Evaluatorin alle möglichen relevanten

Antworten bereits kennt und sie vorab in eine sinnvolle Ordnung bringen

kann. Mittels geschlossener Fragen kann schnell

ein quantitativer Überblick über die Verteilung der

vorher festgelegten Antworten erstellt werden.

Geschlossene Fragen lenken die Aufmerksamkeit

der Antwortenden in eine bestimmte Richtung

und überlassen ihnen nur einen begrenzten Ent-

scheidungsspielraum. Der Antwortspielraum kann

durch verschiedene Vorgaben für das erwünschte

Antwortverhalten gezielt variiert werden.

Zum Beispiel:

„Wie oft finden Besprechungen mit Eltern statt?

(Bitte ein Kreuz)

❒ regelmäßig ❒ bei Bedarf ❒ gar nicht

Das Ergebnis kann auf einen Blick erfasst wer-

den (25 Antwortende):

12 regelmäßig 7 bei Bedarf 6 gar nicht

Offene Fragen

GeschlosseneFragen

Offene Fragen sind sinnvoll, wenn Sie

• nicht alle oder nicht wenigstens die meisten möglichen Antworten kennen und da-

her nicht mit geschlossenen Fragen eingrenzen können;

• die Antwortenden nicht einschränken wollen,

– da Sie etwas über die Personen und ihre Einstellungen herausfinden wollen

und entweder sehr wenig Informationen darüber haben, in welche Richtung

die Antworten gehen könnten, oder Sie wollen die Richtung möglichst wenig

beeinflussen; etwas über Gründe, Motive und Bezugsrahmen der Befragten

herausfinden wollen

– lebendige Kommentare und Statements dokumentieren möchten.


52

QS 29

*Die mit einem * versehenen Fragen können Sie in GrafStat WIN verwenden und auswerten.

Einfachwahl*mehrere Alternativen

Einfachwahl*zwei Alternativen

Mehrfachwahl*

Skala*mehrere Alternativenmit vorgegebener Rang-ordnung

Skala*Ausmaß, Intensität

Rangfrage

Maßzahl*

Liste, nur eine Nennungmöglich

ja/nein

Liste, Mehrfachnennun-gen möglich

Liste, abgestufte Inten-sität mit Operatonalisie-rung

Abgestufte Intensitätmit einer Zahlenskala

Liste, Prioritäten setzen

Kästchen, zum Eintra-gen der Zahl

Mit welchem Verkehrsmittel kommstdu überwiegend zur Schule?Kreuze bitte eine der folgenden Mög-lichkeiten an: ❒ zu Fuß❒ Fahrrad❒ Bahn/Bus❒ Mofa/Roller/Motrorrad❒ PKW❒ sonstiges

Stimmen Sie der Behauptung zu, dassdie Sekundarstufe II um ein Schuljahrgekürzt werden sollte?❒ stimme zu❒ stimme nicht zu

Kreuzen Sie bitte in der nachfolgendenListe die von Ihnen bevorzugten Frei-zeitaktivitäten an. Mehrere Kreuze sindmöglich (oder 3 Kreuze sind möglich). ❒ mit Freuden zusammen sein❒ Musik hören❒ Sport ❒ Fernsehen❒ Computerspiele❒ anderes_____________

Wie viel Zeit hast du am letzten Sonn-tag am Computer verbracht? (ein Kreuzmöglich)❒ gar keine ❒ bis eine Stunde❒ mehr als 1 bis 2 Stunden❒ mehr als 2 bis 3 Stunden❒ mehr als 3 bis 5 Stunden❒ mehr als 5 Stunden

Gebe bitte auf untenstehender Skalaan, wie wohl du dich in deiner Gastfa-milie gefühlt hast (ein Kreuz):❒ 5 sehr wohl❒ 4❒ 3❒ 2❒ 1 sehr unwohl

Wie interessant waren für dich die The-men der Gruppenleiterfortbildung(gib dem interessantesten Thema dieRangzahl 1, dem zweitinteressantestendie 2 usw. bis 5)❒ Streitschlichtung❒ Leitungsrunde vorbereiten❒ Konzeptentwicklung Austauschfahrt❒ Erfahrungsaustausch Gruppenarbeit❒ Vorbereitung Herbsttagung

Geben Sie bitte Ihr Geburtsjahr an19___

Antwortmöglichkeit Gestaltung Beispiel

Geschlossene Fragen – verschiedene Antwortmöglichkeiten


53

QS 29Offene und geschlossene Fragen bedienen damit unterschiedliche Untersu-

chungszwecke und erfordern unterschiedlich vollständige Vorinformationen.

In Anlehnung an Andreas Diekmann (Empirische Sozialforschung, Reinbek

1995, S. 404 –406) können folgende vier Fragetypen unterschieden werden,

je nachdem nach welcher Art von Inhalt sie fragen:

❒ Einstellungsfragen

wollen beim zu Befragenden Bewertungen von Personen, Prozessen und Objekten erhe-

ben. Oft wird dazu der Befragte aufgefordert mitzuteilen, in welchem Maße wertende

Aussagen aus seiner Sicht zutreffen oder nicht zutreffen.

❒ Verhaltensfragen

sind in der Regel auf zeitlich Zurückliegendes gerichtet. Es soll erfragt werden, ob be-

stimmte Handlungen oder Prozesse in der Vergangenheit stattgefunden haben, wie häu-

fig oder von welcher Dauer dies gewesen ist. Wichtig ist es, einen konkreten Zeitpunkt

anzugeben („in diesem Kalenderjahr”, „in den zurückliegenden zwölf Monaten”).

❒ Wissens- oder Überzeugungsfragen

betreffen Aussagen über Sachverhalte und Fakten. Es wird unterstellt, dass der Befragte

zum Thema Sachkenntnis mitbringt. Wenn solche Fragen außerhalb prüfungsähnlicher

Situationen eingesetzt werden, zum Beispiel, „Was schätzt du, wie viele Mitglieder hat

der Deutsche Pfadfinderverband in Bayern?“, ist es erforderlich, die Antwortkategorie

„weiß nicht” vorzusehen.

❒ Sozialstatistische Fragen

betreffen Merkmale des Befragten oder auch der untersuchten Einrichtung, über die es

in öffentlich zugänglichen Statistiken differenzierte Vergleichsgrundlagen gibt. Dies sind

zum Beispiel Geschlecht, Alter, Haushaltsgröße, Familienstand etc.

Es gibt weitere mögliche Unterscheidungen für Grundformen von Fragen, wie zum Beispiel

lösungsorientiert – problemorientiert; Beschreibung anfordernd – Bewertung anfordernd;

anregend – kontrollierend, ...

Anforderungen an Fragen

Eine Frage ...

• kann einer Fragestellung zum Evaluationsgegenstand zugeordnet werden, es sei

denn, sie dient zum Anwärmen oder Überleiten

• ist von allen Befragten sinnvoll beantwortbar; durch Filterfragen können Teilmengen

der Befragten – für die bestimmte Fragen nicht zutreffen – übersprungen werden

• ist eindeutig: alle Befragten verstehen dasselbe darunter

• so klar, konkret und einfach wie möglich stellen

• so kurz wie möglich (maximal 20 Wörter) formulieren

• so neutral wie möglich halten

• ist allgemein verständlich, dem Sprachniveau der Befragten angepasst, ohne sich

durch ihren Slang anzubiedern („Wer ist der Coolste unter den Betreuern?“)

• respektvoll und höflich formulieren

• sollte je Frage nur eine Dimension ansprechen (also zum Beispiel nicht Verständlich-

keit und Bedeutsamkeit gleichzeitig erfragen)

• gibt die Dimension, in der die Antwort gewünscht wird, möglichst genau an; statt

zum Beispiel „Haben Sie die Möglichkeit ...“, genauer formulieren, „Haben Sie die

Zeit, die Fähigkeit, Entscheidungsfreiheit ...

• bezieht sich wenn möglich auf beobachtbares Verhalten; nur wenn das nicht geht,

nach Meinungen, Eindrücken usw. fragen

• gibt genau an, was zu tun ist: „Bitte kreuzen Sie an, welche Antwort für Sie zutrifft.“

Oder: „Notieren Sie bitte stichwortartig in dem dafür frei gelassenen Raum.“


54

QS 29Häufige Probleme bei der Frageformulierung

DoppelteVerneinung

Zwei Dimensio-nen oder Merk-male in einerFrage

Alternativenunklar

UngenaueBeschreibungder Dimension

ÜberladeneFragen

Heikle Themen

Antwortspiel-raum zu klein

Kategorien über-schneiden sich/lassen Lücken

Ohne die Meinungen der Teilneh-menden zu erfragen, kann eine Maß-nahme nicht verbessert werden.

❒ stimme zu❒ stimme nicht zu

Notieren Sie die wichtigsten Lerner-fahrungen, die Sie im Bewerbungs-training und im Betriebspraktikumgemacht haben.

Hast du mehr gelernt durch die Ar-beit in den Kleingruppen, in derGroßgruppe oder durch die Paarar-beiten?

Hatten Sie genügend Möglichkeiten,mit den Gastfamilien zu sprechen?

Sind Sie für die Erhöhung der Benzin-preise, um die Umwelt zu retten?

Sind Sie dafür oder dagegen, dassComputerspezialisten aus Indien eineDaueraufenthaltsgenehmigungbekommen?

Sind Sie mit dem Rahmenprogrammder Veranstaltung zufrieden?

❒ ja❒ nein

bis 3 Jahre, 4 bis 6 Jahre, 7 bis 10 Jahre, mehr als 10 Jahre

Problem Beispiel

positiv formulie-ren oder eineVerneinung weniger

zwei Fragen

Alternativendeutlich trennen

konkretisieren

entschärfen

indirektformulieren

Möglichkeitenzur Differenzie-rung geben

deutlich tren-nen/alle denk-baren Möglich-keiten abdecken

Lösung

Kreuzen Sie bitte an, ob Sie der fol-genden Aussage zustimmen odernicht zustimmen: Um eine Maßnahme zu verbessern,ist es wichtig zu wissen, welche Ein-schätzung die Teilnehmenden haben.

Notieren Sie bitte Ihre wichtigstenLernerfahrungen aus dem Betriebs-praktikum. Notieren Sie bitte die wichtigstenLernerfahrungen aus dem Bewer-bungstraining.

In welcher Form konntest du am bes-ten lernen? Kreuze bitte eine der fol-genden Arbeitsformen an:❒ Großgruppe❒ Kleingruppe❒ Paararbeit

Ließ die Planung des Programms eszu, dass Sie genügend Zeit für Ge-spräche mit der Gastfamilie hatten?

Glauben Sie, dass durch eine Er-höhung der Benzinpreise die Schad-stoffbelastung gesenkt werden kann?

Stellen Sie sich vor, drei Menschenunterhalten sich über die Frage, ...,mit welcher Aussage stimmen Sie amehesten überein? A) Um es ausländischen Computer-

spezialisten interessant genug zumachen in Deutschland zu arbei-ten, muss man ihnen die Möglich-keit geben, hier dauerhaft zu le-ben.

B) Es ist angemessen, ausländischenComputerspezialisten eine Aufent-haltsgenehmigung für 5 Jahreauszustellen.

C) Man sollte keine ausländischenComputerspezialisten ins Landholen und besser nach anderenLösungen für den Fachkräfteman-gel suchen.

Bitte kreuzen Sie an, welche der fol-genden vier Antworten für Sie zutrifft:Mit dem Rahmenprogramm der Ver-anstaltung bin ich ❒ sehr zufrieden❒ zufrieden❒ unzufrieden❒ sehr unzufrieden

bis 3 Jahre, 4 bis 6 Jahre, 7 bis 10 Jahre, mehr als 10 Jahre

Beispiel


55

QS 29Wiederverwenden bereits eingesetzter Fragen

Das „Recyceln” von Fragen, die zu vorausgegangenen Evaluationen doku-

mentiert sind, ist eine zweischneidige Angelegenheit. Einerseits beschleu-

nigt es den Prozess der Instrumentenerstellung. Man bekommt Ideen, was

man zur Beantwortung einer bestimmten Evaluationsfragestellung fragen

könnte. Man erhält Hinweise auf Fragedimensionen oder Operationalisie-

rungsmöglichkeiten, an die man zunächst selbst nicht gedacht hat. Anderer-

seits fördert das „Ausschlachten” vorliegender Instrumente, dass man zu vie-

le Fragen stellt. Viel wichtiger aber: Man überlegt sich nicht gründlich ge-

nug, ob diese Fragen genau auf die zu beantwortenden Evaluationsfragestel-

lungen passen, ob die Sprache für die Befragtengruppe angemessen ist und

man übersieht Quellen für Missverständnisse. Wenn man die für Formulie-

rung eingesparte Zeit in Pretests investiert, wird man viele dieser Fehlerquel-

len ausschalten und gleichzeitig ganz besondere, auf den speziellen Evalua-

tionsgegenstand passende Fragen finden.

Zwischen den Gütekriterien muss immer wieder abgewogen werden. Beson-

ders gilt dies für Treffgenauigkeit einerseits und Responsivität andererseits.

Gut vorbereitete geschlossene Fragen können sehr treffgenau sein, schrän-

ken aber die Antwortmöglichkeiten der Befragten erheblich ein. Eigene Per-

spektiven und Interessen können sie nicht in den Interaktionsprozess ein-

bringen, was unter Umständen ihre Responsivität mindert. Offene Fragen

hingegen fördern den Gesprächsfluss, nähern die Befragung – zumal wenn

es den Befragten gelingt, zu Erzählern zu werden – einer symmetrischen Ge-

sprächssituation an. Je weniger die Themen und Antwortdimensionen durch

den Befrager festgelegt sind, desto höher die Gefahr, dass die Antworten

schließlich kaum noch zur Beantwortung der Evaluationsfragestellungen bei-

tragen.

Gütekriterien für Fragen

Wir unterscheiden sieben Gütekriterien für Fragen.

❒ Nutzen:

Beitrag der Frage zur Beantwortung der Evaluationsfragestellung und zur Verfol-

gung des Untersuchungsziels

❒ Gültigkeit:

Übereinstimmung der „angeforderten“ Antworten mit dem zu beschreibenden

Sachverhalt

❒ Treffgenauigkeit:

Zielklarheit und Orientierungskraft der Frageformulierung

❒ Neutralität:

Achtung vor kultureller, ethnischer, politischer Differenz; Schutz der Werte und Inte-

grität des Befragten

❒ Responsivität:

Ermöglichung authentischer, sinnvoller, kompetenter, vollständiger Antworten

❒ Verständlichkeit:

Prägnanz und Angemessenheit der verwendeten Sprache

❒ Präzision:

Zutreffende Benennung von Orten, Personen, Organisationen, gesetzlich normier-

ten Begriffen, ...


56

QS 29Ein Ziel bei der Komposition eines Fragebogens oder eines Gesprächsleitfa-

dens wird es daher sein, die Regelverstöße auszubalancieren, so dass durch

die Gesamtheit der Befragung, eventuell noch ergänzt durch andere Erhe-

bungsinstrumente, ein in möglichst vielen Dimensionen befriedigendes Er-

gebnis erreicht werden kann.

3.5.2 Gestaltung des Fragebogens

Was man in der Umgangssprache schlicht „Fragebogen“ nennt, heißt in der

Fachsprache „vollstandardisierter Fragebogen“. Gemeint ist damit, dass

sämtliche Fragebogen, die zu dieser Untersuchung oder für die Evaluation

verteilt werden, gleich aussehen, dieselben Fragen haben, die gleiche Rei-

henfolge der Fragen. Die Fragen sind vorformuliert, und es ist vorgegeben,

welche Fragen wie zu beantworten sind. Im vorangegangenen Kapitel ha-

ben Sie viel über die Gestaltung der einzelnen Frage gelesen. Wenn Sie die

Fragen formuliert haben, ist die Hauptarbeit getan. Jetzt geht es darum, die

Fragen überschaubar zusammenzustellen und den Fragebogen auf einladen-

de Weise zu gestalten, so dass die Befragten motiviert sind, ihn auszufüllen.

Einleitung

Versehen Sie den Fragebogen mit einer Überschrift, erklären Sie in wenigen

Sätzen, welchem Zweck der Fragebogen dient, wozu Sie die benötigten In-

formationen verwenden und motivieren Sie zur Mitarbeit. Versichern Sie die

Anonymität der Befragung. Hilfreich ist es, wenn Sie den Befragten angeben,

wie viel Zeit sie zum Ausfüllen brauchen werden.

Gliederung

Der Fragebogen umfasst im Idealfall nicht mehr als 20 Fragen und ist nicht

länger als zwei Seiten. Das sind nur grobe Richtwerte.

Beginnen Sie mit einfachen Fragen, etwa „Seit wann bist Du Mitglied bei ...“.

Wenn es eventuell Befürchtungen nach Entanonymisierung gibt, sollten Sie

Fragen nach Alter, Geschlecht usw. an den Schluss

stellen, sonst können diese auch am Anfang ste-

hen. Fassen Sie dann die einzelnen Fragen zu sinn-

vollen Fragekomplexen zusammen und leiten Sie

diese eventuell mit einigen Worten ein. Schließen

Sie mit einem Danke!

Vor dem Einsatz ...

sollten Sie den Bogen empirisch überprüfen. In der Fachsprache nennt man

diesen Vorgang Pretest. Je nach Zweck Ihrer Evaluation, das heißt, je nach-

dem wie sicher und zuverlässig die Ergebnisse gewünscht sind, müssen Sie

dies mit mehr oder weniger Aufwand betreiben. Im Idealfall würden Sie den

Bogen einmal mit einem kleinen Teil der Zielgruppe einem Testlauf unterzie-

hen (Vier bis Sechs Befragungen), um die Ergebnisse dann mithilfe der nach-

folgenden Checkliste zu überprüfen. Varianten sind, dass Sie den Bogen mit

der Checkliste zusammen einem Kollegen oder einer Kollegin geben, dass

Sie die Fragen von zwei Menschen durchlesen lassen, die der Zielgruppe

ähnlich sind, und auf Verständlichkeit überprüfen lassen, und dass Sie selber

noch einmal die Checkliste durchgehen.

Tipp: Wenn Sie zu viele Fragen haben, setzen Sie

das „Arbeitsschema zur Reduktion der Fra-

genanzahl“ ein und bearbeiten es gegebenen-

falls in Plakatform in einer kleinen Gruppe (Ar-

beitsblätter Nr. 32 auf der CD-ROM).

Besser ein Pretest mit nicht ganz passenden Personen als gar keiner!


3.5.3 Fragebogen mit GrafStat WIN20

GrafStat WIN ist eine große Hilfe bei der Gestaltung von Fragebogen und

der Auswertung von Datenerhebungen.

Installieren Sie GrafStat zunächst.

Die Anleitung ist auf den letzten Seiten dieses Heftes beschrieben und einfach

durchzuführen. Wir werden im Folgenden die Erstellung eines Fragebogens

kurz beschreiben. Sie können aber auch jederzeit, wenn etwas unklar ist, über

den Button im Programm selbst weitere Informationen bekommen. Die

Hilfefunktion ist sehr umfangreich und enthält Informationen zum Programm,

zur Gestaltung des Fragebogens, zur Formulierung von Fragen und anderes.

1. Fragen eingeben

☞ Klicken Sie an, es erscheint ei-

ne grüne Oberfläche, die wie eine Tafel aus-

sieht (siehe Seite 61).

☞ Dort klicken Sie auf den Button .

✎ Es erscheint ein Fenster mit einem Feld, in das

Sie einen Fragebogennamen eingeben, maxi-

mal 7 Zeichen. Beispiel: „Fragb01“.

☞ anklicken.

✎ Jetzt können Sie den Fragetext Ihrer ersten Frage eingeben.

✎ In das Fenster geben Sie eine Überschrift/ein Kennwort für Ihre

Frage ein (dieses erscheint später in der Auswertung).

☞ Klicken Sie den gewünschten Fragetyp an (siehe auch Tabelle auf Seite 52),

steht für offene Fragen.frei

Kurzform

OK

neu

Forschen mit GrafStat WIN

Hilfe

57

QS 29

20 Lesern/Leserinnen, die sich schnell in eine Software hineindenken, empfehlen wir, dieses Kapitel zu überspringen und direkt mit Kapitel 3.6fortzufahren, da GrafStat ein übersichtliches Programm ist, dessen Funktionen sich schnell erschließen.

Tipp: Wenn Sie für mehrere Fragen die-

selben Antwortvorgaben verwenden

möchten: Markieren Sie die Antwortvor-

gaben zur ersten dieser Fragen, drücken

Sie die beiden Tasten bzw.

und gleichzeitig und fügen Sie den

Text bei der nächsten Frage mit

bzw. und wieder ein.vStrg

Ctrl

c

StrgCtrl

❒ Gibt es überflüssige Fragen?

❒ Sind alle Fragen leicht zu verstehen?

❒ Können die Befragten die Fragen sinnvoll beantworten?

❒ Können die Befragten die Anleitung verstehen?

❒ Enthält der Fragebogen Abkürzungen, Fachausdrücke, umgangs-

sprachliche Ausdrücke, die vielleicht nicht von allen verstanden wer-

den?

❒ Ist die Zahl der Antwortkategorien groß genug, so dass Differenzie-

rungen möglich sind/klein genug, so dass in der Auswertung nicht

mehrere Antwortkategorien leer bleiben?

❒ Ist der Bogen logisch aufgebaut?

❒ Lassen sich Einleitung, Überleitungen, ... flüssig lesen?

❒ Hält der Fragebogen das Interesse der Befragten aufrecht?

Checkliste zum Fragebogen

GrafStat WIN


✎ Geben Sie den Text für die möglichen Antworten ein.

☞ Klicken Sie auf .

☞ Klicken Sie den Button an um fortzufahren, bis alle Fragen ein-

gegeben sind.

☞ Bestätigen Sie mit .

✎ GrafStat speichert Ihren Fragebogen automatisch unter dem von Ihnen

eingegeben Namen mit dem Anhang „.dbt“.

2. Fragebogen gestalten

Wenn Sie wieder auf der grünen Oberfläche sind, klicken Sie den Button

an.

☞ Klicken Sie auf und tragen Sie die Überschrift ein, die auf jeder

Seite des Fragebogens in der Kopfzeile erscheinen soll. Beisspiel: „Mit-

gliederbefragung 2001“.

☞ Klicken Sie auf und geben Sie Ihre Einleitung ein. Bestätigen Sie

mit .

☞ Über den Button können Sie einen Text zur Erläuterung einer

Frage oder Anweisungen für das Antworten eingeben, wie zum Beispiel

„Die folgenden drei Fragen wenden sich ausschließlich an Erstbesucher/-

innen“ (dann das Kästchen aktivieren)

oder Zutreffendes bitte ankreuzen/ein Kreuz. Im Sichtfenster oben rechts

wählen Sie die Nummer der Frage, zu der Sie den Kommentar eingeben

wollen. Nach Eingabe der Kommentartexte bestätigen Sie mit .

☞ Wenn Sie die Registerkarte anklicken, haben Sie die Wahl zwischen

verschiedenen Stilvorgaben; nach Anklicken der Registerkarte er-

scheint je ein Regler für den Zeilenabstand und für die Schriftgröße.

☞ Jetzt können Sie den Fragebogen ausdrucken oder zum Haupt-

menü. GrafStat speichert die Stilvorlage automatisch unter Ihrem Frage-

bogennamen mit dem Anhang „.stv“.

zurück

Schrift

Seite

OK

vor die Frage setzen

Kommentare

OK

Anredetext

Überschrift

gestalten und drucken

Eingabe beenden

neue Frage

Speichern

58

QS 29

Wenn Sie einen größeren Fragebogen erstellen, speichern Sie in circa

halbstündigen Abständen Ihre Arbeit als Kopie ab. Auf der „grünen Ta-

fel“den Button drücken, dann . Klicken Sie in der linken

Auswahlliste auf den aktuellen Fragebogennamen und geben Sie oben

rechts in das freie weiße Feld den Namen der Kopie ein, zum Beispiel

Fragb02. Bei Datenverlust können Sie dann auf die Kopie zurückgreifen und

müssen mit der Eingabearbeit nicht von vorne anfangen (wie uns passiert).

DuplizierenVerwaltung

Praxis-Tipp


59

QS 29Hinzufügen und Löschen von Fragen

☞ Wenn der Fragebogen geöffnet ist, den Button anklicken.

☞ Über die Pfeile rechts neben der Fragenummer zu der Nummer gehen,

hinter der Sie die neue Frage einfügen wollen. Wenn Sie eine neue Frage

1 einfügen wollen, müssen Sie den Zähler zuvor auf 0 stellen.

☞ anklicken und wie oben beschrieben fortfahren.

☞ anklicken, wenn Sie eine Frage löschen wollen; die Fragen

werden automatisch neu durchnumeriert.

Und nun viel Spaß und viel Erfolg!

Frage löschen

neue Frage

ändern

Achtung: Wenn Sie schon mit der Datenerfassung begonnen haben,

lässt der Fragebogen sich nicht mehr ändern.


60

QS 293.6 Auswertung von Befragungen

In den folgenden Kapiteln beschreiben wir,

• wie Sie die quantitativen Daten Ihrer Befragung mit GrafStat WIN auswer-

ten und

• wie Sie Texte aus einer Befragung, aus Interviews oder aus Beobachtungs-

protokollen auswerten.

3.6.1 Auswertung quantitativer Daten der Befragung mit GrafStat WIN21

Zunächst müssen Sie die Daten Ihrer Fragebogen eingeben. Sie haben mit

GrafStat WIN zwei Eingabemöglichkeiten. Wir empfehlen die Daten über die

Funktion einzugeben. Wenn Sie den zu Befragenden einen oder

zwei Computer zur Verfügung stellen können, geben diese selbst ihre Ant-

worten direkt über die Interviewfunktion ein. Der Fragebogen muss dann

erst gar nicht ausgedruckt werden und Sie haben die Zeit der Dateneingabe

gespart. Dazu kommt, dass vielen Jugendlichen der Umgang mit dem Com-

puter Spaß macht und die Eingabe am PC damit zusätzlich zur Teilnahme

motiviert. Für ungefähr dreißig Fragen müssen Sie mit maximal zehn Minu-

ten Eingabezeit für jeden Befragten rechnen. Auch wenn Sie die Daten von

einem ausgedruckten und dann handschriftlich ausgefüllten Fragebogen

selbst eingeben, empfehlen wir die Interviewfunktion zu verwenden.

Texte – Antworten auf offene Fragen – lassen sich mit GrafStat WIN nur

über die Interviewfunktion erfassen.

So geben Sie die Daten ein:

❒ Drücken Sie den Button oben links auf der grünen Tafel, markie-

ren Sie den Fragebogennamen mit dem Anhang „.dbt“ und klicken Sie

auf .

❒ anklicken.

Sie sehen den Anredetext der Befragung. Auf der unteren Leiste finden

Sie die Nummer des Interviews; das Programm zählt automatisch weiter,

wenn Sie das erste Interview fertig eingegeben haben.

❒ anklicken.

Oben erscheinen Nummer und Text der Frage und, falls vorhanden, im

mittleren Feld die von Ihnen vorgesehenen Antwortmöglichkeiten.

❒ Nach Eingabe von Text, Zahl oder Anklicken der zutreffenden Antwortvor-

gabe(n) zur nächsten Frage.

❒ erscheint am Ende eines Interviews.

❒ sichert automatisch die Eingaben.

Wenn Sie den Vorgang beenden wollen, klicken Sie nach dem letzten In-

terview noch einmal auf ; es erscheint wieder der Anredetext und

unten rechts der Button .

❒ schließt den Vorgang ab, alle Eingaben sind gespeichert.Eingabe beenden

Eingabe beenden

weiter

weiter

Die Daten sichern

weiter

Start

Interview

OK

öffnen

Interview

21 Lesern/Leserinnen, die sich schnell in eine Software hineindenken, empfehlen wir dieses Kapitel zu überspringen und direkt mit Kapitel 3.6.2fortzufahren, da GrafStat ein übersichtliches Programm ist, dessen Funktionen sich schnell erschließen.


61

QS 29Wenn Sie zu einem späteren Zeitpunkt mit der Eingabe fortfahren wollen,

zählt das Programm automatisch weiter. Das heißt, wenn Sie zum Beispiel

mit Fragebogen Nr. 6 aufgehört haben, startet das Programm mit Fragebo-

gen Nr. 7.

Was wir bis hier erklärt haben, bezieht sich auf eine kleine Befragung, die

von einer Evaluatorin allein bearbeitet werden kann.

Wenn Sie größere Stichproben haben und mehrere Evaluatorinnen an der

Durchführung der Befragung beteiligt sind, bietet GrafStat gute Möglichkei-

ten, sich die Arbeit zu teilen. Über „Verwaltung“ lassen sich die Fragebogen

duplizieren und Datensätze zusammenfügen. Gut erklärt sind die einzelnen

Schritte in der Hilfefunktion von GrafStat.

Auswertung

Über den Button

auf der

grünen Tafel kön-

nen Sie sich nun

die Ergebnisse Ih-

rer Befragung für

jede Frage an-

schauen und wei-

ter bearbeiten. Die

Leiste auf der rech-

ten Bildschirmsei-

te listet verschie-

dene Darstellungs-

formen auf. Sie ha-

ben die Wahl zwi-

schen Tabellen-,

Kreis-, Säulen-, Bal-

ken-, Punkt-, Linien-,

und Flächendia-

gramm, das Sie

dann für jede Frage direkt ausdrucken, speichern oder direkt in eine Grafik-

datei (Bitmap – mit dem Zusatz .bmp) umwandeln können, indem Sie

anklicken (Icon sieht aus wie eine Diskette). Sie können jetzt die

gewünschte Bildgröße eingeben. Danach anklicken. In Word oder

einer anderen Textverarbeitung können Sie die zwischengespeicherte Grafik

durch gleichzeitiges Drücken von oder und einfügen. Hier

lässt sich die Größe verändern. Sie können einen Kommentar zur Grafik

schreiben und anderes.

vStrgCtrl

Clipboard

Grafik sichern

Auswertung

In der „Interviewfunktion“ lassen sich eingegebene Daten nachträglich

nicht verändern! Dies ist in der Funktion „Daten erfassen“ möglich, auch

dort allerdings nicht für die „freien“ Texte!

Achtung:


62

QS 29GraftStat bietet verschiedene Auswertungsebenen. Auf der GrafStat-Ober-

fläche wählen Sie zwischen folgenden Möglichkeiten:

3.6.2 Auswertung qualitativer Daten mit der Text-Sortier-Technik (TST)

In diesem Kapitel stellen wir ein Verfahren zur PC-gestützten qualitativen

Datenauswertung vor. Die Text-Sortier-Technik (TST)22 eignet sich für die Aus-

wertung offener Fragen aus schriftlichen Befragungen oder Interviews und

kann auch für Textmaterial genutzt werden, das aus anderen Quellen

stammt.

In Kapitel 3.5 haben wir auf Nutzen und Einsatz-

möglichkeiten offener Fragen hingewiesen. Schon

bei 15 Fragebogen mit drei ausführlich beantworte-

ten offenen Fragen, sicher aber bei fünf Interviews mit je zehn Seiten Text gerät

eine ansonsten empfehlenswerte handschriftliche Auswertung mit Bleistift, Pa-

pier und Radiergummi (oder mit Papier, Schere und Klebstoff) an Grenzen.

22 Die TST ist eine Auswertungstechnik für qualitative Daten auf Basis eines konventionellen Textverarbeitungsprogramms (zum Beispiel Win-word, Word Perfect etc.); sie wurde Ende der 80er Jahre von Wolfgang Beywl entwickelt. Dieser Text geht auf eine umfassendere Darstellungder TST von Angela Faust und Schahrzad Farrokzhad zurück, unveröffentlichtes Manuskript.

1

2

3

4

einfach

erweitert

vergleichend

komplett

Alle einfachen Auswertungeneinfache Auszählung nach Häufigkeiten eines Merkmals;wenn Sie nach einer Maßzahl fragen, wie zum Beispiel Alteroder gefahrene Kilometer etc., bildet das Programm automa-tisch zwei Klassen.

Auswertungen mit der Möglichkeit zur NeugruppierungWenn Sie zum Beispiel nach dem Merkmal „Alter“ gefragt ha-ben, klicken Sie auf der unteren Leiste auf „Gruppen/Klassen“und geben dann oben links an, in wie viele Klassen Sie dieAntworten unterteilen wollen.

Auswertungen mit Kreuztabellen Nachdem Sie die Auswertung einer Frage aufgerufen haben,klicken Sie auf der unteren Leiste links auf „2. Merkmal“ undhaben nun den Vergleich der beiden Merkmale. Wenn Siezum Beispiel nach dem Alter gefragt haben und eine andereFrage nach der Dauer des täglichen Fernsehkonsums war,können Sie nun vergleichen, ob es Verbindungen zwischenden beiden Merkmalen „Alter“ und „Dauer des täglichenFernsehkonsums“ gibt.

Alle Auswertungen einschließlich FilterungenDiese Funktion bietet Ihnen zusätzliche Auswertungsmöglich-keiten, interessant in der Regel erst für größere Datensätzeüber 50 Befragte (mehr dazu in der Hilfe von GrafStat WIN).

TST = Text-Sortier-Technik

Arbeiten Sie zunächst mit den einfachen Auswertungsverfahren (Stufen 1

und 2).

Wenn Sie darüber Ihren Datensatz gut kennen gelernt haben, versuchen

Sie es mit Stufe 3.

Wenn Sie fit sind in GrafStat WIN, machen Sie den Schritt zu Stufe 4.

Tipp


63

QS 29Bestimmte Textpassagen lassen sich auf Anhieb nicht mehr wiederfinden; man

traut sich kaum noch, ein erstmals eingeführtes Ordnungsschema zu verän-

dern oder gar zu verwerfen – dies würde zu viel Zeit und Energie erfordern.

Softwareprogramme zur computergestützten Auswertung qualitativer Daten

haben sich in den letzen Jahren rasant entwickelt.23 Da die meisten (Selbst-)Eva-

luatoren kaum Geld und Zeit für Kauf und Einarbeitung in solche Expertensoft-

ware haben, schlagen wir ein einfaches Auswertungsverfahren vor:

Die verbalen, in Worte gefassten Daten werden übersichtlich dargestellt und so

gekennzeichnet, dass sie jederzeit rückführbar sind auf die Datenquelle (das

heißt die befragte Person bzw. das schriftliche Dokument) und auf die Frage, zu

der die Antwort gegeben wurde. Die Daten werden nach zu bildenden Katego-

rien geordnet und auf übersichtliche Weise vergleichbar und zusammenfassbar

gemacht. Schließlich kann mit der TST auch – was jedoch nicht immer angeraten

ist – die numerische Verkodung der qualitativen Daten vorbereitet werden, so

dass sie (mit Informationsverlusten) in quantitative Daten umgewandelt sind.24

Daran schließt sich ein Rohbericht oder ein auf ein bestimmtes Zielpublikum

hin zugeschnittener Ergebnisbericht an (vgl. Kapitel 5).

Die einzelnen Arbeitsschritte werden nachfolgend anhand eines Beispiels

aus einer Seminarauswertung mit schriftlichem Fragebogen beschrieben.

Der erste Schritt: Erhebungsbogen und Fragen kodieren

Alle nachfolgend dargestellten Kodierungen bestehen aus einem vorange-

stellten Sonderzeichen, zum Beispiel §, #, %, &; die sämtlich auf der obersten

Tastaturreihe zu finden sind, zusammen mit einer fortlaufenden Zahl.

Jeder Fragebogen erhält einen Fragebogen-Kode. Für diesen verwenden wir

das Sonderzeichen §. Bei weniger als Zehn Befragten verwendet man einstel-

lige Kodierungen (§1, §2, §3), bei zehn und mehr Befragten zweistellige

(§01, ... §10, §11), bei hundert und mehr Befragten nutzt man entsprechend

dreistellige Nummerierungen. Wenn nicht anders vorgesehen, wird der Fra-

gebogen-Kode handschriftlich auf die erste Seite des Fragebogens in die obe-

re rechte Ecke geschrieben.

23 vgl. Udo Kuckartz: Computergestützte Analyse qualitativer Daten. Opladen 199924 Die teilautomatisierte Aufnahme in eine Tabellenkalkulation (zum Beispiel Excel) oder ein Statistikprogramm (zum Beispiel SPSS) ist mög-

lich, wird hier jedoch nicht dargestellt.

Die TST besteht aus sechs Schritten:

1. Erhebungsbogen und Fragen kodieren

2. Text aufnehmen als Word-Dokument

3. Textpassagen in Sinneinheiten zerlegen und Zuordnung zur gestellten

Frage prüfen

4. Kategoriensystem entwickeln

5. Dokumentation der aufbereiteten Textdaten erstellen

6. Kurzbeschreibung der Antwort-Kategorien erstellen

Die Text-Sortier-Technik erfordert durchschnittliche Anwendungskennt-

nisse in einer Textverarbeitungssoftware und man erzielt schon nach

1 bis 2 Stunden Einarbeitungszeit erste Ergebnisse.

TST –erster Schritt


64

QS 29Danach wird jeder Frage ein Kode zugewiesen. Dies wird dadurch erleichtert,

dass die Fragen bereits auf dem Fragebogen/dem Interviewleitfaden durchnum-

meriert sind. Nach TST-Konvention setzt sich der Frage-Kode aus dem Sonderzei-

chen # und der fortlaufenden Nummerierung der Fragen zusammen (#01).

Die Sonderzeichen haben für die

Möglichkeiten der automatisier-

ten Suche/Ersetzung/Sortierung

eine zentrale Funktion. Wichtig

ist, dass jedes Sonderzeichen

durchgängig genutzt wird (für

Fragebogen-Kode „§“; Frage-Ko-

de „#“ und später für die Auswer-

tungskategorie „%“).25

Der zweite Schritt: Texte aufneh-

men als Word-Dokument

Im nächsten Schritt werden die

bereits vorkodierten verbalen Da-

ten in ein Word-Dokument einge-

geben. Die Antworten werden

wörtlich aus dem Fragebogen

übernommen. Sofern mit Aufnah-

megerät oder Stichwortprotokoll

gearbeitet wurde, werden auch

die so gewonnenen Text-Daten übernommen. Um eine kompakte ausdruck-

bare Übersicht zu gewinnen, empfiehlt sich die Formatierung des Dokumen-

tes in Querformat und die Nutzung einer schmalen Schriftart (zum Beispiel

Arial Narrow) mit Zeichengröße 6 bis 8 Punkt.

Die Kodierungen werden jeweils durch einen Tabulator (➔ ) getrennt einge-

geben(„§01➔ #01“) und – durch einen weiteren Tabulator getrennt – die zu-

gehörige Textpassage. Das Ende der Aussage wird mit der Enter-Taste (Ab-

satz-Ende-Zeichen ¶) markiert. Nach TST-Konvention wird zuerst die Befrag-

tenkodierung eingegeben, als zweite Kodierung die Fragekodierung und

dann die entsprechende Textpassage.

Zunächst wird ein kompletter/s Fragebogen/Interview nach diesem Schema

erfasst, dann der nächste usw. Wichtig: An den letzten Absatz des ersten Fra-

gebogens schließt sich unmittelbar der erste Absatz des zweiten Fragebogen.

25 Bei transkribierten narrativen Interviews oder ungegliederten Protokollen entfällt der Schritt der Kodierung nach Fragen.

§17§29

Erhebungsbogen

01 meine Seminarteilnah-

me hatte über das Kurs-

ende hinaus folgende

Wirkung

....................................

02 Verbesserungsvor-

schläge

....................................

TST –zweiter Schritt


65

QS 29Das Ergebnis dieses Schrittes sieht dann so aus:

Der dritte Schritt: Textpassagen in Sinneinheiten zerlegen

Nun werden die einzelnen Textpassagen darauf überprüft, ob sie aus einer

oder mehreren Sinneinheiten bestehen. Diese erste wichtige Auswertungs-

entscheidung verlangt ein Mindestmaß an Sachkunde über das Untersu-

chungsfeld und hängt in starkem Maß auch von der Untersuchungsfragestel-

lung ab.

• Eine einzige Sinneinheit liegt dann vor, wenn die Antwortpassage einen

einzigen Aspekt oder mehrere sehr ähnliche Aspekte enthält, die ich als

Auswerterin später demselben Thema oder derselben Kategorie zuordnen

werde.

• Wenn eine Textpassage mehrere Sinneinheiten enthält, sollte diese Passa-

ge entsprechend zerlegt werden. Die entsprechenden Kodierungen wer-

den gedoppelt/vervielfältigt, so dass nun zwei oder mehrere Absätze iden-

tisch kodiert sind.

TST – dritter Schritt

§11#09 Die Arbeitsteilung zwischen

den Trainern fand ich gut.

§11#09 es gab zu viele Unterlagen

zum Nacharbeiten

§11#09 Die Arbeitsteilung zwischen den Trainern fand ich gut, aber es gab zu viele

Unterlagen zum Nacharbeiten.


66

QS 29Bei diesem Schritt kann zugleich die Zuordnung der Antwortpassage zur Fra-

ge überprüft werden. Wenn ein Teil oder die gesamte Antwort einer anderen

Frage zuzuordnen ist, wird die Textpassage mit der entsprechenden Frage-

kodierung versehen und die ursprüngliche Kodierung in Klammern ans Ende

der Aussage gesetzt, um die Quelle zu dokumentieren.

In manchen Fällen ist es angeraten, die gegebene Antwortpassage mithilfe

der Funktionen , , zwei oder mehr Fragen zu-

zuordnen.

Wenn die Zerlegung in Sinneinheiten abgeschlossen ist, wird der Text für die

Bildung eines Kategoriensystems vorbereitet. Hierzu wird der gesamte Text

zum ersten Mal in eine Tabelle umgewandelt. Mit wird das Do-

kument komplett markiert. Mit wird der markierte Text (unter

automatischer Verwendung der gesetzten Tabulatoren) in Zeilen und Spal-

ten gegliedert.

Nun werden alle Spalten der Tabelle markiert und im Fenster wird die

Funktion aktiviert. Unter wählt man . Die

Anzahl der angebotenen Felder entspricht der Anzahl der Spalten (hier also

drei). Der Text kann jetzt durch Aktivierung von , Typ „aufstei-

gend“ sortiert werden. Ergebnis ist demnach eine Sortierung nach Frage-Ko-

des.

Für den nachfolgend beschriebenen vierten Schritt erfolgt wieder eine Rück-

wandlung in einen durch Absätze gegliederten Text, indem wiederum alle

Spalten markiert werden und dann im Fenster

aktiviert wird.

Der vierte Schritt: Kategoriensystem entwickeln

Mit der Entwicklung eines Kategoriensystems ist das Herzstück jeder qualita-

tiven Datenauswertung erreicht: Sämtliche Textpassagen werden nach mehr-

maliger Lektüre auf Ähnlichkeiten durchgesehen (Kleining 1994)26 nennt dies

die „Analyse auf Gemeinsamkeiten“. Es werden inhaltlich homogene Kate-

gorien gebildet.

Was kennzeichnet ein gutes Kategoriensystem (= Gesamtheit aller gebildeter

Kategorien) für eine Untersuchung? Die Literatur zur qualitativen Sozialfor-

schung (vgl. zum Beispiel Kelle/Kluge 1999)27 listet eine Reihe von Anforde-

rungen an „ideale“ Kategoriensysteme auf. Für praxisnahe Evaluationsstudi-

en passen diese zum Teil.

Kategorienbildung:

❒ Bilden Sie zu jeder Frage (zum Beispiel §2) drei bis etwa acht Kategorien,

eventuell auch mehr.

❒ Meiden Sie Dichotomisierungen (Zweiteilungen wie „gut – schlecht“;

„vergangenheitsgerichtet – zukunftsgerichtet“).

TabelleTabelle in Text umwandeln

TextSpalte 2

SpaltenSortierschlüsselTabelle sortieren

Tabelle

Tabelle einfügen

Alles Markieren

EinfügenKopierenMarkieren

26 Gerhard Kleining: Qualitativ-heuristische Sozialforschung: Schriften zur Theorie und Praxis. Hamburg 1994. Siehe auch ders.: Lehrbuch ent-deckende Sozialforschung. Bd. 1, Weinheim 1995

27 Udo Kelle/Susanne Kluge: Vom Einzelfall zum Typus, Opladen 1999

TST –vierter Schritt


❒ Die Anzahl der einer Kategorie zugeordneten Sinneinheiten liegt optima-

lerweise zwischen „einer Hand voll“ und circa 30. Bei deutlich mehr Sinn-

einheiten pro Kategorie ist zu prüfen, ob ggf. eine oder mehrere Unterka-

tegorien gebildet werden können, um Übersichtlichkeit und Differenzie-

rung zu erhöhen (die Zahlenangaben gelten für Auswertungen mit bis et-

wa 100 Fällen).

❒ Vergegenwärtigen Sie sich immer wieder die Untersuchungsfragestellun-

gen: „Was trägt diese oder jene Kategorienwahl, was trägt eine höhere

oder niedrigere Anzahl an Kategorien zur Beantwortung der Fragestel-

lung bei? Welchen Nutzen haben Leser/-innen des Berichtes von dieser

oder jener Kategorienbildung?“

❒ Ist durch die Abgrenzung der Kategorien jeweils klar, welche Texte in die

Kategorie A, B oder C gehören – oder überschneiden sich die Kategorien

häufig?

❒ Ist das Kategoriensystem vollständig, das heißt, lassen sich alle vorkom-

menden Sinneinheiten mindestens einer Kategorie zuordnen? Eine Kate-

gorie „Sonstiges“ kann zwar als Zwischenspeicher dienen, sollte aber am

Ende der Auswertung wieder in inhaltlich bestimmte Kategorien aufge-

löst sein.

❒ Achten Sie darauf, die inhaltlichen Kategorien vor allem entlang der Ant-

worten zu erstellen. Schon beim ersten Durchlesen der Aussagen können

Sie Ihre Ideen für Kategorien schriftlich festhalten, um sie dann immer

weiter zu schärfen. Am Ende dieses Vorgangs steht ein Kategoriensystem,

das alle Antworten berücksichtigt. Das Kategoriensystem wird in einer

„Legende“ dokumentiert.

Im nächsten Schritt werden die zu Kategorien zusam-

mengefassten Sinneinheiten jeweils mit einem Katego-

rienkode versehen. Nach TST-Konvention ist dies das

Prozent-Zeichen (%), unmittelbar gefolgt von einer

Zahl.

Diese Kodierung für die inhaltliche

Kategorie wird nun den beiden ande-

ren Kodierungen vorangestellt, so

dass jeder Absatz drei Kodes und ei-

nen Textteil enthält, jeweils durch Ta-

bulatoren getrennt.

Damit ist die Kodierung abgeschlos-

sen. Wenn Sie die einzelnen Aussa-

gen nach ihrer Bewertung unterschei-

den wollen (zum Beispiel: positive

Aussage zur Anfahrtsbescheibung/-

negative Aussage zur Anfahrtsbe-

scheibung), stellen Sie unmittelbar

vor die Textpassagen ein + oder –.

Damit steht innerhalb einzelner Kate-

gorien eine zusätzliche automatische

Sortiermöglichkeit zur Verfügung.

67

QS 29

Beispiel für eine Kategorien-Legende

- Befragung zur Seminarbewertung -

0000 Allgemeine Bewertung

0100 Zielklarheit

0200 Seminarstruktur

0300 Seminarleitung/Trainer/innen

0400 Methodik/Didaktik

0410 Theorie-Praxis-Transfer

0420 Kleingruppenarbeit

0430 Planspiel/Rollenspiel

0440 Moderation/Visualisierung

0450 Arbeitsanweisungen

0460 Zeitplanung

0470 Integration von TN-Beiträgen

0500 Arbeitsmaterial

Tipp: Das Sonderzeichen % muss nicht für jeden

Absatz per Hand eingegeben werden, ebenso

wenig wie der Tabulator; lassen Sie automatisch

nach dem Absatzzeichen â suchen und erset-

zen Sie dies durch â%^t – [Anweisung für

Microsoft Word 97]28

28 Word 2000 verwendet andere Steuerzeichen!


68

QS 29

Es empfiehlt sich, Zeit und Sorgfalt auf die Entwicklung des Kategoriensys-

tems zu verwenden, da es die Basis für die Auswertung und den Bericht dar-

stellt. Häufig kann ein kollegiales Zusammenarbeiten den Kategorienbil-

dungsprozess beschleunigen und der auswertenden Person Sicherheit hin-

sichtlich der Klarheit und des Informationsnutzens des Systems geben.

Der fünfte Schritt: Das Dokument sortieren

Nun sind alle für die Text-Sortier-Technik erforderlichen Kodes eingegeben,

jedoch sind die Textpassagen immer noch nach Befragten sortiert. Um die

Aussagen nach Kategorien-Kodes zu sortieren, erfolgt wiederum die Um-

wandlung in eine Tabelle (s.o.). Dann werden alle Spalten markiert. Im

Menüpunkt „Tabelle“ befindet sich der Befehl . Bei Aufrufen dieses

Befehls wird sodann beim Menüpunkt der Begriff aus-

gewählt und aufsteigend sortiert. Nun sind die Textpassagen nach inhaltli-

chen Kategorien sortiert. Dies sollte folgendermaßen aussehen:

Feld 11. Sortierschlüssel

Sortieren

TST – fünfter Schritt


69

QS 29Der sechste Schritt: Kurzbeschreibung der Antwort-Kategorien erstellen

Das nun erstellte Dokument dient als Grundlage für die Beschreibung der

qualitativen Daten. Derselben Kategorie zugeordnete Textsegmente können

in Kurzform zusammengestellt und miteinander verglichen werden. Bezüge

und Zusammenhänge zwischen den Kategorien können hergestellt werden.

Die entwickelten Kategorien können als Zwischenüberschriften von Teilkapi-

teln des Berichtes übernommen werden. Ausgangspunkt hierfür ist die zu

dem Kategoriensystem vorhandene Legende. Ob die genaue Übernahme

der Kategoriennamen als Kapitelüberschriften oder ob eine inhaltliche Um-

gruppierung oder Zusammenfassung für die Präsentation der Ergebnisse

sinnvoll ist, muss im Einzelfall entschieden werden.

Abschließend werden die Fragestellungen der Untersuchung unter Bezug-

nahme auf die gebildeten Kategorien beantwortet, die auch Bezugspunkte

sind für formulierte Schlussfolgerungen und eventuelle Empfehlungen.

Sie haben nun die Grundzüge der Text-Sortier-Technik TST kennen gelernt.

Wir möchten Sie ermutigen, das Verfahren zunächst mit kleinen Datenmen-

gen auszuprobieren. Teilnehmende unserer Seminare berichten immer wie-

der, dass sie – manchmal nach anfänglichen Mühen – inzwischen routiniert

mit diesem Verfahren arbeiten.

TST –sechster Schritt

❒ Notwendige Umkodierungen, (zum Beispiel zur Angleichung von Ka-

tegoriensystemen) lassen sich teilautomatisch durch die Funktion „Su-

chen und Ersetzen“ bewältigen.

❒ Eine geordnete Gesamtdokumentation der Datengrundlage ist einfach

möglich – wenn sichere Anonymisierung wichtig ist, schneiden Sie die

Spalte mit den Befragten-Kodes (§) aus.

❒ Sie können sehr einfach Originalzitate aus Ihrem TST-Dokument in den

Abschlussbericht übernehmen. Wenn strikte Anonymität entbehrlich

ist, stellen Sie den Befragten-Kode dazu – Leser/innen können sich da-

mit schnell einen Eindruck verschaffen, von wie vielen Befragten die

Zitate stammen.

❒ Sie können nach dem Markieren der zu zählenden Sinneinheiten durch

„Ersetze â“ (Absatz) durch „â“ (Absatz) automatisch auszählen, wie

viele Sinneinheiten zu einer Frage und den zu ihr gebildeten Kategori-

en vorhanden sind.

❒ Die in Tabellenform vorliegenden Kodes können zwecks komplexer

Auszählungen (zum Beispiel Vergleich der Antworten verschiedener

Teilgruppen Ihrer Stichprobe) in eine Tabellenkalkulation überführt

werden.

Die TST bietet weitere Möglichkeiten für die Auswertung:


70

QS 29Kurzanleitung Textsortiertechnik mit Microsoft Word

1. Fragebogen kodieren §01, §02, ...

2. Fragen kodieren #01, #02, ...

3. Text aufnehmen, kodieren, mit Tabs trennen §01, #02, ...

Text Absatzendezeichen ¶ hinter jede Aussage

4. Aussagen mit mehreren Sinneinheiten zerlegen, Ursprungskodierung

hinter die Aussage

5. Text in Tabelle umwandeln:

„Alles markieren“

„Tabelle einfügen“

„Tabelle sortieren“, Sortierschlüssel „Spalten“

„Spalte 2“, „Text“, Aufsteigend“

6. Kategoriensystem entwickeln

Kategorien-Legende erstellen

alle Spalten markieren, „Tabelle in Text umwandeln“

Kategorien-Kodierung % vor jede Zeile %001 §01 #01 Text

(Vereinfachung: Text markieren, „Suchen und Ersetzen“, „Sonstiges“,

Suche „Absatzmarke“ â, Ersetze „Absatzmarkeâ %Tabstopzeichen

â%^t“)


71

QS 293.6.3 GrafStat WIN und Text-Sortier-Technik

Wenn Sie mit GrafStat WIN gearbeitet haben, haben Sie selber oder die Be-

fragten über die Funktion „Interview“ die Antworten auf die offenen Fragen

als „freien Text“ eingegeben. Die Texte finden Sie als Textdatei im Dateima-

nager/Explorer unter „GRAFSTAT“ und „DATEN“ in einer Datei, die automa-

tisch nach dem von Ihnen gewählten Dateinamen für die Befragung mit der

Endung „.fre“ benannt wird. Die Antworten auf die offenen Fragen Ihrer Be-

fragung sind dort wie folgt dargestelllt:

Sie haben also den Arbeitsvorgang der Texteingabe gespart. Mit folgenden

Schritten über bringen Sie den vorhandenen Text in die Kon-

ventionen der Text-Sortier-Technik und bereiten ihn entsprechend zur weiteren

Bearbeitung auf. (Geben Sie immer exakt die Zeichenfolge – gegebenenfalls

mit Leerzeichen – ein, die durch die Anführungsstriche eingeschlossen ist).

1. Schritt:

Suche „--- Nr“

Ersetze durch „§“

2. Schritt:

Suche „^l---â“ unter Suchen und Ersetzen „Sonstiges“, „Leerfläche“,

„Absatzmarke“

Ersetze „^t“ „Tabstopzeichen“

3. Schritt:

Suche „[„

Ersetze „#“

4. Schritt:

Suche „]â“ Absatzmarke

Ersetze „^t“ Tabstopzeichen

Jetzt müssen Sie den Text per Hand weiter so aufbereiten, dass Sie mit der

Kodierung der Kategorien fortfahren können. Vgl. Seite 66 ff.

Suchen und Ersetzen

--- Nr 1 ---¶ (Nummer des Fragebogens)

[1] ¶ (Nummer der Frage)

Text¶

[2] ¶

Text¶

--- Nr 2 ---¶

[1] ¶

Text¶

[2] ¶

Text


Resultat

Aktivitäten

Ausgangssituation

• Fragestellungen

• Erhebungsinstrument

• Datenerhebung

• FIWE

• Bericht

4 Bewerten und Schlussfolgern mit der FIWE-Methode

Mit FIWE – Fakten-Interpretation-Werte-Empfehlungen – verfügen Sie über

ein Schema, mit dem Sie die Bewertung von Untersuchungsergebnissen in

systematischen Schritten vornehmen können. Das FIWE-Schema unterstützt

Sie dabei, klar zwischen datenbasierten beschreibenden Evaluationsergeb-

nissen (engl. facts) einerseits und andererseits der Interpretation dieser Da-

ten samt der Schlussfolgerungen/Empfehlungen zu trennen. Vor die Schluss-

folgerung ist dabei der Schritt „Werte: Was leitet uns?“ geschaltet. Denn je

nachdem, was den bewertenden Personen besonders wichtig erscheint, fällt

die Schlussfolgerung auch bei gleicher Interpretation der Daten unterschied-

lich aus.

4.1 Vom Schnellentscheid zum wertereflektierten Schlussfolgern

Zunächst greifen wir noch einmal die Grundelemente eines Programms auf,

mit denen sich Evaluation befasst (vgl. Kapitel 2).

Grundelemente eines Programms

Ausgangssituation

Ausgangssituation der Zielgruppe und darauf aufbauend eine Zielbeschrei-

bung. Die Zielbeschreibung stellt entweder eine Verbesserung der Aus-

gangssituation für die Zielgruppe dar oder eine Stabilisierung (es soll verhin-

dert werden, dass ein bestimmter Zustand sich verschlechtert).

Interventionen

Interventionen, Aktivitäten, die geplant und umgesetzt werden, um diese

Ziele zu erreichen.

72

QS 29

Interventionen und Aktivitäten

In der sozialen Arbeit spricht man eher von Interventionen; in der Jugendarbeit und Ju-

gendverbandsarbeit eher von Aktivitäten. Der Begriff Intervention bringt das Absichts-

volle, Geplante klarer zum Ausdruck.

1

2


73

QS 29Resultat

Resultat, Ergebnisse des Programms, als Veränderungen oder Stabilisierung

bei der Zielgruppe, die auf das Programm und dessen Interventionen zurück-

geführt werden können. Welche Interventionen waren auf welche Verände-

rungen ausgerichtet? Um ein explizites Vor- und Nachzeichnen solcher Ver-

bindungen bemüht sich Programmevaluation.

Wenn keine oder nicht die erwünschte Veränderung durch das Programm

hervorgerufen wurde, kann dies daran liegen, dass ...

• Interventionen nicht oder nicht im erforderlichen Umfang erfolgten;

• Interventionen nicht richtig durchgeführt oder umgesetzt wurden;

• nicht die richtigen, auf die Ziele ausgerichteten, Interventionen stattgefun-

den haben.

Sich auf diese Weise mit den Resultaten eines Pro-

gramms zu beschäftigen setzt voraus, dass in der

jeweiligen Einrichtung und ihrem Umfeld eine

Lernkultur besteht, die der kritischen Diskussion

von Arbeitsergebnissen förderlich ist. Gelingen und

Misslingen, Fehler und Erfolge müssen dann glei-

chermaßen zulässig sein und als notwendige Pha-

sen von Entwicklung gewürdigt werden. Es geht al-

so um eine Kultur, in der Fehler als Voraussetzung

für Lernen und Verbesserung gesehen werden.

Evaluation bemüht sich darum, Verfahren zur Ver-

fügung zu stellen, und plädiert für Haltungen, die

eine systematische und möglichst von anderen

nachvollziehbare Beschreibung der drei Grundele-

mente eines Programms (Ausgangssituation, Inter-

ventionen, Resultat) und ihrer Zusammenhänge erlauben. Sie will Ehrenamt-

liche, Fachkräfte, Geldgeber und Träger mit gültigen und verlässlichen Daten

ausstatten29, Entscheidungen zum Beispiel über ihr zukünftiges Handeln oder

künftige Investitionen zu treffen.

Ob ein Programm erfolgreich war, zeigt ein Vergleich zwischen den Daten

der Ausgangssituation mit jenen, die nach der Durchführung der Interventio-

nen zum Abschluss des Programms oder eines Programmteils vorliegen. Hat

sich die Situation in Richtung des gewünschten Zielzustandes verändert? In

welchem Maße? Entsprechend unserer Erwartungen? Die durch Daten nach-

vollziehbar beschriebene Veränderung oder Stabilisierung erfordert sowohl

Erklärungen, also die Bildung von Annahmen über die Verbindungen zwi-

schen den Interventionen und den Resultaten, als auch Bewertungen, also ei-

ne auf ausgewiesene Bewertungskriterien (denen wiederum Werte zugrunde

liegen) bezogene Stellungnahme. Die Ergebnisse der Untersuchung müssen

interpretiert werden. Verschiedene Annahmen über die Zusammenhänge

zwischen Ergebnis und Interventionen werden durchdacht, und zusammen

mit den explizierten Werten können dann Empfehlungen über künftiges Han-

deln formuliert und schließlich Entscheidungen getroffen werden.

29 ... oder in der Selbstevaluation Wissen und Fertigkeiten vermitteln, solche Daten über das eigene fachliche Handeln selbst zu gewinnen

Objektivität ...

Im Alltagsgeschäft hört man häufig die Forde-

rung nach Objektivität. Das Wort deutet auf Ver-

lässlichkeit, ein sicheres Fundament, auf Erhaben-

sein über eigensüchtige Interessen. Geld- und

Auftraggeber fragen bisweilen nach „objektive“

Erkenntnissen. Wir müssen uns aber klar machen,

dass es „objektive“ Erkenntnis, frei von eigenen

Werten, Interessen, Lebenserfahrungen, der Kul-

tur, in die wir hineingewachsen sind, nicht gibt.

Wir können uns darum bemühen, dass unsere

Beschreibungen, die Daten, auf denen diese be-

ruhen, von anderen nachvollzogen werden kön-

nen. Wie sind sie zustande gekommen? Wie lau-

teten die Fragen im Erhebungsinstrument? Wel-

che Stichprobe wurde gezogen? Welche Verzer-

rungen liegen durch den Rücklauf vor?

3


74

QS 29Sobald zu allen drei Grundelementen – Ausgangssituation, Interventionen,

Resultat – glaubwürdige und relevante Daten vorliegen, deren Interpretation

durch die Beteiligten selbst geleistet oder zumindest durch sie nachvollzogen

und deren Bedeutung im Wertesystem der Beteiligten und Betroffenen ge-

klärt wurde, sind gute Grundlagen für praxisnahe Schlussfolgerungen und

Empfehlungen gelegt.

Evaluatorinnen unterstützen die Beteiligten nicht nur darin, sich ihrer oft un-

ausgesprochenen Werte bewusst zu werden, sondern fördern die Anerken-

nung des wichtigen Unterschiedes zwischen den Prozessen des Beschreibens,

des Erklärens und des Bewertens.

Eiliger Dreischritt: Im alltäglichen Denken und Argumentieren ist die Schritt-

folge eine dreiteilige: Fakt ist, dass ... Es ist so, weil ... Deshalb lautet unsere

Empfehlung wie folgt ...

Zum Beispiel: Die Anzahl der Schülerunfälle während der großen Pause ist ge-

stiegen. Das ist so, weil ein Teil des alten Hofes im Rahmen des Programms

„Umweltlernen“ zur nicht betretbaren Grünfläche umgestaltet wurde. Deshalb

empfehlen wir die Grünfläche wieder für die Schüler zugänglich zu machen.

Alternative Interpretationen: Das FIWE-Schema lädt Sie ein, über die oben

beschriebene Schrittfolge hinaus mit zwei unterschiedlichen Interpretationen

eines Faktums gedanklich zu spielen. Sie entwickeln zwei verschiedene Er-

klärungen (am besten in unterschiedlichen Dimensionen wie zum Beispiel

personell/strukturell – ökonomisch/psychologisch ...) für dasselbe Faktum.

Wenn wir die Unfälle in der Schulpause als Beispiel nehmen, dann könnte ei-

ne völlig andere Erklärung für die Zunahme der Unfälle sein, dass die Kinder

seit Ausstrahlung der Fernsehsendung „Born to fight“ zunehmend aggressi-

ver geworden sind. Wenn es Ihnen schwer fällt, eine alternative Erklärung zu

finden, versuchen Sie die Perspektive einer anderen Beteiligtengruppe einzu-

nehmen. Wie würden die strikten Befürworter des Programms „Umweltler-

nen“ das Zustandekommen dieses Faktums erklären?

Faktum

90 % der Teilnehmenden

der internationalen Begeg-

nungsmaßnahme sind bei

Abschluss der Maßnahme

zufrieden und sehr zufrie-

den.

Interpretation

Es wurde mit dem hohen

erlebnispädagogischen An-

teil genau das richtige Pro-

gramm angeboten.

Empfehlung

Im nächsten Jahr soll es

wieder einen hohen Anteil

mit Übungen aus der Er-

lebnispädagogik geben.

Faktum Interpretation Empfehlung

Faktum

Interpretation 1 ➟

Interpretation 2 ➟

Empfehlung 1

Empfehlung 2

➟ ➟

➟ ➟


75

QS 29Sie fragen sich: Was wären andere mögliche Interpretationen für dasselbe Fak-

tum? Welche Empfehlungen würden dann dabei herauskommen?

Versuchen Sie es mit der Begegnungsmaßnahme:

Entgegengesetzte Wertungen zuordnen

Im folgenden Schritt fragt das FIWE-Schema nach den Wertungen: Was leitet

uns? Was ist uns das Wichtigste? Die Interpretationen werden mit verschie-

denen Wertungen verbunden. Und damit unterscheidet sich FIWE deutlich

von unseren alltäglichen Argumentationsketten. Dort fließen zwar immer

Werte ein, aber wir durchlaufen diese Denkprozesse so eilig, dass die einzel-

nen Etappen sich überlappen und die Werte unter der Oberfläche bleiben.

Faktum

90 % der Teilnehmenden der

internationalen Begegnungs-

maßnahme sind bei Ab-

schluss der Maßnahme zu-

frieden und sehr zufrieden.

Interpretation 1

Interpretation 2

Empfehlung 1

Empfehlung 2

Leiter der Schlussfolgerungen

aus: Fieldbook zur Fünften Disziplin. © 1994 by Peter M. Senge, Art Kleinert, Bryan J. Smith, Charlotte Roberts, Richard RossKlett-Cotta, Stuttgart 1996

Die „Leiter der Schlussfolgerungen“ zeigt, welche verschiedenen Stufen der Verallgemeine-

rung und Bewertung wir vom Wahrnehmen eines Faktums oder Datums bis zu einer Schluss-

folgerung hin durchlaufen. Im Alltag geschieht das in Sekundenschnelle.


76

QS 29In der Evaluation, die für andere nachvollziehbare Empfehlungen ermögli-

chen soll, ist es daher erforderlich, diese Werte auszuweisen (vgl. Qs 21, Sei-

te 14, und Standard N 4 – Festellen von Werten). Dies ist nicht nur für ande-

re interessant sondern dient auch der eigenen Klärung beziehungsweise der

Klärung im Team: Was ist das uns Wichtige?

Für unser Beispiel könnte das dann so aussehen:

Es geht darum, den Wertehintergrund der jeweiligen Interpretationen offen

zu legen. Dies ist der schwierigste Schritt, denn unserer Wertgrundlagen

sind wir uns oft nicht bewusst. Sie leiten uns meist sicher durch den Alltag

und berufliche Entscheidungen, ohne dass wir sie anderen gegenüber be-

nennen könnten. Genau dies ist das Ziel dieses Schrittes. Um ihn zu meis-

tern, nutzen wir die Technik des Kontrastes: Wir zwingen uns, jeweils einen

positiv mit der Interpretation verbundenen Wert und einen negativ damit

verbundenen Wert zu formulieren. Dadurch wird uns selbst klar und wir kön-

nen kommunizieren, was die Wertgrundlage ist, auf der wir interpretieren

und schließlich handeln, nämlich empfehlen und entscheiden. Wir können

diese Werte gegenüber anderen entschieden vertreten, wir können für sie

werben, wir können uns auch auf Gegenargumente einstellen und uns da-

mit für die Auseinandersetzung gut rüsten.

Faktum

90 % der Teilneh-menden der inter-nationalen Begeg-nungsmaßnahmesind bei Abschlussder Maßnahme zu-frieden und sehrzufrieden.

Interpretation

Es wurde mit demhohen erleb-nispädagogischenAnteil genau dasrichtige Programmangeboten.

Werte

+Das ist gut so, dennes ist uns wichtig,dass JugendlicheSpaß haben!

–Mehr Verständniszwischen den bei-den Nationenbraucht ernsthaftesProblembewusst-sein!

Empfehlung

Im nächsten Jahrsoll es wieder einenhohen Anteil mitÜbungen aus derErlebnispädagogikgeben.

Ein Modul „Nach-empfinden deutsch-polnischer Konflikteim Rollenspiel“ solleinen der erlebnis-pädagogischenBausteine ersetzen.

N4 Feststellung von Werten

Standard: Die Perspektiven, Verfahren und Gedankengänge, auf denen die Interpre-

tationen der Ergebnisse beruhen, sollten sorgfältig beschrieben werden, damit die

Grundlagen der Werturteile klar ersichtlich sind.

In Evaluation steckt der Begriff Wert; und das Bewerten – die Einschätzung oder Klassifi-

zierung einer Sache nach ihrer Nützlichkeit und ihrem allgemeinen Wert – ist die grund-

legende Aufgabe jeder Evaluation. Im Mittelpunkt dieser Aufgabe steht die Erfordernis,

die bei einer Evaluation gewonnenen Informationen zu interpretieren. Solche Informatio-

nen – ob quantitativ oder qualitativ, prozess- oder produktbezogen, formativ oder sum-

mativ – sind nur von geringem Interesse oder Nutzen, wenn sie nicht anhand einer ge-

eigneten und vertretbaren Idee dazu, was Wert hat und was nicht, interpretiert werden.


77

QS 29

Wir schlagen vor, Werte in Form eines kurzen Ausrufungssatzes zu formulie-

ren, also zum Beispiel als Slogan, als Spruchband, das wir anderen zeigen

könnten. Wir haben die Erfahrung gemacht, dass uns das unterstützt, wirk-

lich Werte zu formulieren und nicht noch einmal Erklärungen oder Argu-

mente anzuführen.

Der letzte Schritt ist die Formulierung von Empfehlungen. Dieser Schritt fällt

meist sehr leicht, und oft wird eine der Empfehlungen so ausfallen, wie wir

sie schon ganz am Anfang, beim ersten Blick auf das Faktum hätten formulie-

ren können. Nun wissen Sie aber, unter welchen erklärenden Annahmen und

auf der Basis welcher Werte Sie zu dieser Empfehlung kommen. Sie haben

geprüft, ob die Empfehlung logisch schlüssig und argumentativ überzeu-

gend ist, haben Alternativen durchgespielt. Wenn Sie dies in einer Gruppe

oder einem Team gemacht haben, haben Sie auch ein gutes Stück Teament-

wicklung geleistet.

Die FIWE-Methode eignet sich nicht nur zur Aus- und Bewertung von Ergeb-

nissen, sondern kann auch schon zur Klärung des Evaluationsanliegens ein-

gesetzt werden (vgl. Mock-Evaluation im Textkasten) Auf den folgenden Sei-

ten haben wir das FIWE-Schema mit den verschiedenen Schritten der Aus-

und Bewertung im Überblick dargestellt. Sie finden es zum besseren Ver-

ständnis einmal an einem Beispiel ausgeführt und einmal als schematische

Grafik, die Sie sich für Ihren Einsatz kopieren können.

Die Interpretation der gewonnenen Informationen ist jedoch ein aufwändiges und um-

strittenes Unterfangen. Es muss dabei unter anderem entschieden werden, wer die Wert-

urteile vornimmt und welche Verfahren dazu verwendet werden. In den weiter unten

aufgeführten Richtlinien werden mehrere Möglichkeiten beschrieben, wie man diese

Probleme angehen kann. Es ist jedoch ungewiss, ob es eine einzige Anleitung zur Erzie-

lung von Werturteilen gibt, die für jeden beliebigen Evaluationskontext am besten ge-

eignet ist.

Der Kernpunkt dieses Standards ist, dass Evaluatorinnen und ihre Auftraggeber zusam-

men mit den verschiedenen Beteiligten und Betroffenen sorgfältig festlegen sollten, wel-

cher Ansatz zugrunde gelegt werden soll, um den gewonnenen Informationen Wert zu-

zuweisen. Den gewählten Ansatz sollten sie dann offen legen und begründen.

Quelle: Handbuch der Evaluationsstandards. Opladen 2000, S. 67.

Mock-Evaluation30 mit der FIWE-Methode

Die FIWE-Methode lässt sich auch in der Anfangsphase der Evaluation einset-

zen. Man arbeitet in diesem Fall mit fiktiven – aber wahrscheinlichen – Er-

gebnissen und geht dann anhand dieser Ergebnisse mögliche Interpretatio-

nen durch. Man sollte sich dabei deutlich unterschiedliche Erklärungsvarian-

ten ausdenken, die man entweder selbst bevorzugt oder von denen man

glaubt, dass andere Beteiligte sie vertreten werden.

Eine zu einem frühen Zeitpunkt durchgeführte Mock-Evaluation kann die Si-

cherheit auf einen erfolgreichen Abschluss der Evaluation erhöhen. Sie kann

aber auch zu einem frühzeitigen – und damit rechtzeitigen – Abbruch führen,

weil man erkennt, dass Evaluation in dieser konkreten Situation keinen maß-

geblichen Beitrag zur Fortentwicklung des Programmes leisten kann.

30 engl. mock = simuliert; mock-turtle soup, Suppe, die nach Schildkröte schmeckt, in der aber keine drin ist; eingedeutscht könnte man auchvon Falscher-Hase-Evaluation sprechen


Stattdessen ist es vielleicht ratsam, andere Methoden wie Konfliktklärung

oder organisatorische Umstrukturierung/Veränderung von Zuständigkei-

ten voranzustellen. Mock-Evaluation führt dazu, die Untersuchungsfra-

gestellung noch einmal zu überprüfen und unter Umständen zu schär-

fen. Durch die Interpretation der präparierten Daten werden handlungs-

leitende Theorien und dem Programm zugrunde liegende Werte disku-

tiert. Dies bietet Gelegenheit zu konzeptioneller Klärung. Wenn aus den

präparierten Daten hervorgeht, dass ein Programm seine Ziele nicht er-

reicht und die Sitzungsteilnehmenden dieses Ergebnis als hochwahr-

scheinlich einschätzen, könnten vielleicht sofort Revisionen des Pro-

gramms verabredet und umgesetzt werden. Eine aufwändige Datenerhe-

bung würde gespart, die Ressourcen wären effizienter eingesetzt wor-

den.

Wenn in der Mock-Evaluation die Untersuchungsfragestellung noch ein-

mal auf ihre Relevanz für die Beteiligten überprüft wurde, hat man gute

Chancen, dass Neugierde auf die Ergebnisse geweckt und damit Motiva-

tion für die Evaluation freigesetzt wurde.

78

QS 29

Fakten

Welche Daten?

Interpretationen

Wie erklären wir das?

Werte

Was leitet uns?

Empfehlungen

Was wollen wir tun?

Interpretation A

Zufriedenheit ist auf

die Planung der Ta-

gung zurückzuführen

Wert A1

Teilnehmende sind

unsere Kunden – Kun-

denzufriedenheit ist

uns das Wichtigste! +

Empfehlung A1

Planung des nächs-

ten Jahrestreffens

sollte die letzte Pla-

nung fortschreiben

und optimieren

Wert A2

Basis für das Voran-

kommen des Verban-

des ist eine gelebte

Streitkultur!

Empfehlung A2

Die Planung des

nächsten Jahrestref-

fen sollte mehr kon-

trovers zu diskutie-

rende Themen/kon-

troverse Referentin-

nen setzen

Interpretation B

Zufriedenheit ist da-

rauf zurückzuführen,

dass Konflikte ausge-

klammert werden

konnten, weil eine

bestimmte Fraktion

nicht teilnahm

Wert B1

Ein inhaltlicher Mini-

malkonsens ist Vo-

raussetzung für ge-

meinsames Lernen!

Empfehlung B1

Durch Zielvereinba-

rungen mit Vorge-

setzten sollen Bil-

dungsreferentinnen

auf Leitziele unseres

Verbandes verpflich-

tet werden

Wert B2

Alle Strömungen und

Meinungen sind

wichtig und erhalten

bei uns einen Platz!

Empfehlung B2

Die dieses Mal Fern-

gebliebenen werden

künftig gezielt ange-

sprochen und durch

Bitte um eigene

Beiträge in die Ta-

gung eingebunden

Faktum

Teilnehmende Bil-

dungsreferentinnen

sind mit Jahresta-

gung zufrieden


79

QS 29Arbeitsblatt Nr. 4: FIWE-Schema

Fakten

Welche Daten?

Interpretationen

Wie erklären wir das?

Werte

Was leitet uns?

Empfehlungen

Was wollen wir tun?

Interpretation A

Wert A1

+

Empfehlung A1

Wert A2

–

Empfehlung A2

Interpretation B

Wert B1

+

Empfehlung B1

Wert B2

–

Empfehlung

Faktum


80

QS 29Das FIWE-Schema zeigt auf, dass die Bedeutungen der durch eine Evaluation

erzeugten Daten immer diskutiert und erschlossen werden müssen. Dadurch

werden auch die handlungsleitenden Theorien und Annahmen der Fachkräf-

te, Ehrenamtlichen, Geldgeber, ... explizit.

Die kausalen Wirkungszusammenhänge lassen

sich in pädagogischer Fachpraxis zwar nie endgül-

tig festlegen wohl aber lässt sich offen legen, auf

welchen Annahmen die Auswahl der einzelnen

Interventionen beruht und was ihr Greifen oder

Fehlschlagen plausibel erklärt. Wir befinden uns

in dem Dilemma, dass in der Pädagogik einerseits

keine kausalen Zusammenhänge, wie zum Bei-

spiel in der Technik, nachgewiesen werden kön-

nen, Praktiker aber so handeln müssen, als gäbe

es diese einfachen Wenn-dann-Verbindungen.

Der Aktionsforscher Argyris hat für den pragmatischen Wirkungsnachweis

den Begriff „Entwurfskausalität“ geprägt.

Wenn Sie mit Ihrer Arbeit hier angekommen sind,

schließt sich die Frage der Präsentation und Dar-

stellung Ihrer Evaluationsergebnisse an. Wem

präsentieren wir was auf welche Weise? Im näch-

sten Kapitel gehen wir kurz auf den aktuellen Dis-

kussionsstand zum Sachberichtswesen des BMFS-

FJ ein, um eine Brücke zu den bisher beschriebe-

nen Phasen und Schritten der Evaluation zu

schlagen. In Kapitel 5 stellen wir Ihnen dann

wichtige Anforderungen an Evaluationsberichte

vor.

4.2 Auswertung mit der FIWE-Methode und Sachberichte

In den letzten Jahren gibt es zwischen öffentlichen Geldgebern und Vertretern

der Jugendhilfe intensive Diskussionen und Überlegungen zur Gestaltung von

Sachberichten, zum Beispiel im Rahmen des Kinder- und Jugendplans des Bun-

des. Dabei geht es um die Frage, wie ein Raster für eine zusammenfassende

Ergebnisdarstellung bei der Vielfalt der Träger sowie unterschiedlicher Pro-

gramme und Maßnahmen aussehen könnte. Ein solches Raster sollte den Le-

sern/Leserinnen dieser Berichte aussagekräftige Informationen über die geför-

derten Maßnahmen bereitstellen. Es sollte knapp genug gefasst sein und den

Verfassern Raum für Empfehlungen an die Politik geben.

In den Jahren 1999 und 2000 hat die Bundesvereinigung Kulturelle Jugend-

bildung (BKJ) im Auftrag des BMFSFJ durch Christiane Liebald eine umfang-

reiche Recherche zu den Anforderungen an Sachberichte durchführen las-

sen. Die BKJ lud im Februar 2000 zu einer trägerübergreifenden Arbeitsta-

gung ein, um mit Vertretern des BMFSFJ das derzeit gültige Gliederungsra-

ster für KJP-Sachberichte zu diskutieren.

31 Christian Lüders: Evaluationsforschung in der Kinder- und Jugendhilfe. In: Qualiätssicherung durch Evaluation. Hrsg. BKJ 1998, S. 28

Absicht und Wirkung ...

„Aus der Diskussion um pädagogische Intentionalität

wissen wir, dass die Absicht das eine ist, die Wirkun-

gen und die Gründe dafür meist etwas ganz anderes.

Nicht umsonst sprechen Niklas Luhmann und Karl

Eberhard Schorr von einem Technologiedefizit und

meinen damit, dass wir in der sozialpädagogischen

und sozialarbeiterischen Praxis über keine Technolo-

gien verfügen, mit deren Hilfe wir erwünschte Zu-

stände pädagogisch „herstellen“ könnten.“31

Entwurfskausalität

„... die implizit in den kausalen Verbindungen zwischen

Absichten und Aktionen im Alltagsleben besteht.“(Chris

Argyris: Wissen in Aktion. 1997, S.67) Das FIWE-Schema

hat – wie das nachstehende Zitat zeigt – eine deutliche

Nähe zum aktionstheoretischen Ansatz von Argyris. „Mit

derselben Theorie sollte man gleichzeitig die Realität be-

schreiben und verstehen und neue Problemlösungen er-

finden und empfehlen können, wie Aktionen geplant

und durchgeführt werden müssen und wie man den

Erfolg des Ganzen beurteilt. Deshalb sind Theorien zur

Bereitstellung von aktionsfähigem Wissen deskriptiv,

normativ und präskriptiv.“ebd. S. 244


81

QS 29

1. Ziele und Schwerpunkte

In den Kapiteln 3 und besonders im QS-Heft 21 haben wir uns ausführlich

mit der Frage der Zielklärung beschäftigt. In diesem Heft haben wir das in

Kurzfassung aufgegriffen und im Heft wie auf der beiliegenden CD-ROM Ar-

beitsblätter zur Verfügung gestellt, die Ihnen bei der Klärung und Festle-

gung Ihrer Ziele helfen. Die den Arbeitsblättern (Seite 11 ff.) unterliegende

Zielsystematik führt Sie automatisch zu einer Schwerpunktsetzung bei Ihren

übergeordneten Leitzielen. In den Mittlerzielen werden Teilbereiche der

Leitziele konkretisiert und dadurch für eine bestimmte Planungszeit zu

Schwerpunkten.

2. Aktivitäten und Umsetzung

Aktivitäten oder Interventionen dienen dazu, die gesetzten Ziele zu errei-

chen. Indem das Sachberichtsraster Ziele und Aktivitäten zu gesonderten

Punkten macht, unterstützt es Praktiker dabei, deutlich zwischen Zielen und

Aktivitäten zu unterscheiden (vgl. Qs 21, Seite 11ff.). In der Dokumentation

von Programmen und Maßnahmen geht es zentral um Transparenz darüber,

ob die Aktivitäten auch stattgefunden haben, und zwar in geplanter Quan-

tität (weniger Qualität). Evaluation kann darüber hinaus die Qualität von Ak-

tivitäten/des Prozesses der Leistungserstellung untersuchen. Wir sprechen

dann von Prozessevaluation. In unserem Ansatz tritt dieser Evaluationsfokus

in den Hintergrund zugunsten der Ergebnisse (Ergebnis- oder Wirkungseva-

luation). Wenn wir allerdings das Zustandekommen oder Nichtzustande-

kommen von Ergebnissen erklären wollen, müssen wir wissen, ob die Akti-

vitäten überhaupt wie geplant stattgefunden haben.

3. Erfahrungen und Ergebnisse

Wie das vorgeschlagene Sachberichtsraster mit der im letzten Abschnitt be-

schriebenen FIWE-Methode zusammengebracht werden kann, wird aus der

folgenden Tafel deutlich.

32 Bundesvereinigung Kulturelle Jugendbildung e.V.: Infos Nr. 3. März 2000„Allerdings müssen trägerspezifische Akzentsetzungen, exemplarische Darstellungen sowie der standardisierte Nachweis von Routineaufga-ben erlaubt bleiben.“

Sachberichtestrukturieren

1. Ziele und Schwerpunkte

2. Aktivitäten und Umsetzung

3. Erfahrungen und Ergebnisse

4. Schlussfolgerungen und Perspektiven

Die Tagungsteilnehmenden erarbeiteten folgendes Gliederungsraster

zur Strukturierung zukünftiger Sachberichte:32


Erstellung von Sachberichten in Verbindung mit Evaluation

82

QS 29

Ziele und Schwerpunkte eines Programms, Aktivitäten und ihre Umsetzung,

Erfahrungen und Ergebnisse werden dokumentiert. Es wird schriftlich fest-

gehalten, was die Ziele des Programms waren, welche Aktivitäten in wel-

chem Umfang stattgefunden haben, welche Erfahrungen damit gemacht

wurden und zu welchen Ergebnissen das führte. Ist das Programm zusätzlich

mit Evaluation begleitet, sind diese Ergebnisse mit systematischer Daten-

erhebung gewonnen.

4 Schlußfolgerungen und Perspektiven

Auf die Ergebnisse bezieht man sich als Fakten, die der Interpretation bedür-

fen und bewertet werden müssen, indem sie mit den programmleitenden

Werten verbunden werden. So werden Schlussfolgerungen gezogen, die zu-

sammen mit den Perspektiven künftiger Entwicklungen Empfehlungen für

Folgeprogramme aufzeigen.

Wenn Ehrenamtliche und Hauptamtliche ihr Programm evaluativ begleitet ha-

ben, fließen in den Gliederungspunkt „Erfahrungen und Ergebnisse“ die sys-

tematisch gewonnen Fakten, verbunden mit der Interpretation, ein. Diese Be-

funde gilt es zu bewerten, das heißt in Beziehung zu stellen zu den pro-

grammleitenden Werten, um dann Empfehlungen aussprechen zu können,

was dem Gliederungspunkt „Schlussfolgerungen und Perspektiven“ entspricht.

Aktivitäten und

Umsetzung

Interpretationen

Fakten

Erfahrungen und

Ergebnisse

Werte

Schlussfolgerungen

und Perspektiven

Empfehlungen

Ziele und

Schwerpunkte

Dokumentation


83

QS 295 Evaluationsberichte

In der Evaluation sind Berichte zentraler Bestandteil, damit die Erkenntnisse

anderen zugänglich werden. Ergebnisse von Evaluationen sind dazu be-

stimmt, genutzt zu werden. Die intensive Planungs- und Untersuchungsar-

beit wird meist von geringem Ertrag sein, wenn die erhobenen Daten und

erzielten Befunde unveröffentlicht und unkommentiert in Schubladen oder

Ablagen verstauben. Wir empfehlen daher, schriftliche Berichte zu erstellen.

Sie sind wichtig als Dokumentation der Evaluation, auf die man selbst immer

wieder zurückgreifen kann und die als Grundlage der Kommunikation mit

anderen dienen. Ein kurzer, aber aussagekräftiger und informativer schriftli-

cher Bericht sollte ergänzt werden durch eine oder mehrere mündliche Prä-

sentationen, vielleicht auch durch Artikel in Rundbriefen, Zeitschriften oder

Zeitungen. Oft sind weitere schriftliche Berichte erforderlich, die nach be-

stimmten Vorgaben von Geldgebern oder Trägern zu erstellen sind.

Evaluationsberichte sind für „relevante Andere“ zugänglich und wichtiger

Bestandteil des Gesamtprozesses der Evaluation. Der Evaluationsbericht ist

eine – im Gegensatz zu Aktenvermerken oder Protokollen – in Fließtext ge-

haltene schriftliche Darlegung. Der Bericht ist für eine mehr oder weniger

große Öffentlichkeit gedacht: die eigene Einrichtung, den Träger, den Fach-

verband, die Fachöffentlichkeit, die Geldgeber, die interessierten Fachpoliti-

ker, Klienten- oder Elternorganisationen, die lokale Öffentlichkeit und andere

Wer die „relevanten Anderen“ sind, welche die anzusprechende Öffentlich-

keit ausmachen, entscheidet sich über die Zwecksetzung und Fragestellun-

gen der Evaluation, den Kontext und die Chancen und Risiken, die sich aus

einer Ausweitung oder Einschränkung von Öffentlichkeit ergeben.

Erhält ein Evaluationsbericht später den Vermerk „streng vertraulich“, dann

war die Evaluation wahrscheinlich so angelegt, dass eine Veröffentlichung

unwahrscheinlich, wenn nicht sogar von vornherein unmöglich war. Damit

lag ein unangemessener Evaluationsplan vor.

Die Forderung nach umfassenden und aufrichtigen Berichten ist nicht miss-

zuverstehen als Aufforderung, sich schutzlos dem Urteil und den Entschei-

dungen mächtiger oder gar schlecht meinender, zum Beispiel hart um die-

selben Finanzmittel ringender Dritter auszusetzen. Ebenso wie zu Beginn der

Evaluationsplanung sollte auch die Berichtsplanung mit einer Risikoabschät-

zung verbunden sein:

• Welche Nachteile können für mich, mein Team, meine Einrichtung, meine

Organisation durch die Verbreitung der Informationen entstehen?

• Wie können diese vermieden oder verringert werden, ohne dass Ergebnis-

se verfälscht oder wichtige Informationen verschwiegen werden?

Unter Bericht wird eine nachträglich verschriftlichte, mediengebundene

Form (in der Regel auf Papier, gegebenenfalls auch auf elektromagneti-

schen Datenträgern) der Kommunikation verstanden, die mit einem be-

stimmten Zweck für ein bestimmtes Zielpublikum erstellt ist. Der Bericht

ist damit Mittel der Informationsvermittlung.


84

QS 295.1 Planungsschritte zur Erstellung des Evaluationsberichts

Ausgangspunkte der Arbeit am Bericht sind

1. die Klärung der Berichtszwecke und

2. die Identifikation des Zielpublikums (Leserinnenanalyse).

Hieraus ergibt sich

3. die Festlegung des Berichtszeitpunkts;

4. daran anschließend kann die Form des Berichts entschieden und

mit dem Schreiben begonnen werden.

Was ist der Zweck des Evaluationsberichts?

Erster Zweck eines Evaluationsberichts ist es auszuweisen, dass ein systemati-

scher Prozess der Daten- und Informationsgewinnung, eingebettet in ein

schlüssiges, praxisbezogenes Evaluationskonzept, stattgefunden hat. Es geht

darum zu verdeutlichen, was mit welchen Fragestellungen untersucht wur-

de, wie und mit welchen Untersuchungsergebnissen diese beantwortet wur-

den. Der Bericht soll dokumentieren,

❒ wie dieser Prozess systematisch geplant wurde;

❒ welche Vorkehrungen gegen Verzerrungen getroffen wurden;

❒ welche Datenerhebungsinstrumente eingesetzt wurden;

❒ nach welchen ausgewiesenen Maßstäben bewertet wurde.

Dies dient weiteren Zwecken, wie zum Beispiel der Gewinnung von Unter-

stützern, Bündnispartnern, Sponsoren; Rechenschaftslegung (Leistungsaus-

weis), Ausweis fachlicher Qualifizierung, Eröffnung fachlicher Diskussion.

Je nach angestrebtem Zweck verändert sich die inhaltliche und formale Aus-

richtung des Berichtes und damit auch sein Umfang. Die Entscheidung –

und schriftliche Festlegung – der Zwecksetzung des Berichts ist der erste

Schritt, bevor man mit dem Schreiben beginnt. Nach Fertigstellung sollte der

Bericht noch einmal daraufhin überprüft werden, ob er dem Zweck tatsäch-

lich dient.

Wer wird den Evaluationsbericht lesen?

Berichtszweck und Zielpublikum sind eng miteinander verbunden. Ist über

den Zweck des Berichts entschieden, lässt sich daraus auch das Zielpublikum

bestimmen und umgekehrt kann man, wenn das Zielpublikum feststeht,

eine differenzierte Zweckbestimmung für den Bericht vornehmen.


85

QS 29Es ist wichtig, sich möglichst konkrete Personen aus dem Zielpublikum vor

Augen zu führen. Statt zum Beispiel zu sagen „Der Vorstand“, ist es günstig,

die Personen im Vorstand, die den Bericht lesen werden, beim Namen zu nen-

nen.33 Wenn es nicht möglich ist, bekannte Personen als Leserinnen auszuma-

chen, kann man sich über eine Reihe von Fragen auf die Leserinnen einstel-

len: Welche Art von Leserinnen habe ich vor mir? Eher lesegewohnte, lesemü-

de oder -freudige, mit welchem Lese-Zeitbudget, welchem fachlichen Hinter-

grund, welchen Vorinformationen über mein Arbeitsfeld, welchem Bezug zu

meinem Arbeitsfeld, welchen Altersgruppen ... ? Daran schließen sich weitere

Fragen an: Welche inhaltlichen Interessen könnten sie an diesem pädagogi-

schen Arbeitsfeld haben? Welche Verknüpfungen gibt es zu ihren beruflichen

Aufgaben, zu ihren sozialen Interessen? Damit gewinnt man Ideen, welche

Informationen sie wahrscheinlich aufnehmen werden, was sie interessant fin-

den, wovon sie einen Lesegewinn haben werden.

Mögliche Leserinnen von Evaluationsberichten sind:

• Kollegen und Kolleginnen

• Vorgesetzte/Direktorinnen

• Vorstandsmitglieder

• Beiräte/Leitungskonferenzen

• Vereinsmitglieder

• Mitgliedsorganisationen des Verbandes

• Kooperationspartner (Ärzte, Rechtsanwälte, ...)

• Kooperierende Organisationen (Jugendämter, Schulen, ...)

• Bürgerinitiativen/Selbsthilfegruppen

• Geldgeberinnen (Ministerium, Kommune)/Sponsorinnen

• Fachpolitikerinnen (Mitglieder Jugendhilfeausschuss, Schulausschuss)

• Journalistinnen

• Klientinnen

• Zielgruppen/Abnehmer von pädagogischen Leistungen

33 Die konkrete Vorstellung von Personen, die Ihren Bericht lesen werden, erleichtert es Ihnen, sich genauer auf Ihre jeweiligen Leserinnen ein-zustellen und den Bericht adressatenbezogen zu verfassen.


86

QS 29

Berichtszeitpunkt

Ein Bericht sollte idealerweise genau dann vorgelegt werden, wenn die In-

formationen von den angezielten Nutzern benötigt werden. Innerhalb der

eigenen Organisation, also mit Zielpublikum, Kolleginnen oder Vorstand,

kann ein solcher Berichtstermin in Verbindung mit bestehenden Bespre-

chungsroutinen/Gremiensitzungen auf einen günstigen Zeitpunkt gelegt

werden, zum Beispiel „zur Arbeitssitzung X“; „zur Vorstandssitzung im

übernächsten Monat“; „zwei Wochen vor der Fortbildungstagung im

Herbst“; „die Vorgesetzte soll ihn eine Woche vor dem turnusmäßigen Jah-

resgespräch lesen können“ ...

Bei Externen bestimmen meist deren Zeitpläne die optimalen Berichtszeit-

punkte: rechtzeitig vor der nächsten Jugendhilfe-/Schulausschusssitzung;

zum Zeitpunkt, wenn die Einreichfrist für Neuanträge abläuft, rechtzeitig vor

den Haushalts-Vorberatungen in den Kommunalfraktionen oder ähnlich.

SIE-Formel

Situation - Interessen - Einstellungen

❒ Situation meiner Leser/innen:

• Wer sind sie und welches Vorwissen haben sie?

• Welche Stellung haben sie in meinem Arbeitsfeld

(Interne/Externe; Einflussnehmende/Beeinflusste, ...)?

• Welche Funktion haben sie in Bezug auf das Berichtsthema

(Entscheiderinnen, Kooperationspartnerinnen, Zielgruppen, ...)?

• Über wie viel Zeit und Routine verfügen sie für das Lesen des Berichtes?

• Welche Ansprüche haben sie an die sprachliche und gestalterische Form und Auf-

machung des Berichts?

• Welchen Wissensstand haben sie bezogen auf den Berichtsinhalt?

❒ Interessen meiner Leser/innen

• Was erwarten sie?

• An welchen Inhalten sind sie besonders interessiert?

• An welchen Ergebnissen sind sie interessiert?

• An welchen Konsequenzen sind sie interessiert?

• Welche Erwartungen haben sie an die Ausführlichkeit/Knappheit der Behandlung

der verschiedenen Teilthemen?

❒ Einstellungen meiner Leser/innen

• Wie betroffen sind sie vom Bericht?

• Welche Hoffnungen und Befürchtungen haben sie in Bezug auf das Berichtsthema?

• Welche Einstellungen haben sie zum/zur Schreibenden?

• In welcher Form sind die Ergebnisse für sie selbst relevant?

(Mehr/weniger Arbeitsbelastung/Einschränkung/Erweiterung ihrer Handlungsmög-

lichkeiten, ...)?

Prägnant zusammenfassen lassen sich diese Fragen mit der SIE-Formel

zur Leser/-innenanalyse.


87

QS 29Herausforderung Schlussbericht

Der Schlussbericht beendet die Evaluation und dient damit der Evaluations-

verantwortlichen auch als Ausweis für ein unter Umständen länger angeleg-

tes Evaluationsprojekt. Er dokumentiert den Abschluss einer selbst gesetzten

Aufgabe und die Trennung von dieser. Die realistische Terminsetzung für ei-

nen solchen Schlusspunkt ist eine unabdingbare und gleichzeitig schwieri-

ge, nicht nur logistische, sondern auch „psychohygienische“ Leistung der

Evaluatorin. Die Terminsetzung für den Schlussbericht bei der Evaluations-

planung kann dabei helfen, vom Ende her den gesamten Evaluationsplan

auf Realisierbarkeit zu prüfen, Prioritäten enger zu setzen, Verzichtbares früh-

zeitig zu streichen und sich durch eine orientierende und disziplinierende

Zeitplanung zu entlasten.

Gleichzeitig ist der Schlussbericht eine Art „Visitenkarte“ der Evaluatorin, sie

verschafft den Lesenden einen Einblick nicht nur in ihre alltägliche Arbeit,

sondern auch in die Fähigkeit, komplexe Arbeitsvorhaben zu planen, einen

Text inhaltlich und formal gut zu gestalten, sich auf die Leseerwartungen des

Gegenübers einzustellen.

5.2 Wahl der passenden Berichtsform

Berichtsinhalte: Methodenbeschreibung und Ergebnisdarstellung

Wie viel Raum bekommen die inhaltlichen und wie viel die technisch-metho-

dischen Aspekte der (Selbst-)Evaluation, ist die zentrale Frage bei der Ent-

scheidung für eine Berichtsform. Die haupt- und ehrenamtlichen Mitarbeite-

rinnen werden vorrangig die inhaltlichen Ergebnisse interessieren. Aber

wenn die Leserin zweifelt, ob denn die präsentierten Informationen wirklich

der Realität entsprechen, wenn ihre eigenen Interessen berührt sind, ihre ei-

genen fachlichen Prinzipien vielleicht sogar ein Stück in Frage gestellt wer-

den, will sie genauer wissen: Wie sind diese Ergebnisse denn überhaupt zu-

stande gekommen? Wie sah das Datenerhebungsinstrument aus? Wie wur-

de die Stichprobe gezogen?

Wenn die Evaluatorin nicht genau weiß, wie die Interessenlage der Leserin-

nen ist, und wie die Lesende ihre Glaubwürdigkeit beurteilt, wird sie einen

mehr oder minder großen methodisch-technischen Teil schreiben oder zu-

mindest in einem Anhang oder „methodisch-technischen Teilbericht“ das

methodische Vorgehen und die eingesetzten Instrumente darstellen. Der

technische Teil macht Zusatzarbeit, zieht den Bericht in die Länge, droht zu

Ermüdungserscheinungen bei Lesenden zu führen. Ohne technischen Teil

wird dem Evaluationsvorhaben vielleicht Glaubwürdigkeit und Nachvollzieh-

barkeit abgesprochen.

Die Berichtsform: ein Beispiel

Nachfolgend stellen wir exemplarisch eine mögliche Berichtsform für eine

Selbstevaluation oder eine kleinere interne Evaluation vor. Die Länge dieser

Berichtsform liegt bei drei bis zwölf Seiten; bei mittleren Vorhaben bis zu 20

Seiten zuzüglich Anhang oder integrierten Grafiken.


88

QS 29

Vorwort, Einleitung und Schluss – wie in Diplomarbeiten oder akademischen

Berichten üblich – entfallen beim Evaluationsbericht.

Als Gliederung für Teil III, das Herzstück des Schlussberichts, stellen wir Ih-

nen nachfolgend zwei Alternativen vor: Alternative A konzentriert sich auf

das für breitere Zielgruppen Interessante und Nützliche; Alternative B

berücksichtigt stärker evaluationsfachliche Aspekte.

Mustergliederung Evaluationsberichte

Der Aufbau des Berichts gliedert sich in fünf Teile:

I Titelblatt (gegebenenfalls mit Zusammenfassung)

II Inhaltsverzeichnis

III Inhaltlicher (und technischer) Bericht nach Mustergliederung A oder B

IV Zusammenfassung (1/2 Seite)

V Anhang

Berichtstyp Arein inhaltlicher Bericht

1. Ziele und Vorgehen

2. Auswertung, Interpre-tation Ergebnisse undBewertungen

3. Schlussfolgerungenund praktische Konse-quenzen

Vorteile

inhaltlich interessierendeTeile kompakt zusammen-gefasst; technisch-metho-dische Darstellungen aufdas Notwendigste be-schränkt

Nachteile

Stimmigkeit der Evaluationals Prozess nicht überprüf-bar

Berichtstyp B

inhaltlich und technisch-

methodischer Bericht

1. Rahmenbedingungen

der Evaluation

2. Ausgangslage im

Arbeitsfeld

3 Handlungsziele und

realisierte Interventio-

nen

4. Untersuchungsziel und

Fragestellung

5. Indikatoren und

Erfolgsspanne

6. Beschreibung der Daten-

erhebung/eingesetzten

Instrumente

7. Auswertung der Daten/

Interpretation der ge-

wonnenen Informatio-

nen

8. Schlussfolgerungen/

Ausblick

Vorteile

Konzept und Prozess der

Evaluation sind nachvoll-

ziehbar

Design auf Stimmigkeit

überprüfbar

Grundlage für Metaevalua-

tion

Nachteile

Für Außenstehende wenig

attraktiv; da viele für sie

unnütze Informationen

Aufwändig in der Erstel-

lung; teuer in der Verbrei-

tung


In vielen Fällen wird Typ A angemessen sein. An Typ B orientieren sich Be-

richtschreiberinnen, wenn Berichte die Qualifizierung von Evaluatorinnen

dokumentieren sollen, wenn sie Basis sind für evaluationsbegleitende Super-

vision oder für nachfolgende Metaevaluationen. In Selbstevaluationen und

internen Evaluationen wird man sich in der Regel auf einen kurzen Bericht

beschränken, der die wichtigsten Informationsinteressen der wichtigsten Le-

sergruppen anspricht. Man kann gegebenenfalls Teile aus dem Bericht für

gesonderte Zwecke ausgliedern, zum Beispiel die Zusammenfassung nur ei-

ner bestimmten Zielgruppe zukommen lassen. Der Zwang zu sparsamem

Ressourceneinsatz fordert klare Prioritätensetzungen und Beschränkungen

auf das Wichtigste.

Auf den nächsten beiden Seiten folgen Arbeitsblätter zum Evaluationsbe-

richt, die Ihnen bei der Planung und Erstellung des Berichts helfen.

89

QS 29

Aktuelle Informationen über Evaluation in der sozialen Arbeit

stellt der Arbeitskreis „Soziale Arbeit/Gesundheitswesen“ der

Deutschen Gesellschaft für Evaluation bereit.

(Sprecherin: Prof. Dr. Hildegard Müller-Kohlenberg, Osnabrück).


Die Deutsche Gesellschaft für Evaluation gründete sich im September

1997 als gemeinnütziger, eingetragener Verein. Ihre Ziele sind unter an-

derem:

• Unterstützung und Verbesserung von Theorie, Praxis, Methoden, Ver-

ständnis und Nutzbarmachung von Evaluation und ihres Beitrags zur

öffentlichen Meinungsbildung.

• Einführung, Aktualisierung und Unterstützung eines kontinuierlichen

Entwicklungsprozesses von Evaluationspraxis und -standards, der die

Interessen der Nutzer, der Betroffenen und der Evaluatoren unterstützt.

• Unterstützung des Austauschs zwischen Mitgliedern mit ähnlichen

Evaluationsinteressen und zwischen verschiedenen Evaluationstradi-

tionen und -disziplinen.

• Verbesserung der Aus- und Weiterbildung im Bereich der Evaluation.

Die DeGEval hat zur Zeit circa 150 persönliche und 25 institutionelle

Mitglieder. Es gibt rund zehn Arbeitskreise, darunter auch der AK

Evaluation in der Sozialen Arbeit.

Mehr Informationen:

Internet: http://www.degeval.de


Telefon/Fax: 02 21 - 4 60 00 32

DeGEval


90

QS 29 Arbeitsblatt Nr. 5: Evaluationsbericht

Arbeitsblatt Nr. 5: Evaluationsbericht (Seite 1)

1. Was ist der Zweck des Evaluationsberichts?

Der primäre Zweck meines Berichts ist:

❒ Leistungsnachweis für Zuwendungsgeber/andere zentrale Stelle

❒ Grundlage für Anträge an Zuwendungsgeber

❒ Grundlage für (kollegiale) Verbesserung des Programms

❒ Sonstiger Zweck .....................

2. Wer wird/soll den Evaluationsbericht lesen?

Mir geht es vor allem um folgendes Zielpublikum (mehrere Kreuze möglich, ab drei Rang-

ordnung herstellen)

❒ allgemeine Öffentlichkeit

❒ Fachöffentlichkeit

❒ Politiker; wer genau? .............

❒ (potenzielle) Sponsoren

❒ Zuwendungsgeber/Auftraggeber? Wer genau? .............

❒ Träger, wer genau? .............

❒ Vorgesetzte, Namen? .............

❒ interne Kolleg(inn)en bis zu drei wichtige Personen: .............

❒ externe Kooperationspartner, bis zu drei wichtige Personen:.............

❒ Mitglieder der Zielgruppe des Programms. ............

❒ Sonstige und zwar .............

3. Können mir, meinem Team oder meiner Organisation größere Nachteile aus der Veröf-

fentlichung des Berichts erwachsen?

❒ ja

❒ nein

Wenn ja: Gibt es Möglichkeiten, die Nachteile zu vermeiden, zu verringern, ohne dass Er-

gebnisse verfälscht werden?

Wenn nein: Machen Sie weiter mit Punkt 4: SIE-Analyse

4. SIE-Analyse meiner Leser/-innen

Situation Wer sind sie, welche Vorerfahrungen, welches Vorwissen?

Interesse Was ist Ihr Interesse in Bezug auf die Evaluation?

Einstellungen Welche Einstellungen zum Thema haben sie:

Welche Hoffnungen, Befürchtungen?

Wie sind sie von den Ergebnissen betroffen?


91

QS 29Arbeitsblatt: Evaluationsbericht

5. Evaluationsbericht Typ A (Seite 2)

Bericht von maximal drei Seiten für Leser/-innen, denen vorrangig an den Ergebnissen und

Schlussfolgerungen liegt

1. Das Programm: Ziele, Aktivitäten, Resultate/Ergebnisse

2. Die Untersuchung: Auswertung, Interpretation und Bewertungen

3. Die Konsequenzen: Schlussfolgerungen, Perspektiven/praktische Maßnahmen

Evaluationsbericht Typ B

Leser/-innen mit hohem fachlichen Interesse oder wenn die Gültigkeit Ihrer Ergebnisse be-

zweifelt wird

1. Rahmenbedingungen der Evaluation

2. Ausgangssituation im Arbeitsfeld

3. Ziele des Programms (besonders Handlungsziele) und Aktivitäten/Interventionen

4. Zweck/Leistungsschwerpunkt der Evaluation und Fragestellungen

5. Indikatoren und Erfolgskriterien

6. Beschreibung der Datenerhebung/eingesetzten Instrumente

7. Darstellung der Evaluationsergebnisse/Interpretation/Bewertung

8. Schlussfolgerungen/Empfehlungen/Perspektiven/praktische Maßnahmen


92

QS 29 Standards

34 Literaturhinweis siehe unter „Einführungen in die Evaluation“

Standards für die Evaluation von Programmen- Kurzfassung -

Joint Committee on Standards for Educational Evaluation: (Reproduktion der Referenzkarte aus der deutschsprachigen Buchfassung, erschienen

bei Leske + Budrich, Opladen2000)34

Sorgfältige Evaluationen von Programmen, Projekten und Materialien sollen vier grund-

legende Eigenschaften aufweisen:

Die „Program Evaluation Standards“ sind von 16 amerikanischen Organisationen des Er-

ziehungs- und Bildungsbereichs entwickelt worden. Die „Standards“ umfassen Prinzipi-

en, deren Beachtung zu verbesserten Programmevaluationen hinsichtlich der vier ge-

nannten Eigenschaften beiträgt.

Diese Referenzkarte unterliegt nicht dem Copyright. Vervielfältigung und Verbreitung

sind erwünscht.

Nützlichkeit

Die Nützlichkeitsstandards sollen sicherstellen, dass eine Evaluation sich an den Informa-

tionsbedürfnissen der vorgesehenen Evaluationsnutzer ausrichtet.

N1 Ermittlung der Beteiligten und Betroffenen

Die an einer Evaluation beteiligten oder von ihr betroffenen Personen sollten

identifiziert werden, damit deren Interessen und Bedürfnisse berücksichtigt

werden können.

N2 Glaubwürdigkeit der Evaluatorin

Wer Evaluationen durchführt, sollte sowohl vertrauenswürdig als auch kompe-

tent sein, damit bei den Evaluationsergebnissen ein Höchstmaß an Glaubwür-

digkeit und Akzeptanz erreicht wird.

N3 Umfang und Auswahl der Informationen

Die gewonnenen Informationen sollten von einem Umfang und einer Auswahl

sein, welche die Behandlung sachdienlicher Fragen zum Programm ermögli-

chen und gleichzeitig auf die Interessen und Bedürfnisse des Auftraggebers

und anderer Beteiligter und Betroffener eingehen.

N 4 Feststellung von Werten

Die Perspektiven, Verfahren und Gedankengänge, auf denen die Interpretatio-

nen der Ergebnisse beruhen, sollten sorgfältig beschrieben werden, damit die

Grundlagen der Werturteile klar ersichtlich sind.

N5 Klarheit des Berichts

Evaluationsberichte sollten das evaluierte Programm einschließlich seines Kon-

textes ebenso beschreiben wie die Ziele, die Verfahren und Befunde der Eva-

luation, damit die wesentlichen Informationen zur Verfügung stehen und

leicht verstanden werden können.

N6 Rechtzeitigkeit und Verbreitung des Berichts

Wichtige Zwischenergebnisse wie auch Schlussberichte sollten den vorgesehe-

nen Nutzern so zur Kenntnis gebracht werden, dass diese sie rechtzeitig ver-

wenden können.

N7 Wirkung der Evaluation

Evaluationen sollten so geplant, durchgeführt und dargestellt werden, dass die

Beteiligten und Betroffenen dazu ermuntert werden, dem Evaluationsprozess zu

folgen, damit die Wahrscheinlichkeit steigt, dass die Evaluation genutzt wird.

Nützlichkeit Durchführbarkeit Korrektheit Genauigkeit

6 Anhang


93

QS 29Standards

Durchführbarkeit

Die Durchführbarkeitsstandards sollen sicherstellen, dass eine Evaluation realistisch, gut

durchdacht, diplomatisch und kostenbewusst ausgeführt wird.

D1 Praktische Verfahren

Die Evaluationsverfahren sollten praktisch sein, so dass Störungen minimiert

und die benötigten Informationen beschafft werden können.

D2 Politische Tragfähigkeit

Evaluationen sollten mit Voraussicht auf die unterschiedlichen Positionen der

verschiedenen Interessengruppen geplant und durchgeführt werden, um de-

ren Kooperation zu erreichen und um mögliche Versuche irgendeiner dieser

Gruppen zu vermeiden, die Evaluationsaktivitäten einzuschränken oder die Er-

gebnisse zu verzerren respektive zu missbrauchen.

D3 Kostenwirksamkeit

Die Evaluation sollte effizient sein und Informationen mit einem Wert hervor-

bringen, der die eingesetzten Mittel rechtfertigt.

Korrektheit

Die Korrektheitsstandards sollen sicherstellen, dass eine Evaluation rechtlich und ethisch

korrekt durchgeführt wird und dem Wohlergehen der in die Evaluation einbezogenen

und auch der durch die Ergebnisse betroffenen Personen gebührende Aufmerksamkeit

widmet.

K1 Unterstützung der Dienstleistungsorientierung

Die Evaluation sollte so geplant werden, dass Organisationen dabei unter-

stützt werden, die Interessen und Bedürfnisse des ganzen Zielgruppenspek-

trums zu berücksichtigen und ihre Tätigkeiten danach auszurichten.

K2 Formale Vereinbarungen

Die Pflichten der Vertragsparteien einer Evaluation (was, wie, von wem, wann

getan werden soll) sollten schriftlich festgehalten werden, damit die Parteien

verpflichtet sind, alle Bedingungen dieser Vereinbarung zu erfüllen oder aber

diese erneut zum Gegenstand von formalen Verhandlungen zu machen.

K3 Schutz individueller Menschenrechte

Evaluationen sollten so geplant und durchgeführt werden, dass die Rechte

und das Wohlergehen der Menschen respektiert und geschützt sind.

K4 Human gestaltete Interaktion

Evaluatorinnen sollten in ihren Kontakten mit anderen die Würde und den

Wert der Menschen respektieren, damit diese nicht gefährdet oder geschädigt

werden.

K5 Vollständige und faire Einschätzung

Evaluationen sollten in der Überprüfung und in der Präsentation der Stärken

und Schwächen des evaluierten Programms vollständig und fair sein, so dass

die Stärken weiter ausgebaut und die Problemfelder angesprochen werden

können.

K6 Offenlegung der Ergebnisse

Die Vertragsparteien einer Evaluation sollten sicherstellen, dass die Evaluati-

onsergebnisse – einschließlich ihrer relevanten Beschränkungen – den durch

die Evaluation betroffenen Personen ebenso wie all jenen, die einen ausge-

wiesenen Anspruch auf die Evaluationsergebnisse haben, zugänglich ge-

macht werden.

K7 Deklaration von Interessenkonflikten

Interessenkonflikte sollten offen und aufrichtig behandelt werden, damit sie

die Evaluationsverfahren und -ergebnisse nicht beeinträchtigen.

K8 Finanzielle Verantwortlichkeit

Die Zuweisung und Ausgabe von Ressourcen durch die Evaluatorin sollte

durch eine sorgfältige Rechnungsführung nachgewiesen werden und auch an-

derweitig klug sowie ethisch verantwortlich erfolgen, damit die Ausgaben ver-

antwortungsbewusst und angemessen sind.


94

QS 29 Standards

Genauigkeit

Die Genauigkeitsstandards sollen sicherstellen, dass eine Evaluation über die Güte

und/oder die Verwendbarkeit des evaluierten Programms fachlich angemessene Infor-

mationen hervorbringt und vermittelt.

G1 Programmdokumentation

Das zu evaluierende Programm sollte klar und genau beschrieben und doku-

mentiert werden, so dass es eindeutig identifiziert werden kann.

G2 Kontextanalyse

Der Kontext, in dem das Programm angesiedelt ist, sollte ausreichend detail-

liert untersucht werden, damit mögliche Beeinflussungen des Programms

identifiziert werden können.

G3 Beschreibung von Zielen und Vorgehen

Die Zwecke und das Vorgehen der Evaluation sollten ausreichend genau doku-

mentiert und beschrieben werden, so dass sie identifiziert und eingeschätzt

werden können.

G4 Verlässliche Informationsquellen

Die in einer Programmevaluation genutzten Informationsquellen sollten hin-

reichend genau beschrieben sein, damit die Angemessenheit der Informatio-

nen eingeschätzt werden kann.

G5 Valide Informationen

Die Verfahren zur Informationsgewinnung sollten so gewählt oder entwickelt

und dann umgesetzt werden, dass die Gültigkeit der gewonnenen Interpreta-

tionen für den gegebenen Zweck sichergestellt ist.

G6 Reliable Informationen

Die Verfahren zur Informationsgewinnung sollten so gewählt oder entwickelt

und dann umgesetzt werden, dass die Zuverlässigkeit der gewonnen Interpre-

tationen für den gegebenen Zweck sichergestellt ist.

G7 Systematische Informationsüberprüfung

Die in einer Evaluation gesammelten, aufbereiteten und präsentierten Infor-

mationen sollten systematisch überprüft und alle gefundenen Fehler sollten

korrigiert werden.

G8 Analyse quantitativer Informationen

Quantitative Informationen einer Evaluation sollten angemessen und systema-

tisch analysiert werden, damit die Fragestellungen der Evaluation effektiv be-

antwortet werden.

G9 Analyse qualitativer Informationen

Qualitative Informationen einer Evaluation sollten angemessen und systema-

tisch analysiert werden, damit die Fragestellungen der Evaluation effektiv be-

antwortet werden.

G10 Begründete Schlussfolgerungen

Die in einer Evaluation gezogenen Folgerungen sollten ausdrücklich begrün-

det werden, damit die Beteiligten und Betroffenen diese einschätzen können.

G11 Unparteiische Berichterstattung

Die Verfahren der Berichterstattung sollten über Vorkehrungen gegen Verzer-

rungen durch persönliche Gefühle und Vorlieben irgendeiner Evaluationspar-

tei geschützt werden, so dass Evaluationsberichte die Ergebnisse fair wieder-

geben.

G12 Metaevaluation

Die Evaluation selbst sollte formativ und summativ in Bezug auf die vorliegen-

den oder andere wichtige Standards evaluiert werden, so dass die Durchfüh-

rung entsprechend angeleitet werden kann und damit die Beteiligten und Be-

troffenen bei Abschluss einer Evaluation deren Stärken und Schwächen gründ-

lich überprüfen können.


95

QS 29Glossar

Aktivität (engl. action; auch intervention); Handlungsbestandteil eines Programms,

mit dem ein gegebener Zustand (Ausgangssituation) in Richtung eines Pro-

grammziels verändert werden soll, so dass ein gewünschtes Resultat erreicht

wird. Beispiele für Aktivitäten sind Beratungen, Gruppenstunden, Schu-

lungsbausteine, inszenierte kulturelle Ereignisse.

Bericht Wir unterscheiden Dokumentation, Sachbericht und Evaluationsbericht.

Dokumentation = Aufzeichnung programmstatistischer Daten, durchgeführ-

ter Aktivitäten etc.

Sachbericht = Bericht an Zuwendungsgeber zum Verwendungsnachweis, in

der Form, wie es mit dem jeweiligen Zuwendungsgeber vereinbart ist.

Evaluationsbericht = Bericht über Evaluationszweck, Fragestellungen, Daten-

erhebung, Ergebnisse und Schlussfolgerungen.

Ergebnis (engl. finding), das Ergebnis der Evaluationsuntersuchung, die Antworten

auf die Fragestellungen der Evaluation; sie werden im Evaluationsbericht

mit Text und Tabellen, Diagrammen u.Ä. dargestellt.

Evaluation systematische, auf vorliegenden oder neu erhobenen Daten beruhende Be-

schreibung und Bewertung von Gegenständen der sozialen Wirklichkeit.

Fragestellung formuliert in Bezug auf den Evaluationsgegenstand, was untersucht werden

soll, und steuert die Evaluation (sagt etwas aus, was über ein Programm

und die Zusammenhänge, die zu seinem Gelingen beitragen, in Erfahrung

gebracht werden soll).

Indikator in der Sozialforschung Repräsentant, (meist unvollständiger) Anzeiger für

untersuchte Sachverhalte oder Eigenschaften sozialer Tatsachen und Prozes-

se. Ein Indikator für „Aggression“ ist zum Beispiel „erhöhter Puls“; trifft die-

ser zusammen mit dem Indikator „abwertende Äußerungen“, ist wahr-

scheinlich, dass wir von Aggression sprechen können.

Intervention (engl. intervention, Eingreifen, Eingriff) bezeichnet im psychosozialen Be-

reich das absichtsvolle Handeln einer Fachkraft/eines Teams, um bei einem

Klienten oder einer Klientengruppe (=> Zielgruppe) eine erwünschte Wir-

kung auszulösen.

Operationalisierung Komplexe Begriffe/Sachverhalte werden durch Angabe der Indikatoren so

präzisiert, dass messbare Ereignisse angegeben sind, die den komplexen

Sachverhalt anzeigen; siehe „Indikator“.

Outcome durch ein Programm ausgelöste Veränderung bei der Zielgruppe oder ein

Vorteil, den die Zielgruppe nun genießt. Beispiele sind „erlernte Fähigkeit“

oder „erworbener Ausbildungsabschluss“.

Programm Ein Programm ist ein Bündel von Maßnahmen, je bestehend aus einer Folge

von Aktivitäten, basierend auf einem Set von Ressourcen, gerichtet auf be-

stimmte, bei einer bezeichneten Zielgruppe zu erreichende Ergebnisse (out-

comes). Ein Programm besteht aus einem fixierten, verschriftlichten Plan oder

Entwurf und dessen Umsetzung in Praxis oder Handeln. In der Kinder- und

Jugendhilfe heißen Programme zum Beispiel „Angebote“, „Freizeitmaßnah-

men“, „Kurse“, „Jugendaustauschfahrten“, „Öffentliche Jugendveranstaltun-

gen“, „Hilfe“. Programm ist ein evaluationsfachlicher Begriff: Evaluation

schaut auf pädagogische und soziale Leistungen/Ereignisse als „Programme“.

Resultat (vorläufiger) Endzustand eines Programms: Strukturelle Bedingungen sind

geschaffen (Beispiel: „als Resultat der Kampagne gibt es jetzt zwei offene

Jugendtreffs im Landkreis“) oder Leistungsprozesse sind verbessert („das

Aufnahmeverfahren in den Verband dauert nun maximal vier Wochen) oder

die erwünschten Veränderungen bei Zielgruppen (outcomes) sind erreicht.

Selbstevaluation systematische, datenbasierte Planung, Untersuchung und Bewertung eige-

nen fachlichen Handelns.

Zielgruppe Eine Zielgruppe ist eine Menge von Personen, die sich in Bezug auf wichti-

ge Merkmale zum Beispiel Alter, Nationalität) relativ ähnlich sind. Welche

Merkmale wichtig sind, entscheidet sich nach den Rahmenbedingungen

des Programms, etwa wer gehört zum geförderten Personenkreis, nach den

Leitzielen von Träger und Programm oder nach den Voraussetzungen, wel-

che die Mitglieder der Zielgruppe mitbringen sollen. So sollten zum Bei-

spiel die Kinder, die an einer Segelfreizeit teilnehmen, gut schwimmen kön-

nen. Klarheit über die Zielgruppe ist eine zentrale Voraussetzung für den Er-

folg eines Programm oder Projektes. Sie ist Grundlage der erfolgreichen Ge-

winnung von Teilnehmern/Teilnehmerinnen und der konzeptionellen Pla-

nung.


96

QS 29 Arbeitsblatt Nr. 2: Evaluationsvertrag

Füllen Sie jedes Feld mindestens handschriftlich aus. Bei größeren Vorhaben laden Sie sich

die Datei von der CD-ROM und vervollständigen Sie die Angaben am PC. Erstellen Sie gege-

benenfalls Anlagen; dieses Blatt können Sie auch als Gliederung für eine ausführliche Be-

schreibung des Auftrages nutzen. Bei interner Beauftragung lassen Sie sich das Formular

durch Vorgesetzte/Auftraggeber unterschreiben.

1. Wer gibt die Evaluation in

Auftrag? (Oder: Bin ich es

selbst?) Wer steuert die

Evaluation? (Ich allein?)

Wer führt sie durch? (Ich

selbst?)

2. Was soll evaluiert werden?

(Kurzbeschreibung des

„Evaluationsgegenstan-

des“ in den Worten des

Auftraggebers)

3. Welche Leistung wird von

der Evaluation erwartet?

(Voraussetzungen für Ver-

besserungen schaffen –

formativ – oder zusam-

menfassend beurteilen –

summativ ?)

4. Welche Ausgangsfragestel-

lungen hat der Auftragge-

ber?

Welche Fragestellungen

anderer Beteiligten sind

bekannt?

5. Vereinbarung mit dem Auf-

traggeber, dass wichtige

Beteiligte und Betroffene in

die Evaluation einbezogen

werden sollen

6. Wem sollen wann welche

Ergebnisse in welcher Form

übermittelt werden – End-

redaktion und Freigabe des

Berichtes?

7. Gegenseitige Zusicherun-

gen über Vertraulichkeit

und Anonymität; Hinweis

auf Datenschutzbestim-

mungen

8. Ressourcen für das Vorha-

ben (zum Beisspiel Zeit,

Unterstützung durch Kolle-

gInnen/Vorgesetzte)/

Leistungen, die der Auf-

traggeber erbringt/

Honorare/Sachmittel

9. Zeitplan inklusive

Zwischen- und Endtermine

sowie Stundenkalkulation

des Arbeitsaufwandes

Vor Abschluss eines Evaluationsvertrages sollten Sie folgende Punkte klären:

Evaluations-vertrag


97

QS 298 Inhalt und Anleitung zur CD-ROM

7 Inhalt und Anleitung zur CD ROM

Einführung Wie verwende ich die CD-ROM

Programme GrafStat WIN

Acrobat Reader 4.0

StarOffice 5.2

Dateien ❒ Arbeitsblätter im Word-Format

Nr1 Zielsystem

Nr2 Evaluationsvertrag

Nr21 Checkliste: Wann sollte ich eine Selbstevaluation

durchführen?

Nr3 Evaluationsplanung

Nr31 Datenerhebungsplan

Nr32 Arbeitsschema zur Reduktion der Fragenzahl

Nr4 FIWE-Schema

Nr5 Evaluationsbericht

❒ Rohdaten zum Evaluationsbericht „Seminar Beruf und

Arbeitswelt“ im Word-Format

Walb01 offene Antworten zur Befragung

Walb02 Transkript Telefoninterview

Walb03 Transkript Podiumsdiskussion

(chronologisch)

Walb04 Transkript Podiumsdiskussion

(aufbereitet)

❒ Arbeitsblätter im Star-Office-Format

Nr1 Zielsystem

Nr2 Evaluationsvertrag

Nr21 Checkliste: Wann sollte ich eine Selbstevaluation

durchführen?

Nr3 Evaluationsplanung

Nr31 Datenerhebungsplan

Nr32 Arbeitsschema zur Reduktion der Fragenzahl

Nr4 FIWE-Schema

Nr5 Evaluationsbericht

❒ QS 29 plus

Evaluationsbericht „Seminar Beruf und Arbeitswelt“

Kommentierte Literatur zur Evaluation

Empfehlungen für die Evaluation in der Jugendhilfe

QS 29, verlinkt

QS 21

QS 19


98

QS 29Anleitung zum Gebrauch der CD-ROM

❒ Nachdem Sie die CD eingelegt haben, sollte der Explorer zwei Ordner an-

zeigen:

und

❒ Im Ordner Programme finden Sie

, und

Im Ordner finden Sie alles, was oben im Inhaltsverzeichnis unter

Dateien aufgelistet ist. Die Arbeitsblätter können Sie entweder in Win-

Word- oder in StarOffice aufrufen. Wenn Sie sich für das StarOffice-For-

mat entscheiden, müssen Sie die auf der CD mitgelieferte Software aber

zunächst installieren (siehe unten).

Um die große Datei QS29plus (Inhalt siehe oben) mit der Beispielevalua-

tion lesen zu können, müssen Sie den Acrobat Reader 4.0 entweder auf

Ihrem Computer haben oder wie unten beschrieben installieren.

GrafStat WIN benötigen Sie, wenn Sie eine Befragung computergestützt

durchführen wollen. GrafStat WIN hilft Ihnen bei der Erstellung des Fra-

gebogens und der Auswertung Ihrer Befragung (vgl. Kap. 3.5.3).

❒ Acrobat Reader 4.0. installieren

Viele haben den Acrobat Reader schon auf Ihrem Computer. Sehen Sie

bitte zunächst nach. Wenn Sie die Menueleiste und dann

anklicken, finden Sie in der Liste . Erscheint dort eine ältere

Fassung (zum Beispiel 3.0), diese anklicken. Es öffnet sich ein Fenster, dort

anklicken und den weiteren Anweisungen folgen.

Erst danach sollten Sie die 4.0 Version installieren. Dazu klicken Sie im Ex-

plorer in der folgenden Reihenfolge die jeweiligen Ordner an: das

, , , ; dann folgen Sie den Fragen, die

das Programm Ihnen stellt.

❒ GrafStat WIN installieren

Explorer öffnen, CD-Laufwerk anklicken, GrafStat anklicken, es erscheinen

zwei Unterverzeichnisse: und “. Sie klicken an, und

in diesem Unterverzeichnis klicken Sie an. Jetzt folgen Sie den Fra-

gen, die das Programm Ihnen stellt. Wenn die Installation beendet ist,

fährt Ihr Computer herunter. Jetzt können Sie mit dem Programm arbei-

ten. Sie rufen jeweils in Ihrer Menueleiste auf, und dann

um Fragebogen zu erstellen oder eine Befragung auszuwerten (vgl. Kapi-

tel 3.5.3).

❒ StarOffice installieren

Star Office brauchen Sie nur dann, wenn Sie auf Ihrem Computer keine

Word-Version haben. Wenn Sie über diese verfügen, können Sie die Ar-

beitsblätter mit den Word-Dateien aufrufen.

Wenn Sie StarOffice installieren wollen klicken Sie in folgender Reihenfolge

die Ordner und Dateien an: , , ;

folgen Sie dann den Fragen, die das Programm Ihnen stellt.

so-5_gabin-windows-deStarOfficeCD-ROM Laufwerk

GrafStat winGrafStat

Setup

GrafStatDatenGrafStat

ACRD4DEUReaderProgrammeCD-Laufwerk

Deinstallieren von Adobe Acrobat

Adobe Acrobat 4.0

Programme

Dateien

StarOffice 5.2Acrobat Reader 4.0GrafStat WIN

DateienProgramme


99

QS 29❒ Evaluationsbericht auf CD-ROM

Seminar mit Schülern/Schülerinnen einer 9. Hauptschulklasse

„Beruf und Arbeitswelt“

Das ausführliche Fallbeispiel in der Datei Qs 29 plus auf der beiliegenden

CD-ROM zeigt eine zielgeführte Programmevaluation nach dem Muster,

wie wir es in diesem Heft beschrieben haben. Gegenstand dieser doku-

mentierten Evaluation ist ein Seminar zum Thema „Beruf und Arbeits-

welt“, das in der ersten Jahreshälfte 2000 von der Jugendakademie Wal-

berberg e.V. durchgeführt wurde. Der Seminartyp ist ausgerichtet auf

Schulklassen mit benachteiligten Jugendlichen, die auf den Übergang von

der Schule in den Beruf vorbereitet werden.

Die zentralen Ziele sind: Die Jugendlichen sollen Einsichten in die gesell-

schaftliche und politische Bedingtheit Ihrer Ausbildungs- und Berufschan-

cen gewinnen, sie sollen die eigene Situation mit gesellschaftlichen und

politischen Rahmenbedingungen verbinden können und Sicherheit für

anstehende Bewerbungsverfahren bekommen.

Wenn Sie an einem Praxisbeispiel nachvollziehen wollen, wie der Weg von

der Evaluationsfragestellung bis zum Schlussbericht aussehen kann, schauen

Sie sich den Bericht und die umfangreichen beigefügten Materialien an.

Das Fallbeispiel enthält sowohl den Bericht wie auch Datenerhebungsinstru-

mente und Rohdaten aus qualitativen und quantitativen Erhebungen.

Mit diesen Daten können Sie auch Auswertungen simulieren, also sowohl

GrafStat als auch die Text-Sortier-Technik ausprobieren.

Anno Kluß,

der als Honorarkraft zur Kursleitung gehörte, war für die Steuerung der

Evaluation verantwortlich. Das Team aus der Bildungsstätte wurde punk-

tuell durch die Autorin und den Autor dieses QS-Heftes beraten.


100

QS 29wdöff training & beratung gibt es seit 1982 mit

staatlicher Anerkennung als Einrichtung der Wei-

terbildung in Bonn. Das Institut bietet ein offenes

Seminarprogramm für Trainer/innen und Berater/

-innen, für Fach- und Führungskräfte, und führt be-

triebsinterne Inhouse-Seminare und Beratungen zu

Maßnahmen der Organisations- und Personalent-

wicklung durch.

Beratungsangebote

• Selbstevaluation

• Organisationsentwicklung

• Leitziel- und Leitbildentwicklung in Organisationen

• Teamentwicklung

• Supervision von Teams und Berufsgruppen

• Coaching

Trainingsschwerpunkte

• Evaluation und Selbstevaluation

• Train the Trainer

• Lösungsorientierte Beratung

• Kommunikation

• Führen und Leiten

Fordern Sie unser Programm an, unsere Institutsbroschüre,

rufen Sie uns an, oder schauen Sie ins Netz: www.wdoeff.de

wdöff training & beratung

Estermannstr. 204

53117 Bonn

Telefon: 02 28 - 67 46 63

Telefax: 02 28 - 68 04 00


Internet: www.wdoeff.de


101

QS 29Verzeichnis der bisherigen Qs-Hefte

Übersicht über die im Rahmen der

„Initiative Qualitätssicherung“ erschienenen Qs-Hefte

Qs 1* Evaluation der kulturellen Kinder- und Jugendarbeit(Zusammenfassung zur Evaluationsforschung, einschließlich einer kommen-

tierten Auswahlbibliographie der Bundesvereinigung Kulturelle Jugendbil-

dung, Remscheid)

Qs 2* Bundesinitiative Qualitätssicherung in der Kinder- und Jugendhilfe(Beschreibung der Initiative Qualitätssicherung und von geförderten Einzelpro-

jekten während einer Fachkonferenz im Christlichen Jugenddorf Werk, Bonn)

Qs 3 Qualitätsentwicklung und Qualitätssicherung in der Jugendverbandsarbeit

(Bedarf und Anforderungen im Konzept des Controlling und der Selbstevalua-

tion der DLRG-Jugend und des ISS, Frankfurt)

Qs 4* Qualitätsmanagement in der Jugendverbandsarbeit(Vorstudie für ein Qualitätssicherungsprojekt in einer KJP-Zentralstelle in Ab-

grenzung zur ISO 9000 ff. im Jugendhaus Düsseldorf e. V.)

Qs 5 Qualitätssicherung in der Kinder-, Jugend- und Familienhilfe

(Dokumentation einer Fachtagung des DRK in Nürnberg)

Qs 6 Qualitätsanforderungen in der Jugendsozialarbeit

(Teil 1 der Dokumentation einer Fachtagung zu Qualität und Qualitäts-

standards der BAG Jugendsozialarbeit, Bonn)

Qs 7 Qualitätsstandards in der Jugendsozialarbeit

(Teil 2 der Dokumentation einer Fachtagung zu Qualität und Qualitäts-

standards der BAG Jugendsozialarbeit, Bonn)

Qs 8* Ehrenamtliche Tätigkeit(Antwort der Bundesregierung auf die Große Anfrage der Bundestagsfraktion

von CDU/CSU und FDP zur ehrenamtlichen Tätigkeit und zu ihrer Bedeutung

für unsere Gesellschaft)

Qs 9 Qualität und Qualitätsstandards

(Dokumentation einer Fachtagung zu Qualität und Qualitätsstandards in der

außerschulischen Jugend- und Erwachsenenbildung der Akademie

Klausenhof, Dingden)

Qs 10 Qualitätssicherung durch Zusammenarbeit

(Dokumentation einer Fachtagung über Vernetzung regionaler Initiativen in

der Thomas-Morus-Akademie, Bergisch Gladbach)

Qs 11 Evaluation der sozialpädagogischen Praxis

(Dokumentation einer Fachtagung der Universität Osnabrück)

Qs 12 Qualitäts-Controlling eines Trägers der internationalen Jugendarbeit

(Projektbericht des Internationalen Bildungs- und Begegnungswerkes e. V.,

Dortmund)

Qs 13 Prozessorientierte Qualitätssicherung

in der politischen Bildung durch thematisch-zentrierte Evaluation (Konzept der

Evangelischen Trägergruppe für gesellschaftspolitische Jugendbildung,

Bad Boll)

* Die mit einem Stern gekennzeichneten Titel sind zurzeit vergriffen.


102

QS 29Qs 14* Qualität fängt im Vorstand an

Qualitätsentwicklung in der ehrenamtlichen Vorstandsarbeit

(Bericht der Fachhochschule Köln)

Qs 15 Qualität schaffen

Welches Know-how brauchen Freiwilligen-Agenturen?

(Dokumentation einer Fachtagung der Stiftung „MITARBEIT“, Bonn)

Qs 16 Ergebnisse des Qualitätssicherungsprozesses

im Jugendhaus Düsseldorf e.V.

(Umsetzung der Vorstudie von Qs 4)

Qs 17 Keine Qualität ohne Qualifizierung

(Qualifizierung ehrenamtlichen Engagements im

Hessischen Jugendring, Frankfurt)

Qs 18 Qualitätsmanagement in der Caritas-Jugendhilfe GmbH Köln

(auf der Grundlage der ISO 9000 ff.)

Qs 19 Leitfaden für Selbstevaluation und Qualitätssicherung

(Erarbeitet von der Bundesvereinigung Kulturelle Jugendbildung, Remscheid)

Qs 20 Qualitätssicherung im Arbeitskreis deutscher Bildungsstätten

(Erarbeitet vom AdB, Bonn)

Qs 21 Zielfindung und Zielklärung – Ein Leitfaden

(Erarbeitet von Dr. Wolfgang Beywl und Ellen Schepp-Winter)

Qs 22 Qualitätsprodukt Erziehungsberatung

(Empfehlungen der Bundeskonferenz für Erziehungsberatung e. V., Fürth,

zu Leistungen, Qualitätsmerkmalen und Kennziffern)

Qs 23 Qualitätsprofile verbandlicher Jugendarbeit

(Dokumentation des Projektes „Zukunftsorientierte Jugendverbandsarbeit“ des

BDKJ, Düsseldorf)

Qs 24 Selbstbewertung des Qualitätsmanagements – Eine Arbeitshilfe

(Ein Konzept betrieblicher Qualitätsfähigkeit in der Erziehungshilfe;

erarbeitet von Peter Gerull, Evangelischer Erziehungsverband, Hannover)

Qs 25 Zielorientierte Zusammenarbeit von Zuwendungsgebern und

Zuwendungsnehmern

(Dr. Wolfgang Schröder)

Qs 26 Vom Leitbild zur kontinuierlichen Qualität

(Ein Qualitätsentwicklungsprozess in der Katholischen Jugendarbeit der Erz-

diözese Paderborn)

Qs 27 Auswertung von Seminaren und Tagungen

(Beiträge aus der Praxis der außerschulischen Jugend- und Erwachsenenbil-

dung; zusammengestellt von der Akademie Klausenhof)

Qs 28 Leitfaden für Qualitätsbeauftragte

(Anne Schreyer-Schubert, Paul G. Hanselmann, Albrecht Friz,

Diakonisches Werk Württemberg, Diakonische Akademie Deutschland)

Verzeichnis der bisherigen Qs-Hefte

Titel und Kurzinformationen zu den Inhalten der Qs-Hefte können über die Homepage des

BMFSFJ eingesehen werden.

http://www.bmfsfj.de/biblioth/kindjuge/index.htm

Es ist ferner möglich, dort die Gesamttexte der Hefte einzusehen und herunterzuladen.



von Programmen


Impressum

Herausgeber: Bundesministerium für

Familie, Senioren, Frauen und Jugend

– Referat 501 –

11018 Berlin

Schriftleitung: Wennemar Scherrer

Am Kämpken 24

48163 Münster-Albachten

Satz/Design: 4D Design-Agentur GmbH


Druck: Vereinigte Verlagsanstalten Düsseldorf

September 2000

Qs-Leserservice – Postfach 30 01 45 – 51411 Bergisch GladbachPostvertriebsstück – G 49161 – Gebühr bezahlt

QS 29

Materialien zur

Qualitätssicherung


Nr.29

ISSN 1430-8371

QSKopiervorlage

An den über Fax Nr.

Qs-Leserservice (0 22 04) 2 28 28Postfach 30 01 45


Betr. Qs – Materialien zur Qualitätssicherung in der Kinder- und Jugendhilfe

❒ Bitte nehmen Sie mich/uns für die Lieferung der künftigen Qs-Hefte mit einem/ ..… Ex. in

den Verteiler auf.

❒ Von den bisher erschienenen Heften bestelle/n ich/wir die Ausgaben

Nr.: ….. ….. ….. ..… …..

in den angegebenenen Stückzahlen: ….. ….. ….. ..… …..

…………… ………………………………Datum Unterschrift

Lieferanschrift:

❒ Herrn ❒ Frau

.............................................................................Name

............................................................................Organisation

.............................................................................Straße

.............................................................................PLZ Ort

Gedruckt auf chlorfrei wiederaufbereitetem 100 % Recycling-Papier.

Alle Rechte vorbehalten. Auch die fotomechanische Vervielfältigung

des Werkes (Fotokopie/Mikrofilm) oder von Teilen daraus bedarf der

vorherigen Zustimmung des Herausgebers.

Hinweis für neue Leserinnen und Leser

Neue Interessenten/Interessentinnen können sich in die Verteilerliste für die künftigen Qs-Hefte

eintragen lassen und auch bisherige Hefte bestellen, soweit diese noch verfügbar sind.

Bitte berücksichtigen Sie bei Ihrer Bestellung, dass eine Lieferzeit von drei bis vier Wochen für die

Bearbeitung nötig ist.

Achtung:

Es können pro Bestellung

nicht mehr als 5 Ausgaben

angefordert werden.

Qualitätmacht Spaß

inkl. 1 CD-ROM

Titel Qs 29-RZ 22.12.2000 10:55 Uhr Seite 1

Documents

Impressum Qs-Leserservice – Postfach 30 01 45 – … · Zielgeführte Evaluation von Programmen – ein Leitfaden – Impressum Herausgeber: Bundesministerium für Familie, Senioren,