Innovativ evaluering i undervisning

Augustseminar EPOS 16. august 2013

Malene Skov Dinesen

• Indehaver af konsulentfirmaet Ineva– Gennemførsel af evalueringer primært i den

offentlige sektor– Temadage/workshops

• Forfatter på bøgerne Innovativ evaluering og Essensen af Innovativ evaluering sammen med Camilla Kølsen de Wit

• Ekstern lektor på VIA University College i Århus

• Jeg må meget gerne afbrydes!

Program for dagenTid Indhold

9.00-9.15 Godmorgen og dagens indhold (præsentation, program, dagens formål mv.)

9.15-10.00 Overordnet evalueringsteoretisk ramme• Hvad er evaluering og hvorfor er det så vanskeligt? • Typiske dilemmaer i en undervisningskontekst

(kontrol vs. læring, dokumentationsbehov vs. ansvar for egne undervisningsforløb med videre)

• Efterspørgsel, reel efterspørgsel og forsyning som ramme for valg af evalueringsdesign

10.00-11.30 Praksisteori som afsæt for evaluering• Kort teoretisk oplæg• Øvelse vedr. opbyggelse af en praksisteori• Fælles opsamling

11.30-12.00 Fælles opsamling og et blik fremad

12.00-13.00 Tak for i dag – og frokost

Drøft to og to

• Hvad skal evaluering bidrage med, for at du synes det er meningsfuldt?

• Hvilke gode og dårlige erfaringer har du med evaluering?

Hvad er evaluering?

Pawson og Tilley:

”This sense of exponential growth and widening diversity is deepened if one examines changes in the academic literature on evaluation. Once upon a time, the evaluation researcher need only the ’Bible’ (’Old Testament’, Campbell and Stanley, 1963; ’New Testament’, Cook and Campbell, 1979) to look up an appropriate research design, and hey presto, be out into the field. Nowaday, tyro investigators have to burrow their way through ’Sage’ advice on ’summative evaluation’, ’formative evaluation’, ’cost-free evaluation’, ’goal-free evaluation’, ’functional evaluation’, ’tailored evaluation’, ’comprehensive evaluation’, ’theory-driven evaluation’, ’stakeholder-based evaluation’, ’naturalistic evaluation’, ’utilization-focused evaluation’, ’preordinary evaluation’, ’responsive evaluation’, and finally ’meta-evaluation’ before they even get their hands on a social program. Worse still, adopting one of these approaches often means taking sides in the ’paradigm wars’.” (Pawson and Tilley, 1997, s. 1-2).

Definitioner på evaluering - 1

Evert Vedung:

Evaluation = df. Careful retrospective assessment of the merit, worth and value of administration, output, and outcome of government interventions, which is intended to play a role in future, practical action situations. (Vedung, 1997, s. 3)

Oversat til dansk:’en systematisk retrospektiv vurdering af gennemførsel, præstationer og udfald af offentlig politik, som tiltænkes at spille en rolle i praktiske handlings-situationer.’ (Dahler-Larsen, 1998)

Definitioner på evaluering 2

Mehlbye, Riepers og Togeby:

’Evaluering er en systematisk vidensindsamling om mere komplekse igangværende eller afsluttede indsatser, hvis målopfyldelse og kvalitet ikke umiddelbart kan vurderes, og hvor der er behov for dyberegående vurderinger af indsatsen ud fra bestemte standarder og kriterier, som kan være defineret ud fra indsatsens egne mål eller fra andres, fx brugernes mål. Arbejdet tilrettelægges med henblik på senere praktisk udnyttelse’ (Mehlbye, Rieper og Togeby, 1993, s. 11)

Definitioner på evaluering 3

Albæk:

’Evaluering er i al sin enkelthed, at standse op midt i eller efter et af sine gøremål og vurdere, om resultaterne står i et fornuftigt forhold til hensigt og anstrengelser.’ (Albæk, 2003)

Typiske dilemmaer i evaluering

• Kontrol vs. læring• Intern evaluering vs. ekstern evaluering• Intern commitment vs. ekstern commitment• Praktikere vs. myndighed• Mikro-fokus vs. makrofokus

• Et forsøg på et svar i dag: – Innovativ evaluering– Praksisteori

Hvorfor Innovativ evaluering?

• Innovativ evaluering er et forsøg på at give evaluering tilbage til praktikkerne

• Modsvar på ’virker-det’ (positivistiske) evalueringer– Løsrevet fra den kontekst, der evalueres– Evalueringer der forsøger at forenkle og kun

give ét svar– Evalueringer der udelukkende tilfredsstiller et

ekstern krav om dokumentation og legitimering

• Innovativ evaluering vil gerne både give svar og samtidig skabe udvikling af praksis

Mål for evalueringerne

Myndigheder Praktikere/professionelt

’Virker det’? Læring

Stå til regnskab/ accountablity

Udvikling og innovation

Prove Improve

Top-down Bottom-up

Standarder og mål Inddragelse

Innovativ evaluering – en tilgang

• Er en evalueringstænkning og –tilgang• Er ikke en evalueringsmetode med klart

beskrevne steps• Har fokus på at gå fra evalueringsfærdigheder

til evalueringskompetencer• Har som central pointe, at kvalificeret

evaluering kræver refleksion over sin evalueringspraksis, hver gang der igangsættes en ny evaluering

• Har inddragelse af praktikere og medtagelse af kontekst som centrale temaer

• Er optaget af at få tingene til at virke (improve) og ikke bevise at de gør det (prove)

Traditionelle evalueringer

Evaluering Implemen-tering/

indflydelse

Anvendelsesvanskeligheder

Anvendelse og indflydelse

• I Innovativ evaluering er vi optaget af at drive innovation af praksis– Innovation = nyttiggørelse og

anvendeliggørelse af ny viden, forskning mv.• Det er anvendelsen, der definerer Innovativ

evaluering som Innovativ evaluering.– I en række andre definitioner (eks. Vedung) er

det vurderingen, der definerer evalueringen

Anvendelse/indflydelse

• Innovativ evaluering er optaget af at drive innovation af praksis

• Evalueringens indflydelse sker undervejs i evalueringen og ikke som et ’halehæng’

Innovativ evaluering

Indsats

Implementering/indflydelse

Effekter skabes af mennesker

• Effekter ikke skabes af strukturer (og metoder) i sig selv, men først og fremmest af de involverede mennesker (Pawson og Tilley)

• Vi taler om generativ kausalitet (årsag-virkning i en særlig kontekst) frem for kausale effekter

Definition på Innovativ evaluering

Innovativ evaluering er en refleksiv relationel proces, hvor kontekstbestemt viden om fortiden og nutiden anvendes til fremadrettede handlinger, der understøtter aktørerne i at skabe nye muligheder og forbedret praksis parallelt med, at eksterne krav om dokumentation opfyldes.

Innovativ evaluerings tre ’ben’

Systemisk teori og praksis

Evaluerings-kapacitet

Realistisk evaluering

INNOVATIV EVALUERING

Yderligere teori

Yderligere praksis

Teoretisk fundament

• Systemisk teori og praksis:– Paradigme og epistemologisk ståsted– Bidrager med grundbegreber om menneskelig

erkendelse, udvikling og interaktion• Realistisk evaluering:

– Evalueringsmetodologi– Bidrager med forklaringer på hvad der er relevant og

muligt at vurdere i en evaluering, herunder kontekstens betydning

• Evalueringskapacitet:– Fundament for Innovativ evaluering– Bidrager med forståelse for, at uden en refleksiv og

kompetent ramme for evalueringer, er der ikke mulighed for at drive innovation på baggrund af dem

Systemisk overblik – ultra kort

• Systemisk teori og praksis bygger på socialkonstruktionisme og –konstruktivisme

• Trækker på en lang række teoretikere• Udspringer af familieterapien og har siden

udviklet sig at have en betydelig plads i organisationsteorien

• Centrale begreber:– Refleksion– Kontekst– Mening– Multivers– Relationer– Positiv udvikling

Socialkonstruktionisme (Gergen)

• Vi konstruerer vores virkelighed sammen. • Vi opretholder vores lokale sandheder

igennem vores sprog. • Vores erkendelse opstår i relationerne –

ikke i individet.”Den grundliggende ide i social konstruktion virker ret enkelt, men den er også dyb. Alt, hvad vi regner for virkeligt, er socialt konstrueret. Eller sagt mere dramatisk, intet er virkeligt, før folk er enige om, at det er det.” (Gergen og Gergen, 2005 s. 9)

Forstyrrelser - Maturana

• Der er tre forudsætninger for positiv udvikling:– Den tilpasse forstyrrelse– Anerkendelse (amor)– Tid

• Innovativ evaluering handler om at forstyrre praksis, så den kan forandre sig indefra

• Forandringen skal ’ramme’ praktikernes ønske om at udvikle praksis for at gøre en reel forskel

• Konklusioner og anbefalinger i evalueringen skal hænge sammen med kontekst – ellers afkobler man sig

• At have evalueringskapacitet vil sige at:– Ledelse og medarbejdere arbejder refleksivt

med deres egen evalueringspraksis– Dobbeltsyn– Refleksivitet i forhold til opfølgende handlinger– Arbejde på at blive bedre til at evaluere og til

at bruge evalueringerne– Ofte evalueringssystem og forståelse for det

• Det handler om at kunne bruge tidligere evalueringserfaringer til at udvikle den nuværende evalueringspraksis med

• Tæt koblet med begrebet evalueringskultur, som er meget anvendt i skoleverdenen (jf. OECDs rapport fra 2003)

Evalueringskapacitet

Evalueringskapacitet - arbejdsdefinition

”At udvikle evalueringskapacitet vil sige at arbejde målrettet og vedvarende med organisatoriske processer, hvis formål er at udvikle evalueringer af høj kvalitet og fokusere på brugen af evalueringerne.”

Kilde: Compton m.fl. 2002

Realistisk evaluering

• Er beskrevet af Pawson og Tilley• En teoribaseret evalueringstilgang• Blev til som et alternativ og en kritik af

randomiserede forsøg og tænkning om kausale effekter– Eks. husspektakler i USA

• Har konteksten og forståelse for aktørerne i evalueringen som centrale fokuspunkter i evalueringen: hvad virker for hvem under hvilke omstændigheder

• Fra ’virker programmet’ til ’hvad er det ved programmet, der får det til at virke og for hvem?’

Når man skal designe en evaluering…

• Hvad er det, vi gerne vil vide? (efterspørgsel)• Hvordan skal den viden anvendes? (reel

efterspørgsel)• Hvordan skaffer vi den viden? (forsyning)• Hvordan sikrer man at evalueringen bliver

brugt? (evalueringskapacitet)

• Evalueringskulturen er båret af evalueringskapaciteten

Forsyning

Evalueringsdesign

EfterspørgselHvad vil vi vide? Evalueringsspørgsmål

Paradigme: Hvilke spørgsmål? (formål og tilgang)

Valg af metode

Valg af teknik

Interessenter-nes prioritering

Hvad ved vi på forhånd om sagen?

Kan det lade sig gøre?

Indsatsens egenskaber

Hvor langt er vi kommet med indsatsen?

Kilde: Elliot Stern

Afgrænsning

• En evaluering handler om at være tydelig på sin afgræsning for at kunne være skarp på sin efterspørgsel

• Evalueringen kan ikke bidrage med viden om alt

• Jo bredere spørgsmål jo mindre konkret svar (som oftest), eksempelvis– Hvordan går det med undervisningen?

• Udvælg en del af praksis, som fokusområde i den enkelte evaluering

Forsyning

• Kan det lade sig gøre? – Kursisternes formåen i forhold til skriftlighed og

dansk• Hvor langt er vi kommet med indsatsen?

– Igangsættelse af evaluering midtvejs i forløbet• Hvad ved vi i forvejen

– Hvis vi har god viden om aspekter af undervisningen, vil det måske være mere interessant at evaluere noget andet

• Praksisteori• Metode og tilgang

– Vælg med afsæt i de tre koncepter

Praksisteori

’Praksisteori handler om, hvad praktikerne tror om deres egen praksis, og hvordan de kan bruge dette som afsæt for efterspørgslen i en evaluering.’

Malene Skov Dinesen

Praksisteori

• Praksisteori er et udviklingsredskab, der gør det muligt at blive klogere på egen praksis som afsæt for at udvikle den

• Praksisteori er den viden praktikerne efterspørger om deres praksis for at kunne udvikle den.

Eksempel: ’Hvad vil jeg gerne vide om undervisning, for at blive en bedre underviser? Hvad gør jeg nu, og hvorfor tænker jeg, at det er en god praksis’

Malene Skov Dinesen

Hvad er praksis?

• Praksis er de reelt forekommende, diffuse, usikre handlinger, der sker i en kontekst, inkl. fortolkninger og for-forståelse

• ’Praksislogik er sjældent helt uforståelig, såvel som den heller ikke er helt forståelig’ (Bourdieu)

• Udsagn, der konstant genopbygges og udfordres gennem refleksionen i praksis (Schön)

• Begrebsafklarende for praksis

Malene Skov Dinesen

Praksisteorier i EPOS

• Praksisteorierne er afgørende for afsættet i evalueringen, fordi de giver viden om, hvad der er interessant at se på i evalueringen

• Praksisteorierne giver internt commitment i forhold til evalueringerne

• Praksisteorierne giver svar på, hvordan der kan arbejdes med evalueringer, der tager hensyn til de kontekster, der er tilstede (kursets længde, deltagerne kompetencer mv.)

• Praksisteoriens antagelser bliver afprøvet i evalueringen

Logisk model

Ressourcer og organisatoriske forudsætninger

Aktiviteter Resultater Virkninger

Målgruppe og problemstilling

Antagelser om sammenhænge =

praksisteori

Effekter

• Valg af fokusområde handler om at stille et effektspørgsmål

• Der er overordnet to typer af effektspørgsmål:– HAR indsats A givet resultat B?– HVORDAN har indsats A påvirket B?

• Eksempler:– HAR brugen af Smart Board i undervisningen

styrket kursisternes læring? – HVORDAN har Smart Board i undervisningen

understøttet kursisternes læring?

Effekter

Workshop 1: Vælg fokusområde

• Find sammen i grupperne• Udvælg et af tre områder, som I ønsker at

arbejde med:– Handlekompetence hos kursisterne– Praksisnær læring – Forskellige forudsætninger hos deltagerne

• Formuler sammen et effektsspørgsmål om temaet. Eksempelvis:– Hvordan understøtter x (en

metode/underviserens ageren/et hjælpeværktøj/…) handlekompetencerne hos kursisterne?

Praksisteori = hypoteser om praksis

• En praksisteori en beskrivelse af, hvad I tror I gør nu, og hvorfor I tror, at det skaber effekt.

Workshop 2: Lav praksisteori

• Beskriv med afsæt i jeres fokusområde/effektspørgsmål en praksisteori

• Praksisteorien skal være en beskrivelse af jeres antagelser om sammenhæng mellem aktiviteter og effekter

Evaluering med afsæt i praksisteori

• Når praksisteorien er beskrevet, er næste step at vælge sin metode til evalueringen– Spørgeskemaundersøgelse– Interviews– Drøftelse på holdet– Skriftlige/mundtlige modeller (eksempelvis

Delphi)

Workshop 3

• Drøft i gruppen hvilken metode, der ville være mest velegnet i jeres evaluering

• Drøft følgende:– Hvad bidrager denne metode særligt?– Hvilke svar bliver mulige med brug af denne

metode? – Hvilke svar bliver ikke mulige med brug af

denne metode?

Opsamlende

• Hvad har været den vigtigste pointe/erkendelse i dag?

• Hvad har været mest frustrerende? • Hvad er der brug for nu?

Tak for i dag!