Professionens medverkan i

kunskapsprocessen

Unga till arbete – en utvärdering med

följeforskningsansats och programteori

som utgångspunkt.

Karin Alexanderson och Marie Nyman

Dalarnas forskningsråd.

En definition av utvärdering

”Att utvärdera är att noggrant bedöma.

Att bedöma innebär att fastställa värde.

Utvärdering är att systematiskt skilja det

värdefulla från det värdelösa.”

(Scriven 1991:1 i Vedung 1998:20)

Programteori är inte en teori i

strikt vetenskaplig mening

En programteori är hur de ansvariga för en

verksamhet (program) tänker sig att denna

logiskt hänger ihop. Men denna tanke kan,

medvetet eller omedvetet, vila på

vetenskaplig kunskap.

En programteori i generella termer

Förutsättningar Allt som ”går in” i en verksamhet,

främst pengar och personal. Kunskapsbas.

Processer Vad som görs för att åtgärda ett givet problem

(verksamhetens uppdrag).Hur, vilka aktörer, när?

R

E Prestationer De direkta produkterna av processerna. Utfall 1, 2….

S

U

L Effekter Den skillnad som processer/prestationer

T gör för ett målobjekt (individ, organisation,

A samhälle).

T

Effekter kan vara på kort och lång sikt; avse individ/organisation/samhälle;

En programteori är

i praktiken flera

• En teori om genomförandet – implementeringen-

det här ska vi göra

• En teori om resultaten – de här aktiviteterna ska

leda till det här resultatet - på kort och längre sikt

• En teori om vilka mekanismer som är av

betydelse för effekterna – identifiera

framgångsfaktorer

Olika grader av komplexitet

• Den enklaste programteorin visar enbart hur en enda mellanliggande prestation leder till det slutliga utfallet.

• Mer komplexa programteorier visar hur flera mellanliggande prestationer kan kombineras för att nå det slutliga utfallet.

• Den mest komplicerade programteorin består av en hel serie boxar för både input, process, prestation och utfall (på kort och lång sikt).

Kari Jess et.al. med hänvisning till Rogers et al (2000)

i Programteori för utvärderingverkstader (2011)

Övergripande utvärderingsfrågor

i programteoriutvärdering

• Genomfördes projektet som det var tänkt

(processutvärdering)

• Uppnåddes de avsedda effekterna, på kort

och lång sikt (resultat/måluppfyllelseutvärdering)

• Synliggör/värdera verksamma mekanismer

(kräver närhet/dialog/aktion/interaktion)

Programteoriutvärdering med en

följeforskningsansats innebär att • Inledningsvis formulera programteorin – skaffa och få kunskap,

bygga arbetsrelation. Förstå hur projektledarna har tänkt.

Ifrågasätta bakomliggande antaganden. Återföring.

• Att i programteoritermer beskriva hur man tänkt sig, vilka aktörer

ska göra vad när. Identifiera huvudprocesser, förlopp, särskilda

aspekter, värderingar – återföring, vad förväntas leda till vad. ”Så

här var det tänkt”. (Jämför programteori).

• Operationalisera de övergripande utvärderingsfrågorna

• Datainsamling med inslag av djupstudier av delar eller aspekter

av projektet (Jmf programteori - gör man det man säger att man

ska göra)

Programteoriutvärdering med en

följeforskningsansats innebär att

forts.

• Vara ”Bollplank”, coach för projektledning, återföring, lärande. Ger möjlighet att korrigera i projektet, ställa om under projekttiden för att nå målen.

• Förmedla relevant teoretisk kunskap – förmedla tankeverktyg

• både kontrollerande och lärande inslag

• det är ett sätt att stödja komplexa förändringsprocesser

• ett förpliktigande åtagande att från sin roll och funktion bidra till projektets möjligheter att nå sina mål

Följeforskningens mål och medel

lärande och kunskapsuppbyggnad under

projektet

att öka möjligheterna nå projektets målsättningar

kunskapsspridning

genom återföringar av resultat och erfarenheter

under pågående projekt

Ett exempel: Unga till arbete

Ett ESF projekt i Dalarna

En

D

ö

r

r

i

n

Lokal styrgrupp och samordnare

Kartläggning

Vägledning

Utbildning av kursledare 2 + 2 dgr,

mtrl 7-tjugo Klippan samt pers.stöd t.

kursledning. Handledning (8 ggr, 2/termin)

till kursledare genom projektledning.

Kompetensverifiering - unga vuxna,

intresserade kommuner deltar i

framtagandet.

FAS 1.

Introduktion

Utbildning

4 v (lokala

variationer).

Handlingsplan

Praktikplats

Kursledare och

Klippanresurs =

80 t för 2 kurser

FAS 2.

Praktik ca 8 mån,

ev. olika platser -

även icke

traditionella

1 dag/v kurs.

Kursledaren

besöker och följer

upp praktikplats

Kursledare

utses i alla

kommuner.

Samverkan

m. ame och

soc/fös, af,

ev.komvux,

Projektledning Region Dalarna W 18-24, 1 projektledare, 1 samordnare. 1 ekonom, 1 utb. i hälsa och jämlikhet

M

Å

L

G

R

U

P

P

Mål

Självgående kursledare, alla kommuner

delaktiga, två konferenser för kommuner och

Af anordnas.

Mål: 50 % av delt.

ska få ett personligt

kompetensbevis

Sex nätverks-

träffar u 2 år för

kursledare

Mål:

1. 70 % ska fullfölja

programmet (alt fått

arbete/utb).

2. Av dessa ska

minst 70% vara

självförsörjande,

studera, arbeta eller

vara i annan aktivitet

som leder mot

arbete, 3 mån efter

avslut

3. 80 % av de 70 %

ska må bättre tre

mån. efter avslut.

Mål

långsiktigt:

En dokumenterad

modell finns för

länet avseende

arbete med

målgruppen.

Minst 8

kommuner i länet

har en verksamhet

som kan kallas en

dörr in där af är en

samarbetspartner.

Ung vuxen

Regional styrgrupp för projektet, 3 politiker, 1 kommunchef, 1 arbetsförmedlingschef, chef, esf-repr. Regional

utvecklings-

grupp för en

dörr in

Innehåll:

Samtal, indiv. o.

i grupp. Hälsa,

livskvalitet,

jämställdhet

Jobbsökaraktiv.

Kommunikation

och relationer

samhällsinform.

m.m.

Utgallrad – tillhör

ej målgruppen

Framgångsfaktorer: utgå från den unges önskningar, resurser och behov, kursledarnas kompetens och

förhållningssätt, stöd till kursledare, struktur/modell för introduktion och praktiken, nära samarbete med

arbetsgivare, stöd i kommunledningen, styrgrupp i kommunen, samverkan af/kommun, rutiner för uttagning

Framgångsfaktorer:

utgå från den unges önskningar, resurser

och behov, kursledarnas kompetens och

förhållningssätt, stöd till kursledare,

struktur/modell för introduktion och

praktiken, styrgrupp i kommunen,

samverkan af/kommun, rutiner för

uttagning

Datainsamling

Ungdomarnas faktiska situation före och efter – kartläggningmall

Djupstudier i tre kommuner

Intervjuer med aktörer och ungdomar

Kursutvärderingar

Återföringar

Kort om resultaten

Förtjänster/möjligheter

Lärandet pågår under projekttiden – ger möjlighet till att förändra, styra om projektet om så krävs

Utvärderaren följer processen på nära håll och får förståelse för kom-plexiteten vilket ökar trovärdigheten som utvärderare

Formulerandet av programteorin i dialog hjälper till att förtydliga viktiga processer

Programteorin ger en bra utgångspunkt att värdera ifrån

Programteorin blir en ryggrad för utvärderaren

Programteorin och följeforskningen i kombination synliggör mekanismer – vad som brister och vad som går bra

Sätter fokus både på process och resultat

Fallgropar/svårigheter

Svårt som utvärderare att svara upp mot alla

förväntningar – man ska kunna väldigt mycket

Risk att blanda ihop förförståelse med resultatet

Att man blir en aktör i projektet – förmår inte

hålla distans. Man ser inte skogen för alla träd.

Att ge kritik men ändå behålla kontakt och

relation

Kostnadskrävande att samarbeta/samverka

Uppdragsgivarens syn så här långt

Vi är väldigt nöjda med som utvärderare

Programteorin ger en bra struktur

Den påminner oss om fokus i arbetet

Bra att ni är fler i utvärderare i projektet

Ni är lätta att ha med att göra

Närheten – sitter i samma hus

Hade förväntat oss mer av ifrågasättande och bollplank

Frågor att diskutera

Hur ska en utvärderare kunna vara både

kritiker och stödjare (en kritisk vän)?

För den som har en hammare ser alla

problem ut som spikar – vilka faror hotar

för en sådan följeforskare?

Hur kan det undvikas?

Resultat i stora drag

Slutligen kan konstateras att programteorin verkar fungera mycket bra för det stora flertalet deltagare och projektet ser ut att kunna nå de uppställda målen. Frågan är om inte programteorin skulle behöva anpassas för den grupp unga vuxna som mår sämst och som har det sämst socialt.

När det gäller genomförandet finns vissa brister i relation till hur projektet är tänkt att fungera.