1

Utvärdering av lärande, och lärande genom utvärdering En metodstudie för utvärdering av kunskapsöverföring och lärande med utgångspunkt i Innovationsplattform Norrby.

Jenny Lööf Braticevic

Teoridriven lärande utvärdering Mälardalens högskola vt 2015

Inledning I Innovationsplattform Norrby, en samverkansplattform för hållbar samhällsbyggnad, möts fyra parter kring ett bostadsområde i Borås för att tillsammans ta fram nya arbetssätt och innovationer med bärighet på hållbar stadsbyggnad. Plattformen har ett inkluderande angreppssätt på stora samhällsfrågor, och ambitionen att ta fram lösningar som kan överföras också till andra städer och länder. Trots detta förefaller innovationsplattform Norrby sakna ett strukturerat lärande. Jag vill undersöka hur det står till med kunskapsöverföring och lärande i Innovationsplattform Norrby, men för att göra det behöver jag först ta reda på vilken utvärderingsmetod som skulle kunna lämpa sig bäst för en sådan undersökning, och det är syftet med detta paper. Jag vill också ta reda på vad litteraturen säger om hur man kan mäta man lärande? Hur följer man upp mål när målen inte är konkret formulerade? Hur kan man formulera kriterier för att mäta lärande? Kanske kommer jag att behöva konstruera en metod genom att anpassa befintliga metoder. Jag kommer också att försöka följa upp tesen att en strukturerad lärande utvärdering skulle kunna bidra med ett strukturerat lärande till plattformen.1

Varför ska man utvärdera? Utvärdering är en ”noggrann (systematisk, grundlig) bedömning i efterhand av slutprestationer, förvaltning och beslutsinnehåll samt organisering av offentlig verksamhet, vilken avses spela en roll i praktiska beslutssituationer”2

Det finns en mängd olika skäl till varför man vill mäta och utvärdera saker. Det kan vara att man vill förstå ett fenomen, att man vill förstå förändringar över tid, se hur olika faktorer påverkar och om de gör det, det kan handla om en önskan att skapa beslutsunderlag, att kommunicera ett tänkt resultat eller påvisa en viss prestanda. Det kan också vara ett påbud från en högre instans och det kan handla om kontroll och styrning på en mängd olika nivåer. Utvärderingar kan också bidra till att göra något synligt, och att konkretisera något som kanske är svårt att greppa eller urskilja, och inte sällan är det en blandning av en hel mängd orsaker som leder fram till en utvärdering. Det kan också vara så att utvärdering i sig, genom sin metod och process - inte bara resultatet av utvärdringen, bidrar till lärande.

1 Min tes är att en lärande utvärdering kan bidra positivt på ett flertal sätt, till hela innovationsplattformens utveckling och måluppfyllelse, men det som diskuteras i detta paper är utvärderingens roll kopplat specifikt till lärande i plattformen. 2 Evert Vedung, Utvärdering i politik och förvaltning,3 upplagan, Lund, Studentlitteratur, 2009, s 22. Vedung betonar att i en utvärdering görs bedömningen i efterhand, och avser det som är beslutat, pågår eller är avslutat, till skillnad från en prognos som blickar framåt. En pågående process eller intervention är alltså möjligt att utvärdera, enligt Vedungs skola.

2

Oavsett vilken anledningen är, bör utgångspunkten vara att man faktiskt vet varför man utvärderar. När du vet varför, påverkar det också upplägget av din utvärdering, och i slutet också vilket resultat du får. Mer om detta kommer diskuteras under punkterna som berör mätbarhet, kvalitet, indikatorer, styrning genom utvärdering och i den avslutande diskussionen.

Nya tider kräver nya arbetssätt (som kräver nya utvärderingsmodeller) Innovationsplattform Norrby är en av fyra plattformar som beviljades medel av VINNOVA, Sveriges innovationsmyndighet, i en utlysning 2013. Bakgrunden till utlysningen, som den formuleras av VINNOVA, är de globala utmaningar som världen står inför för en hållbar samhällsutveckling. ”Dessa utmaningar är internationella till sin karaktär, skär genom många sektoriella och disciplinära gränser samt har flyttat sig högst upp på politiska agendor världen över. Medan några utmaningar växer stegvis kommer andra att möta oss genom kriser – gemensamt är att de kräver nya lösningar.”3 I verkets uppdrag från regeringen; att genomföra en satsning på forskning och kunskapsutveckling inom miljöteknikområdet (N2011/5142/E), pekar regeringen särskilt på behovet av att utveckla innovationsmiljöer med stadsfokus. En fortsatt och ökad urbanisering i världen ger städer och tillväxtregioner allt större betydelse; ”de är motorer för ekonomisk tillväxt och sysselsättning; de påverkar den omgivande miljön i stor utsträckning genom energi- och resursanvändning och utsläpp, men ger också möjlighet att hitta lösningar på de problem som detta orsakar”, skriver VINNOVA i utlysningen:

För att kunna hantera stadens komplexitet krävs i många fall nya typer av kompetens och satsningar på gränsöverskridande kunskapsbyggande, liksom samarbete med aktörer som kan omvandla kunskapen till nya produkter, processer och tjänster. Detta gäller när staden växer och när det byggs nya stadsdelar, men även i förvaltningen av det som redan finns, och när det finns behov av upprustning och renovering av äldre områden. En stor andel av de s.k. miljonprogramsområdena kommer att behöva genomgå omfattande upprustning de närmaste decennierna. Detta medför särskilda möjligheter att hitta nya vägar till stärkt ekologisk, social och ekonomisk hållbarhet i sådana områden. Det ger också möjligheter att testa nya lösningar och utveckla produkter, processer och tjänster som kan spridas nationellt och internationellt.4

Några nyckelbegrepp står att finna här: det handlar om behov av nya typer av kompetenser, gränsöverskridande kunskapsuppbyggande, att kunna omvandla kunskapen till nytta, samarbete och nya lösningar. Lite senare kommer vi att återkomma till vilka krav och mål som finns från finansiären när det gäller lärande och kunskapsöverföring, och till hur projektet möter dessa.

Litteraturredovisning Grundläggande teori och resonemang kring utvärderingsmodeller och effekter i detta paper är framförallt hämtat från Evert Vedungs bok Utvärdering i politik och förvaltning. Lika värdefull har Ove Karlsson Vestmans bok Utvärderandets konst5, utvärderingen Evaluation as learning: A study of social worker education in Leningrad County6 men även hans föreläsning vid kursen Teoridriven

3 Utlysningstext, Utveckling av innovationsplattformar för Hållbara attraktiva städer, VINNOVA, 2013-02-26, Dnr 2013-01033. 4 Ibid. 5 Ove Karlsson Vestman, Utvärderandets konst, Lund, Studentlitteratur, 2011. 6 Ove Karlsson Vestman, Evaluation as learning: A study of social worker education in Leningrad County. Eskilstuna: Mälardalens högskola, 2004.

3

Lärande Utvärdering7 varit. Ove Karlsson Vestman gör till exempel en fördjupning i kunskap och nytta, och diskuterar användning och lärande på sätt som har varit särskilt lärorikt. I Erfarenheter av lärande utvärdering8 skriver Sven Jansson från SFS-rådet om utvecklingen av utvärdering i Sverige och om uppkomsten av begreppet lärande utvärdering. Hans rapport och de beskrivna erfarenheterna har varit vägledande för min diskussion senare i detta paper.

I Nya utvärderingsmonstret. Om kvalitetsmätning i den offentliga sektorn behandlar Lena Lindgren kvalitetsmätning, ”en alltmer vanligt förekommande typ av utvärderingssystem”. Begreppet är en översättning av engelskans ”performance measurement”, och innefattar ett system för regelbunden och strukturerad kontroll, dokumentation och analys av hur det står till med en verksamhet utifrån vissa i förväg uppsatta kriterier. Informationen som samlas in är normalt sett av kvantitativ art och mätningarna kan till exempel användas som underlag för beslut och för styrning och kontroll. ”Kvalitetsmätning handlar följaktligen både om själva mätandet av kvalitet med hjälp av mått eller indikatorer (som först måste konstrueras) och om användningen av detsamma för olika ändamål.”9 Jag tar hjälp av Lena Lindgrens bok för en koppling till skolans värld, en diskussion om mätning av lärande, om indikatorer och för ett perspektiv på utvärderingar – är det rätt sak att utvärdera i alla lägen? Kan allting mätas? Och i så fall hur? Lindgren målar upp en bild av samtidens hungriga utvärderingsmonster, i en tid där allt ska mätas och utvärderas, där data i mängder samlas in, ibland till ingen nytta, och där detta i sin hårddragenhet leder till att hela professioner misstror sin egen kunskap och erfarenhet – är det inte utvärderat är det inte med säkerhet bra och på rätt väg.

I boken Att fånga effekter av program och projekt10 ryms många perspektiv på stora internationella och internationella projekt. Där har bland annat Marielle Richés kapitel om Teoribaserad utvärdering varit värdefullt, inte minst för hennes resonemang kring innovationer och komplexa program. Lennart Svensson och Göran Brulin pekar i samma bok på behovet av en utvecklingsstödjande utvärdering men också att det krävs ett ”öppet och lärande förhållningssätt hos strategiska aktörer samt ett aktivt ägarskap kombinerat med en professionell styrning, om projekten ska sätta beständiga spår”.11 Det kräver att man måste förhålla sig till ett visst mått av oavsedda effekter, det oväntade – en inställning som kan vara särdeles lämplig för arbete med innovationer i utvecklingsprojekt.

Metod Frågan om utvärdering av lärande vid innovationsplattformar och liknande initiativ i Sverige är hittills inte avhandlad i någon större utsträckning. Jag har därför valt en relativt explorativ ansats. Detta paper kommer inledningsvis att beskriva innovationsplattformen, varför den har tillkommit, dess uppbyggnad och utmaningar. Därefter kommer jag att presentera en del av den teoretiska grund som jag bygger mitt resonemang på utifrån några centrala begrepp och frågor. Jag kommer vidare att diskutera dessa begrepp och några befintliga utvärderingsmodeller i förhållande till

7 Ove Karlsson Vestman, Föreläsning vid kursen Teoridriven Lärande Utvärdering, Mälardalens högskola, 2015-02-16 8 Andreas Sävenstrand, Helen Ulczka, Sven Jansson, & Lennart Svensson. Erfarenheter av lärande utvärdering. SPeL, Strategisk påverkan & Lärande, rapport nr 8. Örebro: APeL, Forskning och utveckling, 2013. 9 Lena Lindgren, Nya utvärderingsmonstret. Om kvalitetsmätning i den offentliga sektorn, Studentlitteratur, 2014. 10 Lennart Svensson, Göran Brulin, Sven Jansson & Karin Sjöberg (red). Att fånga effekter av program och projekt. 11 Ibid, s 244.

4

Innovationsplattform Norrby, försöka strukturera en modell, diskutera dess användbarhet och avslutningsvis dra några slutsatser.

Avgränsningar Nästan lika viktigt som att tala om vad man ska göra är att tala om vad man inte ska göra. Kunskapsfältet utvärdering har visat sig vara väldigt omfattande och dessutom under konstant utveckling. Jag har fokuserat på det material som knyts till kursen Teoridriven Lärande Utvärdering, med några utvikningar inom innovationsteori, organisationsteori och pedagogik. En fördjupad studie skulle med fördel kunna lägga mycket mer vikt vid organisationers lärande, change management, teori kring sociala och organisationsinriktade innovationer samt pedagogik och lärande. En utökad studie skulle också innehålla betydande delar av intervjuer med nyckelpersoner hos berörda aktörer, samt bänkmärken12 med jämförelser på nationell eller internationell nivå med liknande eller likadana verksamheter

Innovationsplattform Norrby Inom det Vinnovafinansierade forskningsprojektet Innovationsplattform Norrby i Borås, utvecklas en ny stadsdel genom omvandling av befintlig miljonprogramsbebyggelse och med utveckling av central industrimark. Projektets första del pågår två och ett halvt år, mellan 2013 och 2015, därefter tar steg två vid: 2016-2018. Projektets parter är Borås Stad, Högskolan i Borås, SP Sveriges Tekniska Forskningsinstitut och Borås Energi och Miljö.

I projektet ska nya metoder inom hållbart samhällsbyggande identifieras, med helhetsperspektiv och höga ambitioner avseende social hållbarhet. Det finns en stor potential till överförbarhet i den mellanstora staden Borås, liksom i stadsdelen Norrby, som har betydande representativitet för utmaningar inom europeisk stadsbyggnad. Det betyder att Norrby kan utvecklas till en nationell och internationell referensmiljö. De innovationer och nya arbetssätt som tas fram i Norrby kan, åtminstone i teorin, kopieras och replikeras i en mängd andra städer i och utanför Sverige.

Frågan ”hur kan vi få invånarna att bli delaktiga i stadsutvecklingen?” genomsyrar hela arbetet i projektet. Ett kontinuerligt fokus på social hållbarhet, där medborgarna får ett ökat inflytande, ska skapa en stadsdel som är till för alla. Idén med ansatsen är att vara nära brukarna och att de som bor i området ska vara medskapare av nya lösningar. Detta prövas bland annat med konceptet Living Lab – ett arbetssätt13 där stadsdelen Norrby ses som ett levande laboratorium, där människans behov sätts i centrum och där tekniska såväl som sociala lösningar utvecklas tillsammans med användarna – de boende.

Syftet med innovationsplattformarna VINNOVA formulerar syftet med utlysningen att ”stödja konstellationer av aktörer att utveckla innovationsplattformar med fokus på innovativa lösningar inom förvaltning, renovering och upprustning av befintliga områden och/eller utveckling av nya stadsdelar.”14

12 Med bänkmärken menas ”som värdestandard den bästa efterlevnadsnivå som existerar i branschen” (Vedung, (2009) s 89), det kan här t ex vara en riksjämförelse, en branschjämförelse eller en internationell branschjämförelse. 13 Birgitta Bergvall-Kåreborn, Carina Ihlström Eriksson, et al. A Milieu for Innovation – Defining Living Labs. Presented at the 2nd ISPIM Innovation Symposium. New York, 2009. 14 VINNOVA, Utlysningstext, Utveckling av innovationsplattformar för Hållbara attraktiva städer, Dnr 2013-01033, 2013, s 1.

5

Innovationsplattformarna ska vara uppbyggda som ett formaliserat samarbete mellan aktörer engagerade i forskning och innovation inom området. Med aktörer menas till exempel företag, offentliga organisationer, forskningsinstitut och universitet. I beskrivningen av vad en innovationsplattform ska vara finns också en antydan till inriktning mot kunskapsöverföring:

”I detta arbete sker ett aktivt inbördes utbyte av problemställningar, kompetens, kunskap och teknologi. Aktörerna har i betydande grad en gemensam vision om innovationsplattformens utveckling. Det finns ett aktivt gemensamt ledarskap med operativ ledning, ett beslutande organ med representanter för intressenterna, en gemensam budget för kärnverksamheten och processer för hur denna allokeras till olika aktiviteter.”15

Däremot finns inga krav, varken i denna beskrivning eller i mål eller kravspecifikation, på uttryckt struktur eller handlingsplan för lärande.

Resultat- och effektmål på projekt i utlysningen I utlysningen formuleras resultatmålen för projekten i utlysningen. Här finns utryckt hur en plattform ska byggas upp och hur den ska fungera; med ett gemensamt ledarskap, med tydliga och kraftfulla FoI- och kommersialiseringsaktiviteter som attraherar internationell kompetens. Det finns också utpekat att lösningar ska ha testats tillsammans med brukare/användare/kunder. Fokus ligger i mycket på spridning av lösningar, att dessa ska ha utarbetats med spridning i åtanke och att det ska finnas en plan för hur denna spridning ska gå till, nationellt och internationellt. Projekten ska också ha en strategi och arbetsformer för internationell uppkoppling, ”med syfte att förstärka kunskapsläget och skapa samverkan kring lösningar i länder vilka bedöms som potentiella marknader”. Projekten ska också ha en funktionell hantering av immateriella rättigheter som säkerställer att lösningarna kan nyttiggöras.

I VINNOVAs effektmål för programmet betonas mer övergripande mål som att lösningarna skall bidra till grön och socialt hållbar tillväxt, att nya affärsmöjligheter/marknadssegment skapas eller radikala kostnadsbesparingar realiseras, dvs. varor, tjänster, processer eller andra lösningar har implementerats och att Sverige genom programmet stärkt sin attraktivitet som forsknings- och innovationsland, t ex. genom att attrahera utländska investeringar. Inte heller här finns formuleringar som uttryckligen pekar på vikten av lärande organisationer, även om det med god vilja går att läsa in mellan raderna.16

Vad ska Innovationsplattform Norrby göra? I den ursprungliga projektansökan (steg ett) formuleras fyra områden som de mest centrala för plattformens ansats:

1. Att hitta lösningar för stadsdelens materialflöden och byggda strukturer. 2. Att utveckla affärs- och ägandemodeller för boende och hållbar handel samt att studera och

utveckla nätverksbaserade modeller för organisation och styrning. 3. Att genom åtgärder riktade mot såväl producent- som konsumentled bidra till en mer

energieffektiv och klimatvänlig livsstil.

15 VINNOVA, s.2 16 Ibid, s 5f.

6

4. Att med integrationsstimulerande kulturella och sociala insatser stärka den sociokulturella väven i stadsdelen.17

Utifrån dessa fyra teman har ett antal projekt utvecklats. Några exempel är projektet Smart Cities: Innovativa eGovernance-system för förvaltning och medborgarinflytande där IKT-verktyg används för att möjliggöra större transparens och medborgerligt inflytande i stadsplanering. I projektet Innovationer för avfall som resurs utvecklas koncept för systemlösningar med fokus på avfall som värdefull resurs. Inom projektet Oasen utförs en intervention, ett fältexperiment där man genom att smala av en väg prövar vad en eventuell framtida avsmalning av vägen skulle få för konsekvenser för rörelse och livskvalitet i staden.

I etapp två av plattformen, 2016-2018, kommer parterna att bygga vidare på de kunskaper och erfarenheter som har utvecklats kring utmaningen att gå från ekonomistyrning till kunskapsstyrning med tonvikt på kommunal verksamhet. Plattformen går i det skedet också över från att enbart fokusera på Norrby till att arbeta med hela Borås, och på det följer ett byte av namn till Innovationsplattform Borås18. Centralt för Innovationsplattform Borås 2.0 är hur parterna är och bör organiseras för att lösa dessa utmaningar. I ett antal kommande planarbeten vill kommunen testa hur idéer och prototyper övergår till beslut och investeringar, och där ska innovationsplattformen bidra genom att identifiera vilka hinder och flaskhalsar som finns, och hur man kan hantera dessa för att komma vidare från plan till verkstad. Ambitionen är också att synliggöra och påverka strukturer på nationell nivå.19

I fas två kommer alla utvecklingsprojekt som ryms inom ramen för plattformen att innehålla ett metodpaket. Detta ska synliggöra hinder för innovationen att nå ända fram – t ex organisatoriska, ekonomiska, maktkoncentrerade, personella och juridiska hinder.

Organisatoriskt har det skett en förändring av vilka som är organiserade i plattformen. Från att inledningsvis ha haft personer med från högre positioner i organisationerna, kommer fotsättningsvis de medverkande arbeta mer hands-on och konkret med de aktuella frågorna, sålunda en förskjutning nedåt i organisationerna.

Hur hanterar plattformen organisatoriskt lärande? 20 Intressant är att det är själva mötesstrukturen som utgör innovationsplattformens organisation. Det finns inget kansli och ingen fysisk plattform att utgå ifrån. Mötena och deras struktur läggs upp av projektledningens fyra personer; en representant från respektive part.

Den interna mötesstrukturen inom plattformen har förändrats mycket under tid. Från början genomfördes regelbundna möten arbetspaket för arbetspaket, men det fanns ingen struktur för möten i projektledningen, mellan projektledarare och biträdande projektledare. Däremot genomfördes varje månad möten mellan ledningsgruppen, representanter på hög nivå från alla parter och alla arbetspaketsledare. Sedan hösten 2014 har en förändring genomförts, med en övergång till en arbetspaketfri struktur. Erfarenheten var att den tidigare strukturen hade spelat ut sin roll, inledningsvis hade den ett värde när parterna gemensamt skulle sätta en agenda, lära känna

17 Innovationsplattform Norrby, projektansökan 2013-04-22, s 3. 18 Jag kommer fortsatt i detta paper att benämna plattformen Innovationsplattform Norrby, eftersom namnbytet ännu inte ägt rum formellt. 19 Ur arbetsdokument inför innovationsplattformens fas två, samt intervju med Kerstin Elias, SP Sveriges Tekniska Forskningsinstitut, biträdande projektledare för Innovationsplattform Norrby, maj 2015. 20 Ibid.

7

varandra och driva projektet framåt, men efterhand tappade strukturen i funktion. Nu hålls istället workshops och tankesmedjor kopplat till specifika idéer och därutöver öppna plattformsträffar var 6:e vecka, dit alla i nätverket är välkomna. Även ledningsgruppens möten har glesats ut, till två per termin, eftersom man inte längre upplever ett behov av uppdatering kring alla detaljer.

Idag finns det ingen återkommande punkt som är uttalat reflekterande för plattformen som helhet, men mellan projektledarna, i den gemensamma planeringen finns ett tillbakablickande ”vad har vi gjort?”, ”vad har hänt sedan sist?”. Förändringen i mötesstruktur, i organisationens uppbyggnad, och i projektets inriktning inför övergången till fas två i innovationsplattformen pekar på en utveckling som stämmer gott överens med ambitionen att vara en organisation som testar nya lösningar och arbetsätt. Man börjar arbeta på ett sätt, reflekterar gemensamt i möten efterhand, konstaterar att utveckling behövs, och inför ett nytt arbetsätt som därefter testas.

Parterna konstaterade inför fas två att det viktigaste resultatet från fas ett var att de lärt sig att samverka. Den styrda strukturen fungerade som en motor för plattformen, som gav mycket utfall i form av nya idéer och projekt. Projektorganisation som ursprungligen riggades för att genomföra projektet får inför fas två sin huvudsakliga uppgift i att upprätthålla samverkan, vilket innebär en glidning i projektmålen.

På två nivåer finns följeforskning med koppling till Innovationsplattform Norrby. Det ena är en följeforskare, knuten till ett annat projekt, som studerar samverkan mellan parter inom Borås stad. Samtalen (intervjuerna) med följeforskaren har skett enskilt och har därmed skapat utrymme för reflektion på individnivå men har inte haft i uppgift att ge feedback till gruppen.

Den andra följeforskningen är på uppdrag av finansiären VINNOVA, där MISTRA Urban Futures på ett nationellt plan ska följa upp samverkan mellan de fyra innovationsplattformarna. Utvärderingen ska beskriva innovationsplattformarnas verksamhet, analysera informationen ur ett innovationsperspektiv och återföra resultaten till innovationsplattformarna och Vinnova. Syftet med studien är ökad kunskap om innovationsprocesser med koppling till hållbar stadsutveckling och ett fördjupat lärande mellan plattformarna, som alla har olika förutsättningar och strategier för uppbyggnaden. 21

Det finns en långsiktig kanal för spridande av de erfarenheter som görs inom innovationsplattformen, som det är utgörs av en ny magisterutbildning i hållbart samhällsbyggande som startar på Högskolan i Borås 2014. I och med utbildningen finns god potential till spridning av rultat och erfarenheter, om de bara först konkretiseras inom plattformen.

Sammanfattningsvis kan sägas att Innovationsplattform Norrby saknar en uttalad intern struktur för lärande och kunskapsöverföring, även om det är tydligt att projektet i sin utformning och karaktär, och beroende av engagemanget hos de deltagande parterna, ändå har ett kontinuerligt utbyte av lärdomar. Projektutvecklingen står på inget sätt still, men ett återkommande fokus på lärande, genom följeforskning eller interna workshops och möten, skulle kunna konkretisera, förtydliga och bidra till verksamheten och de uppsatta projektmålen.

21 Följeforskning av Vinnovas innovationsplattformar för hållbar stadsutveckling, MISTRA Urban Futures, http://www.mistraurbanfutures.org/sv/node/312

8

Sverige: Otillräcklig dialog och ingen struktur för lärande I juni 2012 överlämnade Delegationen för hållbara städer rapporten Femton hinder för hållbar stadsutveckling22 till regeringen. De hinder som delegationen identifierat är ”företeelser som aktivt motverkar och står i vägen för en önskvärd förändring, eller trögheter som gör att förändringen går långsamt i förhållande till utmaningar och mål.” Kartläggningen visade ett antal system- och strukturhinder som måste övervinnas för en snabb och långsiktigt hållbar omställning av städer i Sverige.

Ett av de hinder som beskrivs i rapporten är Otillräcklig dialog med medborgare om stadens utveckling. Delegationen för hållbara städer konstaterar att en otillräcklig dialog med medborgare om stadens långsiktiga utveckling, medför ett demokratiskt underskott. Bristfällig återkoppling och uppföljning av genomförda dialogprocesser hindrar samtidigt kunskapsuppbyggnad.

Delaktighet och inflytande i samhället är grundläggande för god folkhälsa, liksom för graden av ansvarstagande för den egna närmiljön. Många för staden centrala projekt är beroende av medborgarnas acceptans för sitt genomförande. Otillräckliga dialogprocesser kan utmynna i en lokal negativ opinion och blockera genomförandet av projekten. Goda erfarenheter av dialog med boende och lokala näringsidkare ger ringar på vattnet som ökar kapaciteten i nästa satsning. En negativ process fortplantar sig i omvänd riktning. En tydlig mottagare av resultaten, återkoppling och att avsikterna med dialogen framgår är viktigt. I det ”nätverkssamhälle” som vi nu lever i finns ett ökat behov av tidig och kontinuerlig dialog om stadens utveckling med stadens medborgare som komplement till dialoger vid särskilda stadsbyggnadsprojekt.23

Även om många kommuner har långt och metodiskt arbete bakom sig med olika typer av medborgardialoger konstaterar Delegationen för hållbara städer att man inte har ”tagit sig tid att systematisera och lära av tidigare genomförda dialoger. Fokus ligger oftast på en specifik process där det har saknats möjligheter att ta tillvara och generalisera lärdomar.”

Vad kan då göras? Delegationen för hållbara städer rekommenderar att kommunerna stärker inflytandeprocesser genom att tydligare värdesätta dialog och genom att avsätta resurser för detta. Man rekommenderar att staten bidrar genom att avsätta forskningsresurser och samordningsresurser för fortsatt utveckling av nätverk för kunskapsutbyte mellan städer, forskare och andra aktörer. Delegationen skriver vidare att det vid ”nya statliga satsningar som inbegriper dialogprocesser är det angeläget att erfarenheter och lärdomar från tidigare processer tas tillvara.”24

Ett annat av de hinder för hållbar stadsutveckling som identifierats är Otillräckliga satsningar på kunskapsutveckling och pilotprojekt:

För att lösa städernas problem krävs ny kunskap som tas fram i samverkan mellan universitet, näringsliv, kommuner och övriga offentliga myndigheter. Vi behöver tvärvetenskaplig och praktiknära forskning som fokuserar på att lösa komplexa problem. /…/ För att skapa genombrott och framsteg behövs pilotprojekt och experimentell verksamhet, både i nya och befintliga miljöer, där spetskunskap omsätts i innovativa lösningar.25

22 Femton hinder för hållbar stadsutveckling (SOU M 2011:01/2012/66), Delegationen för hållbara städer. 23 Ibid, s 15. 24 Ibid, s 17. 25 Ibid, s 24.

9

Kunskaperna hos centrala aktörer är inte tillräckliga, nya forskningsresultat når inte fram till tillämpning och lärdomar från goda exempel som skulle kunna användas i verksamheten omsätts inte till ny praxis, samtidigt som det brister i uppföljning så att kunskapsuppbyggnad försvåras.

Delegationen föreslår några statliga åtgärder som kan driva på arbetet med hållbar stadsutveckling; bland annat ökade resurser till kunskapsutveckling inom hållbar stadsutveckling i form av forskning och utveckling, innovation, systematisk uppföljning och utbildning samt fortsatta satsningar på pilot- och demonstrationsprojekt.

I befintliga dialogprocesser i stadsutvecklingsfrågor finns en tendens att man inte helt och hållet lyssnar till, och tar in, de åsikter som tas fram. Forskning om hur sociala och miljömässiga aspekter kring renovering länkas samman, visar att i dialogaktiviteter som genomförts mellan fastighetsägare och boende, så brister det i metoderna och processerna för att för att ta in de boendes kunskaper och lära av dem långsiktigt.

The positive effects observed to arise from changes in technical systems and economic incentives can be explained by the fact that their introduction initiated a learning process. The housing companies, however, had not planned for a learning process to take place and therefore failed to learn – as an organisation – from employees and tenants involved in the projects. Nor did the tenants’ organisations, families, communities, and other social networks, plan for how they could become involved in organisational learning as part of the LIP projects.26

Några viktiga begrepp och faktorer Detta stycke kommer att presentera några centrala begrepp och sammanhang i den utvärderingsteoretiska kontexten och några faktorer som belyser vikten av lärande i en innovationsprocess och i en organisations utveckling.

Lärande utvärdering I Erfarenheter av lärande utvärdering27 skriver Sven Jansson från SFS-rådet om utvecklingen av utvärdering i Sverige och om uppkomsten av begreppet lärande utvärdering. Han beskriver fyra generationer av utvärdering:

1. Mätning, främst av skolelevers kunskaper, i början av 1900-talet 2. Beskrivning, verksamheten och dess mål i centrum, måluppfyllelse, 1920-1960-tal 3. Bedömande, utvärderingen fick en oberoende ställning och skulle ge omdömen om bra och

dåligt. Det sanna svaret skulle ge beslutsunderlag. 1960-talet och framåt. 4. Dialog, med olika intressenter i dialog, skiljer sig från tidigare top-down-ansatser.

Den femte generationens utvärdering skulle då vara den lärande utvärderingen, som i mångt och mycket är en ansats och ett förhållningssätt snarare än en metod, och som utgör ett slags syntes av de fyra föregångarna. Åtta punkter som kännetecknar den lärande utvärderingen ges. Den:

• är formativ, dvs. processbaserad och sker löpande • kommer in tidigt i ett program- respektive projektgenomförande • kräver närhet till deltagarna

26 Jenny Stenberg, et al. Linking social and environmental aspects: a multidimensional evaluation of refurbishment projects. Local Environment (1354-9839). Vol. 14 (2009), 6, s. 539-554. 27 Sävenstrand, Ulczka, Jansson, & Svensson, 2013, s 9ff.

10

• ska vara till omedelbar nytta för olika berörda • förutsätter en kontinuerlig återkoppling, som kan ske med olika ambitionsnivåer

(från en ensidig feedback till dialog och gemensam analys) • bidrar med underlag för ett utvecklingsinriktat lärande och gemensam

kunskapsbildning • studerar måluppfyllelse, men är medveten om att målen kan förändras

över tid • bidrar till allmän debatt och ger en generell kunskapsbildning

En viktig insikt från detta kapitel är vilken roll också utvärderarens bakgrund har. Utvärdering är i mycket beroende av sin kontext, men också av utvärderarens förförståelser och ansats. Senare i Janssons rapport beskrivs hur utvärderare upplever att deras roll har utvecklats från ”domare” och ”vetenskapsman” till ”coach” och ”processledare” där utvärderaren kommit närmare intressenterna och kommit att engageras i också saker som formulering av problemanalys, utformandet av alternativ och rekommendationer.28 Ur erfarenheterna från Socialfonden, som behandlas i rapporten, finns också några intressanta kommentarer kring svårigheter med själva lärandet. Det kan vara svårigheter att isolera tid för reflektion hos upptagna personer, avsaknad av vilja att lära och att det inte är utvärderarens roll att ”lära ut”. I en diskussion om användandet av lärande utvärdering i projekt finns mycket intressant att hämta, tankar som också borde kunna gå att överföra till sammanhanget med Innovationsplattform Norrby. Ett konkret resultat av en lärande utvärdering är att alla som involveras i utvärderingen stimuleras att tänka i nya banor kring hur de ska arbeta. Detta rimmar väl med Socialfondens ambition att utvärderingar inte bara ska öka lärandet om det specifika projektets arbetssätt utan också lära mer om hur man kan ta tillvara resultat från projekt som arbetsform.

Rapporten pekar på begreppen första och andra loopens lärande, från pedagogik- och arbetslivsforskning, där ”första loopens lärande [innebär]att motverka ”handhavandefel” – att förbättra utfallet av en uppgift inom de ramar som satts. Den andra loopens lärande innebär att man också kan ifrågasätta själva förutsättningarna för hur uppgiften utförs”29 och det finns också resonemang om en möjlig tredje lärandeloop, där man lär av erfarenheterna och lär sig att tillämpa dem i andra situationer.

I exemplen från Socialfonden är projektägarnas erfarenheter att lärande utvärdering har underlättat styrningen av projekten och bidragit till att man har gjort rätt saker. Viktigt är också att man funnit att utvärderingen har ”satt fokus på den effekt som ska uppnås och underlättat en samsyn mellan projektets aktörer.” En del projektägare har även uppfattat ett värde i utvärderingarna för implementeringen av projektet. Projektägarna anser också att framgångsfaktorer och verktyg blir mer synliga och att utvärderingar kan sätta saker i ett större sammanhang, inte minst vid skrivandet av nya ansökningar.30

I rapporten återfinns också ett förslag till begreppet ”strategiskt lärande”, vilket skulle vara ett alternativt sätt att beskriva påverkan utanför projektet (med hjälp av utvärderingen).31 Det strategiska lärandet kan handla om en nationell nivå av intressenter som ”borde” lära och i bästa fall också har beställt kunskapen.

28 Sävenstrand, Ulczka, Jansson, & Svensson, 2013, s 33 29 Ibid, s 37, citat s 11. 30 Ibid, s 38. 31 Ib s 49

11

Utvärdering för lärande När Per-Erik Ellström, professor i pedagogik från Linköpings universitet och HELIX VINN Excellence Centre, föreläste vid kursen Teoridriven Lärande Utvärdering inledde han med att peka på hur misslyckanden dominerar. När det gäller effekter på lång sikt är det bara 30 % av alla förändringsinsatser som bedöms som framgångsrika.32 Det är svårt att kontrollera och styra förändringar men varför är graden av misslyckanden så hög? Ellström menar att orsakerna kan vara att man försöker införa fler förändringsinitiativ än vad som är rimligt för verksamheten att hantera, ett otydligt eller passivt ägarskap, brister i styrning och ledning, bristande delaktighet, brist på tid, återkommande ledarbyten eller andra oväntade händelser.

Utveckling förutsätter förändring, säger Ellström, och förändring förutsätter lärande. Enligt Ellström bygger ett hållbart utvecklingsarbete på balans mellan två logiker. Ofta utgår utvecklingsarbete från planering-styrning-kontroll. I denna logik ligger fokus på likformighet genom standardisering och ett anpassningsinriktat lärande. Stabiliteten och förutsägbarheten är villkor för lärandet. Den andra logiken är en lärandelogik, där fokus ligger på att hantera komplexitet och bristande förutsägbarhet genom utvecklingsinriktat lärande. Där krävs förmåga i organisationen till ifrågasättande av invanda arbetssätt och rutiner; alternativtänkande; initiativtagande och flexibilitet att snabbt kunna möta oväntade händelser.

Utvecklingsarbete, en balans mellan två logiker. (Ellström) Planering-styrning-kontroll-logik Lärandelogik

Traditionell organisation Kunskapsbaserad organisation Aktiv detaljstyrande ledning Aktiv, flexibel och problemlösande personal

Passiv, regelstyrd och rutiniserad personal Utvecklingsinriktad och stödjande ledning (med fokus på mål)

Ellström menar också att ”störningar” och utmaningar av det invanda kan fungera som en källa för avlärande och nytänkande, och utvecklingsarbete som lärande är ett samspel mellan rutin och reflektion. Det betyder att det finns mycket att vinna på att medvetet utforma och genomföra utvärdering som en lärandeaktivitet och som en aktiv del av en strategi för lärande och kunskapsanvändning i den verksamhet som ska utvärderas.

I Evaluation as learning: A study of social worker education in Leningrad County,33 beskriver Ove Karlsson Vestman en spännande utvärdering från ett internationellt projekt: målet för utvärderingen har varit att granska ett lärandeprogram och hur deltagarna har använt sina tillförskaffade kunskaper och erfarenheter i sina egna projekt och verksamheter. Där handlar det om lärande mellan socialtjänst i två städer i Sverige och Ryssland med ett övergripande mål att få till strukturella förändringar som kan förbättra socialtjänsten i Ryssland. I projektet har också funnits ett program för lärande (bestående av bland annat seminarier och studiebesök) där kunskap överförs från deltagarna från det svenska systemet till de ryska deltagarna. En central del är att lärandet också implementeras i deltagarnas egna organisationer vilket följs upp efter avslutat program med redovisningar av hur det implementerats och diskussioner kring detta.

32 Per-Erik Ellström, föreläsning vid Teoridriven Lärande Utvärdering, 2015-03-11, Mälardalens högskola, (med hänvisning till Kotter 1995, the McKinsey Quarterly, june 2006). 33 Ove Karlsson Vestman, Evaluation as learning: A study of social worker education in Leningrad County,

12

Karlsson Vestman ställer upp fem frågor för sin utvärdering:

1. What pre-conditions for the program of education existed in Leningrad County and among program participants?

2. Have the participants learnt anything and acquired knowledge from the program? 3. Have the participants been successful in the dissemination of their new knowledge to others

in their organisation? 4. How this knowledge led to changes and developments in their respective organisations? 5. Has the evaluation contributed to learning in the project such that the perception of problems

has changed?

“The question of the program’s contribution to any changes in the organisation and activity of the social services is addressed, along with how the evaluation process has itself contributed to learning”.34

Det är spännande att se görbarheten i att följa lärande in i en organisation genom att följa aktiviteter som visa på hur man har tillgodogjort sig kunskaperna i organisationen. En lärdom från Karlsson Vestmans undersökning är att kravet att återrapportera och redovisa nya arbetssätt - att visa att man har lärt sig, inte bara är ett sätt att följa resultat och effekter utan också att det motiverar deltagarna att aktivera kunskapen, och tillägna sig nya arbetssätt.

Från kunskap till kompetens Per-Erik Ellström ställer upp ekvationen utbildning + lärmiljö = effekt.35 Han betonar lärmiljöns vikt för att det ska kunna komma till stånd en utveckling vidare från kunskaper till ökad kompetens. Företag och organisationer behöver kunna bygga lärmiljöer som är så rika och utvecklande att det kan komma till stånd ett förbättrat lärande. Det behöver också finnas ett stödsystem för lärande (chefer, kollegor, mötesplatser, handledning) och en faktisk kunskapsanvändning – det vill säga kunskapen behöver prövas i praktiken.

Lärande och innovationer hänger ihop Inom stora delar av innovationsforskningen betonas betydelsen av lärande, kunskapsutveckling och liknande begrepp för lyckade innovationsprocesser. Detta vare sig vi använder oss av teoretiska ramverk som Teknologiska Innovationssystem36, Transition Research37 eller tjänstedesign38, för att nämna några vanliga forskningsperspektiv på innovation. En väsentlig skillnad mellan ett innovationsprojekt jämfört med ett mer traditionellt utvecklingsprojekt är att innovatören går in i projektet utan att med säkerhet veta vad det faktiska slutresultatet kommer att bli, till skillnad från andra projekt där resultatet mer eller mindre kan vara förutbestämt. Det är därmed en stor grad av lärande i innovationsprocessen. Innovatörens förmåga till lärande men också till att lyssna in omvärldens eller intressenternas behov och utmaningar, är avgörande för framgången.

34 Karlsson Vestman, (2004). 35 Ellström, föreläsning 2015. 36 Anna Bergek, S. Jacobsson, et al. ”Analyzing the functional dynamics of technological innovation systems: A scheme of analysis.” Research Policy 37: s 407-429, 2008. 37 Johan Schot and Frank W. Geels, “Strategic niche management and sustainable innovation journeys: Theory, findings, research agenda, and policy.” Technology Analysis and Strategic Management 20(5): s 537-554. 2008 38 Katarina Wetter-Edman, Design for service - A framework for articulating designers´ contribution as interpreter of users´ experience. Göteborg, HDK - School of Design and Crafts, Göteborgs universitet, 2014

13

Kan man mäta allt? Det finns en risk att det som är lättast att mäta blir utvärderat, inte det som är viktigast att mäta. Svårigheten med att formulera mål som går att mäta i siffror betyder också att det är större sannolikhet att man mäter prestationer och inte effekter39 (”hur många träffar har gruppen haft för att utbyta kunskaper?” framför ”vad har träffarna lett till?”).

När ämnet som ska utvärderas är kvalitativt i sin karaktär, kanske en samverkansprocess, kunskapsöverföring eller lärande, då krävs en annan ansats än i sammanhang där kvantitetsmått går att använda. Man vill gärna att det man undersöker, utvärderar och mäter ska vara en avgränsad process, lätt att isolera från sitt sammanhang, där effekterna är tydliga, lätta att identifiera och mäta, där det finns en konsensus bland berörda parter om vad värdet är och vilka de önskvärda målen är. Men istället har man något som är extremt kontextberoende, inbäddat i andra processer, där värdet kan vara svårt att urskilja, där resultatet blir beroende av när undersökningen görs, och där frågan om vad som är kvalitet är en högst subjektiv fråga.40

Detta betyder dock inte att det inte går att mäta. Frågan är bara hur. Kanske är det extra viktigt i kvalitativa eller så kallade mjuka processer, att ha konsensus kring vad som är kvalitet. Kvalitetsbegreppet diskuteras bland andra av Lena Lindgren, i Nya Utvärderingsmonstret. Hon beskriver en utveckling i offentlig sektor som följer utvecklingen i privata sektorn i Sverige, där kvalitetstekniskt tänkande kommit att omfatta också tjänster, och där ”kundnöjdheten” är i centrum. Lindgren refererar till en ISO 9001-certifiering av system för kvalitetsledning i organisationer, som ska vara internationellt erkänd som en definition av kvalitet som utgår från kundens eller mottagarens bedömning:

”alla sammantagna egenskaper hos ett objekt eller en företeelse som ger dess förmåga att tillfredsställa uttalade eller underförstådda behov”. 41

Men är det samma sak som objektiv kvalitet? Lindgren jämför mätningen av kvalitet i skola och socialtjänst med sjukvården, och menar att det är svårare att definiera objektiv kvalitet när det inte finns professionskrav av den typen som exempelvis läkare eller sjuksköterskor har, krav som grundar för kvalitet oberoende av patienters subjektiva upplevelse.

Sen finns frågan ”kvalitet på vad”? Kvalitet på själva strukturen, på resurserna? Eller på processen och hur arbetet går till? Eller på resultatet – kvaliteten på det som uppnås och hur det uppfyller målet? Helt beroende av sammanhanget kan kvalitet sägas vara vitt skilda saker. Det är kontexten som ska granskas som skapar meningen:

Kvalitet = uppfyllda mål Kvalitet = följer en viss uppställd standard Kvalitet = upplevs tillfredsställa uttalade eller underförstådda behov hos målgruppen Kvalitet = ”alla slags värdekriterier som utvärderare kan använda sig av för att bedöma ett utvärderingsobjekt”42 Kvalitet = bra (Icke kvalitet = dåligt)43

39 Lindgren, s 93. 40 Något modifierat, motsatser uppställda i en presentation av Eugenia Perez Vico, innovationsforskare, SP Sveriges Tekniska Forskningsinstitut, om mätbarhet i samverkansprocesser. 41 Lindgren, s 50. 42 Ibid, s 52, Lindgren refererar till utvärderingsforskarna Stake & Schwandt (2006) 43 Ibid, Lindgren refererar till Brülde (2007).

14

Detta ger ännu större nödvändighet att i en utvärdering motivera vad som menas med kvalitet, innan man ger sig in på att försöka mäta den.

Indikatorer för utvärdering av lärande Utvärdering är att systematiskt beskriva och bedöma ett objekt och redovisa resultatet.44 Det systematiska arbetet innebär att följa en arbetsplan eller utvärderingsplan med vissa steg i viss ordningsföljd - en explicit metod, procedur, modell, som visar hur man går tillväga i utvärderingen - att hantera information enligt vissa principer. Men i beskrivningen - vilka aspekter och egenskaper hos kunskapsobjektet är det som ska beskrivas? Det handlar om att konstruera kunskap med hjälp av olika teorier och tekniker samt att göra en empirisk analys, det vill säga utvärderingens kunskapsteoretiska eller epistemologiska komponent.

I bedömningen är det nödvändigt med tydlighet kring vilka förtjänster det är som bedöms, alltså ett klargörande av mot vilka kriterier bedömningen sker. Är det objektets (projektets, insatsens, processens) värde, kvalitet, nytta eller effektivitet? Detta är utvärderingens värdeteoretiska eller axiologiska komponent.

Enligt Karlsson Vestman har det genom utvärderingens historia gång efter annan konstaterats ett behov av att vidga vyerna: man behöver titta på ett större område. Idag kallar vi det för indikatorer. En indikator mäter något litet som anses representera något stort, och en indikator måste kunna härröras till det stora. Men indikatorn kan också sägas vara något vi kan mäta som ger en indikation på ett fenomen som vi inte kan mäta.

Här kan en djupare jämförelse med skolans och högskolans värld vara på sin plats. Lindgren listar en sammanställning av kriterier för vad som är goda mått på kvalitet, där det allra viktigaste är att en konstruerad kvalitetsindikator har en hög definitionsmässig validitet. De ska också, bland annat ha relevans i förhållande till mål och verksamhetens uppgift; ha betydelse (mäter måttet en viktig del av den avsedda kvaliteten?), ha balans (ger måtten en balanserad bild av verksamhetens kvalitet?) och begriplighet (är det lätt att förstå vad som mätts?).

Det finns en uppsjö av checklistor för indikatorer. Karlsson Vestman har en sammanställning som säger att indikatorer till exempel kan hämtas ur mål för verksamheten; ur teori om vad som är en god verksamhet eller insats; ur professionella kriterier – yrkesteori och praxis inom yrkesområdet för en kvalitativt god verksamhet, ex vis inom skolan där lärare/forskare själva ansetts vara bäst att utvärdera sin egen verksamhet; ur Intressen hos olika brukare, klienter, patienter eller ur demokratiska och kulturella värden i ett samhälle. Specifikt för EU-projekt finns Abreaus45 sammanställning över Ongoing evaluation indicators, den är relativt koncis; indikatorer ska vara reasonable, feaisble, responsive to policy, normative, robust, debatable.

En annan, vanligt använd checklista är SMART46, som hjälper oss formulera våra indikatorer så att de är:

44 Detta stycke utgår från Ove Karlsson Vestmans föreläsning vid kursen Teoridriven Lärande Utvärdering 2015-02-15, Mälardalens högskola. 45 Maria Abreau, Good practices in the selection and use of outcome indicators. Bryssel: Europeiska Kommissionen: Tillgängligt 20131023, 2013. 46 Historien bakom SMART-kriterierna och akronymen verkar vara omstridd, men den amerikanske managementteoretikern och författaren Peter Drucker, som också ligger bakom teorin om Management by

15

• Specific, related to a goal • Measurable • Available/achievable in a cost effective way • Relevant/valid for what you want to capture (ie in fact capture what you want to capture and

in a reliable way • Available in a Timely manner (feasible)

Styrning genom utvärdering Det finns ytterligare en aspekt av utvärdering, som knyter an till såväl effekter som val av indikatorer. Om man konstruerar indikatorer på rätt sätt (”med kompetens och god vilja”) och om dessa används förnuftigt, så kan det bidra till en bättre styrning och utveckling av verksamheten, menar Lindgren. Kritikerna säger att systemet bygger på för många antaganden, att det faktiskt inte går att konstruera indikatorer som mäter verksamhetens kvalitet på ett tillförlitligt sätt. Det handlar om systematiska problem, som är inbyggda i själva mätandet och inte kan undvikas.47

Lindgren beskriver hur utvecklingen i (det offentliga) Sverige mot allt mer krav på utvärderingar i Sverige, följer på en övergång från process-styrning till mål/resultat-styrning. Och när vi baserar vårt samhälle på att en viss peng ska ge ett visst resultat behöver vi också mäta och utvärdera om den pengen verkligen har gett det resultatet. En följd av detta är en skepsis mot professioner – en allmän osäkerhet på yrkesprofessionernas kompetens, där man misstror exempelvis lärares och socialarbetares förmåga att själva, utifrån sin kompetens, agera på bästa sätt, vilket på sikt leder till att yrkesprofessionalism byts ut av organisationsprofessionalism, där en styrning och kontroll och utvärdering, där byråkratiska ideal som formulerats externt och utanför professionen.

I utvärderingens hantverk finns som ovan beskrivits en mängd val som utvärderaren (och uppdragsgivaren) behöver göra. Varje val innebär en värdebedömning – det är med nödvändighet som man måste välja att ha fokus på somligt och inte på annat. Sålunda blir utvärderingens upplägg en styrande faktor. En utvärderings förmåga att konkretisera otydligheter eller dolda processer, gör det också till ett potentiellt verktyg för styrning, med möjlig påverkan på intressenter.

Några befintliga utvärderingsmodeller (och möjligheten att adaptera dem på lärande i Norrby)

Vedung (2009) använder sig av två principer för att dela upp utvärderingar på typer, den ena är vilka värderingskriterier som ställs upp; till exempel om programmet lett till måluppfyllelse eller om programmets resultat har motsvarat brukarnas önskemål. Den andra, underordnade typen av princip är utvärderingens objekt, det vill säga om det är resultaten eller vägen dit som utvärderingen ska bedöma. Vedung beskriver fem familjer av utvärderingsmodeller; mål-processmodeller – som bedömer interventionens förvaltningsförlopp, mål-resultatmodeller - bedömer en interventions effekter i utfallsledet, relevansmodeller – där interventionen bedöms utifrån det underliggande problemet, aktörsmodeller – där värderingskriterierna hämtas från berörda brukare, slutmottagare, intressenter eller kollegor och slutligen ekonomiska modeller.

objectives/management by results lär vara urspungsmannen. Mer finns att läsa t ex på: https://journals.tdl.org/absel/index.php/absel/article/viewFile/90/86 47 Lindgren, s 22.

16

Från skola och högskola En jämförelse med skolans och högskolans värld, där givet lärandet är i fokus, ger en del tänkbara möjligheter på hur man kan mäta och validera lärande. I skolans värld, enligt Lindgren, finns flertalet existerande utvärderingsinstanser på varje tänkbar nivå; elev-, skol- och systemnivå (t ex Skolverkets analyser, lägesbedömningar och utvärderingar) samt internationella system för kunskaps- och kvalitetsjämförelser (t ex PISA). Lindgren skissar upp en grundmodell för kvalitetsmätning:

1. Den verksamhet vars kvalitet ska mätas beskrivs i programteoriformat, dvs med avseende på hur den är tänkt att fungera för att leda till måluppfyllelse (resurser, aktiviteter, prestationer, målgrupp och effekter).

2. Målen för verksamheten tolkas, och utifrån denna tolkning bestäms vilka aspekter av målen som ska mätas.

3. Indikatorer konstrueras för varje målaspekt. 4. Verksamheten mäts på avsett vis, resultatet av mätningen bearbetas och analyseras. 5. Mätresultatet används som underlag för kontroll och/eller för beslut om

förbättringsåtgärder. 6. Den uppmätta verksamhetens kvalitet ökar samtidigt som insyn, jämförelse, kontroll och

ansvarsutkrävande underlättas. 48

Att jämföra planeringen av en önskad lärandestruktur i Innovationsplattform Norrby med planeringen av lärandemål vid en högskolekurs, till exempel, skulle kunna vara ett givande angreppsätt. Hos det nationella projektet kursutveckling.se som samordnades av SLU, fanns uppdraget att utveckla ett webbaserad nationellt stöd för högskolornas pedagogiska arbete kring lärandemål, examination och läraktiviter. Där återfinns Stöd för att skriva lärandemål på kursnivå. Stödet är på ett konceptuellt plan uppbyggt kring idéerna kring ”Constructive Alignment” ”där lärandemål (Learning outcomes), läraktiviteter och examination skall hänga ihop på ett strukturerat sätt.”49 I stödet återfinns en tiostegsplan för den som ska konstruera lärandemål, en hjälp på vägen när man ska formulera förväntade studieresultat. Lärandemålen ska skapa fokus på studenternas lärande, de ska skapa tydlighet och bidra till helhetssyn och progression, skapa realistiska mål men också klara samband mellan mål, undervisning och examination. Vidare ska lärandemål bidra till kvalitetssäkring men också till en pedagogisk utvecklingsprocess i kollegiet. Det är inte alltför svårt att tänka sig dessa syften översatta till ett annat sammanhang i behov av lärandemål.

1. vad - innehåll i lärandemål 2. hur - lärandemålens form 3. avgränsa - skilj på formuleringar i kursens lärandemål och andra beskrivningar i

kursplanen t ex kursens syfte och kursens innehåll 4. konkretisera - gör målen observerbara och tydliga 5. renodla - skilj på läraktivitet och resultat 6. förtydliga - inga vaga mål 7. begränsa - begränsa antalet lärandemål 8. justera - kontrollera examinerbarheten till form och innehåll 9. vikta - vikta tidsåtgången för studenten 10. kalibrera - kontrollera kursens relation till andra kurser utifrån ett helhetsperspektiv

48 Lindgren, s 63-82. 49 SLU/NSHU, tidigare Myndigheten för nätverk och samarbete inom högre utbildning, Stöd för att skriva lärandemål på kursnivå http://kursutveckling.se/dok/nshu_Larandemal_061011.pdf

17

Diskussion och rekommendationer Som har konstaterats ovan är bristen på strukturerat lärande en central anledning till misslyckande inom stadsutvecklingsprocesser och innovationsutvecklingsprocesser, och är en bidragande anledning till misslyckanden inom förändringsprocesser rent generellt.

Innovationsplattform Norrby är tänkt att vara en miljö där innovationer för hållbara städer kan uppstå. I ett partnerskap som Innovationsplattform Norrby, som involverar en mängd olika parter med olika förförståelse och kunskapsanspråk, aktualiseras frågan hur vi lär av varandra. Även om en mängd aktiviteter redan idag genomförs med olika intressentgrupper, och även om utveckling – och lärande – uppenbarligen sker redan idag, saknas det verktyg för hur det lärande som uppkommer kontinuerligt struktureras, dokumenteras och diskuteras för att bli till långsiktig nytta för de innovationsprocesser som drivs inom plattformen.

Jag menar, trots att lärande inom projektet inte är ett uttryckt mål, att det borde finnas en uttryckt struktur för lärande, och att den lämpligen kunna ske genom en lärande utvärdering.

Vedung (2009) skriver ”Att per definition utesluta andra värderingskriterier än interventionens egna mål vore olyckligt, eftersom frågan om värdegrunder är omstridd i utvärderingsdiskursen. /…/ Poängen är att det måste föreligga en värdering för att vi skall tala om utvärdering.”50 Han menar kvalitetskriter som kommer fram under evalueringsprocessens gång, eller i efterhand, i dialog med professionella experter, kan vara väl så användbara och viktiga som de som identifierats på förhand.51

Det finns en rad argument för införandet av en lärstruktur och en lärande utvärdering, till exempel:

• Det stärker projektens styrning och implementering52 • Det kan leda till en tredje loopens lärande, där utvärderingen utbildar projektägare i hållbart

utvecklingsarbete 53 • Den gemensamma analysen av utvecklingsarbete som sker i en lärande utvärdering, innebär

att deltagare och utvärderare tillsammans tolkar och förklarar resultaten.54 • Utvärderingar kan sätta fokus på den effekt som ska uppnås och underlätta samsyn mellan

projektets aktörer • Det synliggör framgångsfaktorer och verktyg

En tänkt lärande utvärdering av Innovationsplattform Norrby är lämpligen en utvärdering under pågående projekt, med möjlighet till återkoppling och lärande inom projektet, av en operativ karaktär, det vill säga för att stödja hur programmet genomförs; i princip det som i EU-projektsammanhang kallas för en on-going evaluation, med en flexibel, behovsdriven ansats under programmets process.

50 Vedung, s 32 51 Att det inte är en självklarhet går till exempel att uttyda av rekommendationerna från Europeiska socialfonden ESF “The definitions need to be made available from the very start of programme implementation. Beneficiaries should be made aware of them. In this way, any ambiguity in collecting data can be avoided. EU-kommissionen. Guidance document on monitoring and evaluation. European regional development fund and cohesion fund. Concepts and recommendations. The Programming Period 2014-2020. Bryssel. Tillgänglig 20131023, s.16. 2013. 52 Sävenstrand, Ulczka, Jansson, & Svensson, 2013 s 52 53 Ibid, s 54 54 Ibid, s 55.

18

En mål-resultatmodell jämför utfall och effekter med på förhand ställda mål men där finns inget utrymme för oväntade effekter. I ett innovationsinriktat utvecklingsprojekt är det inte bara troligt utan också önskvärt att det ”händer saker längs vägen”. Det måste finnas utrymme att fånga dessa oväntade effekter, serendipiteter55 och bieffekter i utvärderingen. I en så pass brukarorienterad process som Innovationsplattform Norrby kan det vara intressant att överväga att väva in delar av deltagarorienterad utvärdering som en brukarorienterad- eller intressentutvärdering med konsensusbyggande mekanismer.

En utvärdering av lärandestruktur i plattformen behöver inledningsvis beskriva en programlogik, som beskriver ett tänkt samband mellan projektets aktiviteter å ena sidan och dess resultat och effekter å andra sidan, det vill säga den förändring som projektet ska åstadkomma.56

• Programlogiken ska bidra till gemensam förståelse. • Ska bidra till att förbättra projektets konstruktion och design genom att identifiera

kritiska moment. • Stöd i att identifiera vad som ska följas upp och utvärderas.

Normalt sett konstrueras en programlogik utifrån projektets mål, men i det här sammanhanget är det just lärandemålen som behandlas. Programlogiken identifierar projektets

• utmaning: avsaknad av struktur för lärandet betyder att vi riskerar att tappa värdefulla kunskaper och erfarenheter

• målgrupp: projektets fyra parter • aktiviteter: en lärande utvärdering i projektet • önskade resultat och effekter: ett kontinuerligt lärande som bidrar till projektets mål

men också leder till utveckling inom organisationerna, området, staden och omvärlden.

En effektfigur för lärandemålet, enligt Vedung57 skulle kunna redovisa ett tänkt resultat såhär:

1. Avsedd huvudeffekt: ökad kunskapsöverföring och lärande mellan plattformens fyra parter. 2. Nolleffekt inom målområdet: trots insatser ingen förändring i lärandet. 3. Pervers effekt inom målområdet – en konsekvens rakt motsatt den man vill uppnå: minskat

lärande. Perversa effekter kan också inträffa långt fram i tiden. 4. Positiva bieffekter: t ex ökad samverkan, fler gemensamma projekt, bättre och mer relevanta

projektansökningar. 5. Negativa bieffekter: t ex ökad stress på grund av tidsbrist.

55 ”Positiva oväntade effekter”, se ex vis Vedung, (2009),s 110. 56 Karlsson Vestman (2912), s 75f. 57 Vedung, s 109

19

Översätter man lärandemålen från Stöd för att skriva lärandemål på kursnivå till Innovationsplattform Norrby, får vi en figur som ser ut såhär:

Lärandemålen i kursen ska Lärandemålen i plattformen kan Skapa fokus på studenternas lärande Skapa fokus på lärande inom

innovationsplattform Norrby, mellan parter, inom respektive organisation och vidare.

skapa tydlighet skapa tydlighet bidra till helhetssyn och progression, bidra till helhetssyn och progression, skapa realistiska mål Skapa realistiska mål skapa klara samband mellan mål, undervisning och examination.

Skapa klara samband mellan mål, samverkan och aktiviteter.

Bidra till kvalitetssäkring Bidra till kvalitetssäkring. Bidra till pedagogisk utvecklingsprocess i kollegiet.

Bidra till gemensamt lärande inom plattformen och vidare in i organisationen.

Tänkbara övergripande kriterier för lärande i Innovationsplattform Norrby Projektkomponent Kriteria Kommentar Finns förutsättningar för

lärande hos projektets parter? En rik lärmiljö Stödsystem för lärande (hos chefer, kollegor, mötesplatser, handledning) Finns en faktisk kunskapsanvändning?

Struktur Finns det tydligt formulerade mål för projektet?

Finns det tydligt formulerade mål för lärande?

Process Finns det en struktur för kontinuerlig kunskapsöverföring inom projektet?

Tid för reflektion? Enskilt och gemensamt. Tid för återkoppling till gruppen? Finns gemensamma aktiviteter med fokus på lärande?

Resultat/effekt Har deltagarna lärt sig något och tillgodogjort sig kunskap genom projektet?

Har kunskapen lett till förändringar i projektet?

I mål? Arbetssätt? Förväntade resultat?

Har deltagarna spridit kunskaper och lärdomar i sina egna organisationer?

Har den kunskapen lett till förändringar i organisationen?

Följs lärandet upp efter avslutat projekt?

Ges det möjlighet att reflektera och återkoppla till övriga parter kring hur kunskaper använts i respektive organisation? Utvärderas de gemensamma kunskaperna inom plattformen?

20

Slutsats Utvecklingen i samhället har lett efterfrågan på nya arbetssätt, med innovativa öppna förhållningssätt, samverkan på många plan, medskapande och delaktighet. Samtidigt höjs röster för att det saknas ordentlig reflektion och organisatoriskt lärande. När nya arbetssätt tas fram för att möta de stora samhällsutmaningarna måste lärande finnas med genom hela processen.

Detta paper har behandlat lärande utvärdering som ansats och metod, och har med jämförelser med bland annat skola och högskola visat hur lärandemål kan byggas upp med kring innovationsprocessen, trots dess mjuka karaktär, trots att den saknar givna resultat och effekter. I Innovationsplatform Norrby skulle en lärande utvärdering kunna bidra till projektets utveckling, till framtagandet av nya arbetssätt och innovationer samt nya vägar för att dela med sig av den kompetens och de kunskaper som byggs upp inom plattformen.

När Innovationsplattform Norrby inom kort går in i sin andra fas föreslår jag därmed58 införandet av en formativ, processbaserad och löpande utvärdering, med närhet till deltagarna, och som återkopplar kontinuerligt genom dialog och gemensam analys. En utvärdering som bidrar med underlag för ett utvecklingsinriktat lärande och gemensam kunskapsbildning, som förhåller sig till de uppsatta målen men samtidigt har medvetenhet om att målen kan förändras över tid, och som slutligen, bidrar till allmän debatt och ger en generell kunskapsbildning.

58 Fritt utifrån Karlsson Vestman (2012)

21

Litteraturlista

Abreau, M. (2013) Good practices in the selection and use of outcome indicators. Bryssel: Europeiska Kommissionen: Tillgängligt 20131023, http://ec.europa.eu/regional_policy/sources/docgener/evaluation/doc/performance/abreu.pdf Bergek, A., Jacobsson, S., et al. (2008). “Analyzing the functional dynamics of technological innovation systems: A scheme of analysis.” Research Policy 37: s. 407-429. Bergvall-Kåreborn, B., Ihlström Eriksson, C., et al. (2009). A Milieu for Innovation – Defining Living Labs. Presented at the 2nd ISPIM Innovation Symposium. New York Delegationen för hållbara städer, Femton hinder för hållbar stadsutveckling, (SOU M 2011:01/2012/66), 2012. EU-kommissionen. (2013) Guidance document on monitoring and evaluation. European regional development fund and cohesion fund. Concepts and recommendations. The Programming Period 2014-2020. Bryssel. Tillgänglig 20131023, http://ec.europa.eu/regional_policy/sources/docoffic/2014/working/wd_2014_en.pdf Hanberger, A. (2010) Multicultural Awareness in Evaluation: Dilemmas and Challenges. Evaluation 16 (2) 177-191. Jacobson, R. M., Azzam, T., & Baez, G. J. (2012) The Nature and Frequency of Inclusion of People with Disabilities in Program Evaluation. American Journal of Evaluation 34 (1) 23-44. Karlsson Vestman, O. (2004) Evaluation as learning : A study of social worker education in Leningrad County. Eskilstuna: Mälardalens högskola. Karlsson Vestman, O. (2011) Utvärderingens konst. Lund: Studentlitteratur. Lindgren, L. (2014) Nya Utvärderingsmonstret. Lund: Studentlitteratur Schot, J and W. Geels, F.W. (2008) “Strategic niche management and sustainable innovation journeys: Theory, findings, research agenda, and policy.” Technology Analysis and Strategic Management 20(5): s 537-554. Stenberg, J. et al.(2009) “Linking social and environmental aspects: a multidimensional evaluation of refurbishment projects”. Local Environment (1354-9839). Vol. 14, 6, p. 539-554. Svensson, L., Brulin, G., Jansson, S. och Sjöberg, K. (Red.) (2013) Att fånga effekter av program och projekt. Lund: Studentlitteratur. Sävenstrand, A., Ulczka, H., Jansson, S., & Svensson, L. (2013) Erfarenheter av lärande utvärdering. SPeL, Strategisk påverkan & Lärande. Örebro: APeL, Forskning och utveckling. Tillväxtanalys (2013) Att utveckla regionernas lärande. Rapport 2013:02. Östersund. Vedung, E. (2009) Utvärdering i politik och förvaltning. Lund: Studentlitteratur. (3:e upplagan)

22

Wetter-Edman, K, (2014) Design for service - A framework for articulating designers´ contribution as interpreter of users´ experience. Göteborg, HDK - School of Design and Crafts, Göteborgs universitet. Opublicerat material, övrigt:

Arbetsdokument inför fas två, Innovationsplattform Norrby, maj 2015. Innovationsplattform Norrby, projektansökan 2013-04-22. Informell intervju med Kerstin Elias, SP Sveriges Tekniska Forskningsinstitut, biträdande projektledare för innovationsplattform Norrby, maj 2015. MISTRA Urban Futures, Följeforskning av Vinnovas innovationsplattformar för hållbar stadsutveckling, 2013-2015. Pågående arbete. http://www.mistraurbanfutures.org/sv/node/312 SLU/NSHU, tidigare Myndigheten för nätverk och samarbete inom högre utbildning, Stöd för att skriva lärandemål på kursnivå http://kursutveckling.se/dok/nshu_Larandemal_061011.pdf VINNOVA, (2013) Utlysningstext, Utveckling av innovationsplattformar för Hållbara attraktiva städer, Dnr 2013-01033.