Att genomföra utvärdering

– exempel från skolor och kommuner

4

Böcker i serien Verktyg för utvärdering

Att utvärdera skolan

Att organisera utvärdering

Att genomföra utvärdering– exempel från skolor och kommuner

ProduktionsfaktaFörfattare: Johan Dovelius, SIPU UTVÄRDERING

Textbearbetning och layout: Judit LukácsGrafisk form: Turid Gunnarson och Judit LukácsOmslag: Turid GunnarsonIllustrationer: Viera Larsson, Visual CommunicationTryckeri: db grafiska, Örebro, 1999ISBN: 91-89313-38-0

Liber DistributionPublikationstjänst162 89 StockholmTel: 08-690 95 76Fax: 08-690 95 50E-post: skolverket.ldi@liber.seBeställningsnummer: 99:458

Beställningsadress

5

SAMMANFATTNINGI den här skriften ges sju exempel på utvärderingar. Detre första exemplen har ett kommunalt perspektiv, defyra följande ett skolperspektiv. Varje exempel samman-fattas enligt en gemensam strukturer, så att läsarenlättare ska kunna orientera sig bland exemplen.

Exemplen är till största delen fiktiva men bygger påverkliga utvärderingar. De är inte tänkta att vara förebil-der utan bilder ur verkligheten från vilka idéer ochuppslag kan hämtas. Varje exempel kommenterasunder rubriken Att fundera på, där också problem ochtänkbara alternativ berörs.

Att genomförautvärdering

– exempel från skolor och kommuner

ÄMNESORDSkola, utvärdering, utvärderingsplanering, utvärderings-process, grundskola, gymnasieskola, datainsamlings-metoder.

6

Innehåll

Förord 7

Några utgångspunkter 10

Elevinflytande 15

Skolor som utvärderar varandra 23

Utvärdering av seminarieserie 28

Elevinflytande i årskurs 7–9 35

Utvärdering av undervisningsformer 42

Ett projektarbete om Drömsamhället 48

Utvärdering av ett enskilt moment .i undervisningen 56

Att läsa vidare 61

7

Förord

Denna skrift riktar sig till alla som ansvarar för ellerarbetar med av utvärdering av skolan. Den är skri-ven för politiker och tjänstemän i den kommunalaförvaltningen samt för skolledare och lärare i skolor-na.

I skriften ges sju exempel på utvärderingar. Detre första exemplen har ett kommunalt perspektiv, defyra följande ett skolperspektiv. Varje exempel sam-manfattas enligt en gemensam struktur, så att läsarenlätt ska kunna orientera sig bland exemplen.

Exemplen är till största delen fiktiva men byggerpå verkliga utvärderingar. De är inte tänkta att varaförebilder utan bilder ur verkligheten från vilka idéeroch uppslag kan hämtas. Varje exempel kommenterasunder rubriken Att fundera på, där också problemoch tänkbara alternativ berörs.

Den kommunala organisationen varierar stortmellan olika kommuner, till exempel de nämndersom arbetar under kommunstyrelsen. Vi har för en-kelhetens skull valt att ge dessa nämnder samma be-teckning: Barn- och ungdomsnämnden med ansvarför förskola, grundskola och fritidsverksamhet, Gym-nasienämnden med ansvar för gymnasieskolan ochKomvux. I denna skrift kallas den del av förvalt-ningen som arbetar med skolfrågor genomgående förnämndkansliet.

I skolan arbetar olika personalkategorier. Blanddem med rent pedagogiska uppgifter finns bland an-dra lärare, förskollärare och fritidspedagoger. Vi harvalt att genomgående skriva lärare och ibland perso-nalen. All personal med pedagogiska uppgifter räk-nas alltså in i dessa kategorier.

De som har chefsställning på skolorna har olikatitlar på olika skolor. Vi har valt att använda den ge-mensamma beteckningen skolledare eller rektor. Lä-saren får själv översätta dessa beteckningar till debegrepp som används i den egna kommunen eller påden egna skolan.

I arbetet med skriften har en referensgrupp bidra-git med erfarenheter, material och synpunkter. Dennagrupp har bestått av Mats Andersson, lärare i historiaoch samhällskunskap på Kärrtorps gymnasium, Har-ry Arvidsson, kommunal skolinspektör i Stockholm,Monica Boye-Møller, förvaltningschef i Järfälla kom-mun, Rolf Englund, programansvarig grundskolan,Järfälla kommun, Sven Faugert, konsult och utbildare,Sipu Utvärdering, Elisabeth Fredell, förskolechef iVärmdö kommun, Hans Hamber, konsult och utbilda-re i skolfrågor, Gunnel Ohlsson, rektor, Galaxskolan iMärsta, Björn Sandström, utbildningschef för rektors-utbildningen i sydöstra regionen, Per Settergren, kom-munal skolinspektör i Stockholm samt Kjell Åström, tfrektor, Fjällenskolan i Järfälla.

Författaren och Skolverket vill rikta ett varmt tacktill er alla!

Stockholm i maj1999

Kerstin Mattsson Jan-Anders Hedenquist

Skolverket Skolverket

8

FörfattarenJohan Dovelius är konsult och utbildare i SIPU UTVÄR-DERING, ett företag som genomför utvärderingar ochger råd och utbildning i utvärdering. Verksamhets-området är framför allt inom offentlig sektor. Särskiltfokuseras hur utvärdering kan läggas upp för att stöd-ja lärande och utveckling av organisationer och verk-samheter.

Johan Dovelius arbetar också med undervisningoch forskning vid pedagogiska institutionen, Stock-holms universitet.

9

10

Några utgångspunkter

Sedan 1991 är en stor del av ansvaret för skolani Sverige decentraliserat till kommuner ochskolor. Statens styrning sker genom mål- och

resultatstyrning, till skillnad från tidigare mål- ochregelstyrning. Målstyrningen fanns också tidigaremen har ökat i betydelse.

Starkt förenklat kan styrningen av skolan beskrivasså här. Regering och riksdag antar nationella mål ochriktlinjer för skolverksamheten och beslutar om lagaroch förordningar – ramarna för skolverksamheten.

Landets kommuner och skolor har ansvar för attskolverksamheten bedrivs enligt med gällande be-stämmelser och att de nationella målen nås. Kommu-nerna och skolorna har också ansvar för att skolverk-samheten utvärderas. Syftet med utvärdering i ett mål-och resultatstyrt system är i första hand att bedömaom målen uppfyllts och att ge underlag för utveckling.

Skolverkets uppgift är att aktivt verka för att denationella målen nås. Skolverket bedriver och stödjerdärför uppföljning, utvärdering, utveckling, forsk-ning och tillsyn. Skolverket utarbetar också styrdoku-ment av olika slag – kursplaner, betygskriterier ochliknande. För den som vill veta mer diskuteras dessabegrepp mer utförligt i Skolverkets skrift Att utvär-dera skolan (1999).

DEFINITION AVUTVÄRDERINGUtvärdering är i dag ett vanligt ord i all offentligverksamhet. Skolan är inget undantag. Vad somegentligen menas med att utvärdera kan variera från

sammanhang till sammanhang, varför det alltid ärviktigt att klargöra vad begreppet avser. I den härskriften tillämpas Skolverkets definition:

Att utvärdera skolverksamheten innebär att gran-

ska och värdera särskilt utvalda delar gentemot

överenskomna kriterier.

Med särskilt utvalda delar menas att en utvärderingaldrig innebär en fullständig granskning och värde-ring av hela skolverksamheten utan är avgränsad tillvissa delar av den. Uttrycket vill också betona att deti allmänhet föreligger särskilda skäl till att just dessadelar av skolverksamheten har valts ut för utvärde-ring. Med granska och värdera menas att utvärderingeninte bara ska beskriva de utvalda delarna av skol-verksamheten utan också utgöra en kritisk betraktel-se byggd på systematiskt insamlat material. Gransk-ningen och värderingen ska göras utifrån den aktuel-la utvärderingens speciella utgångspunkter, syfte, av-gränsningar och bedömningskriterier.

Med överenskomna kriterier menas att de uppgiftersom samlas in och värderas alltid samlas in och vär-deras i förhållande till i förväg överenskomna be-dömningskriterier, till exempel mål i läroplaner,kursplaner, skolplaner, arbetsplaner. Exakt vilka be-dömningskriterier som ska gälla för en viss utvärde-ring måste parterna (beställare och utförare) kommaöverens om från fall till fall. Kriterierna ska ocksåvara öppet redovisade så att den som tar del av ettresultat kan se på vilka grunder värderingen hargjorts.

11

UTVÄRDERINGOCH UPPFÖLJNINGUtvärdering och uppföljning är två besläktade be-grepp som ibland används som om de vore synony-mer. Skolverket särskiljer begreppen så här:Uppföljning:• innebär regelbunden och fortlöpande insamling

av information,• informationen är mest kvantitativ (sifferuppgifter,

nyckeltal och liknande),• innebär i regel totalundersökningar,• vill ge en samlad, översiktlig bild av skolsektorn,• vill ge saklig, värderingsfri, partipolitiskt neutral

information.Utvärdering:• innebär en granskning och värdering av särskilt

utvalda områden,• sker vid särskilda tillfällen, oftast på uppdrag av

någon.• syftar till en djupare analys/förståelse (än vad

uppföljning gör).Den viktigaste skillnaden mellan uppföljning och utvär-dering är att utvärderingen innehåller ett värderande in-slag. Insamlat material värderas mot kriterier av någotslag. En annan viktig skillnad är att utvärdering är av-gränsad till särskilt utvalda områden till skillnad frånuppföljning som saknar denna tydliga avgränsning.

SYFTENMED UTVÄRDERINGARUtvärderingar kan ha olika syften. Vilket syfte enenskild utvärdering har hänger nära samman medvad resultatet ska användas till.Utvärdering av skolverksamhet kan ha ett eller fleraav följande syften:• Att bedöma verksamheten – till exempel målupp-

fyllelsen.• Att ge underlag för beslut – till exempel om en

verksamhet fungerar, om den ska fortsätta, läggasned, ändra inriktning, få förändrade resurser ellerliknande.

• Att skapa underlag för lärande och utveckling –till exempel att bidra till insikt i hur en verksam-het fungerar eller hur den kan göras effektivare.

Utvärderingarna i denna skrift ger exempel på samt-liga dessa tre syften.

FRÅGETYPEREn utvärdering innehåller olika slags frågor på olikanivåer, vilket ibland kan verka förvirrande. I den härskriften förekommer följande typer av frågor:

Utvärderingens huvudfrågor. Det är sådana frågorsom utvärderingen syftar till att besvara. Huvudfrå-gorna måste vara tillräckligt tydliga och avgränsadeför att de verkligen ska kunna besvaras genom utvär-deringen. Huvudfrågorna påverkar hur utvärdering-en ska läggas upp och genomföras. Det vi här kallarhuvudfrågor kallas ibland utvärderingsfrågor, fråge-

12

ställningar eller problemställningar.Intervju- och enkätfrågor är frågor som ställs under

den praktiska datainsamlingen. Också här finns detolika typer av frågor, exempelvis flervalsfrågor elleröppna frågor.

Sakfrågor. Även det man tänker sig att utvärderakallas bland för frågor: ”Den här frågan måste vi ut-värdera.” eller ”Frågan om elevinflytande diskutera-des.”

UPPLÄGGNING

Utvärderingar kan – och bör – givetvis läggas upppå olika sätt beroende på utgångspunkter, syfte, re-surser och ramar. En allmän struktur (gång) för ge-nomförandet av en utvärdering skulle dock kunnavara det vi kallar Trappan.

Trappan visar olika faser (steg) i utvärderingsar-betet. Genom att successivt gå uppför de olika trapp-

13

Fördelar Nackdelar

Intern utvärderare

Extern utvärderare

MiljökunskapUppbyggd utvärderingskompetensfinns kvarHar lättare att tolka resultatet

HemmablindhetKan vara partiskUtvärderingen tar tid från annanverksamhet

”Friska ögon”OpartiskHar andra erfarenheter

DyrVet lite om de lokala sammanhangenRisk att de berörda bortförklararresultatet

stegen och systematiskt besvara frågorna, kommer deval man ställs inför i utvärderingsarbetet i rätt ord-ning. Observera att frågorna alltså bör besvaras redanunder planeringen av utvärderingen.

Det första steget Varför? handlar om att man pre-ciserar utvärderingens syfte och vad resultatet skaanvändas till.

Det andra steget Vad? innebär att man klargörutvärderingens objekt det vill säga vad som ska ut-värderas, vad vill man få kunskap om genom attange vilka huvudfrågor utvärderingen ska ge svar påoch vilka kriterier ska resultatet värderas mot.

En utvärdering kan beröra många människor. Detär därför viktigt att man under det tredje steget Vil-ka? klargör vilka som kan vara berörda eller intresse-rade av en viss utvärdering, vilka som ska medverkadet vill säga bidra med faktaunderlag och synpunkter

samt vilka som ska genomföra utvärderingen.Det fjärde steget Hur? handlar om att välja upp-

läggning och planera genomförandet: när saker ochting ska ske (tidplan), vilken typ av data som behövsför att kunna besvara huvudfrågorna, lämpliga data-insamlingsmetoder, urval samt hur data ska doku-menteras, bearbetas och analyseras.

I det femte och sista steget Resultat? besvaras frå-gor om hur resultatet ska värderas (slutsatser), spridassamt hur man ska tillvarata och använda de lärdo-mar utvärderingen ger.

INTERNA ELLER EXTERNAUTVÄRDERAREEn utvärdering kan göras internt, det vill säga avnågon eller några på den egna förvaltningen eller

14

ATT VÄLJADATAINSAMLINGSMETODDet finns många metoder man kan använda för attsamla in data i en utvärdering. I den här skriften gervi exempel på:

Metoder Utvärdering nr

Frågeformulär 1, 3, 4, 5, 6, 7

Intervjuer 2, 3

Observationer 2, 6

Loggböcker 6

Studiebesök 2

Dokumentanalyser 1, 3

Ingen metod är i sig bättre eller sämre än någon an-nan. Däremot kan olika metoder vara mer ellermindre lämpliga i olika sammanhang. Det som börstyra valet av metod är i första hand syftet med denaktuella utvärderingen och de huvudfrågor utvärde-ringen förväntas ge svar på det vill säga. vilken typav data som behöver samlas in.

skolan. Utvärderingen kan också göras externt, detvill säga av någon utanför organisationen. Vad somlämpar sig bäst måste avgöras från fall till fall, då detkan finnas för- och nackdelar i båda fallen. Följandeöversikt får illustrera:Ett sätt att uppväga en del av nackdelarna och vinnaen del av fördelarna är att kombinera olika möjlighe-ter, till exempel:• extern utvärderare med referensgrupp,• extern metodkunnig rådgivare med interna utvär-

derare,• externt stöd i vissa faser av en utvärdering,• kollegial utvärdering, det vill säga att utvärde-

ringen genomförs av kollegor, som kanske kan severksamheten med ”friska ögon” och samtidigtvara kunniga om de lokala sammanhangen.

Kollegial utvärdering (av engelskans peer review sombetydergranskning av jämlikar) innebär att kollegor,personer på samma nivå, granskar och värderar var-andras verksamhet. En fördel med denna typ av ut-värdering, som ofta framhålls, är att personer på sam-ma nivå ofta ser saker och ting på samma sätt. Vil-ket inte alltid är säkert, eftersom den granskande ochde granskade kan ha olika ideologi, pedagogiskgrundsyn och liknande.

15

Det här exemplet beskriver hur en kommungick tillväga när den utvärderade elev-inflytandet i kommunens grundskolor.

Ett prioriterat områdeI kommunens skolplan anges elevinflytande som ettav flera prioriterade områden. Ett av målen för elev-inflytandet lyder:

Minst 70 procent av eleverna ska anse att de har

ett reellt inflytande i skolan.

Barn- och ungdomsnämnden beslutar att utvärderadetta mål. Syftet med utvärderingen är att bedömamåluppfyllelsen och att få fram underlag för eventu-ella åtgärder. En uttalad ambition är att målet i fram-

tiden ska utvärderas löpande så att man kan följaeventuella förändringar i måluppfyllelse. Ett standar-diserat frågeformulär, som ska kunna användas iframtida utvärderingsarbete, ska därför utarbetas.

Den aktuella utvärderingen är en del av kommu-nens kvalitetsbedömning av skolans verksamhet. Enkortfattad beskrivning av utvärderingsresultatet skadärför ingå i kommunens årliga kvalitetsredovisning.

Barn- och ungdomsnämnden ger nämndkansliet iuppdrag att genomföra utvärderingen. Som projekt-ledare och huvudsaklig genomförare utses en utreda-re på kommunens organisations- och utvecklingsen-het, där det finns stor kompetens i att genomföra sta-tistiska undersökningar. Till projektledaren knyts enreferensgrupp som består av nämndkansliets utveck-lingsledare för grundskolan och tre skolledare.

Referensgruppen diskuterar bland annat hur ut-värderingen ska förankras. Framför allt skolledarnapåpekar att en del lärare kan uppfatta en utvärderingom elevinflytande som hotfull, särskilt om det sak-nas ordentlig information om hur resultatet ska an-vändas. En av skolledarna åtar sig därför att formule-ra ett brev till samtliga rektorer i kommunen därutvärderingens syfte och tänkta användning utförligtska beskrivas. För att inte skapa oro på skolorna utlo-vas att det i resultatredovisningen inte ska gå attidentifiera enskilda skolor eller klasser. Skolledarnauppmanas också att på lämpligt sätt föra denna infor-mation vidare till samtliga lärare.

Vad är elevinflytande?Syftet med utvärderingen är alltså att bedöma i vil-

Elevinflytande

16

ken utsträckning skolplanens mål för elevinflytandehar uppnåtts.

För att kunna konstruera ett frågeformulär behö-ver begreppet elevinflytande först preciseras och kon-kretiseras. Vad menas egentligen med elevinflytan-de? Vilka uttryck kan detta inflytande ta sig? Vadkan eleverna ha inflytande över? Vad har de rätt attha inflytande över? Vad säger läroplanen om elevin-flytande? Och, inte minst, vad är viktigt för atteleverna ska uppleva att de har ett reellt inflytande?

Projektledaren ägnar relativt mycket tid åt dennafas. Hon inleder arbetet med att orientera sig i olikaskrifter. Hon söker också användbara exempel frånSkolverkets olika utvärderingar, där bland annatelevinflytandet tidigare har studerats. Hon går ocksåigenom läroplanerna och gör följande noteringar:

Elevernas inflytande kan gälla i princip varje frå-ga som rör skolan, då varje sådan fråga också röreleverna. Det kan gälla arbetsmiljön, skolans organi-sation och arbetet i skolan – dess former och inne-håll. Inflytande kan vara formellt, genom deltagandei formella beslutsprocesser och/eller informellt, ge-nom dialog och möjlighet till påverkan i det löpandearbetet.

Elevinflytande innebär inte att eleverna ensammaska bestämma i skolan. Skolan är en medborgerligangelägenhet i samhället och står under demokratiskkontroll och styrning. Lärarna har ett professionelltansvar. Man kan därför säga att verksamheten i sko-lan utförs i mötet mellan olika intressen, där elever-nas intresse är ett. Varje beslut är en avvägning mel-lan dessa olika perspektiv och intressen.

Begreppet elevinflytande definieras inte i styrdo-kumenten och som man kan förvänta av ett målstyrtskolväsende sägs heller ingenting om hur elevernasinflytande ska utformas.

Vad elevers inflytande och ansvar betyder och hurdet ska organiseras måste därför diskuteras och ut-vecklas på varje skola, i varje klassrum och i varjerelation mellan lärare, elever, skolledare och föräld-rar.

I de nuvarande läroplanerna för det obligatoriskaskolväsendet och de frivilliga skolformerna (Lpo 94och Lpf 94) har frågan om elevinflytande en framträ-dande plats. I Lpo 94 står det till exempel:

”Undervisningen skall bedrivas i demokratiska ar-

betsformer och förbereda eleverna för att aktivt

deltaga i samhällslivet. Den skall utveckla deras

förmåga att ta ett personligt ansvar. Genom att

delta i planering och utvärdering av den dagliga

undervisningen och få välja kurser, ämnen, teman

och aktiviteter, kan eleverna utveckla sin förmåga

att utöva inflytande och ta ansvar.”

I Lpf 94 tydliggörs skolans ansvar för elevernas infly-tande:

”Elevernas möjligheter att utöva inflytande på un-

dervisningen och att ta ansvar för sina studieresul-

tat förutsätter att skolan klargör utbildningens mål,

innehåll och arbetsformer, liksom vilka rättigheter

och skyldigheter eleverna har.”

Vidare anges i grundskoleförordningen att varje sko-las arbetsplan ska precisera utformningen av elevin-

17

flytande i varje klass eller undervisningsgrupp. Barnoch ungas rätt till inflytande tas också upp i FN:sbarnkonvention där bland annat följande står att läsa:

1. Konventionsstaterna skall tillförsäkra det barn

som är i stånd att bilda egna åsikter rätten att fritt

uttrycka dessa i alla frågor som rör barnet, varvid

barnets åsikter skall tillmätas betydelse i förhållan-

de till barnets ålder och mognad.

(FN:s konvention om barns rätt, §12.

En förkortad version av konventionen finns på

www.rb.se/konvention/kortversion.htm.)

Med hjälp av denna litteraturgenomgång kan projekt-ledaren nu formulera ett antal frågor om elevinfly-tande. Dessa diskuteras i referensgruppen. En avskolledarna i referensgruppen ordnar ett möte mellanprojektledaren och en grupp elever som hon kan dis-

kutera vidare med. Under detta möte får eleverna själ-va beskriva vad de uppfattar att de har inflytandeöver, vad de skulle vilja ha inflytande över och vadsom kännetecknar ett bra elevinflytande. Projektleda-ren prövar också en del av de idéer som diskuterats ireferensgruppen på eleverna.

Mötet med eleverna ger en god inblick i hureleverna ser på sitt eget inflytande. Projektledarenfår också många konkreta uppslag till hur man skul-le kunna ringa in och avgränsa begreppet elevinfly-tande.

TankekartaMed hjälp av detta samtal kan projektledaren rita uppett tankekarta, där begreppet elevinflytande precise-ras och konkretiseras. (Här visas endast en del avdenna karta.)

18

När denna tankekarta är skissad utarbetassjälva frågeformuläret.Elevinflytandet delas in i olika områden.

För varje område ska eleverna sedan, på en fyrgradigskala, få bedöma hur mycket de själva är med ochpåverkar. Här ett utdrag ur frågeformuläret:

Område Mina möjligheter att påverka är:

inga

Arbetet med de olika ämnena

Ordningsreglerna i min klass

Provens fördelning över terminen

Skolans utemiljö

vet ejstoraganska storaganska små

Sammanlagt formuleras 20 sådana områden. Elever-na ska också ange de fyra områden som de anservara viktigast att ha inflytande över. Frågeformuläretinnehåller även några öppna frågor, där elevernamed egna ord ska beskriva hur de ser på sitt inflytan-de, vad de särskilt vill ha inflytande över och eventu-ella förslag till åtgärder.

Frågeformuläret provas på några elever. Det visarsig då att några områden var svåra att ta ställning tillvarför vissa omformuleringar måste göras.

Hela klasser väljs ut

Grundskolorna i kommunen har totalt ca 6 000 elev-er. För att få ett rimligt urval diskuterar referensgrup-pen olika urvalsprinciper. Gruppen beslutar sig föratt välja ut hela klasser. Gruppen anser också att detär viktigt att olika åldersgrupper är representerade iurvalet och väljer därför att ta ut lika många eleverfrån vardera år 3, 6 och 9. Urvalet görs så att 200elever från varje år ingår. Det innebär att något fler

19

klasser måste väljas ut för år 3, då en del skolor haråldersblandade klasser. 200 elever från varje år börkunna ge goda möjligheter att göra statistiska jämfö-relser mellan årskurserna.

PROJEKTLEDARENDELTAR AKTIVTProjektledaren deltar själv i en stor del av genomför-andet av undersökningen. Hon är med i klasserna,berättar om uppläggningen och svarar på frågor. Ettskäl till att projektledaren själv är närvarande är attskapa intresse för undersökningen, dels för att få enhög svarsfrekvens, dels för att öka trycket på att resul-tatet verkligen kommer att användas. Eleverna ärmycket engagerade och samtidigt undrande över omresultatet kommer att tas på allvar och användas.Projektledaren berättar varför utvärderingen görs ochhur den kommer att användas.

På några skolor tar skolledaren eller en utveck-lingsansvarig person över genomförandet i klasserna.Avsikten är att involvera skolans personal och skapastörre legitimitet och intresse för utvärderingen.

När undersökningen är avslutad har man fått insvar från samtliga utvalda klasser och skolor. Någonbortfallsanalys behövs därför inte i detta fall.

Bearbetning och analys med dataprogramStatistisk bearbetning görs med hjälp avstatistikprogram. (Det finns många olikaprogram som kan hantera statistiskt mate-

rial och möjliggöra statistiska analyser. Det är också

relativt enkelt att göra överskådliga presentationermed hjälp av olika diagram. Statview och SPSS är tvåexempel på kraftfulla statistikprogram. Excel kanockså användas för enklare bearbetningar.) Svarenmatas in. Svarsfördelningen för var och en av de 20områdena tas fram, både för urvalet som helhet ochför de enskilda årskurserna. Därefter görs enklarestatistiska analyser.

Till exempel görs en jämförelse mellan de områ-den som eleverna tycker är viktigast – de fick angede fyra viktigaste – och hur de uppfattar sitt inflytan-de i dag när det gäller just dessa områden. Varje på-stående får då en position på två axlar. Så här kandet då se ut (exemplet är fiktivt):

Förklaringar:1. Arbetet med de olika ämnena2. Ordningsreglerna i min klass3. Provens fördelning över terminen4. Skolans utemiljö

20

Som framgår av exemplet så anser eleverna att sko-lans utemiljö och provens fördelning över terminen ärviktiga områden att ha inflytande över men att detendast är det senare de har relativt stort inflytandeöver. Mindre viktigt anser de det vara att ha inflytan-de över arbetet med de olika ämnena och ordningsregler-na i den egna klassen. Det förra anser de sig ha litet in-flytande över, det senare relativt stort inflytandeöver.

Analysen och resultatpresentationen görs dels förhela urvalet (totalnivå), dels för urvalen från de olikaårskurserna.

Projektledaren presenterar resultaten av den sta-tistiska bearbetningen i en skriftlig rapport. Svarenpå de öppna frågorna skrivs ut ordagrant. Resultatetdiskuteras därefter i referensgruppen. Genom att jäm-föra resultatet med skolplanens mål drar gruppenslutsatsen att enligt elevernas bedömning uppnås intemålet i skolplanen fullt ut. Nämndkansliets utveck-lingsledare skriver ett följebrev till rapporten, därdessa slutsatser redovisas.

Viktigt för framtidenResultatet av hela undersökningen kan som synes bliett viktigt underlag för bedömning av vad som börprioriteras i det fortsatt arbetet med att stärka elevin-flytandet i kommunens skolor. Rimligen bör områ-den som eleverna uppfattar som viktiga att ha infly-tande över men där de i dag anser inflytandet är lågtfå högsta prioritet i det fortsatta arbetet. Till det sombör ges lägst prioritet hör följaktligen områden someleverna uppfattar att de redan har stort inflytande

över och som de samtidigt betraktar som mindre vik-tiga att ha inflytande över.

Resultatet av utvärderingen diskuteras i Barn-och ungdomsnämnden. Tjänstemännen på nämnd-kansliet får i uppdrag att utifrån diskussionen utfor-ma en plan för åtgärder. Till nästa möte med Barn-och ungdomsnämnden presenterar tjänstemännenföljande åtgärder:• Rektor på varje skola ska presentera resultatet för

lärare och elever.• Rektorerna kallas till ett seminarium för att dis-

kutera resultatet, slutsatser och lämpliga åtgärder.• Rektorerna får i uppdrag att utarbeta åtgärdspla-

ner för att stärka elevinflytandet på sina respektiveskolor.

• Uppföljningar ska göras varje år för att spåraeventuella förändringar.

Utvärderingsresultatet sprids till alla skolor. Det dis-kuteras bland annat under studiedagar på några avskolorna, en del lärare diskuterar också resultatetmed sina elever. På en skola samlas alla elever i au-lan där resultatet presenteras. De uppmanas därefteratt diskutera resultatet i sina respektive klasser. I vis-sa klasser blir det mycket livliga diskussioner. Någraskolor beslutar också att använda formuläret igen isamtliga klasser på skolan.

Frågeformuläret justeras något inför kommandeanvändningar. Därefter läggs det ut på kommunenshemsida, som inspiration och underlag för skolornasegna utvärderingar. Det blir därmed också tillgäng-ligt för andra kommuner.

21

Skillnader mellan upplevtoch faktiskt inflytandeUndersökningen är inriktad på att fånga elevernasupplevelser av sitt inflytande. Också målet i skolpla-nen är formulerat så att det är elevernas upplevelserav inflytande som står i fokus. Inte desto mindre kanman fråga sig vad elevernas upplevelser av sitt infly-tande egentligen säger om deras faktiska inflytande?

Kanske är deras upplevda inflytande mindre änderas faktiska inflytande? Kanske är det i själva ver-ket så att lärarna lyssnar mycket mer på eleverna ände tror? Eller kanske det är precis tvärtom – atteleverna upplever att de har ett större inflytande ände i själva verket har?

Det är således viktigt att hålla i minnet att dengjorda undersökningen endast mäter elevernas upple-velser av inflytande och att man från dessa resultatinte utan vidare kan dra några slutsatser om hur detförhåller sig med det faktiska elevinflytandet i denaktuella kommunens skolor.

Fundera över hur man skulle lagt upp undersök-ningen om det hade varit eleverna faktiska inflytandeman hade velat utvärdera.

Om svarsfrekvensenI just den här undersökningen var svarsfrekvensen

100 procent. Den här typen av elevundersökningarkan emellertid resultera i mycket låg svarsfrekvens,vilket till exempel kan bero på att elever känner bris-tande tilltro till undersökningar av det här slaget ellerpå lärarnas allmänna vilja att öka elevernas inflytan-de. Det sätt undersökningen presenteras på är såle-des mycket viktigt.

I den aktuella undersökningen bör man ocksåfundera över om svarsfrekvensen kan ha påverkatsav att det i vissa klasser var projektledaren själv sompresenterade undersökningen medan det i andraklasser var skolledaren eller någon utvecklingsansva-rig person som gjorde det.

Det kan också finnas en allmän skepsis blandeleverna att deras svar inte tas på allvar. Det är därförviktigt att vid presentationen verkligen kunna lämnagarantier för att resultatet kommer att tas på allvar.Om eleverna uppfattar att det arbete de lägger nedpå frågeformuläret inte kommer till nytta så påverkardet inte bara kvaliteten på deras svar utan kan ocksåskapa dåliga förutsättningar för andra framtida un-dersökningar av liknande slag. Sedan är det natur-ligtvis viktigt att resultatet verkligen används, så attlöftena om användning inte blir till tomma ord.

Ju tydligare mål, desto lättare att utvärderaEn slutsats man ofta kan dra av den här typen av ut-värderingar är att målet i skolplanen gentemot vilketman värderar resultatet inte var så precist och kon-kret formulerat som man skulle ha kunnat önska sig.Den här typen av undersökningar kan därför bidratill att skolplanens mål med åren blir allt tydligare

ATTFUNDERAÖVER

22

formulerade. I det aktuella fallet skulle det kanskeha varit lättare att värdera resultatet om målet tillexempel hade varit formulerat så här:

70 procent av eleverna ska anse sig ha stora möj-

ligheter att påverka inom vart och ett av de fem

områden som de själva anser vara viktiga att kunna

påverka.

SAMMAN-FATTNING

VARFÖR?BakgrundBeslut om utvärdering av mål. Ska utgöra en första ien serie av kommande utvärderingar. Ingår i kom-munens kvalitetsbedömning av skolans verksamhet.Motiv/syfteBedömning av måluppfyllelse (kvantitativt mål iskolplanen).AnvändningUnderlag för att följa förändringar. Underlag för be-dömning av behov av eventuella åtgärder. Underlagför kommunens kvalitetsredovisning.VA D?UtvärderingsobjektElevers upplevelser av sitt eget inflytande.HuvudfrågorHur upplever eleverna sitt inflytande inom ett antalområden.

BedömningskriterierKvantitativt mål i skolplanen.VILKA?IntressenterElever, föräldrar, lärare, skolledare, tjänstemän, poli-tiker.MedverkandeProjektledare, skolledare, eleverna i år 3, 6 och 9.GenomförareUtredare från kommunens organisations- och utveck-lingsenhet.HUR?DatainsamlingsmetodSkriftligt frågeformulär med fasta svarsalternativ.UrvalKlusterurval (hela klasser i år 3, 6 och 9).Metod för analysStatistisk bearbetning och analys (med hjälp av dator-program).RESULTAT?VärderingResultatet jämförs med skolplanens mål.SpridningBarn- och ungdomsnämnden. Kommunens skolor.Elever.Frågeformuläret läggs ut på kommunens hemsidaoch blir tillgängligt för andra.LärandeÅtgärdsområden uppmärksammas. Plan för åtgärder.Frågeformulär som kan användas i framtida uppfölj-ningar. Några skolor använder frågeformuläret föregna kartläggningar.

23

Även det här exemplet handlar om att utvär-dera elevinflytandet i en kommun, men här är både utgångspunkter och uppläggning

lite annorlunda.

Både fallstudier och metodutvecklingTjänstemännen på nämndkansliet i en kommun harlöpande kontakter med rektorerna i kommunen. Enav dem lägger fram en idé. Hon har haft kontaktmed ett par skolledare i grannkommunerna och devill utvärdera varandras skolor. De vill få sin egenverksamhet utvärderad av en utomstående betraktareför att få andras perspektiv på den egna verksamhe-ten. De vill också lära av hur andra skolor bedriversin verksamhet. De vill dessutom utveckla sitt eget

kunnande i utvärdering, bland annat för att kunnauppfylla läroplanens krav på utvärdering. De tre skol-ledare som har diskuterat idén är alla skolledare förskolor med förskoleklasser och år 1–6. Skolledarnahar dessutom förankrat idén hos de fackliga ombu-den på skolorna.

Politikerna och tjänstemännen i kommunen har åsin sida länge diskuterat hur skolornas arbete medelevinflytande skulle kunna utvärderas och utveck-las. Tjänstemännen diskuterar rektorns idé med Barn-och ungdomsnämndens ordförande och utarbetar,efter att ha haft kontakter med tjänstemän i grann-kommunerna, ett förslag.

Barn- och ungdomsnämnden antar förslaget.Nämnden ser detta både som en fallstudie av hur frå-gor om elevinflytande hanteras och som ett metodut-vecklingsprojekt som kan stödja kommunens ochskolornas arbete med utvärdering och kvalitetsredo-visning. Fallstudien kan bilda underlag för en utvär-dering av skolplanens mål för elevinflytande.

Förslaget innebär att kommunen i samarbetemed två andra kommuner ska stödja en korsvis ut-värdering av de tre skolorna. Pengar till vikariekost-nader beviljas. Villkoret är att utvärderingarna foku-seras på hur skolorna arbetar med elevinflytande ochatt de i sina utvärderingar utgår från de mål för elev-inflytande som finns formulerade i respektive skolasarbetsplan. Ett annat villkor är att utvärderingarnadokumenteras ordentligt och att skolledarna rappor-terar om utvärderingsarbetet på nästa skolledarkonfe-rens som kommunen anordnar.

Skolor som utvärderar varandra

24

Fyra huvudfrågor

Skolchefen bjuder in representanter för de andrakommunerna, de tre skolledarna, några lärare somvisat sig vara intresserade av utvärderingsfrågor samtnågra tjänstemän på nämndkansliet till ett möte. Till-sammans preciserar de utvärderingens inriktning ochuppläggning.

Gruppen börjar med att gå igenom de tre skolor-nas arbetsplaner och formuleringarna där om elevin-flytande. De studerar också kommunernas skolpla-ner och de skrivningar som finns om elevinflytande.

Sedan gör man en lista över de svårigheter deupplever eller uppfattar att lärarna på skolorna upp-lever i arbetet med att stärka elevinflytandet. Skälettill denna fokusering på svårigheter är att genom ut-värderingen försöka få idéer och uppslag till hurman skulle kunna hantera dessa svårigheter. En delsvårigheter är gemensamma, andra upplevs bara avnågra lärare. Sammantaget blir det en ganska långlista.

Skolledarna och lärarna får nu i uppgift att varför sig markera de svårigheter som de uppfattar somviktigast att fokusera utvärderingen på. Markeringar-na räknas ihop och skolchefen konstaterar att fyrasvårigheter framstår som de mest angelägna att kun-na komma till rätta med.

Gruppen preciserar därefter de gemensamma be-dömningsgrunder de ska utvärdera de tre skolornasarbete emot:• De mål för elevinflytande som formuleras i sko-

lornas arbetsplaner.

• De mål för elevinflytande som formuleras i kom-munernas skolplaner.

Därefter formulerar gruppen följande huvudfrågorför utvärderingarna:• Vilka nuvarande arbetssätt ger eleverna störst

möjlighet att ge uttryck och få gehör för sina in-tressen, idéer, synpunkter och önskemål? Enligteleverna? Enligt personalen?

• I vilken utsträckning tillämpas dessa arbetssätt?• Hur arbetar skolan för att öka elevinflytandet (om

den gör det)?• Vilka sätt uppfattas som framgångsrika av elever-

na respektive av personalen?Gruppen beslutar att det är dessa frågor som skolle-darna ska söka svar på när de studerar varandras sko-lor.

UppläggningGruppen går vidare och planerar utvärderingen. Detre skolorna ska utvärdera varandra enligt följandemodell:

25

För datainsamlingen ska mananvända sig av intervjuer ochobservationer enligt ett gemen-

samt utarbetat schema. Gruppen skissar på intervju-frågor och observationsscheman. Dessa fastställs se-dan efter avstämning och telefonkontakter med deandra skolledarna.

På varje skola ska det bildas en utvärderargrupp,bestående av rektor och två lärare. Varje utvärde-ringsgrupp ska besöka de två andra skolorna underminst en hel dag vardera. Under dessa dagar ska deintervjua ett lämpligt urval av personal och eleversamt göra observationer i några utvalda klasser. Deska anteckna intryck, reflektioner och frågor somväcks.

Därefter träffas de tre utvärderingsgrupperna fören gemensam diskussion av erfarenheter och intryckde fått under skolbesöken. De försöker också värderasina intryck utifrån de överenskomna värderingskri-terierna – de mål för elevinflytande som formuleratsi skolplaner och arbetsplaner.

Eftersom de som skolledare och lärare är väl för-trogna med de frågor utvärderingen gäller, kan deutifrån sina iakttagelser också lämna rekommenda-tioner till de besökta skolorna. De diskuterar ocksåvad de kan lära av de andra skolorna, det vill sägavad de blivit inspirerade till att pröva i den egna sko-lan, särskilt sådant som kan överbrygga de svårighe-ter de tidigare diskuterat.

Varje utvärderingsgrupp utarbetar en kort, skrift-lig rapport där de sammanfattar sina erfarenheter ochiakttagelser. Varje skola får därmed tre rapporter: två

från de båda andra skolorna och den de själva utar-betat. En av rapporterna gäller den egna skolan.

Rapporterna sprids till samtliga lärare på skolor-na och ger upphov till livliga pedagogiska diskus-sioner. Diskussionerna leder också till vissa omarbet-ningar av skolornas arbetsplaner. Rektorerna gördessutom sammanfattningar som ska ingå i skolornaskvalitetsredovisningar.

Tre utvärderingar och tre rapporterNämndkansliet i varje kommun får också de tre rap-porterna från kommunernas tre skolor. En av tjänste-männen går särskilt igenom den rapport som gällerskolan i den egna kommunen. Rapporten granskasoch jämförs med skolplanens mål. Tjänstemannengör sedan en sammanfattning och en värdering somdelas ut till ledamöterna i Barn- och ungdomsnämn-den. De tre utvärderingsrapporterna lämnas som bi-lagor.

Under en kommande skolledarkonferens berättarskolledaren om utvärderingen. Hon berättar om hurutvärderingarna lades upp, om vad man kom framtill samt hur skolan använt sig av resultaten. Hon gerockså exempel på hur de andra skolorna använt sinarapporter.

Efter konferensen sprids sammanfattningen ochrapporterna till samtliga skolor i kommunen. De treskolorna fortsätter att samarbeta, bland annat kringfrågor som rör utvärdering.

26

ATTFUNDERAÖVER

Är det känsligt att utvärdera varandra?I det här exemplet är det tre skolor från olika kom-muner som utvärderar varandra. En annan, tänkbarmöjlighet, som kanske skulle vara lättare att adminis-trera, är att skolor inom en och samma kommun ut-värderar varandra. Närheten mellan skolorna skulleockså kunna underlätta ett fortsatt samarbete ochspridning av erfarenheter mellan skolorna.

Om denna uppläggning är möjlig beror givetvispå vilken typ av relationer som finns mellan skolor-na. Om relationerna är goda behöver det dock intevara känsligare att bli utvärderad av en skola i sam-ma kommun än av en skola i en annan kommun.

Räcker en dag för skolbesök?Utvärderingsgrupperna besöker varandras skolorunder en dag. Det är en ganska kort tid för att bådegöra intervjuer och observationer. Om det ska räckamed en dag krävs noggrann planering – till exempelatt alla intervjuer och observationer är schemalagdai förväg. Samtidigt kan det vara svårt att vara bortafrån den egna skolan under längre perioder. För att fåytterligare information kan besöken därför kanskekompletteras i efterhand antingen med några nya,kortare besök eller genom telefonkontakter. Besökenskulle självfallet också kunna kompletteras medskriftliga frågeformulär.

Gemensamma eller egna mallar?I vårt exempel tog den gemensamma planeringsgrup-pen fram förslag till intervjuguide och observations-schema. Avsikten var att alla tre utvärderingsgrup-perna skulle använda gemensamma mallar, vilket isin tur skulle underlätta utbytet av erfarenheter ochiakttagelser.

Samtidigt kan det ibland vara bra att inte ha ge-mensamma mallar, eftersom varje utvärdering måstekunna anpassas till den aktuella skolans arbetsplanoch förutsättningar. Med alltför standardiserade mal-lar riskerar man att förbise det unika för varje skola.Här måste frågan avgöras från fall till fall.

27

SAMMAN-FATTNING

VARFÖR?BakgrundSkolledare vill få den egna verksamheten utvärde-rad, lära av andra skolor och utveckla kunnandet i ut-värdering. Inom kommunen pågår diskussioner omhur elevinflytandet kan utvärderas och utvecklas .Motiv/syfteFå kunskap om hur mål kan uppnås och olika svå-righeter hanteras. Få underlag för att utveckla elevin-flytandet.AnvändningUnderlag för lärande i skolorna. Underlag för kom-munen årliga kvalitetsredovisningVAD?UtvärderingsobjektElevinflytandet i tre skolor.HuvudfrågorArbetssätt i förhållande till mål.BedömningskriterierMål i arbets- och skolplaner.VILKA?IntressenterSkolledare, lärare, elever, tjänstemän, politiker.MedverkandeLärare och elever.GenomförareSkolledare, lärare.

HUR?DatainsamlingsmetodSkolbesök- intervjuer och observationer.UrvalRepresentativt, slumpmässigt.Metod för analysGemensamma analyser och jämförelser av iakttagel-ser och erfarenheter.RESULTAT?VärderingElevinflytandet vid de olika skolorna värderas i för-hållande till arbetsplaner och skolplaner.SpridningAlla lärare på de tre skolorna. Barn- och ungdoms-nämnden. Muntligt till alla skolledare, skriftligt tillalla skolor. Ingår i kvalitetsredovisningar.LärandeUnderlag för pedagogiska diskussioner på skolorna.Omarbetning av arbetsplaner. Fortsatt samarbetemellan skolorna.

28

Det här exemplet handlar om hur en kom-mun gick tillväga för att utvärderaen seminarieserie som ingick som var en del

av kommunens särskilda satsning på skolutveckling.

Ska seminarierna fortsätta?Barn- och ungdomsnämnden i en kommun har undertvå års tid ordnat Pedagogiskt Forum, en seminarie-serie som varit öppen för alla som arbetar med och iskolan från förskola till gymnasiet. Också de somarbetar med Komvux har bjudits in att delta.

Syftet med dessa seminarier var att skapa en mö-tesplats och en dialog mellan lärare, skolledare, poli-tiker, tjänstemän och föräldrar. Det övergripande syf-tet var att öka intresset för pedagogisk utveckling.

Vid varje tillfälle, två gånger per termin mellanklockan 16 och 20, har någon aktuell utvecklingsfrå-ga diskuterats. Varje seminarium inleddes med ettanförande av antingen någon lärare från en skola ikommunen eller någon extern forskare, debattör el-ler expert. Mellan 15 och 20 personer deltog vid varjeseminarietillfälle.

Nu vill Barn- och ungdomsnämnden utvärderaseminarieserien för att kunna ta ställning till om Pe-dagogiskt Forum ska fortsätta eller om man ska för-söka hitta andra former för att öka intresset för peda-gogisk utveckling i kommunens skolor. Utvärdering-ens huvudfrågor blir därför:• Vad har Pedagogiskt Forum bidragit till?• Hur har Pedagogiskt Forum fungerat?Skolchefen får i uppdrag att ansvara för utvärdering-en. Han utser en grupp tjänstemän att genomföra ut-värderingen.

Fyra bedömningskriterierGruppen inleder sitt arbete med att titta närmare påden målsättning som formulerades i samband medbeslutet om att starta Pedagogiskt Forum. Av doku-menten framgår bland annat att man ville öka förstå-elsen mellan skolans olika intressenter, öka olika in-tressenters inflytande över skolutvecklingen samt iallmänhet öka intresset för skolutvecklingsfrågor. Enytterligare ambition var att föra ut och levandegörakommunens skolplan.

Med utgångspunkt i dessa dokument preciserargruppen fyra bedömningskriterier för den aktuellautvärderingen.

Utvärdering av seminarieserie

29

Om Pedagogiskt Forum har fungerat bra så ska detha:• främjat förståelsen mellan olika intressenter,• ökat intresset för skolans utvecklingsfrågor,• ökat intressenternas inflytande över skolutveck-

lingen,• fört ut och levandegjort kommunens skolplan.

Två berörda kategorierNästa fråga gäller vilka som är berörda av utvärde-ringen. Gruppen identifierar två kategorier av berörda– de tänkta användarna av utvärderingen och dentänkta målgruppen för Pedagogiskt Forum. Den förstakategorin berörda är de som fattar beslut om semi-narieseriens framtid – Barn- och ungdomsnämnden –och de som arrangerar seminarierna – tjänstemännenpå skolkansliet.

Den andra kategorien – målgruppen för Pedago-giskt Forum – består av pedagoger, skolledare, poli-tiker, tjänstemän och föräldrar. Dessa kan i sin turdelas in i två undergrupper – de som deltagit i semi-narierna och de som inte gjort det. Av tidsskäl väljergruppen dock att för den här utvärderingen avgränsagruppen medverkande till dem som deltagit i semi-narierna.

Olika upplevelser speglar mångfaldenDärefter diskuterar gruppen hur utvärderingen skullekunna läggas upp och vilka metoder som skulle kun-na användas för att samla in data. Gruppen finner attden första huvudfrågan – vad Pedagogiskt Forum harbidragit till – är öppen till sin karaktär. Frågan kan

rymma ett stort antal aspekter, och värdet av semi-narierna kan uppfattas mycket olika av olika perso-ner, på olika nivåer och för olika verksamheter. Vadsom är betydelsefullt för en lärare kan till exempelskilja sig från vad som är betydelsefullt för en föräld-er eller en tjänsteman på förvaltningen.

Även den andra huvudfrågan – hur PedagogisktForum har fungerat – är öppen till sin karaktär. Det ärrimligt att tänka sig att deltagarnas synpunkter ocksåhär kan komma att uppvisa stor variation. Gruppenbestämmer sig därför för att söka fånga de berördasuppfattningar om vad Pedagogiskt Forum har betyttför dem. Valet faller på relativt löst strukturerade inter-vjuer och en enkät med öppna frågor. På sätt kan de fåen inblick i vad de berörda själva uppfattar att Peda-gogiskt Forum har bidragit till, och vad de själva lyf-ter fram som värdefullt eller problematiskt. Att manför den första huvudfrågan väljer intervjuer och inte tillexempel ett frågeformulär beror på bedömningen attdeltagarna representerar så skiftande intressen att detkan vara svårt att utarbeta ett formulär som täcker alladessa olikheter och variationer.

För att få svar på den andra huvudfrågan – hurseminarierna har fungerat – bestämmer sig gruppenför att ta reda på hur deltagarna bedömer värdet avseminarierna utifrån de bedömningskriterier somställts upp. Här däremot passar det bra med ettskriftligt frågeformulär.

Tre datainsamlingsmetoderGruppen beslutar sig för att använda tre olika datain-samlingsmetoder:

30

Ett skriftligt frågeformulär till dem som del-tar under närmaste två seminarierna. For-muläret ska framför allt innehålla öppna

frågor, men även några flervalsfrågor. De inledandefrågorna ska lämna stort utrymme för de svarandesegna reflektioner och värderingar av seminarierna.Därefter följer ett antal frågor som kommer från mål-sättningen för Pedagogiskt Forum, till exempel: Hurhar du använt de tankar, idéer eller kunskaper du fåttunder seminarierna? Det finns också frågor om semi-nariernas form, till exempel: Tycker du attseminarierna har varit upplagda på ett bra sätt? Hardu förslag till förändringar?

Intervjuer med några rektorer på skolor därskolledaren själv eller någon av skolans

lärare har deltagit. Syftet är att få skolledarens synpå om tankar och idéer från seminarierna har spri-dits i skolorna. Att valet faller på rektorerna motive-ras med att dessa har överblick över skolornas verk-samhet och vad som tas upp på interna möten. Totaltplaneras 15 intervjuer som fördelas på tre tjänstemän.

Dokumentanalyser i form av deltagarlistorfrån varje seminarium för att få fram ensammanställning av basfakta om semi-

narierna: antal deltagare, representation från olikagrupper och olika skolor samt genom andra doku-ment få fram en sammanställning av kostnader förseminarieserien (till exempel lokalhyra, planeringstidför tjänstemän och arvoden).

Gruppen gör upp en tidsplan och en arbetsfördel-ning. I denna plan ingår utarbetande av frågeformu-lär, utdelning och insamling av frågeformulären vid

två seminarier, intervjuer, bearbetning av svar på frå-geformulär och intervjuanteckningar, rapportarbetesamt föredragning i nämnderna. En av tjänstemännenutses att stå för det mesta av arbetet med bearbet-ning, analys och rapportering.

Att bearbeta ett stort materialNär frågeformulär och intervjuanteckningar samlatsin har den tjänsteman som ansvarar för bearbetning-en ett både omfångs- och innehållsrikt material.Tjänstemannen börjar arbetet med att läsa igenomsamtliga svar i frågeformulären. Han stryker underoch skriver ner iakttagelser, reflektioner och funde-ringar. Genom att läsa igenom samtliga svar först fårhan en övergripande bild av materialet som helhet,både vad det innehåller och hur svaren är formulera-de.

Därefter går han tillbaka till understrykningaroch anteckningar, och bläddrar i svaren för att sökaformulera kategorier. Några kategorier av vad semi-narieserierna bidragit med börjar framstå som rimli-ga. En kategori är Reflektion. Många av svaren ut-trycker att deltagarna börjat reflektera mer och överutvecklingsfrågor.

En annan kategori är Användbara idéer. I mångasvar uttrycker deltagarna att de har fått idéer som deprövat i den egna verksamheten. Detta gäller fram-för allt lärare och skolledare. Förhållandevis mångakan ge exempel på hur idéer omsatts i förslag tillmindre förändringar på den egna skolan. Bidrag tillmer omfattande åtgärder är dock sällsynta.

En tredje kategori är Förståelse/Insikt. Här finns en

31

annan typ av bidrag som många enkätsvar beskriver– seminarierna har inneburit att deltagarna har ökatsin förståelse för varandras roller och verkligheter.Flera beskriver aha-upplevelser. Ytterligare katego-rier växer fram i materialet.

På motsvarande sätt kan svaren sorteras upp ikategorier som rör Pedagogiskt Forum som arbets-form. Här tar många upp det icke-formella klimatetoch möjligheterna att diskutera i pauser. En kategoriblir därför Klimat. Exempel på andra kategorier somblir tydliga är Externa/Lokala föreläsare, Förhandsinfor-mation och Tider.

När det gäller Pedagogiskt Forum som arbets-form finns en del kritik. Flera deltagare uppger attutrymmet för inlägg under seminarierna har varitojämnt fördelat. Skolledare och tjänstemän har tagiten oproportionerligt stor del av utrymmet. Mångaandra deltagare har aldrig fått komma till tals. Svå-rast tycks föräldrar ha haft att göra sina röster hörda.

Tjänstemannen beskriver varje kategori. En delcitat används för att illustrera deltagarnas svar. Ock-så kritiken beskrivs tydligt så att sammanställningenger rättvisa åt hela materialet. Alla förslag till för-ändringar som finns i enkätsvaren skrivs ut.

Flervalsfrågorna sammanställs. En övervägandedel uppfattar seminarierna som värdefulla.

Nästa steg är att gå igenom intervjuanteckningar-na. En central fråga är om kunskaper, erfarenheteroch lärdomar vid seminarierna har bidragit till någotpå skolorna och haft betydelse för även andra än del-tagarna. Här skapar tjänstemannen kategorierna Bi-drag till diskussion, Förslag och Projekt. Den senare

32

kategorin fångar aktiviteter som startats med inspira-tion från Pedagogiskt Forum. Det finns dock få såda-na exempel.

Värdering av materialetNär sammanställningen av allt material är klar plock-ar tjänstemannen fram de bedömningskriterier somformulerats utifrån målsättningen med PedagogisktForum. Han går igenom det kategoriserade materia-let och försöker med hjälp av kriterierna att värderamaterialet i förhållande till frågan om hur Pedago-giskt Forum fungerat. För att besvara denna frågaförsöker han se var tonvikten ligger och vilka ten-denser materialet uppvisar. Denna värdering är ut-värderingens slutsatser.

Resultatet av analysen skickas ut för genomläs-ning till övriga i gruppen, som därefter samlas tillett möte. Där diskuteras kategoriindelningen och be-skrivningarna. Några oklarheter uppmärksammasoch rapporten förtydligas på några ställen. Värdering-en i förhållande till bedömningskriterierna – utvär-deringens slutsatser – diskuteras ingående.

Seminarierna fortsättermen breddas och kompletterasEter mötet färdigställs rapporten och lämnas tillBarn- och ungdomsnämnden. Nämnden diskuterarrapporten och kommer till slut fram till att Pedago-giskt Forum ska fortsätta. Seminarierna har varit upp-skattade och utvärderingen visar att de också tycksha uppfyllt stora delar av sin målsättning. Utvärde-ringen visar samtidigt att skolplanen inte har disku-

terats eller lyfts fram under seminarierna, vilket inne-bär att ett av syftena med Pedagogiskt Forum bara iringa grad uppfyllts. Val av teman och föreläsare skadärför i framtiden tydligare väljas utifrån de temanskolplanen prioriterar.

Utvärderingen visar också att Pedagogiskt Foruminte i någon högre grad tycks ha bidragit till ett ökatintresse för skolutveckling på skolorna – få aktivite-ter i de skolor som deltagit i seminarieserien kan här-ledas därifrån. Nämnden beslutar därför att en skrift-lig förfrågan om vilka teman som ska prioriteras skagå ut till samtliga skolor. Förhoppningen är att semi-narierna på detta sätt mer än tidigare ska behandlaför skolorna aktuella och intressanta frågor.

Förhoppningen är också att om seminarierna tyd-ligare kopplas till skolplanen, så ska detta kunna ökaämnenas aktualitet. Utvärderingen visar också att en-dast hälften av skolorna har varit representerade, pålärarnivå bara en tredjedel. Nämnden beslutar därföratt gå ut med en särskild förfrågan till de skolor somhittills inte deltagit. Skolchefen får också i uppdragatt utveckla seminarieformen för att skapa bättre för-utsättningar för att alla deltagare ska få möjlighet attkomma till tals.

33

ATTFUNDERAÖVER

Var urvalet representativt?En fråga som verkligen tål att fundera över är i vil-ken utsträckning de deltagare som fick det skriftligafrågeformuläret (deltagarna i de två närmast följandeseminarierna) var representativa för alla de deltagaresom under två års tid hade deltagit i seminarierna.Hur skulle man kunna ta reda på det ? Hade man förövrigt kunnat göra ett annat urval? I så fall vilket?Är det troligt att resultatet med ett annat urval skulleha blivit annorlunda? Om ja – på vilket sätt och var-för?

Kräver gott om tidAtt bearbeta och analysera kvalitativt material kan tatid, ofta längre tid än man tror. Dessutom kan manibland få en känsla av att man drunknar i materialet.Det är därför viktigt att planera ambitionsnivån efterden tid som står till förfogande och att avsätta rikligtmed tid till bearbetning och analys. Ett sätt att struk-turera analysarbetet är att hela tiden utgå från utvär-deringens huvudfrågor eller bedömningskriterier.

Skulle man, utifrån samma material, ha kunnattänka sig andra kategoriindelningar? Vilka då till ex-empel? Skulle slutresultatet ha blivit annorlunda?Om ja – varför och på vilket sätt?

Bra att förankra och stämma av

I det aktuella exemplet var det Barn- och ungdoms-nämnden som beslöt att genomföra utvärderingen.Därefter planerades själva utvärderingen av en arbets-grupp. För att säkerställa att nämnden verkligen fårdet underlag den önskar och behöver skulle gruppenha kunnat stämma av sin planering av utvärderingenmed nämnden eller åtminstone med nämndens ord-förande innan den påbörjades. Åtminstone borde be-dömningskriterierna har varit godkända av både be-ställare och utförare. Sådana avstämningar är alltidbra att göra, innan en utvärdering startar och i mind-re kommuner kan det kanske ske lättare.

34

SAMMAN-FATTNING

VARFÖR?BakgrundKommunen har försökt öka intresset för pedagogiskutveckling genom att arrangera en seminarieserie –Pedagogiskt forum.Motiv/syfteBedöma hur ett utvecklingsprojekt har fungerat ochvad det lett till.AnvändningUnderlag för beslut i Barn- och ungdomsnämndenom fortsättning eller avveckling av seminarieserien.VAD?UtvärderingsobjektEtt utvecklingsprojekt – Pedagogiskt Forum.HuvudfrågorVad har Pedagogiskt forum bidragit till? Hur har Pe-dagogiskt forum fungerat?BedömningskriterierHärledda ur målsättningen för Pedagogiskt Forum.VILKA?IntressenterTjänstemän, seminariedeltagare, skolledare.MedverkandeDeltagarna i två på varandra följande seminarietill-fällen.GenomförareTjänstemän.

HUR?DatainsamlingsmetodSkriftligt frågeformulär, intervjuer och dokument-analyser.UrvalDeltagare under två seminarier. Några skolledare.Metod för analysKategorisering av beskrivande data. Enklare kvanti-tativa sammanställningar.RESULTAT?VärderingInsamlade och bearbetade data jämförs med uppställ-da bedömningskriterier.SpridningBarn- och ungdomsnämnden.LärandeSnedfördelat deltagande uppmärksammas och åtgär-das liksom den bristande kopplingen till skolplanen.Utvecklar formerna för delaktighet ytterligare.

35

Detta exempel handlar om hur en enskildskola utvärderade särskilda satsningar påelevinflytande i årskurserna 7–9.

Särskild satsning under ett årPå en grundskola med år 7–9 har man under ett årgjort särskilda satsningar för att öka elevinflytandet.Bakgrunden är den kritik som eleverna framfört un-der flera år om bristande inflytande. Elevkritiken hartill och med uppmärksammats i några mindre artik-lar i lokalpressen. Några lärare hade vid flera tillfäl-len diskuterat frågan men inte gått vidare eftersomde känt att andra kollegor bromsat.

Innan den här speciella satsningen började fördesen del diskussioner, bland annat i den fackliga sam-

verkansgruppen. Några lärare diskuterade frågan omelevinflytande med eleverna själva, både för att fångaupp deras kritik och för att få förslag till förändring-ar. Någon systematisk kartläggning gjordes dockinte. Elevinflytande var också huvudfrågan underden planeringskonferens som hölls på skolan innanhöstterminen började. Inför konferensen fick alla iuppdrag att läsa ett utdrag ur läroplanen (Lpo 94).Under konferensen antogs en plan för hur elevinfly-tandet skulle stärkas.

Nu, ett år senare, ska satsningen utvärderas. Skol-ledningen vill veta vad den bidragit till och är ange-lägen att analysera resultatet samt se var det behövsfortsatta åtgärder.

Intern grupp med externt stödSkolledningen tar upp frågan om utvärdering i denfackliga samverkansgruppen. Det råder full enighetom att en utvärdering bör göras. Särskilt viktigt äratt utvärderingen görs på ett vederhäftigt sätt medtanke på den kritik som framförts, också bland lärar-na på skolan. En grupp utses till att driva utvärde-ringen. Gruppen förstärks med en statistikkunnigutredare från förvaltningen. I uppdraget ingår attgöra en totalundersökning, detta för det inte ska fin-nas några tvivel om resultatets trovärdighet.

Gruppens uppgift är nu att finna en metod att ut-värdera resultatet av en satsning som pågått under ettår. Uppgiften är inte lätt med tanke på att ingen kart-läggning av elevinflytandet från tiden före den speci-ella satsningen har gjorts. Det finns därför inget ma-terial att jämföra med.

Elevinflytande i årskurs 7–9

36

Uppläggning i tre steg

Gruppen börjar med att försöka rekonstruera den kri-tik som var upprinnelsen till den speciella satsningen.De hör sig för bland lärare och skolledning och tittari protokoll från möten där frågan har diskuterats. Kri-tiken handlade bland annat om att elever inte kändeatt lärarna lyssnade på deras synpunkter och förslag.Särskilt gällde detta elevernas synpunkter på den inreoch yttre skolmiljöns utformning. En av utvärdering-ens huvudfrågor kan därför formuleras så här:• I vilken utsträckning upplever eleverna i dag att

lärarna lyssnar på deras synpunkter på skolmil-jöns utformning?

Om resultatet visar att eleverna i dag upplever attlärarna i stor utsträckning lyssnar på deras synpunk-ter på skolmiljöns utformning skulle ett sådant resul-tat ge stöd för slutsatsen att elevinflytandet har ökat.Nästa steg är att gå tillbaka till de mål för satsningensom formulerades av planeringskonferensen i den sär-skilda plan den antog vid höstterminens början. Ana-lysen av planen visar att ett av målen för den särskil-da satsningen var att eleverna skulle få stöd av lärar-na att utveckla elevrådsarbetet, samt att skolledning-en skulle ta elevrådets krav och förslag på allvar ochföra en dialog med elevrådet. Nu formuleras ytterli-gare några huvudfrågor:• Har eleverna fått stöd från lärarna när det gäller

att utveckla elevrådsarbetet?• Har elevrådsarbetet utvecklats?• Har det förts en dialog mellan elevråd och skol-

ledning om elevrådets krav och förslag?

Om resultatet visar att frågorna ovan kan besvaraspositiv tyder det på att satsningen varit framgångsriki dessa avseenden. Ett tredje steg är att klargöra vilkaandra åtgärder som skulle ingå i satsningen.

En åtgärd som också upptogs i planen var att närlärarna introducerade nya undervisningsavsnitt skul-le de också presenterar kursplanens mål för avsnittet.Därefter skulle lärare och elever tillsammans disku-tera målen och hur de bäst kunde nås. Dessutomskulle lärare och elever gemensamt komma överensom hur avsnittet skulle utvärderas. Två naturligahuvudfrågor blir nu:• Har eleverna varit delaktiga i sådana måldiskus-

sioner?• Har elever och lärare gemensamt kommit överens

om hur utvärdering av de olika kursavsnitten skagå till?

Om detta visar sig ha skett tyder det på att satsning-en givit resultat i dessa avseenden. Och omvänt: omdetta endast visar sig stämma i ringa grad tyder detpå att satsningen inte givit önskat resultat i dessa av-seenden.

Sammanfattningsvis: De huvudfrågor utvärde-ringsgruppen har formulerat utgår från den kritiksom föregick satsningen samt de mål och de åtgärdersom man beslutade om under planeringskonferensen.

Frågeformuläret utarbetasGruppen skissar nu på ett frågeformulärsom de låter skolledning, lärare och elev-råd ta del av. De ber särskilt om synpunk-

ter på val av frågeområden.

37

Lärarna, skolledningen och eleverna får en veckapå sig att inkomma med synpunkter och ändringsför-slag. En av de synpunkter som kommer in är att in-flytandet inte kan frikopplas från ansvar och att frå-geformuläret därför bör innehålla frågor om elever-nas ansvar för arbetsmiljö och studier. En annan syn-

Lärarna lyssnar om vi framför förslagtill förändringar av inomhusmiljön.

Lärarna visar att de är positiva till attvi har elevråd.

Inför varje nytt avsnitt brukar vi disku-tera kunskapsmålen för det aktuellaavsnittet.

Vi brukar ta ansvar för att vi ska nåmålen för de avsnitt vi läser.

Vi brukar diskutera med vår lärare hurutvärderingen av varje avsnitt ska gåtill.

Delvis Lite Inte alls

punkt är att flickor kan ha svårare än pojkar att görasina röster hörda i skolan och att man därför bör jäm-föra flickors och pojkars resultat.

Utvärderingsgruppen konkretiserar frågorna yt-terligare och formulerar om dem till påståenden someleverna ska ta ställning till. Några exempel:

Jag känner att lärarna lyssnar på minasynpunkter.

Jag känner att jag har inflytande överdet som sker i skolan.

Instämmer

InstämmerHelt Delvis Lite Inte alls

Helt

Formuläret innehåller också två allmänna påståen-den:

38

Dessa två påståenden kan användas för samband-sanalyser – mer om det nedan.

En bakgrundsvariabel som gruppen finner sär-skilt intressant att studera är årskurs, då det kan tän-kas att eleverna i olika årskurser har olika erfarenhe-ter av elevinflytande. En annan är kön, för att kunnajämföra pojkars och flickors svar.

När frågeformuläret är färdigt ber gruppen någraelever om hjälp med att testa det. Eleverna ombedsberätta hur det tänker när de bedömer de olika på-ståendena. Några påståenden visar sig vara tvetydigaoch formuleras om.

Frågeformuläret är nu färdigt. Det ska besvaras avsamtliga elever på skolan. En totalundersökning un-derlättar den praktiska hanteringen – eleverna kansvara vid ett och samma tillfälle och läraren kan tain svaren direkt. Under ett i förväg överenskommetlektionspass får samtliga elever på skolan i år 7–9frågeformuläret. Eleverna lägger sina svar i försegla-de kuvert och lämnar kuverten till läraren som i sintur vidarebefordrar dem till utvärderingsgruppen.

Datorn bearbetarSvaren matas in i ett datorprogram sommöjliggör statistiska analyser och grafiskpresentation av svaren. Svarsfördelningen

för de olika påståendena tas fram i tabellform. Detgår nu att se vilka påståenden som fått störst respek-tive minst stöd av eleverna.

Tack vare de två allmänna påståendena är det ocksåmöjligt att mäta samband mellan övergripande tillfreds-ställelse med elevinflytandet och mer specifika frågor.

Låt oss säga att man, med hjälp av statistiska sam-bandsanalyser, finner ett samband mellan övergri-pande tillfredsställelse med elevinflytande och infly-tande över inomhusmiljön. Ett sådant samband skulledå innebära att de som upplever inflytande över in-omhusmiljön också är allmänt nöjda med elevinfly-tandet. De som däremot upplever ett bristande infly-tande över inomhusmiljön är också missnöjda medelevinflytandet i allmänhet. Det skulle i så fall tydapå att inflytande över just inomhusmiljön är viktigtför tillfredsställelse med elevinflytandet i allmänhet.

Det gör det i så fall också troligt att ett ökat infly-tande över inomhusmiljön skulle öka tillfredsställel-sen över elevinflytandet i allmänhet.

Sådana sambandsanalyser gör det möjligt att iden-tifiera viktiga åtgärdsområden, det vill säga områdendär åtgärder kan antas bli särskilt verkningsfulla.

Rapport utan tolkningarUtvärderingsgruppen sammanfattar resultatet i enrapport. Utvärderingens utgångspunkter – kritiken,målen och åtgärderna – beskrivs också. I det här ske-det avstår gruppen från att tolka och dra slutsatser avresultatet. Med tanke på att det inte finns något jäm-förelsematerial från tiden före satsningen måste tolk-ningen av resultatet göras försiktigt.

Rapporten presenteras för skolledningen och se-nare för lärargruppen och elevrådet. Rektor uppma-nar till en tids reflektion och inbjuder alla berörda tilltolkningsarbete. Vad betyder resultatet? Har satsning-en varit framgångsrik?

Några lärare som vill presentera resultatet i sina

39

klasser får i uppdrag att fånga upp sina elevernas re-aktioner.

Alla inbjuds att före ett visst datum inkommamed synpunkter och reaktioner till utvärderingsgrup-pen. Gruppen gör sedan en samlad värdering av sko-lans satsning på elevinflytande med resultatet och deefterföljande diskussionerna som underlag.

På de områden som tidigare kritiserats av elever-na visar sig att eleverna upplever ett relativt stort in-flytande. Också på de områden där konkreta åtgärdersatts in verkar eleverna uppleva ett större inflytandeän på en del andra områden. Detta skulle kunna tol-kas som att satsningen givit resultat på just dessaområden. En sådan tolkning får stöd av de synpunk-ter och reaktioner på resultatet som kommit in tillgruppen.

Men resultatet pekar också ut några områden därmycket tycks återstå att göra.

Diskussionerna, inte minst med eleverna, ger enrad tänkbara förklaringar till att inflytandet bristerpå just dessa områden. Sambandsanalyser pekar ock-så på var åtgärder kan antas få särskilt stort genom-slag. Skolledningen beslutar att satsningen ska fort-sätta men få en något annorlunda inriktning. Ett an-tal nya mål formuleras i skolans arbetsplan. Utvärde-ringen väcker också nya frågor. Ett exempel är attelevrådsverksamheten endast har fungerat spora-diskt. För att veta hur skolan bäst kan stödja ett orga-niserat elevinflytande inom ramen för elevrådet pla-neras en intervjuundersökning med ett antal elever.Skolledningen beslutar också att skickat ut frågefor-muläret vartannat år för att följa eventuella föränd-

ringar i hur eleverna uppfattar elevinflytandet.Det samlade resultatet av utvärderingen och pla-

nen för en fortsatt satsning på ökat elevinflytande re-dovisas för lärare, elever och föräldrar.

ATTFUNDERAÖVER

Om feltolkningDet finns alltid en risk att man feltolkar ett undersök-ningsresultat när man försöker fånga effekter av sär-skilda åtgärder. Ett positivt resultat lockar till slutsat-sen att satsningen varit lyckad. Ett mindre positivtresultat kan leda till att satsningen betraktas sommisslyckad. Detta är särskilt problematiskt när maninte vet vad en motsvarande mätning före den sär-skilda satsningen skulle ha gett för resultat. Resulta-tet bör därför alltid tolkas med stor försiktighet ochsunt förnuft och måste värderas tillsammans medandra iakttagelser. I det här fallet kompenseradesdenna metodsvaghet till viss del genom att så mångaolika parter deltog i tolkningsarbetet.

Att undvika fallgropar i frågeformulärSjälva frågekonstruktionen innebär nästan alltid fleramöjliga fallgropar. Det är svårt att ställa bra frågor,frågor som är entydiga och som ger de svar man för-väntar sig. Därför bör man alltid testa ett frågeformu-lär på några i den blivande målgruppen innan det an-

40

vänds i större skala. Det visar sig i regel ganskasnabbt om frågorna fungerar eller behöver omformu-leras. Det finns också litteratur som handlar om justfrågekonstruktion, till exempel Bo Wärneruds bokAtt fråga. Om frågekonstruktion vid intervjuunder-sökningar och postenkäter. (Se sid 61.)

Urval eller totalundersökning?I den aktuella utvärderingen gjordes en totalunder-sökning, det vill säga alla klasser i år 7–9 vid skolanfick besvara frågeformuläret. Med en lägre ambi-tionsnivå skulle man naturligtvis ha kunnat göra etturval. Detta gäller särskilt om skolan är stor eller omundersökningen hade gällt alla år.

Fokus på lärarnas arbeteEn annorlunda ansats hade kunnat vara att fokuserautvärderingen på vilka åtgärder och metoder lärarnaanvänder för att öka elevinflytandet i sina klassereller ämnen. Huvudfrågorna hade då kunnat handlaom förändringar i deras uppläggning, arbetssätt ochförhållningssätt. Med en sådan uppläggning och fo-kusering hade kanske intervjuer gett ett fylligare re-sultat. Med intervjuer hade man kanske kunnat låtalärarna själva få beskriva vilka förändringar de hadegenomfört i dessa avseenden under det senaste året.

Upplevda och faktiska förhållandenFlera av huvudfrågorna gäller faktiska förhållanden,exempelvis om eleverna varit delaktiga i måldiskus-sioner och utvärdering av olika avsnitt i undervis-ningen. Det frågeformulär som användes i det här

exemplet syftade till att ta reda på hur eleverna upp-levde olika inflytandefrågor. Men en upplevelse be-höver inte alltid sammanfalla med hur det faktiskt är.Det är alltså viktigt i tolkningen av ett resultat attvara uppmärksam på att upplevda och faktiska för-hållanden inte alltid är samma sak.

41

SAMMAN-FATTNING

VARFÖR?BakgrundKritik från eleverna. Särskild satsning genomförd.Motiv/syfteUtvärdera resultatet av satsningen.AnvändningUnderlag för fortsatta åtgärder.VAD?UtvärderingsobjektEn särskild satsning på elevinflytande.HuvudfrågorElevernas uppfattningar om sitt nuvarande inflytan-de inom de områden som satsningen gällt.BedömningskriterierTidigare kritik, mål för satsningen och planerade åt-gärder.VILKA?IntressenterSkolledning, lärare och elever.MedverkandeSkolledning, lärare (bland annat genom facklig sam-verkansgrupp) och elever (bland annat genom elev-råd och några klasser).GenomförareSärskild grupp med stöd av statistikkunnig utredare.

HUR?DatainsamlingsmetodSkriftligt frågeformulärUrvalAlla elever i år 7–9.Metod för analysStatistisk bearbetning, sambandsanalyser.RESULTAT?VärderingResultat jämförs med tidigare kritik och mål för sats-ningen. Skolledning, lärare och elever inbjuds attmedverka i tolkning och värdering.SpridningResultatet presenteras för elever och föräldrar.LärandeViktiga åtgärdsområden uppmärksammas. Nya frå-gor väcks. Fortsatt utvärdering av inflytandefrågor.

42

Detta exempel handlar om hur en grundsko-la utvärderade de undervisningsformersom används i årskurs 1–6.

FörutsättningarnaEn skola med år 1–6 har just omarbetat sin arbets-plan. Den nya arbetsplanen är frukten av en längretids diskussioner bland personalen och mellan perso-nal, elever och föräldrar. Ett övergripande mål i ar-betsplanen är att ”verksamheten ska bedrivas på ettsådant sätt att den engagerar och stimulerar elever-na”. Som ett sätt att nå detta mål förespråkas en fort-löpande utveckling av undervisningsformerna.

Vid en gemensam heldagskonferens efter vårter-minens slut diskuterar personal och skolledare verk-

samheten. Uppfattningarna om vilka undervisnings-former som bäst stödjer och bidrar till att engageraoch stimulera eleverna går tydligt i sär. Några ställersig skeptiska till att förändring enbart av undervis-ningsformer skulle kunna påverka elevernas engage-mang och intresse. Andra tycker att de vet tämligenväl vilka undervisningsformer som fungerar bäst idessa avseenden och vill nu ta ett steg vidare.

Efter en tids diskussion beslutar personal ochskolledare att under kommande läsår prioritera arbe-tet med att utveckla undervisningsformerna. För attfå en gemensam grund att utgå från i utvecklingsar-betet beslutar de dock att först utvärdera skolansnuvarande undervisningsformer. Syftet med utvärde-ringen är att försöka bedöma hur de nuvarande un-dervisningsformerna fungerar då det gäller att enga-gera och stimulera eleverna. Några lärare utses attansvara för utvärderingen. Gruppen får i uppgift attpresentera resultatet under nästa heldagskonferenssom hålls i början av nästa termin.

Två huvudsyften och tre huvudfrågorNär gruppen träffas börjar de med att diskutera syftetmed utvärderingen och vad det är för kunskap denförväntas ge. Under den tidigare heldagskonferensenformulerades två huvudsyften:• Få kunskap om vilka undervisningsformer som

för närvarande används och hur de fungerar dådet gäller att engagera och stimulera eleverna.

• Ge underlag för utveckling av undervisnings-formerna.

De diskuterar vidare vilka huvudfrågor utvärdering-

Utvärdering av undervisningsformer

43

en skulle behöva ge svar på för att dessa syftenaskulle kunna uppnås. De enas om tre huvudfrågor:• Vilka undervisningsformer tillämpas i dag?• Vilka undervisningsformer engagerar och stimu-

lerar eleverna mest?• Vilka andra undervisningsformer skulle kunna

användas för att engagera och stimulera eleverna?Genom att jämföra svaren på de två första frågornaanser gruppen att man borde kunna bedöma i vilkenutsträckning arbetsplanens övergripande mål uppfylls.

Den tredje frågan är mer av utvecklingskaraktäroch syftar till att ge underlag och idéer för en utveck-ling av undervisningsformerna.

Alla elever och lärare tillfrågasGruppen överväger vilka som kan ha intresse av ut-värderingen och vilka som bör medverka. För att fåsvar på huvudfrågorna bestämmer sig gruppen föratt fråga alla elever och lärare. De motiverar elever-nas medverkan med att de bäst kan berätta om vad dekänner störst engagemang för. Lärarnas medverkanmotiveras med att de i sin tur kan iaktta vad somhänder i elevgruppen och hur olika undervisningsfor-mer påverkar elevernas engagemang och intresse.

En annan grupp som kan ha ett stort intresse avutvärderingsresultatet är föräldrarna. Gruppen beslutaratt de ska få ta del av utvärderingsresultatet när det ärfärdigt. Föräldrarna informeras i ett särskilt brev omatt en utvärdering av detta slag planeras.

De tre huvudfrågorna är öppna och utforskandetill sin karaktär, varje fråga rymmer en mängd tänk-bara svar och nyanser.

Gruppen väljer därför en datainsamlingsme-tod som är öppen för just sådana variationeroch nyanser. Samtidigt bör alla få komma

till tals, varför metoden inte får vara alltför tidskrä-vande. Valet faller på frågeformulär med öppna frågor.

Formuläret till eleverna ska göras enkelt och varaöppet för elevernas egna ord och tankar. Gruppen dis-kuterar tänkbara formuleringar. Med tanke på elever-nas ålder (år 1–6) kommer gruppen fram till att manska använda ett kort formulär med enkla formule-ringar av typen:• Skriv tre saker som du tycker är roliga att göra

på lektionerna.• Skriv tre saker som du skulle vilja göra mer.• Skriv tre saker som du skulle vilja göra mindre.Också formuläret till lärarna bör utformas så att detblir intresseväckande och kan bearbetas på ett enkelt(se nedan). Liksom formuläret till eleverna ska ocksåformuläret till lärarna vara så öppet konstruerat attde svarande kan välja sina egna ord. En lärare får iuppgift att formulera ett förslag utifrån den diskus-sion som förts i gruppen. Förslaget diskuteras vid ettsenare tillfälle i gruppen och några justeringar görs.Det färdiga formuläret innehåller frågor av typen:• Vilka är de vanligaste undervisningsformer du an-

vänder? Ge exempel. (Namnge/beskriv exemplen.)• Vilka undervisningsformer tror du engagerar och

stimulerar dina elever mest?• Vilka andra undervisningsformer (som du inte

prövat) skulle man kunna tänka sig skulle kunnaengagera och stimulera dina elever?

• Vad hindrar dig från att pröva dessa former?

44

Roligt i dag

Jobba med kompisarForskaSamlingar

Vill ha mer av

Jobba i parBild, målaTeater

Vill ha mindre av

LäxorFylla i arbetsblad, jobba med övningsböckerUpprepa det man redan kan

Formulären delas ut till alla lärare och elever. En lä-rare för varje klass ansvarar för att eleverna fyller iformuläret. De yngsta eleverna får hjälp av sina läraremed frågorna.

BearbetningenI varje klass är klassläraren ansvarig för att elevfor-mulären samlas in och sammanställs. Svaren sam-manställs i kolumner:

Utvärderingsgruppen får in alla sammanställningar.Varje klass behåller kopior. Formulären till lärarnasamlas in och sammanställs av utvärderingsgruppen.Gruppen gör enkla sammanställningar av svaren påvarje fråga. Svaren sorteras in i kategorier:

Svaren jämförs med varandra. En av jämförelsernagäller de undervisningsformer som anses vara mestengagerande och dem som är vanligast på skolan idag. Det visar sig då bland annat att de former somlärarna tycker är mest engagerande inte alltid är desom används mest på skolan.

Gruppen funderar över olika tänkbara förklaring-ar till detta. De svårigheter som nämns delas ocksåin i olika kategorier, till exempel:

Vanliga i dag

Läraren berättar

Mest engagerande

Grupparbeten

Andra tänkbara

Arbete i par

Hinder/Svårigheter

Brist på lokaler

Svårigheter

Möjliga

att åtgärda

Omöjliga

att åtgärda

Saknar visstmaterial

Brist på vissalokaler

45

Svaren från lärarna jämförs också med svaren fråneleverna. Gruppen finner då att elevsvaren tydligtbekräftar att det inte alltid är de undervisningsfor-mer som engagerar mest som också används mest.

Värdering gentemot arbetsplanens målNär alla svar är sammanställda och analyserade görgruppen sin värdering av resultatet. När resultatetvärderas gentemot arbetsplanens mål – verksamhe-ten ska bedrivas på ett sådant sätt att den engageraroch stimulerar eleverna – gör gruppen den bedöm-ningen att arbetsplanens mål inte uppfylls i den ut-sträckning som borde vara önskvärt och möjligt.

Livliga diskussioneroch förslag till förändringarSammanställningarna av alla svar och de resone-mang som förts i gruppen sätts samman till en skrift-lig rapport. Rapporten går ut till alla lärare.

Klassföreståndarna uppmanas att dela med sig avresultatet i sina klasser. Resultatet presenteras ocksåutförligt under nästa konferens där en livlig diskus-sion uppstår, då svaren pekar på många hinder för attanvända de undervisningsformer som många lärareoch elever bedömer som engagerande och stimule-rande. Svaren pekar också på områden där föränd-ringar både är önskade och – som det verkar – fulltmöjliga.

En stor mängd förslag till åtgärder kommer upp.Några föreslår studiebesök på en annan skola somenligt uppgift arbetat mycket med just undervisnings-former.

Andra skulle vilja pröva undervisningsformer deläst eller hört talas om, till exempel i fortbildnings-sammanhang. Ytterligare några vill testa egna idéer.Under diskussionen framförs också en del kritik motskolans ledning. Några av de hinder och svårighetersom beskrivits pekar nämligen på brister i samar-betsklimat och ledning. Under konferensen diskute-ras därför också hur man skulle kunna komma tillrätta med dessa problem.

Många av de förslag till åtgärder som kommerupp under konferensen förs senare in i skolans arbets-plan. Den grupp som genomfört utvärderingen fårockså i uppdrag att göra om utvärderingen om ett år.Konferensen beslutar dessutom att resultatet av ut-värderingen, de föreslagna åtgärderna och den nyaarbetsplanen ska redovisas under kommande föräld-ramöten.

ATTFUNDERAÖVER

Är det känsligt att utvärderaundervisningsformer?Det kan uppfattas som känsligt för personal att svarapå en enkät av den här typen. De hinder och svårig-heter lärarna upplever kan röra kollegor och ledning,vilket kan försvåra uppriktiga svar. Det kan ocksåinnebära bortfall. Anonymitet kan vara svårt på en li-ten skola då den som svarar kan uppleva en risk för

46

att ändå bli identifierad till exempel genom sin hand-stil. Det är heller inte säkert att anonymitet alltid ärönskvärd när det gäller frågor av den här typen dådet kan ligga ett värde i just öppna ställningstagan-den.

Utvärderingar av detta slag kan därför anses för-utsätta ett relativt öppet klimat på skolan. Men det ärockså viktigt att utvärderingen är väl förankrad blandlärarna och så upplagd att alla kan känna lust attmedverka. Det förutsätter vidare att det finns en be-redskap för att ta hand om eventuell kritik så att denkritik som kommer upp inte negligeras. Annars kandetta minska intresset för medverkan i framtida ut-värderingar.

Observationersom alternativ eller komplementEn mer ambitiös uppläggning av utvärdering av un-dervisningsformerna vid en skola skulle kunna varautvärdering genom observationer. Om man väljer ensådan uppläggning är det emellertid viktigt att ettnoggrant observationsschema utarbetas i förväg somtydligt markerar vilka aspekter av undervisningensom ska observeras. Ett sätt att underlätta värderingav dessa aspekter är att det för varje aspekt som skaobserveras finns en skala där olika värden är angivna(till exempel 1= förekommer inte alls, 2 = förekom-mer i viss utsträckning, 3 = förekommer i stor ut-sträckning 4 = förekommer fullt ut).

Alla behöver inte väljas utAll personal behöver inte delta i alla faser av en ut-

värdering. Det är fullt möjligt att en grupp lärare el-ler en enskild lärare genomför utvärderingen på ettsätt som liknar exemplet men bara i sina egna klasser.Det kan vara mindre känsligt och dessutom lättareatt hantera praktiskt om de som genomför utvärde-ringen bara utvärderar sin egen undervisning.

En annan variant är den så kallade kollegiala ut-värdering som nämndes på sid 14. Men också denförutsätter att det råder en god och icke konkurrens-inriktad atmosfär mellan de lärare som ska utvärderavarandras undervisning.

47

SAMMAN-FATTNING

VARFÖR?BakgrundÖvergripande mål i arbetsplanen. Beslut om att ut-värdera undervisningsformer.Motiv/syfteBedöma nuvarande måluppfyllelse och få underlagför vidareutveckling av undervisningsformerna.AnvändningUnderlag för diskussion under kommande heldags-konferens. Information till föräldrarna. Underlag förnästa arbetsplan.VAD?UtvärderingsobjektUndervisningsformerna.HuvudfrågorVilka undervisningsformer som används och vilkasom mest engagerar eleverna. Förslag på nya under-visningsformer.BedömningskriterierMål i arbetsplanen.VILKA?IntressenterElever, lärare, föräldrar.MedverkandeElever, lärare.GenomförareSärskild utvärderingsgrupp.

HUR?DatainsamlingsmetodSkriftliga frågeformulär.UrvalAlla elever och alla lärare vid skolan.Metod för analysSammanställningar, sortering i kategorier.RESULTAT?VärderingJämförelse mellan nuläge och mål i arbetsplanen.SpridningTill personalkonferens. Till föräldrar under föräldra-möten.LärandeFokus på skillnader mellan nuläge och ideal. Förslagtill nya undervisningsformer. Uppmärksamma hinderoch svårigheter. Omarbeta arbetsplanen. Erfarenhe-terna från genomförandet används i planering avkommande utvärderingar.

48

Det här är en utvärdering av ett projektar-bete i år 1–3. Tanken med projektarbetetvar att pröva ett mer temainriktat arbetssätt

för att se om detta kunde bidra till att förverkliganågra av arbetsplanens mål och honnörsord, till ex-empel kreativitet, samarbete, lust och lärande.

Ett gemensamt tema för alla ämnenEn grundskola har under en tid arbetat med närsam-hället. Eleverna, 6–10 år, har utforskat varandras skol-vägar och besökt arbetsplatser, naturområden och min-nesmärken i staden. Arbetet med närsamhället har va-rit uppskattat av eleverna. Personalen – ett arbetslagmed lärare, förskollärare och fritidspedagoger – harsett goda pedagogiska möjligheter i detta arbete.

Ett projektarbete om Drömsamhället

Personalen vill utveckla arbetet med detta temaytterligare. En idé som förs fram är att ha ett gemen-samt arbete på temat Drömsamhället. Tanken är attskolans elever och personal tillsammans ska skapa ettdrömsamhälle, ett samhälle som växer fram på enöde ö. Varje klass gör sitt eget drömsamhälle. I arbe-tet ska eleverna fantisera, skriva, måla och ta reda påsådant de behöver veta för att skapa ett samhällemed fungerande försörjning och kommunikationer.Målet är att alla ämnen på något sätt ska ingå. Arbe-tet ska pågå under fem veckor. Projektarbetet skabedrivas under två hela dagar per vecka. Projektet skaavslutas med en gemensam utställning och ett öppethus för föräldrarna.

Allteftersom planerna på projektarbetet tar formväcks också farhågor bland personalen. Det finns enoro för att arbetet ska bli alltför ostrukturerat, ochnågra är bekymrade över att vissa ämnen, exempelvismatematik, ska tappas bort.

När skolan slutligen beslutar sig för att genomfö-ra projektet bestämmer man därför också att en ut-värdering ska göras. Syftet med utvärderingen är attse om projektet kan bidra till några av arbetsplanensmål och honnörsord – kreativitet, samarbete, lust ochlärande. Utvärderingen ska också ge svar på om oli-ka farhågor har besannats – till exempel den om attmatematiken skulle tappas bort.

Rektor, en lärare, en förskollärare och en fritids-pedagog utses till utvärderingsgrupp.

Huvudfrågorna arbetas framUtvärderingsgruppen träffas innan genomförandet av

49

Drömsamhället sätter i gång. Som utgångspunkt harde arbetsplanens mål samt de funderingar, tankar,förhoppningar och rädslor som kommit fram i tidiga-re diskussioner kring arbetet med projektet. Gruppengör följande lista:• Kreativitet.• Lärorikt om samhället.• Lust.• Samarbete.• Alla ämnen ska få plats. Ämnen som tappas bort?• Brist på struktur? Problem?Gruppen diskuterar hur man ska kunna bedöma pro-jektets värde utifrån dessa punkter. De börjar med attgöra om punkterna till frågor. Kring några av punk-terna utvecklar de underfrågor, till exempel:• Kreativitet. Får eleverna stort utrymme för ska-

pande verksamhet? Får de pröva många olika ut-tryckssätt?

• Lärorikt om samhället. Kommer eleverna i kon-takt med viktiga samhällsfrågor? Ökar elevernasnyfikenhet om samhället under projektet?

Gruppen fortsätter och formulerar frågor och under-frågor. Det blir många frågor till slut och de väljer uten huvudfråga för varje punkt. Övriga används somunderfrågor. De bestämmer att dela upp huvudfrå-gorna på flera olika metoder. Ingen metod kan hellerensam fånga alla frågor. Frågorna rör både personaloch elever och gruppen ser det som viktigt att utvär-deringen ger information om vad arbetet betytt förbåda grupperna.

En kombination av olika metoder

Gruppen diskuterar vilka datainsamlingsmetodersom skulle kunna vara lämpliga för att få svar på deolika frågorna och kommer till sist fram till att enkombination av olika metoder borde fungera bäst,nämligen:

Observationer. Användsför punkterna om krea-tivitet, lust, samarbete.Loggböcker. Används för

att fånga upp frågorna kring om något ämne tappasbort, om lärande om samhället och om struktur.

Frågeformulär till all personal. Används för allafrågor.

I samtliga tre fall förväntas all personal delta isjälva datainsamlingen. Alla engageras därmed i ut-värderingen, vilket borde kunna öka förutsättningar-na för att resultatet ska tas på allvar och komma attanvändas. Samtidigt kräver metoderna, kanske fram-för allt loggböckerna, att utvärderingen i sin helhetförankras hos all personal.

Att skriva loggböcker och låta andra läsa demförutsätter ett stort ömsesidigt förtroende hos perso-nalen. En utvärdering där alla ska delta i datainsam-ling förutsätter också att alla är villiga att lägga nerden tid och energi det tar i anspråk. Gruppen presen-terar sitt förslag till uppläggning på ett personalmöte.Alla får möjlighet att ta ställning till om de vill med-verka och om de har synpunkter på uppläggning ochval av frågor.

50

Ett och samma observationsschema

Observationerna innebär att personalen vid någratillfällen ska observera sin egen undervisning meraingående och systematiskt. Alla ska använda ett ochsamma observationsschema som gruppen sätter sam-man och som tydligt anger vilka aspekter av under-visningen som särskilt ska fokuseras. I schemat skanoteringar göras om inslag som särskilt framkallarkreativitet hos eleverna, som väcker deras speciellaintresse och hur de samarbetar med varandra vid oli-ka tillfällen. Observationerna ska göras vid bestämdatillfällen under de fem veckor projektet ska pågå.

Loggböckermed gemensam struktur och frågorI loggböckerna ska personalen besvara frågor om sigsjälva. Syftet med loggböckerna är att ge personalenmöjlighet till reflektion över den egna undervisning-en samtidigt som de ska ge underlag för utvärde-ringen.

Loggböckerna har alla en gemensam struktur ochvissa gemensamma frågor. En fråga handlar till ex-empel om personalens uppfattningar och erfarenheterav att få in alla ämnen i projektarbetet. En annan frå-ga handlar om hur de ser på elevernas möjlighet attlära om samhället under arbetet. En tredje frågahandlar om deras egen upplevelse av strukturen un-der projektet – på vilket sätt strukturen är annorlundaän vid mera traditionell undervisning och vad det fårför konsekvenser. Dessutom finns utrymme för egnareflektioner.

Frågeformulär med sex frågeställningar

När projektet efter fem veckor är slut får all personalett skriftlig frågeformulär. I formuläret återkommerde sex frågeställningar som bildar utgångspunkt förutvärderingen. Personalen uppmanas att bedöma vadde anser att projektarbetet har betytt i förhållandetill var och en av dessa frågeställningar. Bedömning-en innebär bland annat att de ska jämföra detta speci-ella projektarbete med det ordinarie skolarbetet. Depåståenden de ska ta ställning till är av följande slag:

...elevernas kre-ativitet varit …

Jämfört med den ordinarie undervisningen har

under projektet...

mycketstörre

någotstörre

lika stort någotmindre

mycketmindre

...elevernas in-tresse för att ar-beta med sam-hällsfrågor varit…

...elevernas ut-rymme för att ar-beta med sam-hällsfrågor (exem-pelvis kommuni-kationer, närings-liv, kommunal or-ganisation) varit…

... elevernas ut-rymme för attprova olika ut-tryckssätt varit…

51

Sådana påståenden formuleras för var och en av desex frågeställningarna. Det blir sammanlagt ett 20-talpåståenden att ta ställning till. För varje påståendelämnas utrymme (ca 2–3 rader) där den svarande skamotivera sin bedömning.

BearbetningenNär gruppen, efter påminnelse, fått in alla observa-tionsprotokoll, loggböcker och frågeformulär börjarde sammanställa och bearbeta materialet. I frågefor-mulären räknar gruppen ut svarsfördelningen för var-

je påstående både i absoluta tal och i procent. Moti-veringarna i svaren används för att förstå vad somligger bakom bedömningarna. Några särskilt bely-sande eller representativa motiveringar noteras sär-skilt för att kunna användas i rapporten som exempeloch citat.

För observationsprotokollen delar gruppen upp frå-gorna sinsemellan. Bland annat tittar de punkternaom vad som sägs bidra respektive inte bidra till förkreativitet, intresse och samarbete. Tillsammans görgruppen en sammanställning av detta slag:

Bromsar samarbete

Oklar fördelning av uppgifter.Alltför korta lektionspass.Ängslan för bedömning.

Bidrar till kreativitet

Pröva nya tekniker.Arbeta med färger.Få utrymme för fantasi.Jobba tillsammans.

Bidrar till intresse

Att egna intressen får utrym-me i uppgifterna.Möjligheten att välja uppgif-ter.

Bromsar kreativitet

Om uppgifterna eller ramar-na är för låsta.Att alla jobbar tillsammansmed samma uppgifter.

Bromsar intresse

Alltför långa samlingar.Att bli avbruten.Att inte få jobba med detsom intresserar.

Bidrar till samarbete

Gemensamma skapandeuppgifter.Gruppindelningar efter olikaintressen.

52

När gruppen ska bearbeta loggböckerna läser de ige-nom alla synpunkter på en fråga åt gången. De läserom texterna flera gånger. Sedan diskuterar de sinaiakttagelser och antecknar de iakttagelser de är över-ens om. Några exempel:• När det gäller frågan om alla ämnen har kommit

med i projektarbetet är en vanlig kommentar attde flesta ämnen kunnat integreras på ett bra sättmed undantag för just matematiken.

• När det gäller lärandet om samhället kommer oli-ka tankar fram. En är att eleverna funderat myck-et över olika funktioner i samhället och att dekunnat dra många paralleller mellan Drömsam-hället och det egna samhället. En annan är attmånga i personalgruppen tycker att man borde havarvat arbetet med Drömsamhället med studiebe-sök i det nuvarande samhället för att knyta fantasioch vision till realitet och praktik.

• När det gäller struktur kan man urskilja två möns-ter. Det ena är att projektarbetet inneburit osäker-het, framför allt i början. Det andra är att manupptäckt att eleverna kunnat ges ett större infly-tande över både val av uppgifter och arbetsmeto-der i och med att strukturen varit mindre låst änden vanligtvis är vid mer traditionell undervis-ning.

Utvärderingsgruppen skriver rent resultaten och gören beskrivning av hur utvärderingen genomförts.Rapporten kopieras till alla.

Resultatet diskuteras i kollegietResultatet diskuteras i kollegiet. Utvärderingsgrup-

pen har formulerat några diskussionsfrågor: Vilka ärreaktionerna på resultatet? Hur resultatet värderasutifrån de sex frågeställningar som varit utgångs-punkten för hela utvärderingen? Vilka är de viktigas-te lärdomarna vi kan göra? Vilka förslag finns till åt-gärder och förändringar finns för framtiden ?

Projektet bedöms över lag som mycket lyckat, närdet jämförs med de sex frågeställningarna, samtidigtsom mycket återstår att utveckla i kommande projekt-arbeten. Det råder stor enighet om att liknande projektockså ska prövas nästa termin. Vissa åtgärder föreslåssom förhoppningsvis ska öka möjligheterna att få inmer matematik i projektarbetet. Fler studiebesök underprojektarbetets gång rekommenderas också.

Förslagen skrivs ner och rektor får i uppdrag attse till att dessa beaktas i skolans nästa arbetsplan.Man enas också om att en sammanfattning av utvär-deringen och dess resultat ska ingå i den kvalitetsre-dovisning som skolan lämnar till kommunen.

Flera säger efteråt att utvärderingen fått dem attse på sitt eget arbete med nya ögon och med en stör-re uppmärksamhet på elevernas reaktioner på olikainslag. Flera säger också att de tack vare utvärde-ringen reflekterat mycket över sitt eget sätt att bedri-va undervisning och därmed fått en större nyfiken-het på nya och annorlunda arbetssätt.

53

ATTFUNDERAÖVER

Loggböcker förutsätter öppenhetDet kan vara vanskligt att bygga utvärderingen påatt alla ska granska sin egen verksamhet och skrivaloggböcker. En sådan uppgift bygger på att det finnsstor öppenhet bland personalen och att alla kännerengagemang för att genomföra den. Ett sätt att mini-mera metodens eventuella risker är att se till att allpersonal verkligen har möjlighet att påverka beslutetom att använda metoden och att de som inte vill an-vända den ska ha möjlighet att avstå.

Enklare uppläggning möjligDen aktuella utvärderingen är kanske väl ambitiöstupplagd. Självklart skulle man kunna tänka sig enmindre ambitiös variant – till exempelbara observa-tioner och loggbok eller bara frågeformulär. Manskulle givetvis också kunna minska på antalet fråge-ställningar. Allt beror på vilken typ av kunskap mansöker, vilka resurser skolan har och vad syftet medhela utvärderingen är.

Attitydskalor kan vara svåra att tolkaAttitydskalor av det slag som användes i den häraktuella utvärderingen är vanliga i många utvärde-ringssammanhang. Problemet med dessa skalor är attden svarandes bedömningsgrunder i regel inte är

kända eller redovisade. Det gör att det är svårt attveta hur svaren ska tolkas. Våra bedömningar påver-kas inte bara av de företeelser skalan vill att vi skabedöma – vilket ju är avsikten – utan också av våratidigare erfarenheter och förväntningar. (För en när-mare diskussion av detta problem – se Skolverketsskrift Att utvärdera skolan, 1999, sid 38.)

Vad den svarande kan mena med till exempelmycket större eller något större är heller inte alltid lättatt veta. Påståendet kan med andra ord tolkas olika avolika personer, liksom var gränsen går mellan de tvåsvarsalternativen. Man kan minska tolkningssvårighe-terna i attitydskalor genom att efter varje bedömninglämna utrymme för en motivation. Ur sådana motive-ringar kan man lättare sluta sig till vad den som svara-de avsåg med sin bedömning. Motiveringarna kan ock-så – som framgick av exemplet ovan – vara värdefullaexempel och citat i utvärderingsrapporten.

Ett annat sätt att komma till rätta med problemetär att göra som man gjorde i den här skolan. Där varpåståendena så utformade att den som svarade skullejämföra sina erfarenheter av projektarbetet med denordinarie undervisningen. Med andra ord fanns hären allmän referens – den ordinarie undervisningen.Värdet av en attitydskala av det här slaget liggerframför allt i att man kan jämföra bedömningarnamellan de olika frågeställningarna inbördes. Var upp-levde de svarande att de största skillnaderna mellanprojektarbetet och den ordinarie undervisningenfanns? I vilka avseenden ansåg man att eleverna hadefått större respektive mindre utrymme för kreativi-tet, samarbete, lust och lärande?

54

Eleverna kom inte till tals

En utvärdering av det här slaget berör självfallet ock-så eleverna. I läroplanen för grundskolan är det klartoch tydligt fastlagt att ”läraren skall tillsammans medeleverna planera och utvärdera undervisningen” (Lpo94, §2.3).

En stor brist med den här utvärderingen är där-

för att eleverna inte fick komma till tals, eftersomdet bara är personalen som bidragit med synpunkteroch bedömningar av projektarbetet. Om det är någonkategori som verkligen vet vilka inslag i projektar-betet som väcker intresse och nyfikenhet så är detsjälvfallet eleverna. Hur skulle man ha kunnat samlain deras synpunkter och bedömningar?

55

SAMMAN-FATTNING

VARFÖR?BakgrundEtt särskilt projekt ska genomföras.Motiv/syfteUtvärdera om målen för projektet uppfylls och omdet bidrar till att arbetsplanens mål uppfylls.AnvändningUnderlag för utveckling av skolans undervisningsme-toder.VAD?UtvärderingsobjektEtt projektarbete under fem veckor.HuvudfrågorPreciseras utifrån mål för utvecklingsarbetet, arbets-planens mål och farhågor hos personalen.BedömningskriterierPersonalens erfarenheter av projektet jämförs medmål för projektet, arbetsplanens mål och ordinarieundervisning.VILKA?IntresseradePersonal, elever och föräldrar.MedverkandeAll personal.GenomförareSärskild utvärderingsgrupp ansvarar. All personalmedverkar i datainsamlingen.

HUR?DatainsamlingsmetodObservationer, loggböcker och skriftlig a frågefor-mulär.UrvalAll personal.Metod för analysKvalitativ bearbetning av observationsprotokoll ochloggböcker. Kvantitativ och kvalitativ bearbetning avsvar på frågeformulär.RESULTAT?VärderingAll personal deltar i värdering av resultatet. Resulta-tet av datainsamlingen jämförs med huvudfrågorna.SpridningSkriftlig rapport till all personal. En sammanfattningav utvärderingen ingår i kvalitetsredovisningen tillkommunen.LärandeKonkreta förslag till utveckling inför liknande pro-jekt. Ökat intresse för liknande projekt, nya arbetssättoch större nyfikenhet nämns som följder av utvärde-ringen.

56

En gymnasielärare och eleverna utvärderartillsammans undervisningen i samhällskun- skap.

Får eleverna det stöd de behöver?En gymnasielärare ska utvärdera sin undervisning isamhällskunskap. Hon vill få bättre kunskap om i vil-ken utsträckning hennes undervisning ger elevernade förutsättningar de behöver för att nå kunskapsmå-len i ämnet.

Klassen står i begrepp att börja ett nytt moment isamhällskunskap: massmedia. Läraren har några oli-ka idéer om hur utvärderingen ska gå till som honförst diskuterar och stämmer av med eleverna.

Den huvudfråga läraren ställer inför utvärdering-

en är: I vilken mån ger undervisningen det stödeleverna behöver för att nå kunskapsmålen i dettamoment? Med kunskapsmålen menar hon minst be-tyget Godkänt på innehållet i det kommande mo-mentet. Vad som menas med det stöd eleverna behö-ver väljer hon att definiera tillsammans med eleverna.

När momentet inleds ger läraren en kort intro-duktion av momentet, berättar vad massmedia hand-lar om och något om hur det hänger ihop med deområden de tidigare behandlat inom samhällskun-skapen. Hon går också igenom de mål som anges ikursplanerna.

Därefter diskuterar läraren och eleverna olikaaspekter av massmedia. De kommer in på frågor somtill exempel påverkan, objektivitet och olika typer avmassmedia. Läraren skriver upp olika uppslag medhjälp av en tankekarta.

Några huvudteman utkristalliseras, som lärarenoch eleverna kommer överens om ska behandlasunder momentet.

Sedan går klassen gemensamt igenom betygskri-terierna. Läraren ber att få återkomma när hon for-mulerat om de teman hon och eleverna kommitöverens om till kunskapsmål och definierat vad somkrävs för att minst få betyget godkänt

Kriterier för en väl genomförd undervisningNästa steg är att klassen diskuterar själva utvärde-ringen. Läraren berättar om syftet – att hon vill ut-värdera undervisningen för att se hur väl den gereleverna möjlighet att nå kunskapsmålen, det villsäga få minst betyget godkänd för momentet.

Utvärdering av ett enskilt moment

i undervisningen

57

En diskussion följer om hur undervisningen börutformas och fungera för att alla ska få det stöd debehöver för att kunna nå kunskapsmålen. I diskus-sionen för läraren in sådant som finns i skolans kurs-plan för samhällskunskap (till exempel problem-orientering).

Elevernas och lärarens synpunkter sammanfattasnu i ett antal kriterier för en väl genomförd undervis-ning, till exempel:• Kunskapsmålen och betygskriterierna för mo-

mentet ska vara tydliga och kända av alla elever.• Undervisning och examination ska utformas så

alla får det stöd de behöver.• Alla kunskapsmål ska behandlas.• Eleverna ska ges utrymme för frågor som intres-

serar dem.

• Läraren ska löpande ge konstruktiv återkopplingpå elevernas arbeten.

Totalt formuleras åtta kriterier. Detta är dessa kriteri-er som undervisningen ska värderas mot. Lärarenoch eleverna diskuterar också det ansvar som följermed kriterierna – för både lärare och elever – samtde ramar som sätter gränser för undervisningen.

Enkät med fasta alternativKlassen kommer överens om att till detnäst sista lektionspasset i momentet skaläraren ha konstruerat en enkät som ska

besvaras under lektionstid. Det sista lektionspasset imomentet används för att diskutera enkäten. Elevernafår vara anonyma om de vill.

Enkäten består av en eller flera frågor per kriteri-um, till exempel:

Har du känt till kunskapsmålen för mo-

mentet?

Ja,mycketväl

Ja,ganskabra

Nej,intesärskilt väl

Nej,inte alls

Motivera ditt svar...............................................................................................................................................................................................

Tycker du att kunskapsmålen varit tydliga

för momentet?

Motivera ditt svar.....................................................................................................................................................................................

Ja,mycketväl

Ja,ganskabra

Nej,intesärskilt väl

Nej,inte alls

58

Genom att ha fasta svarsalternativ kan läraren få ettmått på hur eleverna uppfattar undervisningen i för-hållande till vart och ett av de uppställda kriterierna.Genom att även ha utrymme för elevernas egnakommentarer och reflektioner kan hon dels få förkla-ringar till elevernas svar på frågorna med fasta svars-alternativ, dels få fylligare och mer nyanserad infor-mation om hur eleverna ser på undervisningen.

Diskussion om enkätenDe besvarade enkäterna samlas in. Läraren tar hemsvaren och sammanställer dem i tabellform, fråga förfråga. De olika motiveringarna sammanför hon i oli-ka huvudkategorier/-teman.

Resultatet visar att undervisningen motsvarat vis-sa av de uppställda kriterierna väl, andra mindre väl.Ett exempel på det förra var att eleverna i hög gradkänt att de fått konstruktiv återkoppling på de arbe-ten de gjort. Ett exempel på det senare är att frågornapå en skrivning som genomfördes på momentet hadeen alltför stor tonvikt på frågor om faktakunskaperoch alltför lite efterfrågade de färdigheter som kräv-des för olika betygsnivåer.

Resultatet presenteras under momentets sista lek-tionspass för klassen. Under diskussionen får elevernabland annat ta ställning till frågor av typen: Är detnågot som förvånar? Vad beror viss kritik på? Hurskulle undervisningen kunna utvecklas? Läraren stäl-ler också frågor om några saker hon undrar övermed anledning av resultatet. En del förslag till föränd-ringar kommer upp.

En del kritik riktas mot förutsättningarna. Också

själva målen diskuteras – var de rätt satta, lagomambitiösa, realistiska, fokuserade på rätt saker ochliknande.

Läraren känner sig stärkt och inspirerad eftersamtalet med eleverna. Sammanställningen av en-käterna och diskussionen med eleverna har givit enklargörande och tankeväckande bild av hur elevernauppfattar att hennes undervisning fungerar. Bådeeleverna och läraren fick en rad uppslag till föränd-ringar inom de områden där undervisningen enligtuppställda kriterier tycks ha varit mindre lyckad.

Utifrån den genomförda utvärderingen funderarnu läraren över hur undervisningen skulle kunna ut-vecklas. Bland annat bestämmer hon sig för att skrift-liga prov i fortsättningen ska rymma mindre av fak-takunskaper och mer av de färdigheter som efterfrå-gas för olika betygsnivåer.

Läraren berättar också om utvärderingen ochdess resultat för sina kollegor. Några kollegor inspi-reras att pröva utvärderingar med liknande upplägg-ning. Läraren prövar själv modellen i några andraklasser och i några andra moment.

59

ATTFUNDERAÖVER

Svarar eleverna uppriktigt?I exemplet ska eleverna bedöma undervisningen, iprincip samtidigt som deras insatser ska värderasinför kommande betygsättning. Finns det en risk atteleverna inte känner att de kan föra fram kritik, omän konstruktiv, av rädsla för att det ska påverka derasbetyg? Läraren måste givetvis visa att hon välkom-nar elevernas synpunkter, även om de är kritiska, ochatt hon verkligen på allvar vill utveckla undervis-ningen. Likväl kan eleverna befara att deras syn-punkter kan komma att påverka betygsättningen.

I exemplet kan eleverna vara anonyma, om devill. Samtidigt är det fullt tänkbart att läraren kännerigen enskilda elevers handstilar. Det finns ett partänkbara sätt att lösa detta. Ett är att en kollega läseroch sammanställer enkätsvaren. Kanske kan två lära-re hjälpa varandra. Ett annat sätt är att eleverna dis-kuterar undervisningen och besvarar enkäten i grup-per, vilka även de kan vara anonyma. Nu när det blirallt vanligare med datorer är det också möjligt attlåta eleverna – enskilt eller i grupp – skriva ut sinaenkätsvar med dator. Ytterligare ett alternativ, somdock skulle ge mindre information, är att bara hafasta svarsalternativ.

Löpande utvärdering – ett alternativ ?

I exemplet gjordes utvärderingen när momentet när-made sig sitt slut. Det är möjligt att också utvärderaunder resans gång, särskilt om momenten löper un-der en längre tid. Då kan resultatet användas direktför att förbättra den pågående undervisningen. Entänkbar metod skulle kunna vara brevväxling medeleverna, där eleverna beskriver hur de tycker attundervisningen stödjer deras möjligheter att nå kun-skapsmålen.

Andra utvärderingskriterier?Det är givetvis också möjligt att utvärdera mot andrakriterier än de som användes i det här exemplet, medbibehållen metod och uppläggning. Till exempel kanlärare och elever tillsammans formulera mer praktis-ka mål för undervisningen, mål för vilka avsnitt somman ska klara av inom olika tidsrymder, mål för oli-ka arbetsformer och liknande som sedan utvärderas.

Vidare kan man använda mål i skolans kursplanför ämnet eller läroplanen som grund för en utvärde-ring av ett enskilt moment.

Om bra undervisningändå inte leder till målen?I det här exemplet utformar läraren och eleverna ettslags kvalitetskriterier för undervisningen. Sedan ut-värderas undervisningen med utgångspunkt i dessakriterier. När utvärderingen väl är genomförd kundeklassen kanske också ägnat en stund åt att kritiskgranska och diskutera de kriterier de ställde upp. Var

60

SAMMAN-FATTNING

VARFÖR?BakgrundEn lärares strävan att utveckla den egna undervis-ningen.Motiv/syfteAtt utveckla undervisningen, ge eleverna större möj-ligheter att tillgodogöra sig kunskapsmålen i olikamoment.AnvändningUtveckla den egna undervisningen, ge tips till kollegor.VAD?UtvärderingsobjektUndervisningen som stöd för uppnående avkunskapsmålen.HuvudfrågorHur fungerar undervisningen, i förhållande till upp-satta kriterier?BedömningskriterierKriterier för undervisningen som lärare och eleverformulerat gemensamt.

de relevanta? Skulle andra kriterier ha gett ett annatutslag?

Tänk om undervisningen hade fått höga omdö-men av eleverna men proven ändå visat att alla elev-

er inte nådde målen för godkänd? Eller tvärtom: attundervisningen hade fått låga omdömen, men elever-na ändå klarade proven? Hur skulle man kunna tol-ka sådana situationer?

VILKA?IntressenterLäraren, eleverna, kollegor, rektor.MedverkandeLäraren och eleverna.GenomförareLäraren.HUR?DatainsamlingsmetodEnkät med fasta svarsalternativ och stort utrymme förmotiveringar och förklaringar, gemensam diskussion.UrvalAlla elever i en klass.Metod för analysSammanställning i tabeller och i kategorier.RESULTAT?VärderingUndervisningen värderas mot formulerade kriterier.SpridningLäraren berättar för andra lärare på en gemensamkonferens.LärandeFörändringar av egen undervisning. Prövar utvärde-ringen i andra klasser. Kollegor inspireras och prövarliknande modeller.

61

Ansvaret för skolan, Skolverket, 1997, Stockholm.Finns som pdf-fil på Skolverkets webbplats,www.skolverket.se

Att fråga. Om frågekonstruktion vid intervjuunder-sökningar och postenkäter. Bo Wärneryd (red), Statis-tiska Centralbyrån, 1986, Stockholm (ISBN 91-618-0154-2).

En antologi med artiklar om hur man formulerarfrågor, svarsalternativ och grafisk utformning av frå-geformulär. En både teoretisk och praktisk bok omallt från språkliga frågor till minnets begränsningar.

Att utvärdera skolan, Skolverket, 1999, Stockholm.

Jag vill ha inflytande över allt, Skolverket, 1998, Stock-holm.

Här diskuteras elevinflytande av elever, lärare,skolledare, forskare och andra sakkunniga. Exemplenär tagna från skolor i Sverige och andra länder.

Läroplan för de frivilliga skolformerna (Lpf 94).

Läroplan för det obligatoriska skolväsendet (Lpo 94).

Praktisk statistik. Svante Körner och Lennart Wahl-gren, Studentlitteratur, 1996, Lund (ISBN 91-44-00084-7).

En introduktion till de metoder man använder föratt samla in, redovisa och tolka statistik. En grund-bok i statistik.

Tillsynen av skolan, Skolverket, 1998, Stockholm.

Att läsa vidare

Utvärdering i politik och förvaltning. Evert Vedung, Stu-dentlitteratur, 1991, Lund (ISBN 91-44-34261-6).

En grundbok om utvärdering av en av de mestnamnkunniga på området. Författaren gör en genom-gång av olika modeller och uppläggningar av utvär-dering. Han beskriver också en stegvis modell förhur man lägger upp en utvärdering och diskuterarskillnaden mellan interna och externa utvärderare.

Utvärderingspraktikan. Att utvärdera skolans verksam-het. Mats Ekholm och Rolf Lander, Liber Utbildning,1993, Arlöv (ISBN 91-634-0034-0).

En praktisk handbok om utvärderingar i skolan.Författarna beskriver och diskuterar utvärderingaroch deras roll och användning i skolans verksamhet.De beskriver och diskuterar också några olika meto-der för insamling och analys av data.

62