EVA 2 Rapport

Studentevaluering av undervisning og læringsmiljø

ved Høgskolen i Østfold

Vårsemesteret 2012

Nøkkeltall Institusjons- og avdelingsnivå

Kartlegging med spørreskjemaet Erfaringer med studie (EMS)

Roar C. Pettersen

PULS (Program for undervisning, læring og studiekvalitet)

HiØ

15. juni, 2012

Nothing always happens

1

Innhold

Introduksjon til EVA 2-undersøkelsen, 2012 2

Hva sier resultatene fra EVA 2 – og hva kan de brukes til? 5

Nøkkeltall i rapporten: hva og hvordan 7

Fornøyd med studiekvaliteten? 8

Variasjon på avdelings- og programnivå 9

Studentenes erfaringer med undervisning og læringsmiljø (EMS) Nøkkeltall/indikatorer på institusjons- og avdelingsnivå for 2012

10

10

GOD UNDERVISNING (GU) 10

TILBAKEMELDINGER/FEEDBACK (FB) 12

KLARE MÅL (KM) 14

ARBEIDSBYRDE (ARB) 15

VURDERINGSFORMER (VF) 17

GENERELLE FERDIGHETER (GF) OG AKADEMISK MOTIVASJON (AM) 18

Oppsummering og kommentarer 19

Status quo 19

Hvor fornøyde er vi med ”HiØ-standarden” som EVA 2 tegner?

20

’Closing the loop’ – videre arbeid

22

Avdelingsvise oversikter 2012 23

Referanser 26

Vedlegg: EMS for 2012 27

2

Introduksjon til EVA 2-undersøkelsen, 2012

Om spørreskjemaet

Årets avdelingsovergripende studentevaluering av undervisning og læringsmiljø, gjerne

omtalt som EVA 2, ble gjennomført med en noe justert variant av Erfaring med studiet

(EMS).

Spørreskjemaet inngår som ledd i HiØs kvalitetssystem og bygger på The Course

Experience Questionnaire (CEQ) (Ramsden 2003), som er et internasjonalt kjent evalue-

ringsinstrument med god validitet og reliabilitet. Det brukes i Australias nasjonale kvali-

tetssystem, men også ved en rekke utdanningsinstitusjoner verden over (f. eks. Univer-

sity of Oxford, University of Sydney og Lunds universitet 1).

Tabell 1 viser hva som er endret i årets skjema sammenliknet med standardversjo-

nen av EMS med 26 utsagn, som er fordelt på seks faktorer/dimensjoner (jf. Vedlegg 2).

EMS kartlegger studenters erfaringer med/opplevelser av sentrale pedagogiske/didak-

tiske kvaliteter ved undervisning og læringsmiljø på studieprogram- og kursnivå. De seks

faktorene er kort skissert og definert i tabell 1.

Tabell 1 Erfaring med studier (EMS, norsk versjon av Course Experience Questionnaire)

God undervisning – GU Studentenes oppfatninger av lærernes forklaringer, formidlingsevne, (6 utsagn) tilbakemeldinger, kontakt og relasjon til studentene. Uendret i 2012-versjonen Generelle ferdigheter – GF I hvilken grad studiet bidrar til å utvikle studentenes ferdigheter i problemløsning, (6 utsagn) samarbeid, skriftlig kommunikasjon og organisering av eget arbeid, slik studentene

vurderer det. Redusert til 4 utsagn i 2012-versjonen Klare mål – KM Studentenes oppfatninger av lærernes og programmets formidling av læremål, (4 utsagn) krav og forventninger som stilles til studentenes studiearbeid og innsats. Redusert til 3 utsagn i 2012-versjonen Arbeidsbyrde – ARB Dimensjonen fanger hvordan studentene opplever arbeidsbyrden, om den (4 utsagn) oppleves som passe/overkommelig − at de får tid nok og reelle muligheter til å tilegne

seg pensum/lærestoff. (Høy faktorskår indikerer at arbeidsbyrden oppleves som pas-se/overkommelig).

Vurderingsformer – VF Hvorvidt studentene anser at eksamens- og vurderingsformer legger mer vekt på (3 utsagn) faglig forståelse enn på å huske, memorere og gjengi faktakunnskaper. (Høy skår

indikerer forståelsesorientert vurdering). Studentautonomi – SA Gjelder studentenes opplevelse av relativ frihet i forhold til oppgaver og (3 utsagn) studiearbeid og i hvilken grad de har muligheter til å styre egen læring. Ikke med i 2012-versjonen

Tillegg i 2010-versjonen

Tilbakemeldinger/ Feedback – FB (4 utsagn)

Tar opp forhold knyttet til lærernes tilbakemeldninger på oppgaver/arbeidskrav.

Akademisk motivasjon – AM (2 utsagn)

I hvilken grad studentene opplever det som meningsfullt å investere tid og krefter i studiearbeidet, og opplever at studiet stimulerer deres faglige interesse for ut-danningens emner og fag.

1 Se f. eks: http://www.lth.se/fileadmin/lth/genombrottet/konferens2010/22_Alveteg_Svensson.pdf

3

På samtlige utsagn angir studentene sine erfaringer ved å markere på en femtrinns Li-

kert-skala med verdier fra 5 = Helt enig, til 1 = Helt uenig. Verdien 3 uttrykker at man er

”usikker” eller vurderer det aktuelle forholdet ”midt på treet” – eller som en del studen-

ter har kommentert: OK, helt greit.

Faktorskåren (skalaskåren) regnes ut som gjennomsnittsverdien for utsagnene i

den aktuelle skalaen. Verdien 5 er med det ”toppskår”, og 1 er ”bunnskår” for faktore-

ne.

Flere utsagn i EMS er formulert negativt, f. eks: ” Arbeidsbyrden er for stor”. Skå-

rene for disse blir invertert før videre utregning og analyse; skåren 5 gis verdien 1, skå-

ren 4 gis verdien 2, osv. Hensikten er at resultater som viser høye gjennomsnittsskårer

og høy prosentvis enighet indikerer positiv evaluering, uansett om utsagn er positivt

eller negativt formulert.

Utvalget 2012

I løpet av mars-april ble til sammen 2.060 spørreskjemaer administrert til 24 studiepro-grammer fordelt på avdelingene (Helse- og sosialfag, Ingeniørfag, Informasjonsteknolo-gi, Lærerutdanning og Økonomi, språk og samfunnsfag). I alt 1475 fullstendig utfylte skjemaer ble returnert – det gir en svarprosent på 72. I tillegg ble HiBu og HiVe invitert til å delta med et mindre utvalg programmer; til sam-men deltok ca. 250 studenter derfra i EVA 2-undersøkelsen. For dette utvalget utarbei-des en egen rapport senere. Tabell 2 på neste side gir en detaljert oversikt over programmer og kull som deltok ved HiØ.

4

Tabell 2 EVA 2 − 2012 Programmer og klasser/kull representert − med svarprosenter Avdeling/Program N= Svar

% Avdeling/Program N= Svar

% Barnevern 2. år 34 85 Førskolelærer 1. år 53 70 Barnevern 3. år 25 74 Førskolelærer 2.år 54 83 Sosialt arbeid 2. år 31 58 Førskolelærer 3.år 60 92 Sosialt arbeid 3. år 32 100 Førskole (deltid) 1. år 32 77 Sykepleie 2.år 83 69 Førskole (deltid) 2.år 17 50 Sykepleie 3. år 93 78 Førskole (deltid) 3.år 16 63 Sykepleie (delttid) 2. år 24 83 GLU 1-7 2.år 23 64 Arb. Velf.-fag 1. år 22 67 GLU 5-10 2år 20 62 Vernepleie 2. år 61 77 PPU 36 54 Vernepleie 3. år 41 68 PPU (deltid) 45 85 Master 1 18 23 Helse- og sosialfag 446 74 Master 2 24 89

Lærerutdanning

398

73 Bioingeniør 2. år 21 84 Engelsk 1. år 23 85 Bioingeniør 3. år 14 78 Int kommunikasj 1.år 25 74 Bygg 2. år 31 65 Statsvitenskap 1.år 28 82 Økad 1.år 62 57 Elektro 2. år 17 50 Økad 2.år 44 70 Innovasjon 2.år 17 81 Økad 3.år 28 96

96 Maskin-ing. 1. år 17 65 Int business 3.år 25 96 Maskin-ing. 2. år 14 56 Revisjon 1.år 20 58 Revisjon 2.år 16 53 Ingeniørfag 131 67 Revisjon 3.år 16 37 Master 1 år 22 78 Master2 år 20 74 Master 3 år 20 95

Økonomi, språk og samf

349

68 Dataing 1. år 29 76 Dataing 2. år 17 100 Digital Media 1. år 34 74 Digital Media 2. år 23 74 Informatikk 1. år 18 94 Informatikk 2. år 15 73 IT og ledelse 2.år 24 83 Informasjonsteknologi

151

78

HIØ 2012 1475 72

Årets utvalg burde gi et relativ representativt bilde av HiØs studentpopulasjon. I år er

også Avdeling for Økonomi, språk og samfunnsfag (ØSS) godt representert; et bidrag vi

har etterlyst de siste to årene.

En samlet svarprosent på 72 bør vi også være godt fornøyd med, og det er kun noen

klasser/kull som har en svarprosent under eller tett opp til 50, som vi har satt som gren-

se for å bearbeide resultatene på klasse-/kullnivå.

5

Hva sier resultatene fra EVA 2 – og hva kan de brukes til?

Studentevaluering av undervisning og læringsmiljø (student feedback) retter seg typisk mot ulike nivåer innenfor utdanningsinstitusjoner, en vanlig inndeling er evaluerings-strategier med tanke på:

Institusjonsnivå

Avdelingsnivå (fakultetsnivå)

Studieprogramnivå

Emne-/modulnivå

Direkte feedback av løpende undervisning

Spørreskjemaet i EVA 2 − EMS – ble i utgangspunktet utviklet med sikte på evaluering på

emne- og/eller programnivå. Ved å aggregere resultater fra deltakende klasser og kull til

programnivå kan vi imidlertid konstruere nøkkeltall (faktorskårer og frekvensfordeling-

er) på så vel institusjonsnivå (HiØ) som på avdelingsnivå og for de enkelte studiepro-

grammer.

Nøkkeltallene fra EVA 2 fungerer derfor som institusjonelle kvalitetsindikatorer

(performance indicators); enkle talluttrykk som kan gi overblikk og generell indikasjon

på den didaktiske eller undervisningsmessige kvaliteten knyttet til de tre øverste nivåe-

ne i oversikten over.

I denne forstand representerer EVA 2 en summativ evaluering, eller en un-

dersøkelse for reporting purposes, som Roxå og Mårtenson (2011) kaller det: ” … data

collected by the end of the course [program/studieår] in order to produce a document

describing the quality of the course (…) The purpose of this document (…) is to support

the quality enhancing dialogues between programme boards, the departments and

the students” (min uth).

I denne forstand har EVA 2 også en formativ hensikt, som student feedback for

operational purposes (Roxå & Mårtenson, 2011); med andre ord en kvalitetsutviklende

intensjon. Til dette formålet er det primært resultater fra EVA 2 brutt ned på kull-

/klassenivå for de enkelte programmer som er mest aktuelle.

Men skal nøkkeltallene fra EVA 2 – som indikatorer eller pekepinner – bidra reelt i

kvalitetsutvikling av undervisningen, er det to forutsetninger som må innfris:

For det første må resultatene sees i sammenheng med og drøftes i forhold til resultater

fra avdelingenes egne studentevalueringer, både på program- og emnenivå, og fra læ-

rerkollegiet evaluering av egen undervisning. Evaluering på emne- og lærer-/”klasse-

roms”-nivå omtales gjerne som EVA 3 i HiØs kvalitetssystem (jf. også oversikten over

hvor lærers egen studentevaluering er omtalt som direkte feedback).

For det andre: Skal studentevaluering bidra reelt til kvalitetsutvikling − som element i

høgskolens kvalitetssystem − fordres det at ”kvalitetssløyfene lukkes”, som det heter.

Men som Harvey (2011) peker på: “Closing the loop is … an important, albeit neglected,

element in the student feedback process” (Harvey, s 6). Poenget er at dette er en kritisk

faktor for studentevaluering på alle nivåer, fra klasseromsnivå (læreres evaluering av

egen undervisning) til institusjonsnivå.

6

Figur 1 viser et ukast til kvalitetssløyfe for studentevaluering av undervisning.

Figur 1

Når det gjelder EVA 2 og PULS’ engasjement i høgskolens kvalitetsarbeid, omfatter det i

første omgang bare de tre første momentene i kvalitetssløyfa, fram til rapport foreligger.

For å realisere den intenderte effekten av studentevalueringer i kvalitetsarbeidet,

er vi avhengig av systematisk og grundig arbeid i fasen fra pkt 4 til pkt 7. Denne han-

dlingsfasen representerer en kritisk faktor, kort og godt: ”What contributes to a success-

ful university experience is an institution which actively seeks, values and act on student

feedback (Harvey 2011:3; min uth.).

Her ligger ansvaret hos avdelingene ved dekan, studieledere, program- og emne-

ansvarlige og det øvrige kollegiet. I første omgang gjelder det arbeidet med å analysere,

diskutere og vurdere evalueringsdata, både fra både EVA 2 og 3 (jf. pkt 4 i figur 1).

Det er spørsmål om hvem som skal delta i denne fasen – og hvem som har ansvar

for å planlegge og gjennomføre eventuelle utviklingstiltak (pkt 5). Videre er det spørsmål

om HiØs kvalitetssystem skisserer gode nok strategier for hvordan arbeid med student-

evalueringer konkret skal gjennomføres. Blant annet om avdelingene skal rapportere

tilbake til Utdanningskvalitetsutvalget (UKU) om hvilke tiltak resultater fra EVA 2 even-

tuelt har ført til, siden UKU står ansvarlig for gjennomføringen av EVA 2.

Punkt 7 i figuren bør også kobles til punkt 4 og 5; i den forstand at det også er vik-

tig å melde tilbake til studentene hvorvidt evalueringen fører til konkrete endringer − og

hva disse eventuelt innebærer.

7

Nøkkeltall i rapporten: hva og hvordan

Årets rapport presenterer primært resultater på institusjons- og avdelingsnivå. I tilleggs-

tabeller presenteres også resultater på programnivå.

Resultatene presenteres som faktorskårer og prosentvis enighet for de sju faktore-

ne i EMS, samt for utsagnet som gjelder ”generell fornøydhet med studiekvaliteten”.

Det betyr at rapporten ikke innholder detaljerte resultater for alle utsagn i EMS for

de enkelte kull/klasser, som i tidligere års rapporter.

Denne typen detaljerte tabeller kan imidlertid ”bestilles” fra PULS av studieledere og

program- og emneansvarlig for kull/klasser man tenker analysere nærmere. Her tenkes

det primært på detaljer knyttet til områder (faktorer) som resultatene i forliggende rap-

port indikerer kan være av interesse for videre analyse, oppfølging og tiltak, jf. punkt 4

og 5 i kvalitetssløyfa.

8

Fornøyd med studiekvaliteten?

Det siste utsagnet i EMS retter seg mot studentenes generelle fornøydhet med kvalite-

ten på studieprogrammet/utdanningen, an overall satisfaction item (OSI) formulert slik:

I det store og hele er jeg fornøyd med kvaliteten på denne utdanningen (studiet).

I fjorårets EVA 2-rapport ble det introdusert en generell, intern indikator for gjennom-

snittlig fornøydhet basert på responser fra 3.179 studenter i perioden 2008-11.

65 % 15% 20 %

Generell indikator for fornøydhet med studiekvaliteten ved HiØ

Gjennomsnittskåren fra fornøydhetsutsagnet (OSI) for 2008-11 er 3,57.

Indikatoren/uttrykket prosentvis enighet viser til prosentandelen studenter som gir et

utsagn entydig positiv skår, det vi si enten Helt enig eller Delvis enig.

For fornøydhetsutsagnet er indikatoren prosentvis enighet på 65.

For EVA 2 i 2011 (n = 964) var resultatene identiske med referanseindikatorene over.

For årets EVA 2 (n = 1475) er det marginale endringer, men i svak negativ retning; gjen-

nomsnittsskår er 3,52 med denne frekvensfordelingen:

63 % 17 % 20 %

2012

Utrykket BRED prosentvis enighet anvendes også i rapportering fra EMS (CEQ) undersø-

kelser, som et alternativt og mindre krevende nøkkeltall (blant annet i det australske

kvalitetssystemet).

Bred prosentvis enighet er summen av prosentvis enighet pluss andelen som an-

vender middelskåren 3 som et uttrykk for at de opplever kvalitets som ”midt på treet”,

eller som ”OK, greit nok” som flere respondenter kaller denne skåren. Altså viser bred

enighet til andelen studenter som ikke gir et entydig uttrykk for at de misfornøyd med

kvaliteten.

For HiØ som institusjon tegner det seg et stabilt bilde av studentenes fornøydhet med

studiekvaliteten basert på undersøkelser den siste femårsperioden: Bred enighet er 80

basert på svar fra i alt 4.654 studenter.

9

Variasjon på avdelings- og programnivå

Når institusjonsindikatorene brytes ned på avdelings- og programnivå, finner vi betyde-

lige variasjoner når det gjelder studentenes fornøydhet med studiekvaliteten, som det

framgår av tabell 3. I tabellen refererer P+ og P− henholdsvis studieprogrammet med

høyest og lavest skår.

Tabell 3

Gjennomsnittskårer og frekvensfordeling for utsagnet:

I det store og hele er jeg fornøyd med kvaliteten på denne utdanningen (studiet)

Gjennomsnitt Frekvensfordeling

HS = 3,6 65 % 17 % 18 %

P+

= 4,08 88,1 6,8 5,1

P─

= 3,13 45,0 23,5 31,5

IR = 2,9 34 % 23 % 43 %

P+

= 3,46 67,8 20 17,1

P─

= 2,37 16,7 23,3 60

IT = 3,8 73 % 17 % 10 %

P+

= 4,46 92,9 7,1 0

P─

= 3,46 65,3 7,7 26,9

LU = 3,3 53 % 19 % 28 %

P+

= 3,64 69,3 17,9 12,9

P─

= 2,89 37,0 18,5 45,5

ØSS = 3,8 77 % 13 % 10 %

P+

= 4,36 96,0 4,0 0

P─

= 3,58 68,2 16,9 14,9

Variasjonen på avdelingsnivå er på 0,9 skalapoeng mellom høyeste og laveste skår; det

tilsvar en differanse på 43 i prosentvis enighet.

Imidlertid er det tilsvarende og noe større differenser mellom programmer med

høyeste og laveste skår innenfor den enkelte avdeling; største interne differanse er 1,1

skalapoeng.

Det var 24 studieprogram som deltok i EVA 2 undersøkelsen i år. Av disse var det 7 pro-

gram som utmerket seg med en prosentvis enighet høyere enn 80, tett fulgt av 2 med

prosentvis enighet høyere enn 75.

OK, greit nok!

10

Studentenes erfaringer med undervisning og læringsmiljø (EMS)

Nøkkeltall/indikatorer på institusjons- og avdelingsnivå for 2011

Nedenfor presenteres nøkkeltall/indikatorer på samme måte for generell fornøydhet, jf

tabell 3. Prosentvis enighet og uenighet, samt nøytrale responser (OK, greit nok), for

faktorene er regnet ut som gjennomsnittet av frekvensfordelingene for de enkelte ut-

sagn som danner den aktuelle faktoren.

GOD UNDERVISNING

Utsagnene som danner skalaen God undervisning, er gitt i tabell 4.

Tabell 4

GU3 3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet

GU7 7 Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine

GU15 15 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet

GU17 17 Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg / ligger an i studiet

GU18 18 Lærerne på studiet er virkelig gode til å forklare tingene for oss

GU19 19 Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant

(Reliabilitet [Cronbachs alfa] for skalaen God undervisning, GU, =0,80)

Resultater for God undervisning for HiØ som institusjon er gjengitt i tabell 5, og for av-

delingene i tabell 6, sammen med resultatet for 2011 og referanseindikatoren; snittet

for perioden 2008-11.

Tabell 5

God undervisning − HiØ

Gjennomsnittskår

2012

Frekvensfordeling 2012

Gj.snitt 2011 og

Ref.indikatorer

HiØ = 3,05 42 % 18 % 40 % 3,1 / 3,01

Sett under ett opplever og vurderer årets utvalg (2012) undervisningen ved HiØ stort

sett som utvalgene i tidligere EVA 2-undersøkelser. I forhold til 2011-utvalget ligger

snittskåren 0,05 skalapoeng lavere, som ikke representerer en praktisk signifikant for-

skjell. Det gjør heller ikke differansen i forhold til referanseindikatoren (0,04 skalapo-

eng). Men igjen skjules betydelig variasjon bak de aggregerte nøkkeltallene. Både på

avdelingsnivå − og mellom studieprogrammer på samme avdeling, indikert ved høyeste

skår (P+) og laveste skår (P−) for GU på den aktuelle avdeling, jf. tabell 6.

OK, greit nok!

OK, greit nok!

11

Tabell 6

God undervisning – fordelt på avdelingene

Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref.

indikator

HS = 3,08 40 % 27 % 33 % 3,2 /3,13

P+

= 3,28

P─

= 2,91

IR = 2,63 25 % 23 % 52 % 3,0/2,80

P+

= 3,10

P─

= 2,16

IT = 3,08 43 % 23 % 34 % 3,3/2,89

P+

= 3,43

P─

= 2,98

LU = 2,98 37 % 25 % 38 % 2,8/2,91

P+

= 3,01

P─

= 2,87

ØSS = 3,22 50 % 18 % 32 % --/--

P+

= 3,85

P─

= 2,95

Drøyt en tredjedel (n=9) av de 24 programmene som deltok i årets EVA 2 hadde en

gjennomsnittsskår 3,2. Frekvensfordeling for programmer som ligger dette sjiktet er antydet nedenfor, hvor program 3 er blant ”topp 3” i årets undersøkelse.

Gjennomsnitt Frekvensfordeling

Program 1 = 3,17 50 % 25 % 25 %

Program 2 = 3,43 60 % 18 % 22 %

Program 3 = 3,85 71 % 14 % 15 %

Kommentar til God undervisning og lærernes tilbakemeldinger

To utsagn i God undervisning, GU3 og GU17, handler om studentenes opplevelse av læ-

rernes vektlegging av tilbakemeldinger i undervisningen, og om studentene vurderer

tilbakemeldningen de mottar som nyttige, jf. tabell 4. Dette forholdet er tolket som å

ligge tett opptil Kvalitetsreformen sentrale formulering og krav om ”tettere oppfølging”.

Derfor har vi fulgt den gjennomsnittlige, prosentvise enigheten for de to utsagnene i

utvalgene som har deltatt i EVA 2-undersøkelser siden 2005.

I perioden 2005−2008 var gjennomsnitt litt i overkant av 20 % enige.

I perioden 2009 – 2011 var 40 % enige.

I 2011 var prosentvis enighet 44.

OK, greit nok!

OK, greit nok!

12

For årets utvalg (2012) er prosentvis enighet 32. Med andre ord bekrefter ikke dette

utvalget den antatte positive trenden når det gjelder HiØs praksis for tilbakemel-

ding/feedback og tettere oppfølging, basert på resultatene fra tidligere år. I årets under-

søkelse er det ØSS som kommer best ut med prosentvis enighet på 39,1.

Det betyr samtidig at det er de to utsagnene om tilbakemeldinger som får svakest opp-

slutning i skalaen God undervisning. Faktorskår for GU når disse ikke medregnes er 3,17,

som er signifikant høyere enn skåren for GU når alle seks utsagn inngår (3,05).

TILBAKEMELDINGER – FEEDBACK For å få et mer nyansert bilde av opplevd tilbakemeldings-/feedback-praksis, er skalaen Tilbakemeldinger/Feedback (FB) introdusert i årets EVA 2, jf. tabell 1.

De fire utsagnene i tabell 7 er hentet fra Graham Gibbs’ Assessment Experience Questionnaire (AEQ)2; det første og siste usagnet er negativ formulert, men er snudd før videre statistisk bearbeiding.

Tabell 7

Utsagn i skalaen Tilbakemeldinger/Feedback (FB)

9 Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet

11 Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om hva jeg måtte

forbedre til neste gang

14 Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til

21 Tilbakemeldinger på innleverte oppgaver kommer ofte så sent at nytteverdien blir ganske liten

Reliabiliteten for denne skalaen er relativt beskjeden (Cronbachs alfa= 0,59), men som

forventet siden utsagnene er hentet fra fire ulike skalaer i AEQ. Imidlertid viser faktora-

nalyse av datamaterialet for 2012 at de fire utsagnene danner en distinkt faktor sam-

men med GU7 og GU17 (jf. over). Reliabiliteten for denne faktoren, = 0,75.

Resultatene presentert i tabell 8 bygger på de fire utsagnene gitt ovenfor i tabell 7. De

omfatter faktorskår og prosentvis enighet, både for skalaen og enkelutsagn, så vel på

institusjonsnivå (HiØ) som for høgskolens avdelinger.

2 Se Gibbs og Dunbar-Goddet (2007) og Gibbs og Simpson (2003) for detaljer.

En tilpasset norsk versjon av AEQ er utarbeidet og validert av R.C. Pettersen og Kristine H. Karlsen. Prosjektnotat. HiØ: NFR-prosjektet, 2009.

13

Tabell 8

Tilbakemeldinger – for HiØ og fordelt på avdelingene

Gjennomsnitt Frekvensfordeling HiØ = 2,94 37 % 22 % 41 %

Utsagn 9 34 % 18 % 48 %

Utsagn 11 42 % 20 % 38 %

Utsagn 14 40 % 25 % 35 %

Utsagn 21 33 % 24 % 44 %

HS = 2,86 34 % 23 % 43 %

Utsagn 9 26 % 20 % 54 %

Utsagn 11 41 % 23 % 36 %

Utsagn 14 43 % 26 % 31 %

Utsagn 21 27 % 24 % 49 %

IR = 2,54 24 % 22 % 54 %

Utsagn 9 23 % 15 % 62 %

Utsagn 11 28 % 19 % 53 %

Utsagn 14 26 % 30 % 44 %

Utsagn 21 19 % 24 % 57 %

IT = 2,96 38 % 22 % 40 %

Utsagn 9 33 % 20 % 47 %

Utsagn 11 40 % 19 % 41 %

Utsagn 14 36 % 27 % 37 %

Utsagn 21 44 % 23 % 33 %

LU = 2,95 37 % 19 % 42 % Utsagn 9 34 % 20 % 46 %

Utsagn 11 43 % 16 % 41 %

Utsagn 14 39 % 24 % 37 %

Utsagn 21 32 % 25 % 43 %

ØSS = 3,16 46 % 20 % 34 %

Utsagn 9 46 % 26 % 38 %

Utsagn 11 50 % 18 % 32 %

Utsagn 14 46 % 18 % 36 %

Utsagn 21 42 % 22 % 36 %

Samlet gjennomsnittskår for utsagnene FB9 og FB21 er 2,8 som tilsvarer samlet gjen-

nomsnitt for GU7 og GU17. De to parene omhandler korresponderende forhold: feed-

back-kvantitet og nytte/timing. For de fire utsagnene ligger prosentvis enighet i området

32-34 på institusjonsnivå.

Når gjennomsnittskåren for FB-skalaen ligger noe høyere (0,1 skalapoeng) enn for

de nevnte utsagnene, skyldes det at studentene stort sett skårer utsagnene FB9 og FB21

OK, greit nok!

OK, greit nok!

14

høyest, relativt sett. Det som gjelder tilbakemeldingenes formative karakter, og tilba-

kemeldinger som fører til at studentene går gjennom sine oppgaver på nytt.

KLARE MÅL

Et av utsagnene i KM-skalaen er utelatt i årets EVA 2, KM25, som vist under.

KM1 Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt

KM6 Stort sett har jeg en klar oppfatning av hva som forventes og hvordan jeg ligger an i studiet

KM13inv Det er ofte vanskelig å forstå akkurat hva man forventer av studentene på dette studiet

KM25 Helt fra begynnelsen gjør lærerne det klart hva de forventer av studentene

Erfaringsmessig påvirker dette utsagnet (KM25) variasjonen i faktorskåren for Klare mål i

beskjeden grad; utsagnet har typisk en gjennomsnittskår på 3,0 0,01, basert på tidlige-

re undersøkelser (n= 2.500). Derfor har reduksjonen marginal betydning for sammen-

likninger mellom årets og fjorårets resultat og i forhold til referanseindikatoren. Antatt

effekt på KM-gjennomnittet er 0,05 skalapoeng.

Utsagn KM13 er negativt formulert. Etter at skårene for utsagnet er invertert, refe-

rerer enighet til det omvendte utsagnet; at studentene opplever at det er enkelt å forstå

mer nøyaktig hva som forventes av dem på studiet.

Tabell 9

Klare mål (KM) − HiØ

Gjennomsnittskår

2012

Frekvensfordeling 2012

Gj.snitt 2011 og

Ref.indikatorer

HiØ = 3,17 46 % 25 % 29 % 3,2 / 3,14

På institusjonsnivå er det differensen mellom årets resultat for KM sammenliknet med så vel 2011 som referanseindikatoren i praksis lik null.

Den prosentvise enigheten på enkeltutsagnene er slik: Enig Utsagn

KM1 51 % Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt

KM6 56 % Stort sett har jeg en klar oppfatning av hva som forventes og hvordan jeg ligger an i studiet

KM13inv 31 % Det er ofte vanskelig å forstå akkurat hva man forventer av studentene på

dette studiet

Det er altså når det kommer til å forstå nøyaktig/akkurat hva som forventes og hvilke krav som stilles til studiearbeidet, at den prosentvise enigheten er lavest. Det er et gjen-nomgående trekk for alle avdelinger. I noen grad kan det muligens tas som en indikasjon på hvor godt man har lykkes med å implementere kvalifikasjonsrammeverket i det en-kelte studieprogram. Intensjonen med læringsutbyttebeskrivelser er å formidle og øke

OK, greit nok!

15

presisjonsnivået på de krav og mål som stilles til studentenes studiearbeid og læringsre-sultater.

Tabell 10 viser gjennomsnittsskår for Klare mål på avdelingsnivå, samt frekvensfor-deling og gjennomsnittsskår for programmet med henholdsvis høyest og lavest skår på avdelingen.

Tabell 10

Klare mål (KM) – fordelt på avdelingene

Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref. indikator

HS = 3,25 49 % 24 % 27 % 3,2 /3,16 P

+ = 3,43

P─

= 3,12 IR = 2,93 34 % 26 % 40 % 3,3/3,12

P+

= 3,13 P

─ = 2,61

IT = 3,06 45 % 28 % 27 % 3,2/2,97

P+

= 3,38 P

─ = 2,84

LU = 2,99 39 % 22 % 39 % 2,9/3,10

P+

= 3,56 P

─ = 2,70

ØSS = 3,41 55 % 20 % 25 % --/--

P+

= 3,80 P

─ = 3,15

Heller ikke på avdelingsnivå finner vi signifikante forskjeller sammenliknet med de fire

foregående årene. Hovedinntrykket kan oppsummeres som ”status quo” for avdelinge-

ne HS, IT og LU. For IR skårer årets utvalg KM signifikant lavere enn utvalgene for tidlige-

re år. For ØSS har vi ikke sammenliknbare tall fra tidligere år, men konstaterer at også

for Klare mål kommer ØSS best ut av evalueringen, som for faktorene God undervisning

og Tilbakemeldinger/Feedback.

ARBEIDSBYRDE

Skalaen Arbeidsbyrde (ARB) er utformet for å få et mål/en indikasjon på i hvilken grad

studentene opplever arbeidsbyrden knyttet til studieprogrammet som overkommelig/

passe. Høy skalaskår indikerer at studentene vurderer studiearbeidet som overkomme-

lig og rimelig i forhold til studiets krav og utfordringer. En overkommelig/passe arbeids-

byrde er definert ut fra følgende utsagn:

ARB4inv Arbeidsbyrden på utdanningen er for stor

ARB14 Studieopplegget gir oss tilstrekkelig med tid så vi kan få lært oss tingene ordentlig

ARB21inv På studiet stilles det høye krav som fører til et stort press på meg som student

ARB26 Omfanget av lærestoff/pensum på dette studiet gjør at vi ikke kan lære oss alt skikkelig

OK, greit nok!

16

Tabell 11 viser nøkkeltall og frekvensfordeling på institusjonsnivå, og tabell 12 viser re-

sultatene brutt ned på avdelingsnivå.

Tabell 11

Arbeidsbyrde − HiØ

Gjennomsnittskår

2012

Frekvensfordeling 2012

Gj.snitt 2011 og

Ref.indikator

HiØ =2,52 25 % 17% 58 % 2,3 / 2,44

Skalaen for arbeidsbyrde får typisk lavest skår og prosentvis enighet, både i undersøkel-

ser med CEQ og i tidligere EVA 2-undersøkelser, jf. referanseindikator.

Tabell 12

Arbeidsbyrde(ARB) – fordelt på avdelingene, 2012

Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref. indikator

HS = 2,36 20 % 18 % 62 % 2,3 /2,31 P

+ = 2,80

P─

= 2,13 IR = 2,17 14 % 13 % 73 % 2,4/2,45

P+

= 2,41 P

─ = 1,90

IT = 2,76 33 % 18 % 49 % 2,4/2,79

P+

= 2,89 P

─ = 2,32

LU = 2,47 21 % 19 % 60 % 2,3/2,49

P+

= 2,70 P

─ = 2,16

ØSS = 2,81 36 % 20 % 48 % --/--

P+

= 3,22 P

─ = 2,31

En undersøkelse fra Oxford i 2003 med bachelorstudenter hvor denne skalaen inngikk,

fikk den gjennomsnittskår 2,95. Så det er et stykke igjen til HiØ matcher dette nivået, for

de fleste avdelingene. Men det kan se ut som det kan være innenfor rekkevidde for ØSS;

her finner vi også programmet med høyest faktorskår, 3,22 (!).

OK, greit nok!

OK, greit nok!

OK, greit nok!

17

VURDERINGSFORMER

Skalaen Vurderingsformer (VF) fokuserer på studentenes oppfatninger om hvilke kunn-

skapsformer studiet/lærerne vektlegger i vurderingen av studentenes læringsutbytter.

Om lærerne er mest opptatt av studentenes forståelse av fagstoffet de arbeider med,

eller om de primært etterspør faktainformasjon og faktakunnskaper, som referer til et

lavere taksonomisk nivå (jf. Kvalifikasjonsrammeverket). De tre utsagnene er alle nega-

tivt formulert slik at når de inverteres, uttrykker høy faktorskår at det er studentenes

forståelses av faget som tillegges vekt.

VF8inv 8 For å klare seg godt på dette studiet er en god hukommelse egentlig alt du trenger

VF12inv 12 Jeg synes lærerne er mer interessert i å teste hva vi husker enn det vi har forstått

VF20inv 20 Altfor mange av lærerne stiller spørsmål som bare gjelder faktakunnskaper

Tabell 13

Vurderingsformer

Gjennomsnittskår

Frekvensfordeling 2012

Gj.snitt 2011 og

Ref.indikator

HiØ =3,52 52 % 29 % 19 % 3,5 / 3,54

Tabell 14

Vurderingsformer (VF) – fordelt på avdelingene

Gjennomsnitt Frekvensfordeling Gj.snitt 2011/ Ref. indikator

HS = 3,46 52 % 29 % 19 % 3,6 /3,53 P

+ = 3,74

P─

= 3,28 IR = 3,30 47 % 29 % 24 % 3,3/3,43

P+

= 3,90 P

─ = 3,07

IT = 3,57 58 % 22 % 20 % 3,4/3,50

P+

= 3,98 P

─ = 3,18

LU = 3,64 59 % 26 % 15 % 3,5/3,56

P+

= 4,33 P

─ = 3,48

ØSS = 3,54 60 % 21 % 19 % --/--

P+

= 4,19 P

─ = 3,19

Også denne faktoren viser liten endring sammenliknet med fjorårets utvalg og referan-

seindikatoren. Status quo synes å være en nærliggende konklusjon. Muligens med unn-

tak av LU hvor det er en svak forbedring i forhold til begge sammenlikningsgrunnlagene.

OK, greit nok!

OK, greit nok!

18

GENERELLE FERDIGHETER (GF) OG AKADEMISK MOTIVASJON (AM)

Skalaen Generelle ferdigheter (GF) handler om hvordan studentene opplever at studiet

bidrar til at de utvikler såkalte generelle ferdigheter. Det dreier seg eksempelvis om

samarbeidsevne, kommunikasjon, problemløsning og faglig trygghet. To utsagn er ute-

latt i årets versjon av EMS, slik det framgår nedenfor. Den avkortede skalaen er rimelig

reliabel; = 0,70. Generelle ferdigheter har gjennomgående den høyeste gjennomsnitt-

skåren av EMS’ standardskalaer; referanseindikatoren er 3,78. Innenfor en feilmargin på

0, 1 skalapoeng er resultatene basert på den korte skalaen sammenliknbar med må-

linger tidligere år. Generelle ferdigheter

GF2 Studiet har bidratt til at jeg er blitt bedre til å samarbeide og delta i teamarbeid

GF9 Studiet bidrar til at jeg utvikler mine ferdigheter i å organisere eget arbeid

GF11 Studiet har bidratt til at jeg er blitt bedre til å kommunisere og uttrykke meg skriftlig

GF16 Studiet bidrar til at jeg utvikler mine ferdigheter i problemløsning

GF22 Studiet bidrar til at jeg utvikler mine analytiske evner og ferdigheter

GF24 Studiet bidrar til at jeg føler meg tryggere på å arbeide med nye problemstillinger og oppgaver

Skalaen Akademisk motivasjon består av kun to utsagn: AM 1 Jeg opplever at det er meningsfullt å investere tid og krefter i studiearbeidet AM 2 Studiet har stimulert mine faglige interesser for utdanningens emner og fag Skalaen ble brukt både i 2010 og 2011 og oppnådde faktorskår 4, 1 begge år. Reliabilitet

er beskjeden, men akseptabel: =0, 53. Det er i noen grad påvirket av at utsagn AM 1 er nært korrelert med skalaen Generelle ferdigheter. Skalaskårer og prosentvis enighet for begge skalaer, GF og AM, på institusjonsnivå er oppgitt i tabell 14.

Tabell 14

Generelle ferdigheter og Akademisk motivasjon

Gjennomsnittskår, HiØ

Frekvensfordeling 2012

Gj.snitt 2011 og

Ref.indikator

Generelle ferdigheter =3,66 66 % 18 % 16 % 3,8 / 3,78

Akademisk motivasjon =4,19 85 % 8 % 7 % 4,1 / ---

Hovedtrekket er marginale differenser på institusjonsnivå for begge skalaer sammenlik-

net med resultatene fra 2011-utvalget. For begge skalaer varierer snittskåren mellom

avdelingene i 2012 i størrelsesorden 0,4-0,5 skalapoeng. Den avdelingsvise variasjonen

på programnivå kan leses ut av oversiktene – se s. 23-25.

19

Oppsummering og kommentarer

STATUS QUO Tankeboblen på rapportens forside – ”Nothing always happens”3 − er ment å reflektere

helhetsinntrykket av årets EVA 2-undersøkelse sett i forhold til resultatene for de fire

forgående årene, hvor nøkkeltall for perioden framkommer som referanseindikatorer

(Ref.IND i tabell 15).

Sitatet over dukket først opp under analysen på institusjonsnivå for Generell for-

nøydhet (OSI-utsagnet). For 2012-utvalget som representerer HiØ i denne sammen-

hengen, er det en marginal, nærmest mikroskopisk endring i forhold utvalgene tidligere

år. Forskjellen er på 0,05 skalapoeng i negativ regning. Omregnet til prosentvis enighet

er det 3 % færre fornøyde studenter i år sammenliknet med 2011: 63 % i 2012 og 65

% i 2011.

Skal det være snakk om signifikante forskjeller, så vel statistisk som praktisk, må

disse ligger på 0,2 skalapoeng, både for fornøydhetsutsagnet og faktorskårene i EMS.

I tabell 3 (s. 9) ser vi imidlertid at det er signifikante forskjeller mellom avdelingene

for dette utsagnet, den største forskjellen er på 0,9. På den annen side, ser vi på utvik-

lingstendensen fra 2011 til 2012, så er det signifikant færre fornøyde studenter ved HS

og IR, mens for IT og LU er det mindre og ikke-signifikante endringer.

Tabell 15 oppsummerer årets resultater for faktorene i EMS med referanseindikatorer

som sammenlikningsgrunnlag.

Tabell 15

God undervisning (GU) TILBAKEMELDINGER (FB) Klare mål (KM)

2012 Ref.IND 2012 Ref.IND 2012 Ref.IND

HiØ 3,05 3,01 2,98 -- 3,17 3,14

HS 3,08 3,13 2,86 -- 3,25 3,16

IR 2,63 2,80 2,54 -- 2,93 3,12

IT 3,08 2,86 2,96 -- 3,06 2,97

LU 2,98 2,91 2,95 -- 2,99 3,10

ØSS 3,22 -- 3,16 -- 3,41 ---

Arbeidsbyrde (ARB) Vurderingsformer (VF) Generelle ferdigheter (GF)4

2012 Ref.IND 2012 Ref.IND 2012 Ref.IND

HiØ 2,52 2,44 3,52 3,54 3,66 3.78

HS 2,36 2,31 3,46 3,53 3,82 3,96

IR 2,17 2,45 3,30 3,43 3,41 3,59

IT 2,76 2,79 3,57 3,50 3,56 3,62

LU 2,47 2,49 3,64 3,56 3,63 3,72

ØSS 2,81 --- 3,54 --- 3,61 ---

3 Den noe paradoksale formuleringen er hentet fra Steve de Shazer (1940-2005), en pioner innenfor såkalt Løsnings-

fokusert terapi og veiledning (LØFT). 4 Kommentar til GF: At 2012-resultatene systematisk ligger noe under ref.indikator (og skårene fra fjorårets utvalg)

kan muligens tilskrives at skalaen er redusert med to utsagn, som nevnt tidligere.

20

Siden faktorene i EMS er satt sammen av flere utsagn som er tenkt å måle (og definere)

det aktuelle undervisningsaspektet, er de mer robuste enn resultater fra ett enkeltut-

sagn, for eksempel det som gjelder fornøydhet.

Samtidig viser analyser fra tidligere år, og i år, at det er relativt sterk samvariasjon

mellom OSI-utsagnet og faktorskårene. Tar vi gjennomsnittet av de enkelte faktorskåre-

ne, får vi et mål på samlet erfaring med studiet (omtalt som ’perceived academic quali-

ty’, PAQ; jf. Richardson 2005). Den samlede erfaring med studiet, PAQ = 3,14 for 2012. I

fjor var skåren 3,20. Korrelasjon mellom PAQ og OSI er 0,65 og 0,68 (Pearson r) for hen-

holdsvis 2012 og 2011, som tilsvarer omtrent 45 % samvariasjon mellom de to variable-

ne.

Ved å finlese oppsummeringen i tabell 15 ser det ut til at utsagnet ”nothing always

happens” også gjelder her. Den marginale forskjellen mellom PAQ-skårene fra 2011 til

2012 støtter dette. Gitt kriteriet for signifikant endring mellom 2012-skårene og refe-

ranseindikatoren på 0,2 skalapoeng (i den ene eller annen retning), er det et stabilt

bilde som tegner seg basert på nøkkeltallene, så vel på institusjonsnivå som for de en-

kelte avdelinger. Noen avvik kan registreres. Det gjelder skåren for GU med en positiv

utvikling på IT, mens den er negativ for samme skala for IR. Men disse innfrir ikke kravet

til signifikans. Eneste signifikante differanse finner vi for Arbeidsbyrde på IR.

Ellers er det status quo for kvaliteten på undervisning og læringsmiljø ved HiØ og HiØs

avdelinger, slik disse forholdene defineres og måles via spørreskjemaet Erfaring med

studiet, EMS.

Hvor fornøyde er vi med ”HiØ-standarden” som EVA 2 tegner?

I mangel på nasjonale referanser, siden EMS/CEQ ikke inngår i andre norske universite-

ter eller høgskolers kvalitetssystemer, rettet vi i fjor blikket internasjonalt. I Australia

anvendes CEQ som ledd i den nasjonale, årlige undersøkelsen Graduate Course Expe-

rience, som gjennomføres fire måneder etter avlagt eksamen. Rapporter fra 2008 og

2009 viser at ca. 70 % av uteksaminerte bachelorstudenter er fornøyde (målt med OSI-

utsagnet).

Videre løftet vi fram en undersøkelse fra University of Oxford (Trigwell & Ashwin,

2003) hvor CEQ ble anvendt, og som omfatter studenter på bachelornivå. Av disse var

85 % fornøyde, målt med samme utsagn (gjennomsnittsskår, 4,02); 5 % var misfornøyde

(prosentvis uenighet)

Fra 2005 har man også introdusert en nasjonal studentevaluering i Storbritannia,

National Student Survey (NSS) (www.thestudentsurvey.com). Spørreskjemaet er som

EVA 2 inspirert av CEQ og innholder noen av de samme utsagnene, blant annet OSI.

Resultater fra NSS slås stort opp den britiske pressen, for eksempel skriver The Tele-

graph (13.10.2011):

21

“National Student Survey: one-in-10 ’dissatified’ with degree. Almost on-in-10 final year undergraduates said courses were not good enough. … This year, 83 per cent of the 265,000 students questioned said they were satisfied with the quality of their course … A further nine per cent said they were dissatisfied while eight percent failed to give a preference.”

Også i denne undersøkelsen kommer Oxford godt ut med prosentvis enighet 93, altså

høyere enn i undersøkelsen fra 2003. Og universitetene bruker resultatene for hva de er

verdt, se for eksempel: http://www2.le.ac.uk/departments/geology/reviews-and-

awards/ .

Ved University of Leicester, som linken viser til, gjør de også et poeng av at gjen-

nomsnittlig enighet for alle utsagn i spørreskjemaet gir et sannere og bedre bilde av kva-

liteten, enn OSI-utsagnet alene. Ved Fakultetet for geologi var 96 % av studentene enige

i fornøydhetsutsagnet. Imidlertid var fakultetet alene om å ha over 90 % fornøyde stu-

denter ut fra gjennomsnittet basert på alle utsagn, såkalt true overall satisfaction, jf.

figur 2.

Figur 2

I figur 2 ser vi at Oxford har en true overall satisfaction på ca 84-85 %; det vil si at ver-

dien på denne parameteren ligger ca. 10 % under fornøydhetsskåren basert på OSI-

utsagnet. Et liknende forhold får vi ved å regne ut true overall satisfaction for HiØ ba-

sert på EMS (unntatt skalaen ARB, siden dette forholdet ikke berøres i NSS). Den pro-

sentvise u-enigheten stiger da ca. 10 % sammenliknet med tilsvarende frekvens basert

på OSI-utsagnet, oppsummert for HiØ:

20 % = basert på OSI.

30 % = basert på gjennomsnittet av utsagnene i EMS (unntatt ARB).

Med undersøkelsene løftet fram ovenfor som bakteppe, framstår spørsmålet i over-

skriften nærmest retorisk. Svaret burde være ganske åpenbart. De institusjonelle nøk-

keltallene for EVA 2 tegner ikke en standard HiØ bør slå seg til ro med!

Samme konklusjon ble trukket i fjorårets rapport, og følgende standard HiØ som in-

stitusjonen bør strekke seg etter, ble foreslått:

22

Prosentvis enighet for studiekvalitet (OSI-utsagnet) 70-80 %

God undervisning (GU), faktorskår 3,3–3,5

Klare mål (GU), faktorskår 3,4–3,6

Arbeidsbyrde (ARB), faktorskår 2,6–2,8

For den nye faktoren, Tilbakemeldinger/Feedback (FB), bør skåren ligge omtrent på

samme nivå som GU.

Det er verdt å merke seg at av 2012-utvalgene ligger ØSS tett opp til den skisserte

standarden, og IT matcher den for OSI-skår og for Arbeidsbyrde.

Og på avdelingsnivå finner vi flere studieprogram som matcher både den forslåtte

standarden og nivåer som i de skisserte australske og britiske referansene – jf. de avde-

lingsvis oversiktene, side 23-25.

Spørsmålet er imidlertid hvordan høgskolen skal gå fram for å heve programmer

som ligger under – og til dels langt under – opp til den skisserte standarden.

’Closing the loop’ – videre arbeid Med foreliggende rapport er PULS’ bidrag til kvalitetsarbeidet basert på studentevalue-

ringer fullført, i første omgang. Slik det er skissert i kvalitetssløyfa for studentevaluering

av undervisning (figur 1, s. 6), hvor PULS’ oppgaver dreier seg om (1) administrasjon av

EVA 2, (2) Analyse og bearbeiding av data og (3) Publisering av resultater.

Dermed er stafettpinnen sendt til avdelingene, hvor ansvaret for det videre kvalitetsar-

beidet ligger. Resultater fra studentevaluering av undervisning er ett sett handlingsdata,

blant flere, for dekaner, studieleder og det øvrige kollegiet i arbeidet med å kvalitetssik-

re og utvikle kvaliteten hva gjelder undervisning og læringsmiljøer.

Her bidrar EVA 2 som ett av flere handlingsgrunnlag basert på studentevaluering,

hvor EVA 2 spesifikt setter søkelyset på generelle didaktiske kvaliteter i undervisning og

læringsmiljøet. Resultatene presenteres som indikatorer, hint eller pekepinner − som ”a

first layer of information”.

Derfor må informasjonen (nøkkeltallene) analyseres, vurderes og drøftes på avde-

lingene i sammenheng med resultater/handlingsdata fra avdelingenes egne evalueringer

(EVA 3). Aktuelle problemstillinger kan være hvorvidt EVA 2 bekrefter/understøtter re-

sultater fra eget evalueringsarbeid, eller om EVA 2 resultatene framstår som irrelevante

og ”på tvers” av det som framkommer i andre evalueringer. Eller om EVA 2 setter søke-

lyset på relevante områder og utfordringer som bør undersøkes nærmere og drøftes

videre, med tanke på endringer og tiltak.

Dette arbeidet danner et kritisk moment i prosessen med å lukke kvalitetssløyfa,

som er utfordringen avdelingene står overfor. Hovedpoenget er; understreket nok eng-

ang med Harvey (2011):

“Closing the loop is … an important, albeit neglected, element in the student feedback

process.”

23

AVDELINGSVISE OVERSIKTER 2012

SAMMENLIKNINGSGRUNNLAG

HiØ 2012 (2011 i parentes)

Program med høyeste skårer for 2012

Program med høyeste skårer for 2012

Bachelor Master

GU 3,1 (3,1) 3,9 3,8 FB 2,9 ( - ) 3,8 3,7 KM 3,2 (3,2) 3,7 3,8 ARB 2,5 (2,3) 3,2 3,2 VF 3,5 (3,5) 3,6 4,2 GF 3,7 (3,8) 4,1 4,2

63 % (3,5) 96 % (4,1) 94 % (4,1)

2011

65 % (3,6)

Faktorskårer for Generell fornøydhet i 2012 og 2011 står i parentes.

Avdeling for HELSE- OG SOSIALFAG PROGRAMNIVÅ – Faktorskårer EMS og fornøydhet (overall satisfaction item) BARNEVERN SOSIALT ARBEID ARB.VELF SYKEPLEIE SYKEPLEIE

deltid VERNEPLEIE

GU 3,2 (3,2) 3,3 (3,4) 3,3 2,8 (3,0) 3,4 3,2 (3,2) FB 2,7 ( - ) 2,9 ( - ) 2,7 2,8 ( - ) 3,0 3,1 (4,2) KM 3,3 (3,4) 3,4 (3,5) 3,1 3,1 (3,1) 3,3 3,3 (3,2) ARB 2,8 (2,5) 2,8 (2,5) 2,8 2,1 (2,2) 2,6 2,2 (2,2) VF 3,7 (3,6) 3,7 (3,9) 3,7 3,2 (3,4) 3,5 3,4 (3,6) GF 3,9 (4,1) 4,1 (4,2) 3,9 3,6 (3,8) 3,7 4,0 (4,2)

88 % (4,0) 87 % (4,1) 77 % (3,9) 45 % (3,0) 92 % (4,2) 76 % (3,9)

2011

86 % (4,2)

88 % (4,2)

---

59 % (3,5)

---

76 % (3,9)

24

Avdeling for INGENIØRFAG

PROGRAMNIVÅ – Faktorskårer EMS og fornøydhet (overall satisfaction item) BIOING BYGG ELEKTRO

*) INNOVASJON MASKIN-ING

GU 3,1 (3,2) 2,6 (3,3) 2,4 (2,8) 2,9 ( - ) 2,2 (2,7) FB 3,1 ( - ) 2,5 ( - ) 2,2 ( -- ) 2,7 ( - ) 2,1 ( - - ) KM 3,0 (3,3) 3,1 (3,4) 2,9 (3,2) 2,6 ( - ) 2,8 (3,3) ARB 2,2 (2,8) 2,3 (2,4) 2,0 (2,5) 2,4 ( - ) 1,9 (2,1) VF 3,1 (3,7) 3,2 (3,1) 3,2 (3,2) 3,9 ( - ) 3,4 (3,6) GF 3,3 (3,9) 3,4 (3,8) 3,6 (3,6) 4,0 ( - ) 3,2 (3,2)

63 % (3,5) 29 % (2,8) 18 % (2,5) 35 % (3,1) 17 % (2,4)

2011

88 % (4,0)

48 % (3,2)

65 % (3,5)

---

31 % (2,1)

*) Svarprosent er 50 for 2012

Avdeling for INFORMASJONSTEKNOLOGI

PROGRAMNIVÅ – Faktorskårer EMS og fornøydhet (overall satisfaction item) DATA-ING

*) DIGITAL MEDIA INFORMATIKK*)

IT & LEDELSE

GU 3,1 (3,3) 3,0 ( - ) 3,4 (3,7) 2,9 (3,2) FB 3,0 ( - ) 3,0 ( - ) 3,1 ( -- ) 2,7 ( - ) KM 3,3 (3,2) 2,8 ( - ) 2,4 (3,3) 2,9 (3,1) ARB 2,9 (2,9) 2,8 ( - ) 2,8 (2,3) 2,3 (2,6) VF 3,6 (3,4) 3,5 ( - ) 4,0 (3,3) 3,2 (3,4) GF 3,4 (3,6) 3,3 ( - ) 4,0 (3,9) 3,9 (3,9)

69 % (3,7) 70 % (3,6) 93 % (4,5) 65 % (3,5)

2011

62 % (3,6)

---

85 % (4,1)

83 % (3,8)

*) Gjennomsnitt for faktorskårene fra 2011 er basert på svarprosent 50

Avdeling for LÆRERUDANNING

PROGRAMNIVÅ – Faktorskårer EMS og fornøydhet (overall satisfaction item) FØRSKOLE GLU 1-7 GLU 5-10 PPU

(HEL+DELTID) MASTER

GU 2,9 (2,9) 3,2 (3,5) 3,0 (3,1) 2,9 (3,0) 3,3 ( - -) FB 3,0 ( - ) 2,9 ( - ) 2,9 ( -- ) 2,9 ( - ) 2,9 ( - -) KM 3,0 (2,8) 3,5 (3,5) 3,3 (3,2) 2,7 (3,0) 3,1 ( -- ) ARB 2,4 (2,3) 2,2 (2,1) 2,2 (2,4) 2,7 (2,5 ) 2,7 ( -- ) VF 3,5 (3,4) 3,7 (3,7) 3,5 (3,8) 3,8 (3,8 ) 4,2 ( -- ) GF 3,8 (3,8) 3,8 (3,9) 3,6 (3,7) 3,1 (3,4 ) 3,7 ( -- )

52 % (3,3) 74 % (3,9) 50 % (3,2) 37 % (2,9) 69 % (3,6)

2011

53 % (3,2)

79 % (4,1)

64 % (3,7)

52 % (3,2)

--- --

25

Avdeling for ØKONOMI, SPRÅK OG SAMFUNNSFAG

PROGRAMNIVÅ – Faktorskårer EMS og fornøydhet (overall satisfaction item) ENGELSK INT KOMMUNIK STATVIT ØK AD MASTER

GU 3,6 (-) 3,9 (-) 3,3 (-) 2,9 (-) 3,8 (-) FB 3,6 (-) 3,8 (-) 3,0 (-) 2,9 (-) 3,7 (-) KM 3,3 (-) 3,7 (-) 3,2 (-) 3,3 (-) 3,8 (-) ARB 2,3 (-) 3,2 (-) 3,1 (-) 2,7 (-) 3,2 (-) VF 3,7 (-) 3,6 (-) 3,2 (-) 3,4 (-) 4,2 (-) GF 3,6 (-) 4,1 (-) 3,6 (-) 3,5 (-) 3,7 (-)

83 % (4,2) 96 % (4,4) 82 % (4,1) 68 % (3,6) 94 % (4,3)

2011

---

----

---

---

----

26

Referanser Gibbs, G. & Dunbar-Goddet, H. (2007) . The Effects of Programme Assessment Environments on

Student Learning. Oxford: Oxford Learning Institute. Gibbs, G. & Simpson, C. (2003) Measuring the response of students to assessment. The Assess-

ment Experience Questionnaire. 11th International Improving Student Learning Symposium. Harvey, L. (2011). The nexus of feedback and improvement. I: C. S. Nair & P. Mertova (eds). Student Feedback. The cornerstone to an effective quality assurance system in higher educa-

tion. Oxford: Chandos Publ. Richardson, J. T. E. (2005). Students’ perception of academic quality and approaches to

studying in distance education. British Educational Research Journal, 31: 7/27.

Roxå, T. & Mårtensson, K. (2011). Improving university teaching through student feedback: a

critical investigation. I: C. S. Nair & P. Mertova (eds). Student Feedback. Trigwell, K. & Ashwin, P. (2003). Undergraduate Students’ Experience of Learning at the Universi-

ty of Oxford. University of Oxford.

27

VEDLEGG

Erfaringer med studiet og læringsmiljøet (EMS) –

så langt i studieåret 2011−2012

Husk: Bare ett svar pr utsagn – ALLE utsagn MÅ besvares – VENNLIGST MARKÉR (omtrent) SLIK HE DE ?? NU HU

1 Jeg opplever at det er meningsfullt å investere tid og krefter i studiearbeidet

2 Studiet har bidratt til at jeg er blitt bedre til å samarbeide og delta i teamarbeid

3 Lærerne mine motiverer meg til å gjøre mitt beste i studiet

4 Det er lett å finne ut og forstå hvilke krav som stilles til studiearbeidet mitt

5 Arbeidsbyrden på utdanningen er for stor

6 Jeg har en klar oppfatning av hvordan jeg ligger an i studiet i forhold til hva som for-ventes

7 Lærerne legger ned mye arbeid i å kommentere/gi tilbakemeldinger på oppgavene mine

8 For å klare seg godt på dette studiet er en god hukommelse egentlig alt du trenger

9 Stort sett får vi altfor få tilbakemeldinger på oppgavene (arbeidskravene) i dette studiet

10 På studiet stilles det høye krav som fører til et stort press på meg som student

11 Tilbakemeldingene jeg har fått på oppgaver/arbeidskrav ga meg klare meldinger om

hva jeg måtte forbedre til neste gang

12 Jeg synes lærerne er mer interessert i å teste hva vi husker enn det vi har forstått

13 Omfanget av lærestoff/pensum på studiet gjør at vi ikke kan lære oss alt skikkelig

14 Tilbakemeldingene jeg fikk førte til at jeg leste nøye gjennom oppgaven min en gang til

15 Det er ofte vanskelig å forstå nøyaktig hva man forventer av studentene på dette stu-diet

16 Jeg opplever at lærerstaben legger stor vekt på å gjøre lærestoffet interessant

17 Studieopplegget gir oss tilstrekkelig med tid slik at vi kan lære oss tingene ordentlig

18 Lærerne legger vekt på å forstå ulike problemer vi måtte ha med studiearbeidet

19 Studieopplegget bidrar til at jeg utvikler mine ferdigheter i problemløsning

20 Lærerne gir vanligvis nyttige tilbakemeldinger om hvordan jeg klarer meg i studiet

21 Tilbakemelding på innleverte oppgave kommer ofte så sent slik at nytteverdien blir

ganske liten

22 Lærerne på studiet er virkelig gode til å forklare tingene for oss

23 Studiet bidrar til at jeg føler meg tryggere på å arbeide med nye problemstillinger og oppgaver

24 Altfor mange lærere stiller spørsmål som bare gjelder faktakunnskaper

25 Studiet har bidratt til at jeg er blitt bedre til å kommunisere og uttrykke meg skriftlig

26 Studiet har stimulert mine faglige interesser for utdanningens emner og fag

27 I det store og hele er jeg fornøyd med kvaliteten på utdanningen (studiet)