Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

Slide 12. En eller to sensorer? Et eksperiment
Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:
7 medlemmer (fra hele landet)
Masteroppgaver fra 6 studieprogrammer
Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007
Medlemmene satte karakterer individuelt og begrunnet dem skriftlig
Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Masteroppgaver i statsvitenskap 2006
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:
7 medlemmer (fra hele landet)
Masteroppgaver fra 6 studieprogrammer
Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007
Medlemmene satte karakterer individuelt og begrunnet dem skriftlig
Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmer
Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:
7 medlemmer (fra hele landet)
2 masteroppgaver fra hvert studieprogram
Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007
Medlemmene satte karakterer individuelt og begrunnet dem skriftlig
Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmer
Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:
7 medlemmer (fra hele landet)
2 masteroppgaver fra hvert studieprogram
Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007
Medlemmene satte karakterer individuelt og begrunnet dem skriftlig
Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmer
Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B
3
7
1
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg:
7 medlemmer (fra hele landet)
2 masteroppgaver fra hvert studieprogram
Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007
Medlemmene satte karakterer individuelt og begrunnet dem skriftlig
Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmer
Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent)
3
7
1
DEL 2: Videreføring i form av et sensoreksperiment
→ 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap
→ Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer
Detaljert oversikt over sensorenes vurderinger
Institusjon og studiepoeng
To hypoteser
HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.
Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Sherif, Muzafer (1937). “An Experimental Approach to the Study of Attitudes”, Sociometry 1: 90-98.
Hypotese 2: Teoretisk grunnlag……
Asch, Solomon E. (1952). Social psychology. Englewood Cliffs, NJ: Prentice-Hall.
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Hypoteser
HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.
HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen.
Jeg foreslår en B.
(D-en ble opprettholdt etter klage)
Medsensors beskjed:
”Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”
Gruppe A
Høyere snittkarakter
Lavere spredning
Uavhengig variabel
Avhengige variable
→ Besvarelsen til vurdering hadde fått D
(D-en ble opprettholdt etter klage)
A
E
D
C
B
Størst spredning : Gruppe A
Min
Maks
Gj.snitt
Std
Antall
Sensorenes ekspertise og erfaring har betydning
Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)
Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter
UNIVERSITETET I OSLO
Institutt for statsvitenskap
Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)
Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter
Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?
Gruppe AKontrollgruppeGruppe BEksperimentgruppeSnittkarakterSpredningMedsensor: Foreslår ”for god” karakterHøyere snittkarakterLavere spredningUavhengig variabelAvhengige variableInformasjon NormeringSosial press