Námskrárfræði og námsmat – október 2004

Námskrárfræði og námsmat – október 2004

Um gerð prófa o.fl.Meyvant Þórólfsson

15/04 2005

Föstudagur 15. apríl:

• Síðasti fyrirlestur um námsmat í Skriðu kl. 8.30-10.00.

• Samvinnuverkefni sett af stað í Skriðu og Bratta kl.

10.20. Hópar úr DEF mæta í Skriðu og og hópar úr ABC í Bratta.

• Farið af stað í vinnu eftir það. Kennarar verða til taks kl. 11-15 í stofu K-207 til að svara spurningum og aðstoða

Mánudagur 25. apríl:

• Allir mæta í Skriðu kl. 9.30. Hópar kynna verkefni sín í framhaldi af því. Útfærsla verður kynnt nánar síðar.

Réttmæti og áreiðanleiki


• Vigtin er vanstillt og sýnir alltaf 2 kg of lítið við endurteknar mælingar. Er mælingin áreiðanleg (stöðug)?

• Já, en þrátt fyrir áreiðanleikann (stöðugleikann) er hún röng. Er mælingin réttmæt?

• Nei, hún gefur ekki rétta mynd af veruleikanum.

• Vigtin er biluð (ónothæf) og sýnir mismunandi tölur

við endurteknar mælingar. Er mælingin áreiðanleg (stöðug)? Nei. Réttmæt? Nei.


• Validity: Réttmæti (gildi). Hátt réttmæti gefur okkur gilda ástæðu til að geta alhæft um námsárangur/námsstöðu út frá matsniðurstöðum. Gefur mælingin (vigtin, prófið) sannfærandi (rétta) mynd af stöðu þess sem mældur er?

• Reliability: Áreiðanleiki (stöðugleiki). Segir til um nákvæmni og stöðugleika matsniðurstaðna? Myndi sama mælingin (prófið) gefa nokkurn veginn sömu niðurstöðu, ef það væri endurtekið á öðrum tíma eða af öðrum kennara?

Samning prófaTil að próf og annað námsmat standist kröfur:

• ...þarf einkunnin (vitnisburðurinn) fyrir það að gefa traustar og heiðarlegar upplýsingar um það hversu vel nemandi hefur náð tökum á því sem hann átti að læra (learning outcomes).

• ...þarf einkunnin að endurspegla vel það kerfi sem skólinn hefur sett sér í námsmati og einkunnagjöf.

• ...þarf það að vera fjölbreytt og hafa sem hæst réttmæti, þ.e. margs konar matsatriði þurfa að liggja til grundvallar einkunn.

EinkunnagjöfPrófseinkunnir geta átt sér þrenns konar grundvöll:

• A)Markmið og námsþættir (learning outcomes) sem viðmið (e. absolute grading = markmiðabundnar einkunnir).

• B)Hópurinn sem var metinn, t.d. bekkurinn, árgangurinn, allt landið...(e. relative grading = samanburðareinkunnir).

...einnig:

• Nemandinn sjálfur og framfarir hans (ónávæmur grundvöllur við einkunnagjöf).

Markmiðabundnar einkunnir (absolute grading)

Einkunn Hlutfall Markmiða

1,0 0 – 13,4%

1,5 13,5 – 17,4 %

2,0 17,5 – 23,4%

... ...

9,0 87,5 – 93,4 %

9,5 93,5 – 97,4 %

10,0 97,5 – 100 %

Samanburðareinkunnir (relative grading) sbr. hópmiðað mat

9 4% eða t.d. 7%

8 7% 12%

7 12% 17%

6 17% 20%

5 20% 16%

4 17% 10%

3 12% 7%

2 7% 6%

1 4% 5%

Einkunnir: Hlutfall nemenda

Markmiðabundnar einkunnir

Kostir:• Einkunnir endurspegla beint hæfileika nemenda án

samanburðar við aðra• Flestir, jafnvel allir nemendur geta “skorað hátt” ef

þeir leggja sig fram og kennsla er góð

Gallar:• Viðmið geta verið óljós og því erfitt að treysta á• Viðmið og prófatriði geta verið breytileg og því

misþung og mismikilvæg.

SamanburðareinkunnirKostir:• Auðvelt að lýsa raðeinkunnum og túlka þær• Einkunnir greinandi og hjálpa því við að spá um getu

nemenda og velja t.d. inn á næsta skólastig.

Gallar:• Erfitt er að ákveða dreifingu sem er réttlát og eðlileg• Merking einkunna getur verið breytileg eftir því hver

geta hópsins er.• Hægt er að gefa einkunnir án þess að ljóst sé hvað

nemandi gat• Eins og að velja í lið í leikjum, þeir sömu alltaf út

undan.

Einstaklingsviðmið

• Freistandi að gefa börnum sem eiga við námserfiðleika háar einkunnir fyrir að bæta sig, leggja sig fram og ná framförum miðað við eigin stöðu.

• Meginvandi: Það ruglar merkingu einkunna, sér í lagi þegar próf eru annars vegar, og ber því að forðast.

• Velja frekar aðrar leiðir fyrir endurgjöf og námshvatningu.N. Gronlund

Undirbúningur – Hvað? Hvernig?

Áður en samning prófs hefst þarf að huga að ýmsu:• Hvaða hugmyndir/hugtök viljum við að nemendur

hafi meðtekið? Hvað eiga nemendur að hafa lært? Hvað gerðum við ráð fyrir að þeir vissu og gætu?

• Hvers konar frammistöðu tökum við gilda sem vísbendingu um að nám hafi farið fram, þ.e. vísbendingu, við framkvæmd mats, um að þeir viti og geti? Dæmi:“Útskýri hugtakið orku, þekki orkumyndir, orkuuppsprettur..noti hugtakið við lausn viðfangsefna”

• Hvers konar prófspurningar henta best til að meta þessa frammistöðu?

Undirbúningur – Hvað? Hvernig?

22. Riðstraumur er rafstraumur sem einkennist af því að rafeindirnar

• ( ) breyta stefnu sinni á reglubundinn hátt.• ( ) hreyfast ávallt í sömu stefnu.• ( ) hreyfast frá – skauti að + skauti.• ( ) hreyfast taktbundið frá einu straumefni til annars.

Námsmatsstofnun - Úr sýnisprófi í náttúrufræði

Undirbúningur – mikilvæg atriði

Við prófgerð er heppilegt að:• Hafa skýr og auðmetin (mælanleg) markmið sem

endurspegla margbreytilega hæfileika.• Prófverkefnin endurspegli vel þessi markmið.• Beita skilvirkum og viðeigandi matsaðferðum eftir því

sem kostur er, þannig að matið gefi beinar og óbrenglaðar upplýsingar um þá hæfileika sem á að meta.

• Gæta samræmis milli kennslu, náms og prófs.

Undirbúningur - námsafrakstur

• Flokkunarkerfi Blooms getur hentað sem grunnur fyrir kortlagningu námsafraksturs (learning outcomes): kunnátta/þekking, skilningur, beiting, greining, nýmyndun, mat, leikni.

• Orð sem lýsa getu (action verbs): Þekkir, greinir á milli, velur, lýsir, mátar við, útskýrir, spáir fyrir um, setur fram, flokkar, gagnrýnir, ályktar ...(sjá töflu 3.2)

• Eftir það liggur beint við að undirbúa sjálfa prófsamninguna: a)Prófið hannað (atriðatafla), b)Valin viðeigandi prófatriði, c)Prófatriðum skipað niður, d)Hugað að fyrirmælum í prófinu.

Undirbúningur-atriðatafla-stærðfræði sbr. bls. 42Þekkir hugtök

Kann aðferðir

Skilur reglur og formúlur

Leysir samsett verke./yfirfærir

Heildar-fjöldi atriða

Flatarmál 2 5 6 2 15

Ummál 2 5 6 4 17

Rúmmál 2 5 7 4 18

Heildarfj. atriða 6 15 19 10 50

“outcomes”

Inntak/innihald

Undirbúningur-atriðatafla-samfélagsfr. sbr. bls. 42

Þekking Kunnátta

Skilningur

Beiting

Nýmyndun

Greining

Mat Heildarfj. atriða

Persónur, heiti, ártöl, staðir, kort

5 5 2 0 12

Kristni – heiðni kristniboð - trúmál

2 7 7 7 23

Atburðirnir á Alþingi og sambæril. atburðir

2 7 8 8 25

Heildarfj. atriða 9 19 17 15 60

“outcomes”

Inntak/innihald

Undirbúningur-Val prófatriða (test items)

Þegar prófaatriði eru valin stendur valið milli:

• Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni.

Og

• Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

Undirbúningur-traust prófatriði, traust próf

Þegar prófaatriði eru samin þarf að huga að:

• Orðalagi: Svo þeir sem kunna efnið svari örugglega rétt og þeir sem ekki kunna geti ekki rambað á rétt svar.

• Fjölda prófatriða og lengd prófs: Þetta fer eftir aldri

nemenda, próftíma, tegundum prófatriða, til hvers á að nota niðurstöður. Hversu hás réttmætis er krafist?

• Hvernig prófatriðum er komið fyrir-raðað upp? Svipuð atriði saman. Erfiðari atriði síðast.

Undirbúningur-traust prófatriði, traust próf

Þegar prófaatriði eru samin þarf að huga að:

• Tilgangi og mikilvægi hvers prófatriðis: Hvert atriði þarf að gegna sínu hlutverki og uppfylla kröfur um réttmæti og áreiðanleika.

• Að prófatriði falli vel að mismunandi markmiðum: Viljum við hlutlæg matsatriði sem reyna á minni? Viljum við meta frumkvæði? Hugmyndaflug? Sköpun? Gagnrýna hugsun?

Fjölvalsspurningar-krossar

Krossaspurningar:• Langalgengasta gerðin af prófatriðum• Má nota til að meta margvíslegan námsafrakstur

(learning outcomes).• Eru vönduð prófatriði ef rétt er staðið að samningu

og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika).

• Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfiðara að ná háu réttmæti með krossaspurningum einum saman. Erfitt að semja þær.

Eðli krossaspurninga

Krossaspurning samstendur af:• Stofni (Stem) sem gefur til kynna meginefni

spurningarinnar, eitthvert vandamál sem þarf að bregðast við. Getur verið bein spurning eða ókláruð fullyrðing.

og• Valmöguleikum með mögulegum lausnum á

vandamálinu. Einn möguleikinn er réttur en hinir eru rangir svarmöguleikar eða villusvör (distractors).

Eðli krossaspurninga

• Sama krossaspurning getur innihaldið spurningu eða ófullkomna fullyrðingu í stofni. Það síðarnefnda er jafnan heppilegra.

• Stundum er látinn felast sannleiki í öllum svarmöguleikum, en krossa á við “besta svarið”. Reynir meira á skilning og rökhugsun.

• Svarmöguleikar ýmist þrír, fjórir eða fimm.

Notkun krossaspurninga

Að meta þekkingu/kunnáttu:• Hentar mjög vel krossaspurningaforminu• Reynir mest á hvort nemendur muna staðreyndir, heiti,

reglur o.s.frv.• Getur spannað yfir mjög vítt svið: orðaforði, merking

hugtaka, flokkun, sértæk þekking, orsakir, afleiðingar o.s.frv.

Dæmi um krossaspurningu sem metur þekkingu – reynir á minni

“Outcome”: Þekkir helstu persónur sem koma við sögu á

kristnitökutímanum.

Tveir menn komu mikið við sögu þegar kristni var lögtekin á Íslandi. Þeir voru:

( ) Haraldur lúfa og Þangbrandur

( ) Þorsteinn surtur og Þorgeir Ljósvetningagoði

*( ) Hallur á Síðu og og Þorgeir Ljósvetningagoði

( ) Gissur hvíti og Gísli Súrsson


Að meta einfaldan skilning:• Hentar vel til að fá hugmyndir um hversu vel nemandi

skilur meginefnið án þess að beita skilningi sínum í rituðu máli.

• Gefur möguleika á að meta merkingu (þýðingu), hvort nem. finnur dæmi um eða spáir fyrir um.

• Einkum tvenns konar spurningaform: a)Venjulegar skilningsspurningar b)Skilningsspurningar sem tengjast beitingu, aðferðum, ferlum o.s.frv.

Dæmi um krossaspurningu sem metur skilning

“Outcome”: Getur túlkað merkingu hugmyndar.

Sú fullyrðing að Íslendingar geti orðið sjálfum sér nógir um orku í

framtíðinni merkir að hér á landi:

( ) finnist nóg af olíu næstu hundrað árin

*( ) sé næg orka í náttúrunni sem hafi ekki verið beisluð enn

( ) sé nóg af ónýttri vatnsorku til stóriðju annarra framkvæmda

( ) verði alltaf hægt að afla orkuríkrar fæðu


Að meta beitingu:

• Slík prófatriði meta skilning en krefjast þess jafnframt að nemendur sýni hvort þeir geti nýtt sér upplýsingar við ákveðnar aðstæður, beitt þeim.

• Mikilvægt er við gerð krossaspurninga sem meta skilning og beitingu að nemendur hafi ekki lært atriðin áður. Annars er verið að prófa þekkingu (minni), ekki skilning eða beitingu.

• Dæmi: Fjarlægð milli tveggja staða metin með lestri af landakorti á ákveðnum hlutföllum.

Hvers þarf að gæta við samningu krossaspurninga?

• Gæta þarf að því að spurningin (prófverkefnið) meti fyrirfram skilgreindan námsafrakstur (learning outcome).

• Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að lesa svarmöguleikana.

• Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity).


• Ekki endurtaka sömu orð og orðasambönd í svarmöguleikum, heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt.

• Jákvætt orðalag í stofni fremur en neikvætt hefur hærra uppeldis- og menntunargildi og er því jafnan ákjósanlegra.

• Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo þær sjáist.

• Ekki má orka tvímælis hvert er réttasta svarið.


• Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við stofninn, ekki bara rétta (réttasta) svarið. Ekki mega leynast vísbendingar í spurningaforminu.

• Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða hafna röngu svari.

• Æskilegt að gera villusvör (distracters) freistandi svarmöguleika.

• Hafa breytilega lengd á réttu svörunum til að forðast vísbendingar.


• Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur.

• • Hafa breytilega staðsetningu á rétta möguleikanum.

Nota handahófskennda aðferð.

• Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða svarmöguleikum.


• Gæta að því að prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum prófatriðum o.s.frv.

• Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara fyrir nemendur, auðveldar yfirferð.

• Gætt sé að stafsetningu og greinarmerkjasetningu.• BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR

SÉ ÞESS ÞÖRF!

Aðrar fjölvalssp. en krossaspurningar

Stundum er æskilegt að velja aðrar leiðir en krossa:• Ef aðeins er um að ræða tvo svarmöguleika er

heppilegra að nota rétt-rangt (True-False) spurningu.

• Ef um er að ræða marga sambærilega þætti getur verið betra að nota pörunarspurningar (Matching exercise).

• Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni (Interpretive exercise).

Rétt-rangt (S/Ó) verkefni

Rétt-rangt verkefni:• Mismunandi útfærslur til: Já/nei, sammála/ósammála,

satt/ósatt eða jafnvel staðreynd/skoðun. • Stundum er um að ræða safn af skyldum S/Ó

spurningum í sama prófverkefni. Hvað af eftirfarandi...

Dæmi um Rétt-rangt (S/Ó) verkefni

Hver eftirfarandi hugtaka eru notuð yfir myndir orku (orkuform)?

Settu hring utan um S ef orðið er notað yfir myndir orku (orkuform),

settu annars hring um Ó.

S Ó Stöðuorka

S Ó Ljósorka

S Ó Hraðaorka

S Ó Hreyfiorka

S Ó Fæðuorka


Atriði til að hafa í huga við samningu S/Ó spurninga:• Mikilvægt að hafa fullyrðingar hnitmiðaðar með

einungis einni meginhugmynd. • Orðalag skýrt og án vafaatriða. Ekki nota óljóst orðalag• Nota neitanir sparlega, einnig tvöfaldar neitanir.

Prófar fremur lesskilning heldur en það sem átti að meta. • Ekki spyrja um sanngildi skoðana nema þær tengist

ákveðnum heimildum, einstaklingum o.s.frv.


Atriði til að hafa í huga við samningu S/Ó spurninga:• Ef um er að ræða mat á sambandi orsakar og

afleiðingar, þá þurfa fullyrðingarnar að vera sannar.• Varast að nota óþarfa vísbendingar, t.d. “alltaf”,

“aldrei”, “aðeins”, “oftast” eða “stundum”.

Pörunarverkefni

Pörunarverkefni:• Í raun afbrigði af krossaspurningaforminu. • Heppilegt er að skipta yfir í pörunarspurningar þegar

sömu valmöguleikar eru síendurteknir í nokkrum krossaspurningum.

Pörunarverkefni

Að hverju þarf að huga við samningu pörunarverkefna:• Mikilvægt að hafa prófatriðin einsleit, t.d. öll um

vísindamenn og uppgötvanir þeirra.• Hafa möguleikana ekki of marga, innan við 10. • Hafa fjölda atriða í vinstri (forsendur) og hægri dálki

(svör) ekki þann sama. Gefa líka möguleika á fleiri en einni tengingu við sama svarmöguleika.

Dæmi um pörunarspurninguÍ dálki A eru fullyrðingar um persónur sem komu við sögu viðkristnitökuna á Íslandi. Í dálki B er nöfn nokkurra persóna sem þákomu við sögu. Tengdu með striki nafn úr dálki B við fullyrðingu (fullyrðingar) í dálki A: Dálkur a

Lagðist undir feld

Lögsögumaður kristinna

Kristniboði Noregskonungs

Var heiðinn Lögsögumaður

Var skírður af Þangbrandi

Dálkur B

Hjalti Skeggjason

Þangbrandur

Þorgeir Ljósvetningagoði

Hallur á Síðu

Pörunarverkefni

Að hverju þarf að huga við samningu pörunarverkefna:• Æskilegt að hafa svörin í stafrófs- eða númeraröð. • Tilgreina þarf í fyrirmælum hvað gildir, t.d. að nota

megi sama svarmöguleika oftar en einu sinni. • Láta pörunarverkefni ekki skiptast milli blaðsíðna í

prófi.

Túlkunarverkefni

Túlkunarverkefni:• Sett er fram einhvers konar kynningarefni, t.d.

efnisgrein, tafla, graf, kort eða mynd og ýmis færni er metin út frá því með fjölvalsspurningu, t.d. greining, læsi á upplýsingar eða túlkun.

Dæmi um túlkunarverkefni

Lestu eftirfarandi ummæli ungs bónda á Austurlandi:• “Við viljum halda náttúrunni ósnortinni og við viljum ekki að það

sé gengið á orkuforða okkar hér eystra. Þegar hefur ómetanlegum náttúruperlum verið fórnað og við megum búast við a.m.k. 200% lækkun á verði fasteigna ef þessi virkjanaáform verða að veruleika því þetta fer allt á hausinn!.”

• Semja má bæði krossaspurningar og Ó/S verkefni sem prófa nemendur í að skilja, túlka og greina slíka texta, merkingu þess sem þar er sagt og/eða sanngildi.

Túlkunarverkefni

Að hverju þarf að huga við samningu túlkunarverkefna:• Velja kynningarefni sem hæfir þeim námsafrakstri

(learning outcomes) sem á að meta. • Velja kynningarefni sem er hæfilega framandi. • Hafa kynningarefnið stutt og læsilegt. • Ekki hafa spurningar þannig að hægt sé að svara

þeim út frá almennri þekkingu, án þess að horfa á kynningarefnið.

• Fylgja má vinnureglum um fjölvalsverkefnaform sem hafa verið áður nefnd.

Documents

Námskrárfræði og námsmat – október 2004