Kwaliteit van toetsing steeds meer Kwaliteit van toetsing steeds meer in het Spotlichtin het Spotlicht
Avans Hogeschool – Spotlicht bijeenkomst
3 maart 2011
Dr. Liesbeth BaartmanEindhoven School of Education – Technische
Universiteit Eindhoven
Zin en onzin van toetsingZin en onzin van toetsing
Toetsing is driedubbel Toetsing is driedubbel belangrijk!belangrijk!
(1) Stuurt het leren van de student
(2) Met een gerust hart afgeven van een diploma
(3) Als effectmaat in onderzoek
AccreditatieAccreditatie
Toetsing is hoofdonderdeelAlgemene omschrijving
Hoe toon je aan dat de toetsing kwalitatief hoogwaardig is?
ProgrammaProgramma
• Competentie Assessment Programma’s
• Wat is een “goed” CAP?• Validiteit en betrouwbaarheid• 12 kwaliteitscriteria voor CAPs
• Zelfevaluatie van de kwaliteit van CAPs
• Verzameling van bewijzen
Welke van de volgende type vaardigheden is in de afgelopen 40 jaar het minst belangrijk geworden op de werkplek?
1. Routinematige handmatige vaardigheden2. Niet-routinematige handmatige vaardigheden3. Routinematige cognitieve vaardigheden4. Complexe communicatievaardigheden5. Expertdenken/probleemoplossende
vaardigheden
(Levy & Murnane, 2003)
CAP: Competentie Assessment CAP: Competentie Assessment ProgrammaProgramma
triangulatie / complementair “traditioneel” en “nieuw” gecombineerd afhankelijk van context formatief en/of summatief?
CAP
Proeve van bekwaamheid
Open vragen
Theorie-vragen
PortfolioStage
Meerkeuze toets
Opdrachten / projecten
Miller, 1990
Piramide van MillerPiramide van Miller
Wat is een ‘goed’ Wat is een ‘goed’ assessmentprogramma?assessmentprogramma?
Onze proeve wordt onder strikt gecontroleerde condities uitgevoerd
12 kwaliteitscriteria voor CAPs12 kwaliteitscriteria voor CAPs
• Problemen met oude kwaliteitscriteria:
o Wat is validiteit precies?
o Betrouwbaarheid als objectiviteit?
o Generaliseerbaarheidstheorie• Nieuwe kwaliteitscriteria als aanvulling
12 kwaliteitscriteria voor Competentie Assessment Programma’s
Doel
Herhaalbaarheid
Transp
aran
tie
Cognitieve
complexiteit
Au
then
tici
teit
Eerlijkheid
Zelfstu
ring
Betekenis
Onderwijsgevolgen
Tijd & Kosten
Acceptatie
Vergel
ijkbaa
rhei
d
DOEL: Alle competenties en
passende assessmentvormen
HERHAALBAARHEID: Combineren van
verschillende situaties en beoordelaars
TRANSPARANTIE:
Duidelijkheid en begrijpelijkheid voor betrokkenen
VERGELIJKBAARHEID:
Consistente opzet en uitvoering
ACCEPTATIE:
Kunnen de betrokkenen zich vinden in de opzet en
uitvoer?
RECHTVAARDIGHEID:
Geen bevoor- of benadeling
ZELFSTURING:
Stimuleren van reflectie en formuleren leerdoelen
BETEKENISVOLHEID:
Meer dan meetmoment - feedback
COGNITIEVE COMPLEXITEIT:
Hogere cognitieve vaardigheden en denkprocessen
AUTHENTICITEIT:
Overeenkomst met de beroepspraktijk
ONDERWIJSGEVOLGEN:
Effect op leren en onderwijs
TIJD EN KOSTEN:
Haalbaarheid van de ontwikkeling en
uitvoering
ProcedureProcedure zelfevaluatie zelfevaluatie
Uitgangspunten:Evaluatie van programmaMeerdere evaluatorenVerschillende functiesFormatief
Fase 1: instructiebijeenkomstvaststellen CAP
Fase 2: individueel invullenFase 3: groepsinterview
indicatoren
score dmvschuifje
voldoende ja / nee
voorbeeld / bewijs
Kwaliteit bewijzenKwaliteit bewijzen
Scores / beoordelingen kunnen zijn gebaseerd op verschillende redeneringen!
Relevant / representatief?Eén mening of gedeeld?Zowel positief als negatief?Soorten bewijs:
“dat is vanzelfsprekend”“dit zie ik terug bij mijn leerlingen”“hier hebben we de leerlingen naar gevraagd”
19
12
22
33
1719
27
19
14
4
33
4852
75
52
47 4851
65
5861
70
54
38
29
13
25
20
36
30
8
2325 26
13 14
0
10
20
30
40
50
60
70
80
fitne
ss fo
r pu
rpos
e
repr
oduc
ibilit
y
tran
spar
ency
acce
ptab
ility
com
para
bilit
y
fairn
ess
self-
asse
ssm
ent
mea
ning
fuln
ess
cogn
com
pl
auth
entic
ity
educ
con
seq
cost
s &
eff
level 1: no support
level 2: explanation as support
level 3: evidence as support
Wat resultaten …Wat resultaten …
Onderzoek naar portfolio’sOnderzoek naar portfolio’s
(1) Gaat het over de student?(2) Relevant voor de competenties?
Relevant bewijs:(3) Persoonlijke mening
(4) Mening van iemand anders(5) Gedeelde mening(6) Voorbeeldsituatie
(7) Bewijs uit het portfolio
(Van der Schaaf, Baartman, & Prins, submitted)
Kwaliteitschecks:
Alle bewijzen meegenomen in oordeel?Positief en negatieve bewijzen?Gezocht naar tegenbewijzen?Verschillende soorten bewijzen (sterk /
zwak)?Aantal bewijzen?Zijn de assessoren het eens?
Beoordelingsproces portfolio’sBeoordelingsproces portfolio’s
“Ik denk dat alles wel duidelijk is, want ik krijg
nooit vragen”
“Voor we met de opdracht starten, bespreken we de
criteria met de studenten”
“Dat weten we eigenlijk niet” “Ik krijg positieve reacties
van stagebeleiders”“Maar … het
beoordelingsformulier vinden ze maar niks”
AfsluitendAfsluitend
Zonder passende toetsing vernietigen we competentiegericht onderwijs
Kwaliteit van toetsing wordt grotendeels bepaald door de gebruikers ervan
Hartelijk dank voor de aandachtHartelijk dank voor de [email protected]@tue.nl