PEILINGEN EN PARALLELTOETSEN€¦ · Jaar Basisonderwijs Secundair onderwijs 2012 Informatieverwerving en -verwerking met praktische proef ICT Frans: luisteren en spreken 2013 Nederlands:

PEILINGEN EN PARALLELTOETSEN

RIANNE JANSSENCENTRUM VOOR ONDERWIJSEFFECTIVITEIT EN –EVALUATIE

FACULTEIT PSYCHOLOGIE EN PEDAGOGISCHE WETENSCHAPPEN

KU LEUVEN

DOELSTELLING

- Peilingen en paralleltoetsen

- doelstellingen

- Achterliggende logica

DISCLAIMER?

Peilingen van het Vlaamse onderwijsniveau

• Sinds wanneer?

• Hoeveel?

• Voor welke doelgroepen?

• Voor welke leer- of vakgebieden?

• …

Jaar Basisonderwijs Secundair onderwijs

2002 Wiskunde en begrijpend lezen

2004 Informatieverwerving en -verwerking

2005 Wereldoriëntatie: natuurmet praktische proef

2006 Biologie met praktische proef

2007 Nederlands: lezen en luisteren Frans: lezen, luisteren en schrijven

2008 Frans: lezen, luisteren, schrijven en spreken Wiskunde

2009 Wiskunde Wiskunde

2010 Wereldoriëntatie: tijd, ruimte, maatschappij en brongebruikmet praktische proef

Nederlands: lezen, luisteren en spreken

2011 Informatieverwerving en –verwerkingWiskunde

Jaar Basisonderwijs Secundair onderwijs

2012Informatieverwerving en -verwerking met praktische proef ICT

Frans: luisteren en spreken

2013 Nederlands: lezen en luisteren Project Algemene Vakken

2014 Wiskunde

2015Wereldoriëntatie: natuur en techniekmet praktische proef techniek

Natuurwetenschappenmet praktische proef

2016Wiskundemet praktische proef

Burgerzin en burgerschapseducatie

2017 Frans: lezen, luisteren en spreken Techniek

2018 Nederlands (lezen, luisteren en schrijven) wiskunde

2019 Mens en maatschappij wiskunde

Domein BaO SO1A SO1B SO2 ASO

SO3ASO

SO3TSO

SO3KSO

SO3BSO

Nederlands

Lezen 200220072013

2010 2010 2010

Luisteren 20072013

2010 2010 2010

Spreken 2010 2010 2010

Frans

Lezen 20082017

2007

Luisteren 20082017

2007 2012 2012 2012

Spreken 20082017

2012 2012 2012

Schrijven 2008 2007


SO3ASO

SO3TSO

SO3KSO

SO3BSO

Wiskunde 200220092016

20092018

20082019

2011 2014 2014 2014

Informatieverwerving en -verwerking

201220042011

Project Algemene Vakken 2013

Burgerzin en burgerschapseducatie

2016 2016 2016 2016


SO3ASO

SO3TSO

SO3KSO

SO3BSO

Wereldoriëntatie

natuur20052015

tijd 2010

ruimte 2010

maatschappij 2010

brongebruik 2010

techniek 2015

Biologie 2006

Natuurwetenschappen 2015

Techniek 2017

Evaluatie op systeemniveau• Peilingen in alle OESO-landen behalve Griekenland en Portugal

• Doelstellingen systeemevaluatie• Student outcomes

• Op tijdstip t met oog voor verschillen tussen leerlinggroepen

• Meten van verandering hierin (maar niet op individueel leerlingniveau, op zich geen leerwinstmonitoring)

• In relatie met achtergrondgegevens

• Onderwijsbeleid• Evaluatie beleidsmaatregelen

• Input voor ontwikkeling

• Feedback aan diverse onderwijsactoren

STEUNPUNT TOETSONTWIKKELING EN PEILINGEN

looptijd peilingsproject (44 maanden)

Toets-

ontwikkelingPeiling ValorisatieVoor-

bereiding

OPVOLGING PEILINGSPROJECT

- Stuurgroep

- Opvolgingsgroep basisonderwijs en secundair Onderwijs

- Resonantiegroep

- expertengroep


Toets-


bereiding

TOETSONTWIKKELING

- Wat zijn twee belangrijkste criteria voor toetskwaliteit?

Betrouwbaar en/of valide?

Je wil toetsen of leerlingen van het derde leerjaar de kennis van de maaltafels geautomatiseerd hebben. Beoordeel de onderstaande toetsen op hun betrouwbaarheid en validiteit.

I. Een toets met één opgave

II. Een toets bestaande uit 10 vraagstukken waarin de maaltafels nodig zijn om tot een oplossing te komen

17

4

19

4Milieuzorg

2

5

2

5

2Ecosysteem

1

3

1

3

3

2

OrganismenNATUUR

RONDOM

ONS

14

15

14

15

Gezondheids-

zorg

77Seksualiteit

66Bouw /

werking

MENSELIJK

LICHAAM

91011NIET-LEVENDE NATUUR

TOEPASSENBEGRIJPENKENNEN

Inhoudsvalditeit -> toetsmatrijs

SCHRIFTELIJKE TOETSEN

• K

Toetsontwikkeling

19-01-2018

Toetsmatrijs Itemontwikkeling Vooronderzoeken Kalibratie

betrouwbaarheid

• Meetnauwkeurigheid op de meetschaal

• Afhankelijk van toetssamenstelling

• niet: ‘one size fits all’

• Ideaal: toetsen op maat

• Hogere eisen als uitspraken op individueel leerlingniveau

20

21

MEETSCHAAL

OPGAVEN

moeilijkheidsgraad

LEERLINGEN

vaardigheid

beheersing in termen van kansen

22

Schaal: “getalwaarden en gelijkwaardigheid”

Eindterm 1.5:

De leerlingen kunnen natuurlijke getallen van maximaal 10

cijfers en kommagetallen (met 3 decimalen), eenvoudige

breuken, eenvoudige procenten lezen, noteren, ordenen en

op een getallenlijn plaatsen.

Eindterm 1.18:

De leerlingen kunnen in eenvoudige gevallen de gelijk-

waardigheid tussen kommagetallen, breuken en procenten

vaststellen en verduidelijken door omzettingen.

Voorbeeld peiling wiskunde

basisonderwijs (mei 2002)

23

Voorbeeldopgaven

8,098 kg

8,26 kg

8,4 kg

B

C

A

Welke kaas weegt het zwaarst: A, B of C?

kaas ____________________

24

Uit een onderzoek blijkt dat acht van de tien

Vlamingen bereid zijn hogere prijzen te betalen

voor een schoner milieu.

Hoeveel procent van de Vlamingen is dat?

_____________ %

25

Welke twee breuken horen bij het punt dat de pijl

aanwijst?

1 en 2

0 1

26

MEETSCHAAL

“getalwaarden en gelijkwaardigheid”

Breuken getallenlijn

8 van 10

Gewicht kazen

Meetnauwkeurigheid:

informatiewaarde op

niveau van individuele

leerlingen

TOETSONTWIKKELING:

PRAKTISCHE PROEVEN


Peiling natuur (2005)

• Kunnen leerlingen veel voorkomende dieren en planten herkennen en benoemen? ET 2

• Kunnen leerlingen de wet van eten en gegeten worden illustreren aan de hand van een voedselketen? ET 5

• Kunnen de leerlingen de functie van belangrijke organen in het menselijke lichaam verwoorden? ET 6

• Kunnen de leerlingen van courante voorwerpen uit hun omgeving zeggen uit welke materialen en grondstoffen ze gemaakt zijn? ET 11

• Kunnen de leerlingen gericht waarnemen met al hun zintuigen en hun waarnemingen systematisch noteren? ET12

STEUNPUNT TOETSONTWIKKELING EN PEILINGENSTEUNPUNT TOETSONTWIKKELING EN PEILINGEN

Praktische proef voor ET 12:

Hoeveel soorten bomen bezocht de eekhoorn?


Amandelnoot Hazelnoot Beukennoot Paardekastanje

Zomereikel Tamme kastanje Walnoot Amerikaanse eikel

Notenkaart


Eekhoornproef• De leerlingen moesten de noten

classificeren en hun

waarnemingen noteren.

Amerikaanse eikel

Zomereikel

Beukennoot

Amandelnoot

2

2

4

Walnoot

Tamme kastanje

Paardekastanje

Hazelnoot

2

1

3

• Taakvereisteno Nauwkeurig waarnemen en classificeren

o Nauwkeurig tellen

o Systematisch en planmatig de gehele

taak uitvoeren


ResultatenProportie juista

Classificatie: walnoot (0)b 0.90

amandel (0) 0.76

beukennootje (2) 0.71

zomereikel (2) 0.69

paardekastanje (1) 0.65

tamme kastanje (2) 0.58

hazelnoot (3) 0.30

Amerikaanse eikel (4) 0.22

Systematisch noteren 0.84

Hoeveel bomen bezocht de eekhoorn? 0.33

Volledig juiste proef 0.08

a N = 997; b aantal noten in de notenverzameling.Amerikaanse

eikel

Zomereikel

Beukennoot

Amandelnoot

2

2

4

Walnoot

Tamme kastanje

Paardekastanje

Hazelnoot

2

1

3


Besluit

• Notenproef

o Eerder lage scores, gegeven opdracht

o Probleem: systematische aanpak?

• classificeren, nauwkeurig tellen

• Uitspraak over Eindterm 12 ?

o Voorzichtigheid!

• (Beperkt aantal leerlingen)

• Specifieke taak, beperkt aantal deeltaken

• Geen cesuur

• Mogelijk geen perfecte standaardisatie

• Een fout bij een deeltaak, verhoogt de kans op een fout bij een andere

deeltaak

• …


Praktische proeven• Validiteit

o Niet alle ET toetsbaar met schriftelijke toetsen

• Betrouwbaarheid

o Standaardisatie, beoordeling

• Impact

o Beklemtonen belang van deze eindtermen

• Generaliseerbaarheid

o Uitspraak in ‘detail’ (over deze opdracht), niet in breedte (over de

getoetste eindterm)

o Slechts selectie van eindtermen

• Haalbaarheid

o Materiaal, tijd, scoring, …

Nodig, maar noodgedwongen ook beperkt


Praktische proeven: evenwichtsoefening

Eindrapport OBPWO 13.02Hoe zijn competenties grootschalig te toetsen?


Toets-


bereiding


• Representatieve steekproef

• afnamedesign

• Toetsassistent

• Achtergrondvragenlijsten

o Leerkrachten en directive

o Ouders

o leerlingen

Organisatie peiling


• Behalen van de eindtermen?

o Criteriumgericht -> cesuurbepaling

• Verschillen tussen leerlingen, klassen en scholen

o Vergelijkende meting (normgericht)

Resultaten


CESUURBEPALING


Behalen van de eindtermen

• Beoordeel de juistheid van onderstaande stelling

o Leerlingen die de helft van de opgaven juist maken op de peilingstoets,

behalen de eindtermen.


41

TOETSNORM of CESUUR

Deze opgaven moeten de

leerlingen nog niet beheersen

Deze opgaven moeten

de leerlingen beheersen

Behalen

eindterm

Behalen

eindterm nog

niet


42

MEETSCHAAL

“getalwaarden en gelijkwaardigheid”

OPGAVENLEERLINGEN

Breuken getallenlijn

8 van 10

Gewicht kazen

86%

MINIMUM


ANALYSE VAN VERSCHILLEN


Vaststellen prestaties leerlinggroepen

INPUT

leerling• geslacht

• diagnose

thuisomgeving• SES

• thuistaal

• aantal boeken thuis

• stimulerend thuisklimaat

schoolloopbaan• schoolse vordering

• studierichting (SO)

leerkracht• geslacht

• onderwijservaring

• diploma

• nascholing

CONTEXT

• percentage GOK-

leerlingen

• verstedelijkingsgraad

(SO)

• schoolgrootte

• onderwijsnet

• provincie (BaO)

• schooltype (SO)

PROCES

OUTPUT

• wiskunde

• Nederlands

• lezen

• luisteren

• wereldoriëntatie

(basisonderwijs)

• biologie (secundair

onderwijs)

• informatieverwerving

en – verwerking

• Frans

• lezen

• luisteren

• schrijven


Doelstelling achtergrondvragenlijsten

• NAEP:

“The purpose of administering background items is to give context to NAEP

results and/or to track factors associated with academic achievement. …

Therefore, it is important to note that since NAEP is based on a cross-

sectional design, it is not possible to infer cause-and-effect relationships—it

cannot prescribe what should be done. Rather its descriptions of the

educational circumstances of students at various achievement levels—

considered in light of research from other sources—may provide important

information for public discussion and policy action (NAGB, 2003). ” (eigen

cursivering)

• OECD ‘Pointers for future policy development’:

“Ensure collection of adequate contextual information to effectively monitor

equity” (p.645)


46

Onderzoekslogica: Fictief voorbeeld

Leerlingen 4de, 5de en 6de leerjaar basisschool ordenen

volgens lengte


47 Rangorde leerlingen

lengte

1. Beschrijving van verschillen


48 Rangorde leerlingen

lengte

4de leerjaar

5de leerjaar

6de leerjaar

3. Zoeken naar samenhang


49lengte bij geboorte

lengte

4de leerjaar

3. Zoeken naar samenhang (vervolg)


Schoolfeedback


TOEGEVOEGDE WAARDE


TOEGEVOEGDE WAARDE


• Hoe goed doet deze leerling het in vergelijking met voorheen?

Nog geen leerwinst


SCHOOLFEEDBACKBIJ PEILINGEN EN

PARALLELTOETSEN


Schoolfeedback

• vergelijkende informatie (cf. supra)

o Hoe goed doet mijn school het in vergelijking met scholen

met gelijkaardige kenmerken?

o Toegevoegde waarde van de school

• Criteriumgerichte informatie

o Hoeveel leerlingen halen de eindtermen (eindtermscore op

10)?

o Ook individuele leerlingenfeedback (met aanduiding van de

meetnauwkeurigheid)


www.paralleltoetsen.be


EVOLUTIES IN HET

ONDERWIJSPEIL

EVOLUTIES IN HET ONDERWIJS

- If you want to measure change, don’t change the measure

- Ankeropgaven op meetschalen

- Vergelijkbaarheid én vernieuwing


Getallen en bewerkingen – deel 1

ns***

***

***

ns

ns


Verschil in evolutie 2009 -2016

voor jongens en meisjes


Toets-


bereiding

PEILINGEN ALS KWALITEITSZORG OP SYSTEEMNIVEAU

KWALITEITSZORG OP SYSTEEMNIVEAU

PLAN DO CHECK ACT

EindtermenImplementatie

Peiling als evaluatie

Borgen en bijsturen

“ONDERWIJS IN NEDERLANDS GAAT ACHTERUIT”

https://www.instagram.com/p/Bv9-hVYg6Dj/

“A WICKED ISSUE”

- Lastige, complexe, meerduidige en intrigerende

kwestie

- In context van een concrete praktijk

vraagt om verschillende perspectieven

Studie- en ontmoetingsdag STEP

VERSCHILLENDE

PERSPECTIEVEN

VAN RESULTATEN

NAAR AANZETTEN TOT ACTIE

- BEGRIJPEN: Beeldvorming- Breed en grondig

- INGRIJPEN: Besluitvorming- Meer gedragen

- Meer doordacht

VERDER ZETTEN CYCLUS

PLAN DO CHECKACT

Beleidsadviezen

Nieuwe peilingNederlands BaO

20XX?

Implementatieonderwijsveld

Concrete aanpak

INSPIRATIEDAG

NEDERLANDS BASISONDERWIJS Wanneer?

25 november 2019

Waar?

Hendrik Consciencegebouw

Wie?

Voor Leraren, directies, pbd’s, lerarenopleiders, praktijkgerichte onderzoekers, uitgeverijen, … Wat?

- Voorstelling beleidsaanbevelingen en actieplan

- Inspirerende praktijkvoorbeelden

- Workshops• De interpretatie van de eindtermen in de praktijk

• Hoe aan de slag met schoolfeedback?

• Wat doen in de lerarenopleiding?

INSPIRATIEDAG

WISKUNDE SO1A

WANNEER?

donderdag 12 december 2019 WAAR?

Hendrik Consciencegebouw WIE?

Voor leraren, directies, pbd’s, lerarenopleiders, praktijkgerichte onderzoekers, uitgeverijen, … WAT?

- Voorstelling beleidsaanbevelingen en actieplan

- Inspirerende praktijkvoorbeelden

- Workshops• De interpretatie van de eindtermen in de praktijk

• Hoe aan de slag met schoolfeedback?

• Wat doen in de lerarenopleiding?

BESLUIT

PEILINGEN EN PARALLELTOETSEN

- Bovenschools én binnenschools

- ‘vinger aan de pols’

- Doordachte inzet

SAMENVATTEND

Toetsontwikkeling

PeilingenSchoolfeedback

Paralleltoetsen

Praktische proeven

(inhouds)valideiten meetnauwkeurigheid

Criteriumgericht meten

Valorisatieleerlingenfeedback

Toegevoegde waarde

cesuurbepaling

Vergelijkende meting

Beleidsrelevantie

Van check naar act

Praktische proeven

Evoluties

LEER-

WINST

DANK VOOR UW AANDACHT!

- Vragen?

Documents

PEILINGEN EN PARALLELTOETSEN€¦ · Jaar Basisonderwijs Secundair onderwijs 2012 Informatieverwerving en -verwerking met praktische proef ICT Frans: luisteren en spreken 2013 Nederlands: