170306 presentatie velon

Een onderzoek naar een datateam interventie bij lerarenopleiders

Wat is de bijdrage aan het professionaliseren?

Erik Bolhuis, Hogeschool Windesheim Email: [email protected]. Joke Voogt, Universiteit van Amsterdam & Hogeschool Windesheim. Email: [email protected]

Kim Schildkamp, University van Twente. Email: [email protected]

Contact details: drs. E.D. Bolhuis, postbus 217, 7500 AE Enschede, email: [email protected].

http://goo.gl/CfzYja

mailto:[email protected]





Praktijk context• Kwaliteit hoger onderwijs onder druk:

- Kritiek op niveau pabo’s;

- Opleidingen die onder vuur komen te liggen;

- Rol werkveld blijft achter;

- Flexibilisering blijft achter;

- Tegenvallende rendementen, te hoge uitval en studenten doen te lang over hun opleiding;

- Weinig nadruk voor talent;

- Portfolio van opleidingen lijken op elkaar.



Praktijk context• Kwaliteit hoger onderwijs onder druk:

- Kritiek op niveau pabo’s;

- Opleidingen die onder vuur komen te liggen;

- Rol werkveld blijft achter;

- Flexibilisering blijft achter;

- Tegenvallende rendementen, te hoge uitval en studenten doen te lang over hun opleiding;

- Weinig nadruk voor talent;

- Portfolio van opleidingen lijken op elkaar.



Dit, terwijl1. We leven in een data-rijke wereld, ook in het onderwijs

(OECD, 2013) 2. Maar vooral het besef groeit dat datagebruik leidt tot

betere leerprestaties (Carlson, Borman & Robinson, 2011; Lai, et al., 2014)

3. Lerarenopleidingen, dubbel perspectief op datagebruik:

• Aanleren van aankomende leerkrachten (Mandinach & Gummer, 2016)

• Zelf data gebruiken om de opleiding te ontwikkelen



Echter,• Ondanks dit dubbelperspectief gebruiken

lerarenopleiders geen/weinig data om de opleiding te verbeteren (Bolhuis, Voogt, Luyten, submitted)

Theoretisch kader1. Data

2. Kennis, vaardigheden en attitude

3. Datagebruik

4. Professionaliseren



DataHet systematisch verzamelen van verschillende

soorten kwantitatieve en kwalitatieve data, zoals demografische- en administratieve data, observaties en studievoortgang waarmee docenten en managers analyses uitvoeren en maatregelen nemen (Hamilton, Halverson, Jackson, Mandinach, Supovitz

& Wayman, 2009).



Datavaardigheden:• Probleemkiezenenhypothesesformuleren• Dataverzamelenendekwaliteitvandatabeoordelen(validiteit&betrouwbaarheid)

• Dataomzettennaarinformatie(analyseren,interpreterenenconclusiestrekken)

• Maatregelenontwikkelen• Maatregelenevalueren

Attitude• De overtuiging dat data een bijdrage

kunnen leveren aan verbeteren van onderwijs en instructie (Marsh, 2012)

Drie soorten datagebruik (Williams, 2013):

Datagebruik: Data: Voorbeelden:

Ter verantwoording

Rankings, rendementen

Accreditatie, NSE

School ontwikkeling

Rendementen, toetsuitslagen

enquêtes, intakeGroenpluk-analyse

Verbeteren instructie

toetsuitslagen, studentgegevens, online activiteiten

Op basis van een formatieve toets

onderwijs aanpassen



Professionaliseren 1

• Professionaliseren middels een datateam (Schildkamp, et al., 2014)

• Datateams hebben veel kenmerken van effectieve vormen van professionaliseren (Desimone, 2011; Losmos, Hofman & Bosker, 2011; Van Veen, Zwart, Meirink & Verloop, 2010; Vescio, Ross & Adams, 2008)



Professionaliseren 2• Veel onderzoek naar datateams in het VO en PO

(Ebbeler, Poortman, Schildkamp & Pieters, 2016a en b; Gelderblom, Schildkamp, Pieters & Ehren, 2016; Hubers, Poortman, Schildkamp, Pieters, & Handelzalts, 2016)

• Het blijkt dat het werken in een datateam leidt tot professionalisering in termen van het ontwikkelen van een positieve(re) attitude t.o.v. datagebruik en tot het ontwikkelen van de benodigde kennis en vaardigheden om data te gebruiken (Ebbeler et al., 2016a en b)

• Echter, nog geen onderzoek in HO



OnderzoeksvragenWat is de bijdrage van een datateam interventie aan het professionaliseren van lerarenopleiders in het werken met data?

1. Welke kennis, vaardigheden en attitudes over het werken met data levert participatie in een datateam op?

2. Op welke wijze en waarvoor gebruiken deelnemers hun kennis en vaardigheden in het werken met data in hun beroepspraktijk?



MethodeCasus onderzoek (N=5), gedurende de DT-interventie (2 jaar) (Yin, 2014) • Instrumenten: o Vragenlijst Datagebruik o Kennistest o Interviews •Analyses: in een case-ordered en een cross-case ordered matrix



Resultaten 1: Kennis & vaardigheden

•Datateamleden ontwikkelen heel verschillend hun kennis & vaardigheden •Datateamleden met de minste kennis bij de start, leerden het meest. •Leerwinst: ‘omzetten van data in informatie’, ‘conclusies omzetten in maatregelen’ en ‘evalueren’ •Kennis in het ontwikkelen van onderwijs.



Resultaten 2: Attitude•Niet alle datateamleden maken een positieve ontwikkeling door in het werken met data. •Een positieve ontwikkeling van datavaardigheden gaat niet altijd samen met een positieve ontwikkeling van de attitude. •Een positieve ontwikkeling van de attitude gaat niet altijd samen met een positieve ontwikkeling van het gebruik van data.



Resultaten 3: Datagebruik•Toename datagebruik om de opleiding te ontwikkelen •Afname datagebruik ter verantwoording •Afname datagebruik om de instructie aan te passen



Conclusies•Niet elke datateamlid profiteert in toename van kennis en vaardigheden (c.f. Corno, 2008)—> datateammethode differentieert niet •Langzame karakter van de datateam methode en het missen van het momentum •Attitude ontwikkeling groeit niet automatisch door participatie in een datateam (Mandinach & Gummer, 2016) •Aandacht voor (verre) transfer (Kim & Lee, 2001)



Aanbevelingen voor de praktijk• Maak gebruik van verschillen in kennis en

vaardigheden

• Schenk expliciet aandacht aan de ontwikkeling van attitude t.o.v. data

• Stem datateam methode af op besluitvormingsprocessen in de organisatie

• Bevorder transfer door bijvoorbeeld Instructional Coaching

Aanbevelingen voor onderzoek• Ontwikkelen van verre transfer in de

datateam methode

• Ontwikkelen van de attitude t.o.v. data

Literatuur:Bolhuis,E.D.,Schildkamp,K.,Voogt,J.&Luyten,J.H.(submittedforpublication).Hetgebruikvandatadoorlerarenopleidersvandepabo.Carlson,D.,Borman,G.&Robinson,M.(2011).AMultistateDistrict-LevelClusterRandomizedTrialoftheImpactofData-DrivenReformonReadingandMathematics

Achievement.Educational Evaluation and Policy Analysis, 33(3):378–398.Corno,L.(2008).Onteachingadaptively.Educational Psychologist, 43(3),161-173. Desimone,L.(2009).ImprovingImpactStudiesofTeacher’sProfessionalDevelopment:TowardBetterConceptualizationsandMeasures.Educational Researcher,

38(3),181–199.Ebbeler,J.,Poortman,C.L.,Schildkamp,K.,&Pieters,J.M.(2016a).Effectsofadatauseinterventiononeducators’useofknowledgeandskills.Studiesineducational

evaluation,48,19-31.Ebbeler,J.,Poortman,C.,&Schildkamp,K.(2016b).TheEffectsofaProfessionalDevelopmentInitiativeinDataUse:TheDataTeamProcedure.Gelderblom,G.,Schildkamp,K.,Pieters,J.,&Ehren,M.(2016).Data-baseddecisionmakingforinstructionalimprovementinprimaryeducation.InternationalJournalof

EducationalResearch,80,1-14.Hamilton,L.,Halverson,R.,Jackson,S.,Mandinach,E,Supovitz,J.,&Wayman,J.(2009).Using student achievement to support instructional decision making (NCEE

2009-4067). IES Practice Guide. Washington,DC:U.S.DepartmentofofEducation,InstituteifEducationSciences,NationalCenterforEducationEvaluationandRegionalAssistance.Retrievedformres.ed.gov/ncee/wwc/PracticeGuide.aspx?sid=12.

Hubers,M.D.,Poortman,C.L.,,Schildkamp,K.,Pieters,J.&Handelzalts,A.(2016).Openingtheblackbox:Knowledgecreationindatateams.Journal of Professional Capital and Community 1(1),41-68.

Kim,J.H.,&Lee,C.(2001).Implicationsofnearandfartransferoftrainingonstructuredon-the-jobtraining.Advances in Developing Human Resources, 3(4),442–451.

Lomos,C.,Hofman,R.H.,&Bosker,R.J.(2011).Therelationshipbetweendepartmentsasprofessionalcommunitiesandstudentachievementinsecondaryschools.Teaching and Teacher Education, 27(4),722-731.

Mandinach,E.B.,&Gummer,E.S.(2016).DataLiteracyforEducators:MakingItCountinTeacherPreparationandPractice.TeachersCollegePress.Marsh,J.A.(2012).Interventionspromotingeducators’useofdata:Researchinsightsandgaps.Teachers College Record, 114(11),1-48.OrganisationforEconomicCo-operationandDevelopment(OECD).(2013).Synergiesforbetterlearning:Aninternationalperspectiveonevaluationandassessment.Paris:

OECD.Terlouw,B.(2011).Kijkennaarkinderen:kinderenalsspiegelvoordeleerkracht.Volgens Bartjens 30(5),4-7.Vescio,V.,Ross,D.,&Adams,A.(2008).Areviewofresearchontheimpactofprofessionallearningcommunitiesonteachingpracticeandstudentlearning.Teachingand

teachereducation,24(1),80-91.VanVeen,K.,Zwart,R.,Meirink,J.,&Verloop,N.(2010).Professionele ontwikkeling van leraren. Een reviewstudie naar effectieve kenmerken van

professionaliseringsinterventies van leraren. Leiden:ICLON/ExpertisecentrumLerenvanDocenten.Williams,J.L.(2013).Faculty engagement with learning outcomes assessment: A study of public two-year colleges in Colorado.Doctoraldissertation,University

ofDenver.Yin,R.K.(2014).Case study research: Design and methods (5th ed.).London:Sage.


http://res.ed.gov/ncee/wwc/PracticeGuide.aspx?sid=12


Presentations & Public Speaking

170306 presentatie velon