UvA-DARE (Digital Academic Repository) How teacher ... · PDF file%qpegrvwcnk\kpicuuguuogpvewnvwtgkpuejqqn +p% 9[cvv 5okvj ... [swcnk gfvgcejgtukp0qtyc[ )gtocp[ cpf'pincpf european

$Page 1: UvA-DARE (Digital Academic Repository) How teacher ... · PDF file%qpegrvwcnk\kpicuuguuogpvewnvwtgkpuejqqn +p% 9[cvv 5okvj ... [swcnk gfvgcejgtukp0qtyc[ )gtocp[ cpf'pincpf european$
UvA-DARE is a service provided by the library of the University of Amsterdam (http://dare.uva.nl)

UvA-DARE (Digital Academic Repository)

How teacher educators learn to use data in a data team

Bolhuis, E.D.

Link to publication

Citation for published version (APA):Bolhuis, E. D. (2017). How teacher educators learn to use data in a data team

General rightsIt is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s),other than for strictly personal, individual use, unless the work is under an open content license (like Creative Commons).

Disclaimer/Complaints regulationsIf you believe that digital publication of certain material infringes any of your rights or (privacy) interests, please let the Library know, statingyour reasons. In case of a legitimate complaint, the Library will make the material inaccessible and/or remove it from the website. Please Askthe Library: http://uba.uva.nl/en/contact, or a letter to: Library of the University of Amsterdam, Secretariat, Singel 425, 1012 WP Amsterdam,The Netherlands. You will be contacted as soon as possible.

Download date: 01 May 2018

http://dare.uva.nl/personal/pure/en/publications/how-teacher-educators-learn-to-use-data-in-a-data-team(f5e70c30-34a4-4bfb-8555-7507af3ba01e).html

514401-L-bw-Bolhuis514401-L-bw-Bolhuis514401-L-bw-Bolhuis514401-L-bw-BolhuisProcessed on: 13-10-2017Processed on: 13-10-2017Processed on: 13-10-2017Processed on: 13-10-2017 PDF page: 139PDF page: 139PDF page: 139PDF page: 139

References



141

References

Achinstein, B. (2002). Conflict amid community: The micropolitics of teacher collaboration. Teachers College Record, 104(3), 421-455. http://dx.doi.org/10.1111/1467-9620.00168

Akmal, T., & Miller, D. (2003). Overcoming resistance to change: A case study of revision and renewal in a US secondary education teacher preparation program. Teaching and Teacher Education, 19(4), 409-420. http://dx.doi.org/10.1016/S0742-051X(03)00025-8

Alliger, G. M., & Janak, E. A. (1989). Kirkpatrick’s levels of training criteria: Thirty years later. Personnel Psychology, 42(2), 331-342. http://dx.doi.org/10.1111/j.1744-6570.1989.tb00661.x

Alliger, G. M., Tannenbaum, S. I., Bennett, W., Traver, H., & Shotland, H. (1997). A meta-analysis of the relations among training criteria. Air Force Material Command Air Force Research Labotory Human Effectiveness Directorate.

Anderson, S., Leithwood, K., & Strauss, T. (2010). Leading data use in schools: Organizational conditions and practices at the school and district levels. Leadership and Policy in Schools, 9(3), 292-327. http://dx.doi.org/10.1080/15700761003731492

Astin, A. W., & Antonio, A. L. (2012). Assessment for excellence. The philosophy and practice of assessment and evaluation in higher education (2nd ed.). Plymouth: Rowman & Littlefield Publishers.

Australian Institute for Teaching and School Leadership (AITSL). (2015). Australian professional standards for teachers. Retrieved November 3, 2015, from http://www.aitsl.edu.au/australian-professional-standards-for-teachers/standards/list

Bakx, A., Breteler, H., Diepstraten, I., & Copic, J. (2009). Onderzoek pabo-studenten verankerd in het curriculum [Research anchored in teacher education students for primary education]. Tijdschrift voor lerarenopleiders, 30(1), 28-35.

Bates, R. (2004). A critical analysis of evaluation practice: The Kirkpatrick model and the principle of beneficence. Evaluation and Program Planning, 27(3), 341-347. http://dx.doi.org/10.1016/j.evalprogplan.2004.04.011

Bernhardt, V. L. (2004, November–December). Continuous improvement: It takes more than test scores. ACSA Leadership, 2004, 16-19.

Birenbaum, M. (2014). Conceptualizing assessment culture in school. In C. Wyatt-Smith, C. Klenowski, & P. Colbert (Eds.), The enabling power of assessment: Vol. 1. Designing assessment for quality learning (pp. 285-302). Deventer, Netherlands: Springer.

Black, P., & Wiliam, D. (2010). Inside the black box: Raising standards through student assessment. Phi Delta Kappan, 92(1), 81-90. https://doi.org/10.1177/003172171009200119

Blaich, C., & Wise, K. (2011). From gathering to using assessment results: Lessons from the Wabash national study (NILOA Occasional Paper No. 8). Champaign, IL: National Institute for Learning Outcomes Assessment (NILOA), University of Illinois at Urbana Campaign.

Blanc, S., Christman, J. B., Liu, R., Mitchell, C., Travers, E., & Bulkley, K. E. (2010). Learning to learn from data: Benchmarks and instructional communities. Peabody Journal of Education, 85(2), 205-225. http://dx.doi.org/10.1080/01619561003685379

Borko, H. (2004). Professional development and teacher learning: Mapping the terrain. Educational Researcher, 33(8), 3-15. http://dx.doi.org/10.3102/0013189X033008003

Breiter, A., & Light, D. (2006). Data for school improvement: Factors for designing effective information systems to support decision-making in schools. Journal of Educational Technology & Society, 9(3), 206-217.

Bron, R., Van Geel, M., & Visscher, A. (2013). Opbrengstgericht werken op de pabo: Een verkenning van de wenselijkheid en mogelijkheden om opbrengstgericht werken met behulp van een leerlingvolgsysteem in het pabo curriculum op te nemen [Data-based decision making in the teacher education college for primary education: An exploration of the desirability of data-based decision making with student tracking systems in the curriculum of


142

the teacher education college]. Enschede, Netherlands: Universiteit van Twente.Brown, L. I., Bristol, L., De Four-Babb, J., & Conrad, D. A. (2014). National tests and diagnostic

feedback: What say teachers in Trinidad and Tobago? The Journal of Educational Research, 107(3), 241-251. http://dx.doi.org/10.1080/00220671.2013.788993

Bryson, J. M., & Crosby, B. C. (2014). Public value governance: Moving beyond traditional public administration and the new public management. Public Administration Review, 74(4), 445-456. http://dx.doi.org/10.1111/puar.12238

Burke, J. C., & Minassians, H. P. (2002). Reporting indicators: What do they indicate? New Directions for Institutional Research, 2002(116), 33-58. http://dx.doi.org/10.1002/ir.59

Butler, D. L., & Schnellert, L. (2012). Collaborative inquiry in teacher professional development. Teaching and Teacher Education, 28(8), 1206-1220. http://dx.doi.org/10.1016/j.tate.2012.07.009

Caena, F. (2014). Initial teacher education in Europe: An overview of policy issues. Brussels, Belgium: European Union.

Campbell, C., & Levin, B. (2009). Using data to support educational improvement. Educational Assessment Evaluation and Accountability, 21(1), 47-65. http://dx.doi.org/10.1007/s11092-008-9063-x

Cantrell, C., & Hughes, H. K. (2008). Teacher efficacy and content literacy implementation: An exploration of the effects of extended professional development with coaching. Journal of Literacy Research, 40(1), 95-127. http://dx.doi.org/10.1080/10862960802070442

Carlson, D., Borman, G., & Robinson, M. (2011). A multistate district-level cluster randomized trial of the impact of data-driven reform on reading and mathematics achievement. Educational Evaluation and Policy Analysis, 33(3), 378-398. http://dx.doi.org/10.3102/0162373711412765

Cavalluzzo, L., Geraghty, T. M., Steele, J. L., & Alexander, J. K. (2013). Using data to inform decisions: How teachers use data to inform practice and improve student performance in mathematics. Evanston, IL: Society for Research on Educational Effectiveness.

Centrum Hoger Onderwijs Informatie (C.H.O.I.)/keuzegids. (n.d.). Keuzegids hogescholen [Selection guide for higher education]. Retrieved March 23, 2016, from http://www.keuzegids.org/hbo

Cho, V., & Wayman, J. C. (2014). Districts’ efforts for data use and computer data systems: The role of sensemaking in system use and implementation. Teachers College Record, 116(2), 1-37.

Christoforidou, M., Kyriakides, L., Antoniou, P., & Creemers, B. P. (2014). Searching for stages of teacher’s skills in assessment. Studies in Educational Evaluation, 40, 1-11. http://dx.doi.org/10.1016/j.stueduc.2013.11.006

Coburn, C. E., & Turner, E. O. (2011). Research on data use: A framework and analysis. Measurement, Interdisciplinary Research and Perspectives, 9(4), 173-206. http://dx.doi.org/10.1080/15366367.2011.626729

Coburn, C. E., & Turner, E. O. (2012). The practice of data use: An introduction. American Journal of Education, 118(2), 99-111. http://dx.doi.org/10.1086/663272

Cohen, L. M., Manion, L. I., & Morrison, K. (2007). Research methods in education (6th ed.). London, UK: Routledge.

Collinson, V., Kozina, E., Lin, Y-H. K., Ling, L., Matheson, I., Newcombe, L., & Zogla, I. (2009). Professional development for teachers: A world of change. European Journal of Teacher Education, 32(1), 3-19. http://dx.doi.org/10.1080/02619760802553022

Commissie Kennisbasis Pabo. (2012). Een goede basis: Advies van de commissie kennisbasis van de pabo [A good base: Advice from the committee on the knowledge base of the teacher education college for primary education]. Den Haag, Netherlands: HBO-raad.

Corno, L. (2008). On teaching adaptively. Educational Psychologist, 43(3), 161-173. http://dx.doi.org/10.1080/00461520802178466


143

Cramer, E. D., Little, M. E., & McHatton, P. A. (2014). Demystifying the data-based decision-making process. Action in Teacher Education, 36(5-6), 389-400. http://dx.doi.org/10.1080/01626620.2014.977690

Crawford, R. J. (2010). Data driven decision making and the New Zealand secondary school principal. (Unpublished doctoral dissertation). Auckland, New Zealand: Unitec Institute of Technology.

Czerniawski, G. (2011). Emerging teachers – emerging identities: Trust and accountability in the construction of newly qualified teachers in Norway, Germany, and England. European Journal of Teacher Education, 34(4), 431-447. http://dx.doi.org/10.1080/02619768.2011.587114

Daly, A. J. (2012). Data, dyads, and dynamics: Exploring data use and social networks in educational improvement. Teachers College Record, 114(11), 1-38.

Darling-Hammond, L. (2010). Evaluating teacher effectiveness: How teacher performance assessments can measure and improve teaching. Washington, DC: Center for American Progress.

Datnow, A. (2011). Collaboration and contrived collegiality: Revisiting Hargreaves in the age of accountability. Journal of Educational Change, 12(2), 147-158. http://dx.doi.org/10.1007/s10833-011-9154-1

Datnow, A., & Hubbard, L. (2015). Teachers’ use of assessment data to inform instruction: Lessons from the past and prospects for the future. Teachers College Record, 117(4), 1-26.

Datnow, A., Park, V., & Kennedy-Lewis, B. (2013). Affordances and constraints in the context of teacher collaboration for the purpose of data use. Journal of Educational Administration, 51(3), 341-362. http://dx.doi.org/10.1108/09578231311311500

De Bie, D. (2002). Competenties, wat zijn dat en wat doen we ermee? [Competences, what are they and what are we doing?] Tijdschrift voor Medisch Onderwijs 21(4), 161-166. http://dx.doi.org/10.1007/BF03056564

Dengerink, J., & Snoek, M. (Eds.). (2016). Kennisbasis lerarenopleiders. Katern 2: De context van het opleiden van leraren [Knowledge base of teacher educators. Part 2: The context for educating teachers]. Werkendam, Netherlands: Hollandse Indruk.

Denhardt, J. V., & Denhardt, R. B. (2015). The new public service revisited. Public Administration Review, 75(5), 664-672. 1-9. http://dx.doi.org/10.1111/puar.12347

Desimone, L. M. (2009). Improving impact studies of teacher’s professional development: Toward better conceptualizations and measures. Educational Researcher, 38(3), 181-199. http://dx.doi.org/10.3102/0013189X08331140

Desimone, L. M. (2011). A primer on effective professional development. Phi Delta Kappan, 92(6), 68-71. http://dx.doi.org/10.1177/003172171109200616

Dessoff, A. (2011). What’s your data integration strategy? Retrieved November 18, 2015, from https://www.districtadministration.com/article/whats-your-data-integration-strategy

DeVellis, R. F. (1991). Scale development: Theory and applications (3rd ed.). Thousands Oaks, CA: Sage Publications.

De Vries, O., & Steur, R. (2012). De zoektocht naar balans tussen autonomie en kwaliteit van het hoger onderwijs [The search for balance between autonomy and quality of higher education]. In A. B. Dijkstra & F. J. G. Janssens (Eds.), Om de kwaliteit van het onderwijs: kwaliteitsbepaling en kwaliteitsbevordering [For the quality of education: quality assurance and quality promotion] (pp. 183-214). Den Haag, Netherlands: Boom Lemma Uitgevers.

D’Mello, S., Lehman, B., Pekrun, R., & Graesser, A. (2014). Confusion can be beneficial for learning. Learning and Instruction, 29, 153-170. http://dx.doi.org/10.1016/j.learninstruc.2012.05.003

Downey, C., & Kelly, A. (2013). Professional attitudes to the use of data in England. In K. Schildkamp, M. K. Lai, & L. Earl (Eds.), Data-based decision making in education: Challenges and opportunities (pp. 69-90). Deventer, Netherlands: Springer.

Earl, L. M., & Fullan, M. (2003). Using data in leadership for learning. Cambridge Journal of


144

Education, 33(3), 383-394. http://dx.doi.org/10.1080/0305764032000122023Earl, L. M., & Katz, S. (2006). Leading schools in a data-rich world. Harnessing data for school

improvement. Thousand Oaks, CA: Corwin Press.Earl, L. M., Katz, S., Elgie, S., Ben Jaafar, S., & Foster, L. (2006). How networked learning

communities work: Volume 1 – The report. Nottingham, UK: National College for School Leadership.

Earley, P., & Bubb, S. (2014). Data and inquiry driving school improvement: Recent developments in England. Journal of Educational, Cultural and Psychological Studies, 1(9), 167-184. http://dx.doi.org/10.7358/ecps-2014-009-earl

Ebbeler, J. (2016). Implementing data use in schools: Effects on the professional development of educators and the role of school leaders in data teams. (Unpublished doctoral dissertation). University of Twente, Enschede, Netherlands.

Ehren, M. C. M., Altrichter, H., McNamara, G., & O’Hara, J. (2013). Impact of school inspections on improvement of schools describing assumptions on causal mechanisms in six European countries. Educational Assessment, Evaluation, and Accountability, 25(1), 3-43. http://dx.doi.org/10.1007/s11092-012-9156-4

Elsevier. (n.d.). Beste studies [Best studies]. Retrieved March 29 2016, from http://www.elsevier.nl/kennis/article/2015/09/beste-studies-2015-zoeken-naar-kwaliteit-in-de-breedte-2691234W/

Farley-Ripple, E. N. (2012). Research use in school district central office decision making. A case study. Educational Management Administration & Leadership, 40(6), 786-806. http://dx.doi.org/10.1177/1741143212456912

Farley-Ripple, E. N., & Buttram, J. L. (2014). Developing collaborative data use through professional learning communities: Early lessons from Delaware. Studies in Educational Evaluation, 42, 41-53. https://doi.org/10.1016/j.stueduc.2013.09.006

Festinger, L. (1957). A theory of cognitive dissonance. Stanford, CA: Stanford University Press.Field, A. (2009). Discovering statistics using SPSS (3rd ed.). Los Angeles, CA: Sage.Fiore, S. M., Smith-Jentsch, K. A., Salas, E., Warner, N., & Letsky, M. (2010). Towards an

understanding of macrocognition in teams: Developing and defining complex collaborative processes and products. Theoretical Issues in Ergonomics Science, 11(4), 250-271. http://dx.doi.org/10.1080/14639221003729128

Frye, A. N. N. W., & Hemmer, P. A. (2012). Program evaluation models and related theories: AMEE Guide No. 67. Medical Teacher, 34(5), e288-e299. https://doi.org/10.3109/0142159X.2012.668637

Geerdink, G., & Derks, M. (2007). Attent op talent op de pabo: Een onderzoek naar de verschillen tussen vwo-instromers en overige studenten [Attention to talent at the teacher training college for primary education: An examination of the differences between students from vwo and other students]. Tijdschrift Voor Lerarenopleiders, 28(2), 4-13.

Geerdink, G., & Pauw, I. (Eds.). (2016). Kennisbasis lerarenopleiders. Katern 3: Inhoud en vakdidactiek op de lerarenopleidingen [Knowledge base of teacher educators. Part 3: Content knowledge and pedagogical content knowledge in teacher education colleges]. Werkendam, Netherlands: Hollandse Indruk.

Geerdink, G., & Pauw, I. (Eds.). (2017). Kennisbasis lerarenopleiders. Katern 1: De lerarenopleider [Knowledge base of teacher educators. Part 1: The teacher educator]. Werkendam, Netherlands: Hollandse Indruk.

Geier, R., Smith, S., & Tornow, M. (2012). District data teams: A leadership structure for improving student achievement. Boston, MA: PCG Education.

Gelderblom, G., Schildkamp, K., Pieters, J., & Ehren, M. (2016). Data-based decision making for instructional improvement in primary education. International Journal of Educational Research, 80, 1-14. http://dx.doi.org/10.1016/j.ijer.2016.07.004

Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. New York, NY: Cambridge University Press.


145

General Teaching Council for Scotland (GTCS). (2012). The standards for registration: Mandatory requirements for registration with the general teaching council for Scotland. Retrieved November 3 2015, from http://www.gtcs.org.uk/web/FILES/the-standards/standards-for-registration-1212.pdf

Griffiths, V., Thompson, S., & Hryniewicz, L. (2014). Landmarks in the professional and academic development of mid-career teacher educators. European Journal of Teacher Education, 37(1), 74-90. http://dx.doi.org/10.1080/02619768.2013.825241

Grossman, P., Wineburg, S., & Woolworth, S. (2001). Toward a theory of teacher community. Teachers College Record, 103(6), 942-1012. http://dx.doi.org/10.1111/0161-4681.00140

Hamilton, L., Halverson, R., Jackson, S., Mandinach, E., Supovitz, J., & Wayman, J. (2009). Using student achievement data to support instructional decision making (NCEE 2009-4067). IES Practice Guide. Washington, DC: U.S. Department of Education, Institute of Education Sciences, National Center for Education Evaluation and Regional Assistance. Retrieved March 3 2016, from https://ies.ed.gov/ncee/wwc/PracticeGuide/12

Han, J., Kamber, M., & Pei, J. (2012). Data mining: Concepts and techniques (3rd ed.). San Francisco, CA: Morgan Kaufmann.

Hargreaves, A., & Braun, H. (2013). Data-driven improvement and accountability. Boulder, CO: National Education Policy Center. Retrieved April 4 2016, from http://nepc.colorado.edu/publication/data-driven-improvement-accountability/http://nepc.colorado.edu/publication/data-driven-improvement-accountability

Hazelkorn, E. (2013). How rankings are reshaping higher education. In V. Climent, F. Michavila, & M. Ripolles (Eds.), Los rankings univeritarios: Mitos y realidades [University rankings: Myths and realities]. Madrid, Spain: Tecnos, University Jaume I.

Hazi, H. M., & Rucinski, D. A. (2009). Teacher evaluation as a policy target for improved student learning: A fifty-state review of statute and regulatory action since NCLB. Education Policy Analysis Archives, 17(5), 1-22. http://dx.doi.org/10.14507/epaa.v17n5.2009

Henry, S. F. (2010, April/May). Talk that talk. Paper presented at the Annual Meeting of the American Educational Research Association, Denver, CO.

Henry, S. F. (2012). Instructional conversations: A qualitative exploration of differences in elementary teachers’ team discussions. (Doctoral dissertation). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3535056).

Hexom, D., & Menoher, J. (2015). Using data driven decision making for continuous improvement in university programs. In International Conference on Education and e-Learning (EeL). Proceedings. (pp. 40). Global Science and Technology Forum.

Holmlund-Nelson, T. H. (2009). Teachers’ collaborative inquiry and professional growth: Should we be optimistic? Science Teacher Education, 93(3), 548-580. http://dx.doi.org/10.1002/sce.20302

Holmlund-Nelson, T. H., Deuel, A., Slavit, D., & Kennedy, A. (2010). Leading deep conversations in collaborative inquiry groups. The Clearing House, 83(5), 175-179. http://dx.doi.org/10.1080/00098650903505498

Holmlund-Nelson, T. H., Slavit, D., & Deuel, A. (2012). Two dimensions of an inquiry stance toward student learning data. Teachers College Record, 114(8), 1-42.

Holton, E. F. (1996). The flawed four-level evaluation model. Human Resource Development Quarterly, 7(1), 5-21. http://dx.doi.org/10.1002/hrdq.3920070103

Hood, C. (1995). The “new public management” in the 1980s: Variations on a theme. Accounting, Organizations and Society, 20(2-3), 93-109. http://dx.doi.org/10.1016/0361-3682(93)E0001-W

Hoogland, I., Schildkamp, K., Van der Kleij, F., Heitink, M., Kippers, W., Veldkamp, B., & Dijkstra, A. M. (2016). Prerequisites for data-based decision making in the classroom. Teaching and Teacher Education, 60, 377-386. https://doi.org/10.1016/j.tate.2016.07.012


146

Hox, J. J., Moerbeek, M., & Van de Schoot, R. (2010). Multilevel analysis: Techniques and applications (2nd ed.). New York, NY: Routledge.

Hoy, W. K., & Tarter, C. J. (2008). Administrators solving the problem of practice: Decision-making concepts, cases and consequences (3rd ed.). Boston, MA: Pearson Education, Inc.

Hubbard, L., Datnow, A., & Pruyn, L. (2013). Multiple initiatives, multiple challenges: The promise and pitfalls of implementing data. Studies in Educational Evaluation, 43, 54-62. http://dx.doi.org/10.1016/j.stueduc.2013.10.003

Hubers, M. D., Poortman, C. L., Schildkamp, K., Pieters, J. M., & Handelzalts, A. (2016). Opening the black box: Knowledge creation in data teams. Journal of Professional Capital and Community, 1(1), 41-68. http://dx.doi.org/10.1108/JPCC-07-2015-0003

Huguet, A., Marsh, J. A., & Farrell, C. C. (2014). Building teachers’ data-use capacity: Insights from strong and developing coaches. Education Policy Analysis Archives, 22(52), 1-31. http://dx.doi.org/10.14507/epaa.v22n52.2014

Illeris, K. (2002). The three dimensions of learning. Frederiksberg, Denmark: Roskilde University Press.

Illeris, K. (2003). Workplace learning and learning theory. Journal of Workplace Learning, 15(4), 167-178. http://dx.doi.org/10.1108/13665620310474615

Illeris, K. (2007). How we learn: Learning and non-learning in school and beyond (1st ed.). London, UK: Routledge.

Illeris, K. (Ed.). (2009). Contemporary theories of learning: Learning theorists... in their own words. Oxon, OX: Routledge.

Ingram, D., Louis, K. S., & Schroeder, R. (2004). Accountability policies and teacher decision making: barriers to the use of data to improve practice. Teachers College Record, 106(6), 1258-1287.

Inspectie van het Onderwijs (2012). De beoordeling van opbrengsten in het basisonderwijs [The assessment of achievement in primary education]. Utrecht, Netherlands: Author.

Inspectie van het Onderwijs (2015). De staat van het onderwijs: Onderwijsverslag 2013/2014 [The state of education. Education report2013/2014]. Utrecht, Netherlands: Author.

Inspectie van het Onderwijs (2016). De staat van het onderwijs: Onderwijsverslag 2014/2015 [The state of education. Education report 2014/2015]. Utrecht, Netherlands: Author.

Italiano, F., & Hine, G. (2014). Finding ways to effectively use year 12 achievement data to inform practice in secondary schools. Australian Journal of Teacher Education, 39(5), 99-116. http://dx.doi.org/10.14221/ajte.2014v39n5.8

Jacobs, J., Gregory, A., Hoppey, D., & Yendol-Hoppey, D. (2009). Data literacy: Understanding teachers’ data use in a context of accountability and response to intervention. Action in Teacher Education, 31(3), 41-55. http://dx.doi.org/10.1080/01626620.2009.10463527

Jankowski, N. A. (2012). Mapping the topography of the evidence use terrain in assessment of the U.S. higher education: A multiple case study approach. (Doctoral dissertation). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3633249).

Janssens, F. J. G., & Dijkstra, A. B. (2012). Perspectieven op kwaliteit [Perspectives on quality]. In A. B. Dijkstra & F. J. G. Janssens (Eds.), Om de kwaliteit van het onderwijs: kwaliteitsbepaling en kwaliteitsbevordering [For the quality of education: Quality assurance and quality promotion] (pp. 215-246). Den Haag, Netherlands: Boom Lemma Uitgevers.

Jimerson, J. B., Cho, V., & Wayman, J. C. (2016). Student-involved data use: Teacher practices and considerations for professional learning. Teaching and Teacher Education, 60, 413-424. https://doi.org/10.1016/j.tate.2016.07.008

Jimerson, J. B., Choate, M. R., & Dietz, L. K. (2015). Supporting data-informed practice among early career teachers: the role of mentors. Leadership and Policy in Schools, 14(2), 204-232. http://dx.doi.org/10.1080/15700763.2014.997937

Jimerson, J. B., & McGhee, M. W. (2013). Leading inquiry in schools: examining mental models of data-informed practice. Current Issues in Education, 16(1), 1-22.


147

Johnson, K., Greenseid, L. O., Toal, S. A., King, J. A., Lawrenz, F., & Volkov, B. (2009). Research on evaluation use: A review of the empirical literature from 1986 to 2005. American Journal of Evaluation, 30(3), 377-410. http://dx.doi.org/10.1177/1098214009341660

Jongbloed, B. (2013). Prestatie afspraken in het Nederlandse hoger onderwijs. [Achievement agreements in Dutch Higher education]. Thema Hogeronderwijs, 1, 1-13.

Katz, S., & Dack, L. A. (2014). Towards a culture of inquiry for data use in schools: Breaking down professional learning barriers through intentional interruption. Studies in Educational Evaluation 42, 35-40. http://dx.doi.org/10.1016/j.stueduc.2013.10.006

Katz, S., Earl, L. M., & Ben Jaafar, S. (2009). Building and connecting learning communities: The power of networks for school improvement. Thousand Oaks, CA: Corwin Press.

Katz, S., Sutherland, S., & Earl, L. M. (2005). Toward an evaluation habit of mind: Mapping the journey. Teachers College Record 107(10), 2326-2350.

Keijzer, R., Van der Linden, J., Vos-Bos, J., & Verbeek-Pleune, L. (2012). Leraren basisonderwijs leren opbrengst gericht werken [Teachers in primary education learn to use data.] Tijdschrift Voor Lerarenopleiders, 33(2), 39-45.

Kelly, A., & Downey, C. (2011). Professional attitudes to the use of pupil performance data in English secondary schools. School Effectiveness and School Improvement, 22(4), 415-437. http://dx.doi.org/10.1080/09243453.2011.600525

Kerr, K. A., Marsh, J. A., Ikemoto, G. S., Darilek, H., & Barney, H. (2006). Strategies to promote data use for instructional improvement: Actions, outcomes, and lessons from three urban districts. American Journal of Education, 112(4), 496-520. http://dx.doi.org/10.1086/505057

Ketterlin-Geller, L. R., Gifford, D. B., & Perry, L. (2015). Measuring middle school students’ algebra readiness: Examining validity evidence for three experimental measures. Assessment for Effective Intervention, 41(1), 28-40. https://doi.org/10.1177/1534508415586545

Kezar, A. (2012). Institutionalizing student outcomes assessment: The need for better research to inform practice. Innovative Higher Education, 38(3), 189-206. http://dx.doi.org/10.1007/s10755-012-9237-9

Kim, J. H., & Lee, C. (2001). Implications of near and far transfer of training on structured on-the-job training. Advances in Developing Human Resources, 3(4), 442-451. http://dx.doi.org/10.1177/15234220122238508

Kirkpatrick, D. L. (1979). Techniques for evaluating training programs. Training and Development Journal, 14, 8-12.

Kok, J. J. M., Wolfslag, W., Dummer, G., Klein, S., Niemeijer, S., Paalman-Vos, H., Poiesz, J., Heusschen, J., & Visser, P. (2012). Kennisbasis Leraar basisonderwijs [Knowledge base for teacher primary education]. Den Haag, Netherlands: HBO-raad.

Krüger, M., & Geijsel, F. (2011, April). The effect of school leader on inquiry habit of mind. Paper presented at the Annual Meeting of the American Educational Research Association, New Orleans, LA.

Lachat, M. A., & Smith, S. (2005). Practices that support data use in urban high schools. Journal of Education for Students Placed at Risk, 10(3), 333-349. http://dx.doi.org/10.1207/s15327671espr1003_7

Lai, M. K., & Hsiao, S. (2014). Developing data collection and management systems for decision-making: What professional development is required? Studies in Educational Evaluation, 42, 63-70. http://dx.doi.org/10.1016/j.stueduc.2013.12.006

Lai, M. K., & McNaughton, S. (2008). Raising student achievement in poor communities through evidence-based conversations. In L. M. Earl & H. Timperley (Eds.), Professional learning conversations: Challenges in using evidence for improvement (pp. 13-27). Deventer, Netherlands: Springer.

Lai, M. K., & McNaughton, S. (2016). The impact of data use professional development on student achievement. Teaching and Teacher Education, 60, 434-443. http://dx.doi.org/10.1016/j.tate.2016.07.005


148

Lai, M. K., & Schildkamp, K. (2013). Data-based decision making: An overview. In K. Schildkamp, M. K. Lai, & L. Earl (Eds.), Data-based decision making in education: Challenges and opportunities (pp. 9-21). Dordrecht, Netherlands: Springer.

Lai, M. K., Wilson, A., McNaughton, S., & Hsiao, S. (2014). Improving achievement in secondary schools: impact of a literacy project on reading comprehension and secondary school qualifications. Reading Research Quarterly, 49(3), 305-334. http://dx.doi.org/10.1002/rrq.73

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorial data. Biometrics 33(1), 159-174.

Ledoux, G., Blok, H., Boogaard, M., & Krüger, M. (2009). Opbrengstgericht werken: Over de waarde van meetgestuurd onderwijs [Data-based decision making: about the value of measurable education] (No. 812). Amsterdam, Netherlands: SCO-Kohnstamm Instituut.

Lewins, A., & Silver, C. (2007). Using software in qualitative research: a step-by-step guide (1st ed.). London, UK: Sage.

Little, J. W. (2012). Understanding data use practice among teachers: the contribution of micro-process studies. American Journal of Education, 118(2), 143-166. http://dx.doi.org/10.1086/663271

Livingston, K. (2014). Teacher educators: hidden professionals? European Journal of Education, Research, Development & Policy, 49(2), 218-232. http://dx.doi.org/10.1111/ejed.12074

Lomos, C., Hofman, R. H., & Bosker, R. J. (2011). The relationship between departments as professional communities and student achievement in secondary schools. Teaching and Teacher Education, 27(4), 722-731. http://dx.doi.org/10.1016/j.tate.2010.12.003

Love, N., Stiles, K. E., Mundry, S., & DiRanna, K. (2008). The data coach’s guide to improving learning for all students: Unleashing the power of collaborative inquiry. Thousand Oaks, CA: Corwin Press.

Mandinach, E. B., Friedman, J. M., & Gummer, E. S. (2015). How can schools of education help to build educators’ capacity to use data: a systemic view of the issue. Teachers College Record, 117(4), 1-50.

Mandinach, E. B., & Gummer, E. S. (2012). Navigating the landscape of data literacy: It IS complex. Washington, DC: WestEd and Education Northwest.

Mandinach, E. B., & Gummer, E. S. (2013). A systemic view of implementing data literacy in educator preparation. Educational Researcher, 42(1), 30-37. http://dx.doi.org/10.3102/0013189X12459803

Mandinach, E. B., & Gummer, E. S. (2016a). Data literacy for educators: making it count in teacher preparation and practice. San Fransisco, CA: Teacher College Press.

Mandinach, E. B., & Gummer, E. S. (2016b). What does it mean for teachers to be data literate: Laying out the skills, knowledge, and dispositions. Teaching and Teacher Education 60, 366-376. http://dx.doi.org/10.1016/j.tate.2016.07.011

Mandinach, E. B., Honey, M., & Light, D. (2006, April). A theoretical framework for data-driven decision making. Paper presented at the Annual Meeting of the American Educational Research Association, San Francisco, CA.

Manrope, P. T. M., Wells, P. J., & Hazelkorn, E. (2013). Rankings and accountability in higher education-usses and misuses. Paris, France: United Nations Educational, Scientific, & Cultural Organization.

Marginson, S., & Van der Wende, M. (2007). To rank or to be ranked: the impact of global rankings in higher education. Journal of Studies in International Education, 11(3-4): 306-329. http://dx.doi.org/10.1177/1028315307303544

Marsh, J. A. (2012). Interventions promoting educators’ use of data: Research insights and gaps. Teachers College Record, 114(11): 1-48.

Marsh, J. A., Sloan McCombs, J., & Martorell, F. (2010). How instructional coaches support data-driven decision making: policy implementation and effects in Florida middle schools. Educational Policy, 24(6): 872-907. http://dx.doi.org/10.1177/0895904809341467


149

McCann, C., & Kabaker, J. C. (2013). Promoting data in the classroom: Innovative state models and missed opportunities. New York, NY: New America Foundation, Education Policy Program.

McNaughton, S., Lai, M. K., & Hsiao, S. (2012). Testing the effectiveness of an intervention model based on data use: A replication series across clusters of schools. School Effectiveness and School Improvement, 23(2), 203-228. http://dx.doi.org/10.1080/09243453.2011.652126

Meijer, R. (2010). Opbrengstgericht werken met en in de pabo: 5 portretten [Data-based decision making with and in the teacher education college for primary education: 5 cases]. Utrecht, Netherlands: PO-raad.

Meijer, R. (2011). Opbrengst gericht werken: Aanjager voor nieuwe kennis [Data-based decision making: Hunt for new knowledge]. Basisschoolmanagement, 3, 30-32.

Miles, M. B., & Huberman, M. A. (1994). Qualitative data analysis (2nd ed.). Thousands Oaks, CA: Sage.

Ministerie van Onderwijs, Cultuur en Wetenschap. (2011). Kwaliteit in verscheidenheid. Strategische agenda hoger onderwijs, onderzoek en wetenschap [Quality in variety. Strategic agenda for the ministry of Education, Culture and Research]. Den Haag, Netherlands: Author. [Quality in variety. Strategical agenda higher education and research].

Moody, L., & Dede, C. (2007). Models of data-based decision making: A case study of the Milwaukee public schools. In E. B. Mandinach & M. Honey (Eds.), Data-driven school improvement (pp. 233-254). San Francisco, CA: Teachers College Press.

Moss, P. A. (2012). Exploring the macro-micro dynamic in data use practice. American Journal of Education, 118(2), 223-232. http://dx.doi.org/10.1086/663274

Moss, P. A. (2013). Validity in action: Lessons from studies of data use. Journal of Educational Measurement, 50(1), 91-98. http://dx.doi.org/10.1111/jedm.12003

National Board for Professional Teaching Standards (NBPTS). (2012). Middle childhood generalist standards (3rd Ed.). Retrieved November 3 2015, from http://boardcertifiedteachers.org/sites/default/files/MC-GEN.pdf

Nederlands-Vlaamse Accreditatieorganisatie (NVAO). (2015). Hbo-bachelor Opleiding tot leraar basisonderwijs. Systeembrede analyse [Higher education bachelor Teacher Education College for primary education. System-wide analysis]. Den Haag, Netherlands: Author.

Neil, P., & Johnston, J. (2005). An approach to analysing professional discourse in a school self-evaluation project. Research in Education, 73(1), 73-86. http://dx.doi.org/10.7227/RIE.73.6

Neuman, S. B., & Cunningham, L. (2009). The impact of professional development and coaching on early language and literacy instructional practices. American Educational Research Journal, 46(2), 532-566. http://dx.doi.org/10.3102/0002831208328088

Newmann, F. M. (1996). Authentic achievement: Restructuring schools for intellectual quality. San Francisco, CA: Jossey-Bass.

New Zealand Education Council. (2006). Practicing teacher criteria. Retrieved March 29 2016 from https://educationcouncil.org.nz/sites/default/files/Practising-Teacher-Criteria-Handbook-(English).pdf

Nygren, L. A. (2009). Data use in middle schools: A multiple case study of three middle schools’ experiences with data-driven decision making. (Unpublished doctoral dissertation). Los Angeles, CA: University of South California.

Onderwijsraad. (2005). Kwaliteit en inrichting van de lerarenopleidingen [Quality and design of teacher education colleges]. Den Haag, Netherlands: Author.

Organisation for Economic Co-operation and Development (OECD). (2005). Teachers matter: Attracting, developing and retraining effective teachers. Paris, France: Author.

Organisation for Economic Co-operation and Development (OECD). (2013). Synergies for better learning: An international perspective on evaluation and assessment. Paris, France: Author.

Petrilli, P.G. (2011). The relationship between teacher efficacy and teacher response to data-driven instructional reforms. (Unpublished doctoral dissertation). Richmond, KY: Eastern


150

Kentucky University.Piro, J. S., Dunlap, K., & Shutt, T. (2014). A collaborative data chat: Teaching summative

assessment data use in pre-service teacher education. Cogent Education, 1(1), 1-24. http://dx.doi.org/10.1080/2331186X.2014.968409

Plecki, M. L., Elfers, A. M., & Nakamura, Y. (2012). Using evidence for teacher education program improvement and accountability: An illustrative case of the role of value-added measures. Journal of Teacher Education, 63(5), 318-334. http://dx.doi.org/10.1177/0022487112447110

Poortman, C. L. (2007). Workplace learning processes in senior secondary vocational education. (Unpublished doctoral dissertation). Enschede, Netherlands: University of Twente.

Poortman, C. L., & Schildkamp, K. (2011). Alternative quality standards in qualitative research. Quality & Quantity, 46(6), 1727-1751. http://dx.doi.org/10.1007/s11135-011-9555-5

Powell, W. W., & Bromley, P. (2013). New institutionalism in the analysis of complex organizations. In J. Weight (Ed.), International Encyclopedia of Social and Behavioral Sciences (2nd ed., pp. 764-769). Oxford, UK: Elsevier.

Rankin, J. (2014, March). Reporting data with “over-the-counter” data analysis supports improves educators’ data analyses. Paper presented at the Annual Meeting at the Society for Information Technology & Teacher Education (SITE), Chesapeake, VA.

Ravitch, D. (2010). The death and life of the great American school system: How testing and choice are undermining education. New York, NY: Basic Books.

Reeves, T. D., & Honig, S. L. (2015). A classroom data literacy intervention for pre-service teachers. Teaching and Teacher Education, 50, 90-101. http://dx.doi.org/10.1016/j.tate.2015.05.007

Reeves, T. D., Summers, K. H., & Grove, E. (2016). Examining the landscape of teacher learning for data use: The case of Illinois. Cogent Education, 3(1), 1-21. http://dx.doi.org/10.1080/2331186X.2016.1211476

Ruffner, K. B. (2008). Translating data into action: A data team model as the seed of comprehensive district change. (Doctoral dissertation) Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3333053).

Savin-Baden, M., & Major, C. H. (2013). Qualitative research: The essential guide to theory and practice. London, United Kingdom: Routledge.

Schildkamp, K., & Ehren, M. (2013). From “intuition”-to “data”-based decision making in Dutch secondary schools? In K. Schildkamp, M.K. Lai & L. Earl (Eds.), Data-based decision making in Education (pp. 49-67). Deventer, Netherlands: Springer.

Schildkamp, K., Handelzalts, A. Poortman, C. L., Leusink, H., Meerdink, M., Smit, M., Ebbeler, J., & Hubers, M. (2014). De datateam® methode. Een concrete aanpak voor onderwijsverbetering [The datateam ® method. A specific approach for school improvement]. Apeldoorn, Netherlands: Garant.

Schildkamp, K., Karbautzki, L., Breiter, A., Marciniak, M., & Ronka, D. (2013). The use of data across countries: development and application of a data use framework. In D. Passey, A. Breiter, & A. J., Visscher (Eds.), IFIP-AICT: Next generation of information technology in educational management (pp. 27-38). Dordrecht, Netherlands: Springer.

Schildkamp, K., Karbautzki, L., & Vanhoof, J. (2014). Exploring data use practices around Europe: Identifying enablers and barriers. Studies in Educational Evaluation, 42, 15-24. http://dx.doi.org/10.1016/j.stueduc.2013.10.007

Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and promoting and hindering factors. Teaching and Teacher Education, 26(3), 482-496. http://dx.doi.org/10.1016/j.tate.2009.06.007

Schildkamp, K., & Lai, M. K. (2013). Conclusions and a data use framework. In K. Schildkamp, M. K. Lai, & L. Earl (Eds.), Data-based decision making in education: Challenges and opportunities (pp. 177-191). Deventer, Netherlands: Springer.

Schildkamp, K., & Poortman, C. L. (2015). Factors influencing the function of data teams. Teacher


151

College Record 117(4).Schildkamp, K., Poortman, C. L., & Handelzalts, A. (2015). Data teams for school improvement.

School Effectiveness and School Improvement,27(2), 228-254. http://dx.doi.org/10.1080/09243453.2015.1056192

Schildkamp, K., Poortman, C. L., Luyten, H., & Ebbeler, J. (2017). Factors promoting and hindering data-based decision making in schools. School Effectiveness and School Improvement, 28(2), 242-258. http://dx.doi.org/10.1080/09243453.2016.1256901

Schildkamp, K., Rekers-Mombarg, L. T., & Harms, T. J. (2012). Student group differences in examination results and utilization for policy and school development. School Effectiveness and School Improvement, 23(2), 229-255. http://dx.doi.org/10.1080/09243453.2011.652123

Schuyler-Ikemoto, G. S., & Marsh, J. A. (2007). Cutting through the “data-driven” mantra: Different conceptions of data-driven decision making. Evidence and Decision Making: Yearbook of the National Society for the Study of Education, 106(1), 105-131.

Selart, M. (2005). Understanding the role of locus of control in consultative decision-making: A case study. Management Decision, 43(3), 397-412. http://dx.doi.org/10.1108/00251740510589779

Sjoer, E., & Meirink, J. (2015). Understanding the complexity of teacher interaction in a teacher professional community. European Journal of Teacher Education, 39(1), 110-125. http://dx.doi.org/10.1080/02619768.2014.994058

Slavit, D., Holmlund-Nelson, T. H., & Deuel, A. (2013). Teacher groups’ conceptions and uses of student-learning data. Journal of Teacher Education, 64(1), 8-21. http://dx.doi.org/10.1177/0022487112445517

Smeets, E., Wester, M., & Van Kuijk, J. (2011). Opbrengstgericht werken in de pabo: Verslag van onderzoek [Data-based decision making on teacher education college for primary education: Report of an investigation]. Nijmegen, Netherlands: ITS.

Spillane, J. P. (2012). Data in practice: Conceptualizing the data-based decision-making phenomena. American Journal of Education, 118(2), 113-141. http://dx.doi.org/10.1086/663283

Staatsblad van het Koninkrijk der Nederlanden. (2005). Besluit bekwaamheidseisen onderwijspersoneel [Decision on competence requirements for education staff]. Retrieved on March 7 2016, from http://wetten.overheid.nl/BWBR0018692/2017-03-29.

Staman, L., Visscher, A. J., & Luyten, H. (2013). The effects of professional development on the attitudes, knowledge and skills for data-driven decision making. Studies in Educational Evaluation, 42, 79-90. http://dx.doi.org/10.1016/j.stueduc.2013.11.002

Stokes, L. (2001). Lessons from an inquiring school: Forms of inquiry and conditions for teacher learning. In A. Libermann & L. Miller (Eds.), Teachers caught in the action: Professional development that matters (pp. 141-158). New York, NY: Teachers College Press.

Stoll, L., Bolam, R., McMahon, A., Wallace, M., & Thomas, S. (2006). Professional learning communities: A review of the literature. Journal of Educational Change, 7(4), 221-258. http://dx.doi.org/10.1007/s10833-006-0001-8

Supovitz, J. A., & Christman, J. B. (2003). Developing communities of instructional practice: Lessons for Cincinnati and Philadelphia. (C.P.R.E. Policy Briefs. RB-39). Philadelphia, PA: Consortium for Policy Research in Education.

Supovitz, J. A., & Klein, V. (2003). Mapping a course for improved student learning: How innovative schools systematically use student performance data to guide improvement. (C.P.R.E. Policy Briefs. RB-11). Philadelphia, PA: Consortium for Policy Research in Education.

Sutherland, S. (2004). Creating a culture of data use for continuous improvement: A case study of an Edison Project school. American Journal of Evaluation, 25(3), 277-293. http://dx.doi.org/10.1177/109821400402500302

Swennen, A., Jones, K., & Volman, M. (2010). Teacher educators: Their identities, sub-identities and implications for professional development. Professional Development in Education, 36(1-


152

2), 131-148. http://dx.doi.org/10.1080/19415250903457893Timperley, H., & Earl, L. (2012). Learning and change networks: A background paper on

designing networks to make a difference. Report to the Ministry of Education, New Zealand.Tuckman, B. W. (1965). Developmental sequence in small groups. Psychological Bulletin, 63(6),

384-399. http://dx.doi.org/10.1037/h0022100Tufte, E. R. (2006). Beautiful evidence. Creshire, CT: Graphic Press LLC.U.K. Department of Education. (2013). Teachers’ standards: guidance for school leaders, staff

and governing bodies. Retrieved November 23, 2015, from https://www.gov.uk/government/publications/teachers-standards

Van den Hurk, H. T. G., Houtveen, A. A. M., Van de Grift, W. J. C. M., & Cras, D. W. P. (2014). Data-feedback in teacher training. Using observational data to improve student teachers’ reading instruction. Studies in Educational Evaluation, 42, 71-78. http://dx.doi.org/10.1016/j.stueduc.2013.10.009

Van der Zee, S., Gijsel, M., & Van der Aalsvoort, D. (2012, November). Percepties van aanstaande leraren over onderzoek [Perceptions of future teachers about research]. Paper presented at the conference Onderzoek voor een vitale regio [Research for a vital region], Deventer, Netherlands.

Van Essen, M. (2006). Kwekeling tussen akte en ideaal. De opleiding tot onderwijzer(es) vanaf 1800 [Teacher trainee between license and ideal. The education program(s) from 1800]. Amsterdam, Netherlands: SUN.

Vanhoof, J., Verhaeghe, G., Van Petegem, P., & Valcke, M. (2012). Flemish primary teachers’ use of school performance feedback and the relationship with school characteristics. Educational Research, 54(4), 431-449. http://dx.doi.org/10.1080/00131881.2012.734726

Van Merriënboer, J. J. G., Clark, R. E., & De Croock, M. B. M. (2002). Blueprints for complex learning: The 4C/ID-model. Educational Technology Research and Development, 50(2), 39-61. http://dx.doi.org/10.1007/BF02504993

Van Veen, K., Zwart, R., Meirink, J., & Verloop, N. (2010). Professionele ontwikkeling van leraren: Een reviewstudie naar effectieve kenmerken van professionaliseringsinterventies van leraren [Professional development of teachers: A review study of the characteristics of effective interventions for professional development of teachers]. Leiden, Netherlands: ICLON/Expertisecentrum leren van docenten.

Van Velzen, C., Bezinna, C., & Lorist, P. (2009). Partnerships between schools and teacher education institutes. In A. Swennen & M. van der Klink (Eds). Becoming a teacher educator: Theory and practice for teacher educators (pp. 59-74). Deventer, Netherlands: Springer.

Vereniging voor Lerarenopleiders (Velon). (2012). Beroepsstandaard voor lerarenopleiders [Professional standard for teacher training]. Retrieved November 3 2015, from http://www.lerarenopleider.nl/velon/beroepsstandaard/

Verhaeghe, G., Vanhoof, J., Valcke, M., & Van Petegem, P. (2011). De effecten van ondersteuning bij schoolfeedbackgebruik. [The effects of supporting the use of school feedback]. Pedagogische Studiën, 88 (2), 90-106.

Vescio, V., Ross, D., & Adams, A. (2008). A review of research on the impact of professional learning communities on teaching practice and student learning. Teaching and Teacher Education, 24(1), 80-91. http://dx.doi.org/10.1016/j.tate.2007.01.004

Visscher, A., & Ehren, M. (2011). De eenvoud en complexiteit van opbrengstgericht werken: Analyse in opdracht van de Kenniskamer van het Ministerie van Onderwijs, Cultuur en Wetenschap [The simplicity and complexity of data-baseed decision making. Analysis commissioned by the Knowledge Chamber of the Ministry of Education, Culture and Science]. Enschede, Netherlands: University of Twente.

Voogt, J., Westbroek, H., Handelzalts, A, Walraven, A., McKenney, S., Pieters, J., & De Vries, B. (2011). Teacher learning in collaborative curriculum design. Teaching and Teacher Education 27(8), 1235-1244. http://dx.doi.org/10.1016/j.tate.2011.07.003


153

Wayman, J. C., Cho, V., Jimerson, J. B., & Spikes, D. D. (2012). District-wide effects on data use in the classroom. Education Policy Analysis Archives, 20(25), 1-31. http://dx.doi.org/10.14507/epaa.v20n25.2012

Wayman, J. C., & Jimerson, J. B. (2014). Teacher needs for data-related professional learning. Studies in Educational Evaluation, 42, 25-34. http://dx.doi.org/10.1016/j.stueduc.2013.11.001

Weick, K. E. (1976). Educational organizations as loosely coupled systems. Administrative Science Quarterly, 21(1), 1-19. http://dx.doi.org/10.2307/2391875

Weinstein, M. (2013). TAMSAnalyzer (version 4.45b7ahl). Kent, OH: Kent State University.Weiss, C. H. (1998). Have we learned anything new about the use of evaluation? American

Journal of Evaluation, 19(1), 21-33. http://dx.doi.org/10.1177/109821409801900103 Williams, J. L. (2011). A comparison of secondary principals’ use of data systems to increase

student achievement in mathematics. (Master’s thesis). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3453631).

Williams, J. L. (2013). Faculty engagement with learning outcomes assessment: A study of public two-year colleges in Colorado. (Doctoral dissertation). Available from ProQuest Dissertations & Theses – Gradworks database. (UMI No. 3597989).

Yin, R. K. (2014). Case study research: Design and methods (5th ed.). London, UK: Sage.



Appendix A Questionairre Data Use / Vragenlijst Opbrengst Gericht Werken



157

Appendix A Questionairre Data Use / Vragenlijst Opbrengst Gericht Werken

Introductie

Graag willen wij u vragen om deze vragenlijst opbrengstgericht werken in te vullen. Het invullen van de vragenlijst kost u ongeveer 20 minuten. De vragenlijst is ontwikkeld om opbrengstgericht werken in uw afdeling in kaart te brengen. De vragenlijst is onderverdeeld in de volgende onderdelen:

1. Informatie over uzelf2. Mogelijkheden en barrières voor opbrengstgericht werken a. Kenmerken van data aanwezig binnen de school b. Kenmerken van de gebruiker c. Kenmerken van de organisatie3. Datagebruik a. Datagebruik voor verantwoording b. Datagebruik voor schoolontwikkeling c. Datagebruik voor instructie Bij voorbaat dank voor het invullen van deze vragenlijst.

Sectie 1: Informatie over uzelf

Selecteer uw school: [Gebruiker selecteert een school in de lijst met deelnemende scholen]

Hoeveel jaar bent u al docent? (vul het aantal jaren in)

Wat is uw hoofdvak? (Als u verschillende vakken geeft kies dan één vak, bijvoorbeeld het vak waaraan u de meeste tijd besteedt. Beantwoordt vervolgens alle vragen in deze vragenlijst voor dit vak) 0 Rekenen/Wiskunde 0 Natuurwetenschappen (bv. aardrijkskunde, biologie, scheikunde, natuurkunde, NLT, ANW) 0 Nederlands 0 Vreemde talen 0 Pedagogiek/onderwijskunde 0 Techniek 0 Kunst, muziek en cultuur (bv. tekenen, handvaardigheid, CKV, drama, beeldende vorming) 0 Lichamelijke Opvoeding 0 Overige

In welke bouw geeft u les? (Als u op zowel onder- als bovenbouw lesgeeft, kies dan voor de bouw waarin u het meest lesgeeft en vul hiervoor de vragen in) 0 Propedeutische fase 0 Post propedeutische fase


158

Sectie 2: Mogelijkheden & Barrières voor opbrengstgericht werken

Voor dit deel van de vragenlijst zijn ‘data’ breed gedefinieerd. Onder data/gegevens worden verstaan: verschillende soorten data over leerlingen, zoals demografische gegevens, toetsresultaten, aanwezigheid en gedrag. Tevens worden hier ook data zoals observaties van leerlingen en docenten en resultaten van vragenlijsten voor studenten, docenten en management mee bedoeld.

Kenmerken van data aanwezig binnen de school

Zeer mee eens

Mee eens Mee oneens

Zeer mee oneens

Niet van toepas-

sing

Toegankelijkheid van data

Ik heb toegang tot studentgegevens in een informatiesysteem

Ik kan in één systeem alle relevante gege-vens van mijn studenten vinden

Ik heb toegang tot programma’s (bv. SPSS) welke mij helpen bij het analyseren van mijn gegevens

Gegevens over mijn huidige studenten zijn aan het begin van elk schooljaar beschikbaar

Wanneer studenten midden in het jaar op deze school beginnen, zijn de gegevens over hen snel beschikbaar

Kwaliteit van de data

Over het algemeen zijn de gegevens waar ik toegang tot heb up-to-date

De gegevens waar ik toegang tot heb hel-pen mij bij het plannen van mijn lessen

Ik geloof dat de gegevens die ik heb over mijn studenten kloppen

Ik kan, met de gegevens die ik heb over mijn studenten, de groei in leerprestaties van jaar tot jaar bepalen

De gegevens waar ik toegang tot heb geven het leren van mijn studenten weer

Ik ben in staat om verschillende soorten ge-gevens te combineren tot een schoolbreed beeld van de leerprestaties/schoolprestaties van studenten

Ik kan de hoeveelheid gegevens over mijn studenten goed overzien

Kenmerken van de gebruiker, attituden

Ik geloof dat het belangrijk is om data te gebruiken bij het vaststellen van individuele leerbehoeften van studenten


159

Zeer mee eens

Mee eens Mee on-eens

Zeer mee oneens

Niet van toepas-

sing

Ik geloof dat data mij nieuwe inzichten kunnen geven over studenten

Ik geloof dat het gebruik van verschillende soorten data belangrijk is om het leren van mijn studenten te begrijpen

Ik geloof dat het gebruik van data belang-rijk is bij het veranderen van mijn onderwijs

Ik geloof dat studenten profiteren wanneer de instructie van de docent is gevormd op basis van data

Kenmerken van de gbruiker, vaardighe-den

Ik heb de vaardigheden om, op basis van data, mijn onderwijs te veranderen

Ik ben in staat om met data de individuele leerbehoeften van mijn studenten vast te stellen

Ik begrijp de beoordelingscriteria en concepten voor het gebruik van data (bv. correlatie, validiteit, betrouwbaarheid)

Ik weet hoe ik de verslagen/rapporten die ik heb gekregen moet interpreteren

Ik voel me comfortabel bij het interprete-ren van grafisch weergegeven data

Kenmerken van de organisatie, manage-ment

Mijn leidinggevende moedigt het gebruik van data aan als effectieve ondersteuning van mijn onderwijs

Mijn leidinggevende maakt zelf op goede wijze gebruik van verschillende gegevens

Mijn leidinggevende biedt ons verschillen-de mogelijkheden (bv. tijd) om gebruik te maken van gegevens

Data-analyses gedaan door het manage-ment worden besproken met de docenten in mijn afdeling

Mijn leidinggevende bespreekt data met mij

Kenmerken van de organisatie, samen-werking

Ik zou graag meer met andere docenten willen samenwerken over het gebruik van data

We gebruiken regelmatig data in ons team om ons onderwijs te verbeteren

appendix


160

Zeer mee eens


Zeer mee oneens

Niet van toepas-

sing

Ik werk regelmatig samen met andere do-centen om actieplannen te ontwikkelen

Ik observeer regelmatig andere docen-ten om de beste manieren van onderwijs geven te vinden

Mijn school communiceert doelen voor ef-fectieve schoolverbetering naar studenten

Mijn school communiceert doelen voor ef-fectieve schoolverbetering naar docenten

Ik deel en bespreek resultaten van mijn leerlingen met studenten

Ik deel en bespreek resultaten van mijn leerlingen met andere docenten

Kenmerken van de organisatie, visie en normen

Docenten op de pabo hebben allemaal vergelijkbare ideeën over wat goed onder-wijs is

Docenten op de pabo hebben allemaal vergelijkbare ideeën over het leren van studenten

Docenten op de pabo hebben allemaal vergelijkbare

Ideeën over hoe we het leren van studen-ten effectief kunnen evalueren

De pabo is zich bewust van de noodzaak om de vaardigheden van docenten voor data-analyse te blijven ontwikkelen

Datagebruik is een duidelijke prioriteit op mijn opleiding

Op de pabo gebruiken we een gestructu-reerde werkwijze voor het analyseren en interpreteren van data om actie te kunnen ondernemen

Kenmerken van de organisatie, scholing en ondersteuning

Ik word voldoende ondersteund in het effectief gebruiken van data

Binnen de pabo is er iemand aanwezig die mijn vragen over datagebruik kan beant-woorden

Binnen de pabo is er iemand aanwezig die mij helpt mijn onderwijs te veranderen met behulp van data

Tijdens mijn docentenopleiding heb ik geleerd hoe ik data moet gebruiken


161

Zeer mee eens


Zeer mee oneens

Niet van toepas-

sing

De pabo roostert specifiek tijd in voor datagebruik

Zeer mee eens


Zeer mee oneens

Niet van toepas-

sing

Datagebruik voor verantwoording

De data die wij verstrekken voor verant-woording (bv. naar ouders, naar de in-spectie) representeren de werkelijkheidvan onze pabo nauwkeurig

Interne evaluaties worden ook voor andere doeleinden dan externe verantwoording (bv. de inspectie, NVAO) gebruikt

De investering in het voorbereiden van de interne evaluaties is de moeite waard

Resultaten van onze interne evaluaties worden weergegeven in externe rapporten (bv. rapporten naar de inspectie en NVAO)

In mijn school gebruiken we externe eva-luaties (bv. van de inspectie, NVAO) voor ons eigen verbeterproces

De investering in het verzamelen en rap-porteren van data voor externe organisa-ties (bv. de inspectie, NVAO) is de moeite waard

Resultaten van studenten worden gebruikt voor het evalueren van de docentpresta-ties

We focussen evenveel op alle vakken/on-derwerpen ongeacht of we hiervoor wel of niet afgerekend worden door in de accre-ditatie of door de inspectie

Ik ben me bewust van onofficiële verant-woordingsmechanismen (bv. de Elsevier lijst, docentverkiezingen)

Ik waardeer de onofficiële verantwoor-dingsmechanismen waar ik bekend mee ben

Ik vind het belangrijk dat onzeomgeving een goed beeld heeft van onze pabo

Datagebruik voor schoolverbetering

Management laten docenten op basis van data zien in welke mate de pabo haar doelen behaalt

Sectie 3: Data gebruiken

appendix


162

Zeer mee eens


Zeer mee oneens

Niet van toepas-

sing

Grondige data-analyse is een essentieel deel van het verbeterproces van de pabo

De verdeling van onderwijstijd in de pabo wordt gedaan op basis van de geïdentifi-ceerde leerling-behoeften

In mijn school gebruiken we resultaten van studenten om jaarlijks doelen voor school-verbetering op te stellen

In de pabo beslissen we welke lesmateri-alen gebruikt worden, op grond van het effect dat deze materialen hebben

Resultaten van studenten leiden tot beslis-singen over professionele ontwikkeling in mijn school

Leerresultaten van studenten worden gebruikt om gaten in ons curriculum vast te stellen

In de pabo gebruiken we data als hulp-middel om de beste manieren van onder-wijs geven vast te stellen

In de pabo vergelijken we onze beoorde-lingsresultaten met de beoordelingsresul-taten van andere pabo’s

Hoevaak gebruikt u data voor

Nau-we-lijks

tot nooit

Jaarlijks Meer-dere

malen per jaar

Aantal keren

per jaar

Maand-elijks

We-ke-lijks

Aantal keren per

week

Niet van toepas-

sing

Datagebruik voor instructie

Het opstellen van leerdoelen voor de individuele studenten

Het bepalen van welke onderdelen of vaardigheden studenten wel of niet beheersen

Het bepalen van de vooruitgang van de studenten

Het aanpassen van instructie aan de behoefte van de studenten

Het bepalen van het tempo van mijn lessen

Het geven van feedback aan studenten over hun leerproces

Het (her)indelen van studenten in klas-sen


163

Nau-we-lijks

tot nooit

Jaarlijks Meer-dere

malen per jaar

Aantal keren

per jaar

Maand-elijks

We-ke-lijks

Aantal keren per

week

Niet van toepas-

sing

Het verdelen van studenten in groepen om gerichte instructie te geven binnen de klas

Het doorverwijzen van studenten voor het wegwerken van tekorten of andere vormen van specialistische hulp

Het selecteren van specifieke vaardig-heden of onderwerpen die extra uitleg in de klas nodig hebben Het onderzoe-ken waarom studenten bepaalde fouten maken

Het identificeren van behoeften, en het plannen en aanpassen van instructie voor hoogbegaafde studenten

Het identificeren van behoeften, en het plannen en aanpassen van instructie voor laagbegaafde studenten

Bedankt voor het invullen van deze vragenlijst

appendix



Dutch Summary/ Nederlandse samenvatting



167

Dutch Summary / Nederlandse samenvatting

Inleiding

De kwaliteit van het onderwijs vraagt voortdurend om aandacht. Uit onderzoek blijkt dat data kunnen helpen om de kwaliteit van onderwijsinstellingen zichtbaar te maken en dat deze gebruikt kunnen worden om het onderwijs te verbeteren (Hargreaves & Braun, 2013). Voor lerarenopleiders is het daarom van belang om aankomende leerkrachten leren data te gebruiken, zodat ze leren hun eigen onderwijs te verbeteren (Mandinach & Gummer, 2016b). Echter, naast dat lerarenopleiders aankomende leerkrachten leren data te gebruiken, kunnen zij ook zelf data gebruiken om hun eigen onderwijs te ontwikkelen (e.g., Italiano & Hine, 2014; Keijzer et al., 2012).

Deze dissertatie gaat over het leren werken met data door lerarenopleiders. In dit proefschrift wordt uitgegaan van een brede definitie en omvatten data “informatie die de onderwijspraktijk beschrijven” (Han et al., 2012, 40). Data kunnen kwalitatief en kwantitatief zijn en kunnen bijvoorbeeld in de vorm van toetsresultaten, evaluatiegegevens, curriculumgegevens of observatiegegevens beschikbaar zijn.

Hoewel onderzoek aantoont dat datagebruik een positief effect kan hebben op de kwaliteit van het onderwijs (e.g., Campbell & Levin, 2009; Carlson et al., 2011; Lai & McNaughton, 2016; McNaughton et al., 2012) worden data om allerlei redenen niet of te weinig gebruikt (Inspectie van het Onderwijs, 2015a). Een belangrijke reden voor het geringe gebruik van data in de onderwijspraktijk is dat docenten te weinig kennis en vaardigheden bezitten in het werken met data (Mandinach & Gummer, 2012). Om docenten vaardiger te maken in het gebruik van data is professionaliseren noodzakelijk. Een effectieve manier om professionaliseren vorm te geven is door middel van professionele leergemeenschappen (e.g., Jimerson et al., 2015; Jimerson & McGhee, 2013). Dit zijn vormen van professionaliseren waarbij én kennis, vaardigheden en attituden worden aangeleerd én een probleem uit de praktijk wordt opgelost. Deze professionele leergemeenschappen gericht op het gebruik van data worden datateams genoemd (Schildkamp, Handelzalts et al., 2014).

Om zicht te krijgen op welke wijze lerarenopleiders, die participeren in een datateam, kennis en vaardigheden verwerven in het werken met data en wat het werken met data oplevert in de beroepspraktijk, is onderzoek gedaan naar het gebruik van data op een lerarenopleiding. De onderzoeksvraag die centraal stond, luidt:

Hoe verwerven lerarenopleiders, die participeren in een data team, kennis en vaardigheden in het werken met data en wat levert dit op voor het werken met data in hun beroepspraktijk?


168

Om deze vraag te beantwoorden zijn vier deelstudies uitgevoerd. De eerste studie had als doel om zicht te krijgen op welke manier lerarenopleiders aandacht besteden aan datagebruik in de opleiding en in het curriculum van aanstaande leraren. De tweede, derde en vierde studie hadden als doel inzicht te krijgen in hoe een datateam gelegenheid biedt voor het aanleren van datavaardigheden bij en het gebruik van data door lerarenopleiders en wat de opbrengsten van de datateaminterventie zijn.

Studies twee, drie en vier vonden plaats op een lerarenopleiding basisonderwijs. Deze opleiding had op basis van prestatieafspraken met het college van bestuur van de instelling de opdracht geformuleerd om de uitval in het eerste jaar terug te dringen, zodat de opleiding voldeed aan de afspraken die de instelling had gemaakt met het ministerie. Om aan deze afspraken te werken, werd een professionele leergemeenschap in de vorm van een datateam geformeerd en lerarenopleiders gevraagd hierin te participeren. Het datateam had als doel om de uitval in het eerste jaar op een gestructureerde wijze op te lossen door data te gebruiken door middel van de datateam methode (Schildkamp, Handelzalts et al., 2014).

Samenvatting van de belangrijkste bevindingen en conclusies

Onderzoek 1

De eerste deelstudie richtte zich op alle lerarenopleiders in Nederland en tracht inzicht te krijgen in hoe en op welke wijze datagebruik in het curriculum was opgenomen, maar ook in het gebruik van data door lerarenopleiders zelf om hun onderwijspraktijk te ontwikkelen en waar dit datagebruik van af hing. Deze studie onderzocht de deelvraag:

Op welke manier besteden lerarenopleiders aan de pabo aandacht aan datagebruik in de opleiding?

Resultaten van een vragenlijst (N = 113), aangevuld met een telefonisch interview (N = 5) laten zien dat de meerderheid van de lerarenopleiders datagebruik in het curriculum hadden opgenomen, waarbij het onderwerp veelal geïntegreerd werd in andere vakken (zoals bij taal en rekenen). Het gebruik van data is een onderwerp dat veel terugkwam in de stage, echter niet iedere lerarenopleider kon ervan op aan dat alle studenten in de stage daadwerkelijk leerden data te gebruiken, waardoor het werken met data soms gereduceerd werd tot het leren over data op de opleiding en het ontbrak aan oefenen in de praktijk. De tijd die lerarenopleiders besteedden aan het gebruik van data varieerde van 1-2 studiepunten (28-56 uur) tot meer dan 10 studiepunten (280 uur). Blijkbaar werd aan het werken met data een verschillend


169

belang gehecht. Wanneer gekeken werd naar de onderwerpen rondom het gebruik van data kregen niet alle onderwerpen evenveel aandacht. Met name de kwaliteit van data werd relatief onderbelicht.

Over het gebruik van data gaven lerarenopleiders aan data het meest te gebruiken ter verantwoording. Deze aandacht voor datagebruik ter verantwoording kan verklaard worden door het feit dat pabo’s voor wat betreft de kwaliteit van de opleiding onder de loep liggen en daarover verantwoording af moeten leggen (Czerniawski, 2011; Onderwijsraad, 2005). Daarnaast gaven lerarenopleiders ook aan data te gebruiken om het onderwijs te ontwikkelen en in mindere mate om de instructie aan te passen. Uit de regressieanalyse bleek dat het gebruik van data ter verantwoording beïnvloed werd door data en data informatiesystemen, de gebruiker en het samenwerken. Het ontbreken van de factor ‘organisatie’ wijkt af van wat Schildkamp et al. (2017) vonden in het voortgezet onderwijs. Dit zou verklaard kunnen worden door de ongelijke verdeling van de respondenten over de opleidingen, waardoor de factor organisatie niet in een multi-level analyse meegenomen kon worden. Het gebruik van data voor de ontwikkeling van de opleiding hing samen met de samenwerking tussen de gebruikers en de organisatie. Wanneer er een cultuur was binnen de organisatie om voortdurend samen de opleiding te verbeteren, werd het datagebruik gestimuleerd (cf. Schildkamp et al., 2013; Sutherland, 2004). In het onderzoek werden geen factoren gevonden die het gebruik van data voor de ontwikkeling van de instructie beïnvloeden.

Onderzoek 2

In de tweede deelstudie is gekeken in hoeverre een datateam voorziet in een context voor het leren van de deelnemers. De onderzoeksvraag die centraal stond was:

Welke bijdrage levert participatie in een datateam aan het professionaliseren van datateamleden?

Na een jaar in een datateam geparticipeerd te hebben zijn de mogelijkheden om te leren in een datateam beoordeeld op basis van de relevantie en diepgang van de gesprekken in het datateam (N = 7). Wanneer gekeken werd in hoeverre de inhoud van de gesprekken zich richtten op de instructie, het leren en op leermaterialen, de zogenaamde relevantie van de gesprekken, dan bleek dat de gesprekken in alle datateambijeenkomsten relevant waren. Ook is de diepgang in gesprekken onderzocht. Bij diepgang gaat het om de wijze waarop datateamleden gesprekken voeren, naar de gebruikte argumenten luisteren en de aannames die daaraan ten grondslag liggen om zo kennis te ontwikkelen. Diepgang kenmerkt zich door een kritische houding, waarbij bij elke stap kritisch wordt gekeken naar de kennis die

summary / samenvatting


170

eraan ten grondslag ligt. Deze diepgang, varieerde zowel binnen een bijeenkomst als tussen de bijeenkomsten. In de bijeenkomsten startte het gesprek doorgaans met weinig diepgang, om vervolgens te groeien in diepgang om aan het einde weer te terug te vallen in minder diepgang. Over de bijeenkomsten heen was bij de start van de cyclus er gemiddeld relatief weinig diepgang. Wanneer data (bijvoorbeeld rondom studievorderingen) werden ingebracht, steeg de gemiddelde diepgang in de bijeenkomsten, om vervolgens, wanneer conclusies werden getrokken en maatregelen werden ontwikkeld, weer iets af te nemen. De toename van de gemiddelde diepgang over de bijeenkomsten heen zou verklaard kunnen worden door de wijze waarop een groep start en begint te functioneren en tijd nodig heeft om effectief te worden en daarmee diepgang in gesprekken te ontwikkelen (Henry, 2012). Een andere bevorderende factor voor de gemiddelde diepgang zijn data (Weiss, 1998). Wanneer data ingebracht werden, steeg de diepgang; door de data te interpreteren ontwikkelden datateamleden nieuwe kennis (Voogt et al., 2011).

De datacoach speelde een belangrijke rol in de bijeenkomsten en met name wanneer de datacoach een expertrol combineerde met een coachende rol (cf. Lachat & Smith, 2005; Verhaeghe et al., 2011). Zo kon een datacoach in zijn coachende rol, met vragen en samenvatten, het datateam stimuleren diepgang te bereiken in de gesprekken (Marsh, 2012). In de expertrol bracht de datacoach kennis in omtrent de kwaliteit van data, alsmede het presenteren, analyseren en interpreteren van data en voedde zo de datateamleden om te komen tot diepgang.

Onderzoek 3

In de derde studie zijn de factoren die van invloed zijn op het leren in een datateam onderzocht door te kijken naar de factoren die de diepgang in de gesprekken in het datateam beïnvloedden. Deze studie had als onderzoeksvraag:

Welke factoren bevorderen dan wel hinderen de diepgang in de gesprekken in het datateam?

De resultaten (N = 7) lieten zien dat data en data informatiesystemen de diepgang in de gesprekken beïnvloedden (Henry, 2012). In het algemeen brachten data diepgang in de gesprekken. Belangrijk was dat de data overeenkwamen met de wensen van de gebruiker en pasten bij de hypotheses die het datateam had geformuleerd, waardoor er diepgang kwam in de gesprekken (cf. Schildkamp & Kuiper, 2010). Verder was de relatie tussen de data en de voorkennis die datateamleden hadden omtrent het probleem wat aangepakt werd van belang. Er kwam diepgang in de gesprekken wanneer er data werden gepresenteerd die pasten bij het niveau van datavaardigheden van de datateamleden. Naarmate datateamleden vaardiger


171

werden in het lezen van de data, ontstond er eerder een gesprek over wat de data representeerden. Botsten de gepresenteerde data met de voorkennis die datateamleden hadden over het onderwerp, dan werd eerst getwijfeld aan de betrouwbaarheid van de data. Nadat de kwaliteit was gecontroleerd, kon het gesprek zich richten op wat de data representeerden in relatie tot de voorkennis die datateamleden hadden over het onderwerp en kwam er diepgang in de gesprekken.

Daarnaast is gekeken naar de deelnemers in het datateam zelf als factor die de diepgang beïnvloedde. Naast de datavaardigheden die van belang waren, was de attitude van datateamleden om data te gebruiken van invloed op de diepgang. Was een gebrek aan de wil om data te gebruiken aanvankelijk een belemmerende factor, in het tweede jaar speelde deze attitude minder een rol in de diepgang in de gesprekken. Tot slot speelde de buy-in/belief van de gebruiker een rol in de diepgang van de gesprekken. Buy-in/belief in data leidde ertoe dat datateamleden op zoek waren naar bewijs om stellingen te ontkrachten, dan wel te bekrachtigen.

De aspecten eigenaarschap, locus of control en ondersteuning door het management, die wel opgenomen waren in het theoretisch kader, speelden geen rol in de diepgang in gesprekken. In zowel het eerste- als het tweede jaar was het datateam eigenaar van zowel het probleem waaraan gewerkt werd, als van de wijze waarop het probleem werd opgelost (de activiteitencyclus). Dit veranderde niet tijdens de bijeenkomsten. Hetzelfde gold voor de locus of control. Ook maakte het voor de diepgang in gesprekken niet uit of de locus of control intern of extern georiënteerd was. Ondersteuning van het management leidde eveneens niet tot meer diepgang daar het management niet (actief) participeerde in de datateambijeenkomsten.

Verder kwam naar voren dat cognitieve conflicten, voorkennis en affectieve conflicten een rol speelden bij de diepgang in gesprekken. Cognitieve conflicten werden hier opgevat als verschillen in mening, opvattingen en kennisconstructen (D’Mello et al., 2014). In dit onderzoek bleek dat cognitieve conflicten een positieve effect kon hebben op diepgang. Belangrijk daarbij was dat de betreffende voorkennis, die een rol speelde in het cognitieve conflict, werd geëxpliciteerd. Door de voorkennis te confronteren met de data, kon op basis van argumenten het kennissysteem opnieuw worden opgebouwd. Op deze wijze construeerde het datateam gezamenlijke kennis over het onderwijsprobleem dat aangepakt werd. Wanneer datateamleden affectieve conflicten ontwikkelden, werkte dit negatief in op de diepgang in de gesprekken. Affectieve conflicten verschilden van cognitieve conflicten doordat de verschillen van mening, opvatting of kennisconstructen persoonlijk waren geworden. Wanneer deze niet besproken werden, hadden de affectieve conflicten een negatieve invloed op de diepgang in gesprekken (cf. Butler & Schnellert, 2012; Hubbard et al., 2013).



172

Onderzoek 4

De laatste studie richt zich op de opbrengsten van de datateam interventie. De onderzoeksvraag die daar centraal stond was:

Hoe verwerven lerarenopleiders die participeren in een datateam kennis, vaardigheden en attituden in het werken met data en wat is de impact op hun professionele praktijk?

In een multiple caseonderzoek, waarbij elke respondent als een case onderzocht is (N = 5), is bekeken hoe datateamleden hun kennis, vaardigheden en attitude gedurende de interventie ontwikkelden. Ook is gekeken hoe datateamleden data gebruikten in de opleiding.

Uit de resultaten van het onderzoek bleek dat datateamleden die twee jaar in het datateam participeerden hun kennis over data heel verschillend ontwikkelden: Datateamleden met de minste kennis, ontwikkelden de meeste kennis en vaardigheden in het werken met data, dit in tegenstelling tot degene die al relatief veel kennis en vaardigheden in het werken met data meebrachten; zij leerden minder (cf. Ebbeler, 2016). Datateamleden leerden het meest over de onderdelen ‘het omzetten van data in informatie’, ‘de conclusies omzetten in maatregelen’ en in ‘het evalueren’ en minder in ‘het identificeren van het probleem’ en ‘het verzamelen van data’. Hoewel alle onderdelen van het werken met data in het datateam aan de orde zijn geweest, zijn niet alle onderdelen in dezelfde mate geleerd. Daarnaast rapporteerden datateamleden dat zij tevens kennis hadden gekregen van het teamsgewijs ontwikkelen van onderwijs.

Met betrekking tot de ontwikkeling van de attitude bleek dat niet alle datateamleden een positieve ontwikkeling doormaakten in het werken met data. Mogelijk dat ook hier de lengte van de interventie debet aan was. Verder viel op dat een positieve ontwikkeling van datavaardigheden niet samen hoefde te gaan met een positieve ontwikkeling van de attitude. Evenmin hoefde een positieve ontwikkeling van de attitude niet samen te gaan met een positieve ontwikkeling van het gebruik van data. In de ontwikkeling van datagebruik bij de deelnemers aan het datateam was het gebruik van data om de opleiding te ontwikkelen toegenomen in hun beroepspraktijk, maar het gebruik van data om de instructie aan te passen niet.

Conclusie

Wanneer we terugkomen op de centrale onderzoeksvraag die ten grondslag lag aan dit onderzoek, Hoe verwerven lerarenopleiders, die participeren in een data


173

team, kennis en vaardigheden in het werken met data en wat levert dit op voor het werken met data in hun beroepspraktijk? blijkt dat lerarenopleiders aankomende studenten leren om met data om te gaan, maar dat de wijze waarop, de inhouden en de omvang varieert, evenals of gebruik van data in de stage geborgd kan worden. Zelf gebruiken lerarenopleiders voornamelijk data ter verantwoording en minder om de opleiding te ontwikkelen en de instructie aan te passen aan leerbehoeften van studenten. Het gebruik van data ter verantwoording wordt beïnvloed door data en data informatiesystemen, de gebruiker en het samenwerken. Het gebruik van data voor de ontwikkeling van de opleiding wordt beïnvloed door de samenwerking tussen de gebruikers en de organisatie. Voor het gebruik van data voor de ontwikkeling van de instructie zijn geen beïnvloedende factoren gevonden.

Wanneer lerarenopleiders in een datateam worden geprofessionaliseerd wordt het datateam als een context ervaren die betekenisvol is en helpt om een onderwijsprobleem op te lossen. Datateamleden voeren in het datateam gesprekken die relevant zijn en wisselend van diepgang. Factoren die deze diepgang bevorderen zijn of er bij de gesprekken data worden gebruikt en met name data die aansluiten bij de datavaardigheden van de gebruiker. Daarnaast beïnvloeden de attitude ten opzichte van data en de buy-in/belief de diepgang in de gesprekken. Ook de factoren voorkennis en de mogelijkheid om met cognitieve- en affectieve conflicten om te gaan, hebben invloed op de diepgang in de gesprekken. Na de interventie hebben lerarenopleiders die participeerden in een datateam kennis en vaardigheden ontwikkeld, waarbij de datateamleden die het minste kennis hadden bij de start de meeste kennis en vaardigheden ontwikkelden. De ontwikkeling van kennis en vaardigheden hangt niet samen met de ontwikkeling van de attitude ten aanzien van data en het gebruik van data in de opleidingspraktijk. Lerarenopleiders die participeerden in het datateam gebruiken na de interventie data vooral om de opleiding te ontwikkelen en minder om zich te verantwoorden of om de instructie aan te passen aan de behoeften van studenten.

Reflectie op het onderzoek

Reflectie op de uitkomsten van het onderzoek

Data in het curriculum van de lerarenopleiding

Lerarenopleiders leren aanstaande leerkrachten gebruik te maken van data om het onderwijs te verbeteren, maar gebruiken zelf in mindere mate data om de opleiding te ontwikkelen. We kunnen ons afvragen of lerarenopleiders wel een rolmodel zijn voor hun studenten in het leren gebruik maken data om hun eigen onderwijs aan te passen aan de leerbehoefte van studenten (Swennen et al., 2010). Mogelijk dat voorbeelden



174

waarin aankomende leerkrachten leren om met data om te gaan, maar waarin de instructie zelf ook aangepast wordt op basis van data, als vliegwiel kan dienen om de model-rol van lerarenopleiders in het werken met data te versterken. Zo hebben Jimerson et al. (2016) een cursus ontwikkeld voor aankomende leerkrachten waarin zij niet alleen leren om met data om te gaan, maar waarin de cursus zelf is vormgegeven op basis van data en wordt de instructie tijdens de cursus aangepast aan de leerbehoeften van studenten.

Het leren in een datateam

Over het datateam kan gezegd worden dat het leren plaatsvond in een interventie met kenmerken van effectieve professionalisering (Desimone, 2011, Losmos et al., 2011; Van Veen et al., 2010; Vescio et al., 2008). Uit zowel de relevantie- als de diepgang van de gesprekken blijkt dat het datateam een context is waarin geleerd wordt (cf. Henry, 2012; Schildkamp et al., 2015). Dit resultaat wordt ook bevestigd door de bevindingen van het onderzoek naar het leren in datateams in het voortgezet onderwijs (cf. Ebbeler, 2016). Leren kan opgevat worden als gedragsverandering, of mogelijkheden tot gedragsverandering, die ook na verloop van tijd nog steeds optreedt, zichtbaar wordt in verschillende situaties en tot stand is gekomen op basis van oefening en niet door rijping of het ouder worden (e.g., Illeris, 2002; 2007; Poortman, 2007). Nu is de vraag of in dit onderzoek gedragsverandering heeft plaatsgevonden. Datateamleden gaven wel aan dat zij meer data zijn gaan gebruiken om het onderwijs te ontwikkelen ook buiten de datateam interventie om. Daaruit zou voorzichtig geconcludeerd kunnen worden dat er geleerd is.

Echter, niet door alle leden van het team is in dezelfde mate geleerd. Uit zowel de variatie in diepgang van de gesprekken in het datateam, als uit de resultaten van de kennistoets, enquête en de vragenlijst komt naar voren dat lerarenopleiders verschillen in de kennis en vaardigheden die zij opdoen en het gebruik van data in opleidingspraktijk. Uit de derde studie bleek dat factoren gerelateerd aan data en de data-opslag, de kennis en vaardigheden van de gebruiker, maar ook de relatie met voorkennis en de omgang met cognitieve conflicten de diepgang van de gesprekken in het datateam beïnvloedden en daarmee het leren van het team. Ook uit studie vier bleek dat individuele datateamleden zich verschillend ontwikkelden in hun kennis van en vaardigheden in het gebruik van data. Datateamleden brengen bij aanvang verschillende datavaardigheden en attitudes ten opzichte van data mee en deze verschillen zijn mogelijk van invloed op het leren in het datateam. Daarnaast reageerden datateamleden verschillend op de inbreng van data. Deze inbreng van data kan gezien worden als een confrontatie van de eigen voorkennis met de data. Deze data geven het onderwijsprobleem waaraan gewerkt wordt deels weer. Wanneer deze data afwijken van het reeds bestaande kennisconstruct van de lerende, treedt een


175

cognitief conflict op (D’Mello et al., 2014). Wanneer de data overtuigend het probleem weergeven, bouwt de lerende een nieuw kennisconstruct op (cf. Hubers et al., 2016a). Wanneer de data niet overtuigen of de datagebruiker blijft vasthouden aan zijn/haar opvattingen dan leidt dit tot afwijzing van de data en blijft de lerende bij het reeds bestaande kennisconstruct (cf. Katz et al., 2009). Deze cognitieve conflicten beïnvloeden het leren positief of negatief, afhankelijk van de mate waarin het datateamlid het cognitieve conflict kan managen.

Het leren van individuele datateamleden kan niet los gezien worden van het datateam waarin geleerd wordt. In het datateam worden gesprekken gevoerd. Illeris (2003, 396) noemt dit een extern interactieproces en omschrijft deze als: “A process between the learner and his or her social, cultural and material environment”. Een datacoach kan het leren van individuele leden beïnvloeden. De datacoach kan met gespreksinterventies diepgang brengen in de gesprekken. Deze rol hoeft niet alleen weggelegd te zijn voor de datacoach. Ook andere datateamleden kunnen deze rol vervullen en zo een rol spelen in elkaars leerprocessen. De gesprekken in het datateam hielpen om voorkennis te herzien en hielpen het cognitief conflict op te heffen, maar een cognitief conflict kon ook uitmondden in een affectief conflict (Butler & Schnellert, 2012).

Leren is niet alleen een zaak van cognitie. Ook sociale en emotionele processen beïnvloeden het leren. Dit komt overeen met wat Illeris (2003) over leren schrijft. Illeris onderscheidt drie dimensies in het leren: De cognitieve dimensie van kennis en vaardigheden, de emotionele dimensie met gevoel en motivatie en de sociale dimensie met de communicatie en de samenwerking met anderen. Bij de analyse van de diepgang in de gesprekken wordt duidelijk dat bij het leren in een datateam alle de drie dimensies een rol speelden. De cognitieve dimensie speelde een rol wanneer met behulp van data kennis werd geconstrueerd. De emotionele dimensie speelde een rol bij cognitieve conflicten, wanneer de voorkennis niet strookte met de data. En tot slot speelde de sociale dimensie tijdens affectieve conflicten een rol, wanneer verschillen in opvattingen persoonlijk werden. Mogelijk dat het leren in de drie dimensies een verklaring biedt hoe verschillend de leerprocessen verlopen bij individuele leden van het datateam.

Transfer van het leren

Bovenstaande geeft aan dat leerprocessen verschillend verliepen in het datateam en dat dit leidde tot verschillen in kennis en vaardigheden. Dit bleek eveneens uit de mate waarin datateamleden hun kennis gebruikten in de opleidingspraktijk. Zo gebruikte het ene datateamlid video-opnamen van studenten om het leren van studenten te analyseren (verre transfer), maar kon een ander datateamlid niet zien hoe data gebruikt kon worden in haar vak (dans) om zicht te krijgen in de verschillen in leerbehoeften,



176

maar gebruikte zij wel data om de opleiding te verbeteren (nabije transfer) (Kim & Lee, 2001).

Illeris (2009) en Poortman (2007) maken onderscheid niet alleen in verschillende vormen van leren, maar verbinden hieraan eveneens de consequentie aan dat deze verschillen ook leiden tot verschillen in transfer. Ze maken onderscheid tussen cummulatief-, assimilatief-, accomodatief- en transformatief leren, waarbij respectievelijk geen-, een nabije- en bij de laatste twee een verre transfer ontstaat. Daar waar de professionalisering leidde tot datagebruik voor de ontwikkeling van de opleiding, is sprake van een nabije transfer. In termen van Illeris (2009) en Poortman (2007) zou dit leren getypeerd kunnen worden als voornamelijk assimilatief leren. Nieuwe kennis en vaardigheden rondom datagebruik wordt geïntegreerd in datgene wat de datateamleden al weet, waardoor de kennis relatief makkelijk kan worden opgeroepen, zolang de nieuwe context lijkt op de context waarin geleerd is. Daar waar professionalisering leidde tot meer datagebruik om de instructie vorm te geven op basis van de leerbehoeften van studenten, is sprake van een verre transfer. In termen van Illeris (2009) en Poortman (2007) zou dit leren getypeerd kunnen worden als accomodatief- of als transformatief leren. Bij datateamleden vond er voornamelijk nabije transfer plaats.

Datateam en de organisatie

De resultaten van de professionalisering kunnen niet alleen begrepen worden door naar het datateam te kijken. Hoewel het datateam een belangrijk middel is in het leren van individuele datateamleden, handelde het datateam niet los van zijn omgeving, maar onderhield het datateam verschillende relaties met de gehele opleiding. Zo maakten datateamleden deel uit van de hele organisatie; werd een probleem aangepakt dat de gehele organisatie aan ging; maakten datateamleden deel uit van andere teams, zoals het managementteam, examencommissies, vakgroepen en andere kleinere taakgroepen; vond over en weer in allerlei verbanden communicatie plaats, gepland en ongepland en moesten de maatregelen die genomen werden ingevoerd worden in de gehele organisatie. In die zin staat het leren in het datateam niet los van de organisatie maar is ingebed in de organisatie.

Deze inbedding van het datateam in de organisatie is van invloed op het leren in het datateam. Dat bleek uit de maatregelen die het datateam ontwikkelde. Toen in het eerste jaar het datateam toe was aan het nemen van maatregelen, was het moment waarop besluiten het volgende jaar geëffectueerd konden worden, verstreken. Dit maakte dat datateamleden vonden dat het datateam te langzaam vorderde en het momentum mistte, wat leidde tot teleurstelling. Omdat de professionalisering als traag werd ervaren, was er een negatief effect op het leren. Wellicht dat juist de relatie van het datateam met de organisatie ook zijn grenzen stelt aan de leermogelijkheden van


177

een datateam om én te leren én om de opleidingspraktijk te verbeteren. Een datateam biedt een intieme omgeving om te leren die overzichtelijk is en waar methodisch gewerkt wordt aan de oplossing van een gezamenlijk ervaren probleem. Tegelijk zijn alle ogen in de organisatie gericht op het datateam en in hoeverre het datateam tijdig met een (bevredigende) oplossing komt voor het opleidingsprobleem. Het ritme van het leerproces enerzijds en dat van de organisatie anderzijds lopen niet altijd parallel.

Reflectie op de onderzoeksmethode

De motivering voor dit onderzoek is gelegen in het pleidooi voor micro-proces onderzoek (e.g., Coburn & Turner, 2011; Little, 2012; Marsh, 2012; Moss, 2012; Spillane, 2012). De reden is dat er een gebrek aan kennis is over de wijze waarop de interacties in datateams bijdragen aan het leren over en het gebruik van data door leraren(opleiders). De single case-study die in dit onderzoek is uitgevoerd beoogt een bijdrage te leveren aan kennis over de processen in een datateam. In detail is nagegaan hoe in een datateam, datateamleden kennis, vaardigheden en attituden ontwikkelen en datagebruiken in de opleidingspraktijk. Zo hebben de rijke data uit de observaties van de gesprekken in het datateam inzicht gegeven in hoe een datateam interventie in de tijd verloopt en welke micro-processen daarin een rol speelden. Door observatie data te combineren met instrumenten waarin datateamleden zelf hun mening gaven, gecombineerd met data uit een kennistest, leverde dit inzicht op in het leerproces van datateamleden en wordt een antwoord gegeven op de vraag hoe een datateam een bijdrage levert aan de professionele ontwikkeling van lerarenopleiders om data te gebruiken om hun opleidingspraktijk te verbeteren (Little, 2012; Powell & Bromley, 2013). Echter, om tot gegeneraliseerde uitkomsten te komen zullen de bevindingen uit dit onderzoek in meer en diverse contexten moeten worden beproefd.

De grootte van de onderzoeksgroep in studie één stelde grenzen aan de statische mogelijkheden waardoor een multilevel-analyse niet mogelijk was. Hierdoor bleef de rol van de organisatie onderbelicht. Echter, dit onderzoek heeft voor het eerst in de Nederlandse context inzicht gegeven in de dubbelrol die lerarenopleiders hebben in het gebruik van data.

De studies twee, drie en vier vonden plaats in de organisatie waar de onderzoeker werkzaam is. De onderzoeker was tijdens het onderzoek zowel datacoach van het datateam als onderzoeker. Om te voorkomen dat de validiteit en de betrouwbaarheid van het onderzoek hierdoor in geding kwam (Yin, 2014), is bij de opzet en de uitvoering veel zorg besteed aan transparantie en triangulatie. Transparantie is bewerkstelligd door de methodesecties van de verschillende studies met grote aandacht vorm te geven. Ook zijn alle verzamelde data opvraagbaar en controleerbaar. Eveneens zijn de data door een collega-onderzoeker gecodeerd en de uitkomsten met elkaar vergeleken. Triangulatie is bewerkstelligd door bij de



178

verzameling van data steeds gebruik te maken van verschillende bronnen: Observaties werden gekoppeld met interviews, kennistests, vragenlijsten en artefacts. Data over de manier waarop de datacoach zijn rol ziet, zijn verzameld door een collega-onderzoeker. Participatief onderzoek vraagt ook dat de onderzoeker steeds helder is in de rol die hij inneemt. Voor het onderzoek is aangegeven dat de onderzoeker én de rol heeft ervoor te zorgen dat de datateamleden kunnen leren (participatie) maar ook de rol heeft om data omtrent het leerproces te verzamelen (distantie). Maar ook door aan te geven hoe er is omgegaan met vertrouwelijkheid en anonimiteit is er zorg gedragen voor de ethische kant. Doordat de onderzoeker zowel de rol als datacoach en onderzoeker had konden datateamleden systematisch gevolgd worden en werd groter inzicht verkregen in hoe het micro-leerproces vorm kreeg in het datateam.

Aanbevelingen

Aanbevelingen voor praktijk en beleid

Het datateam heeft zowel de functie van onderwijsontwikkeling als professionalisering. Vanuit het professionaliseringsperspectief bekeken zou een datateam interventie versterkt kunnen worden door ervoor te zorgen dat alle datateamleden leren. 1. Doordat de datateam interventie geen rekening houdt met verschillende

disposities die datateamleden hebben ten aanzien van data bij aanvang van de interventie, leert niet iedereen in dezelfde mate. De datateam interventie zou versterkt kunnen worden met een intake waarbij gezorgd wordt voor een meer homogene samenstelling van het datateam. Bij een minder homogene samenstelling van het datateam, zou de interventie versterkt kunnen worden met werkvormen die differentiatiemogelijkheden mogelijkheden bieden zodat alle datateamleden in dezelfde mate kunnen leren. Zo zouden datateamleden die al meer kennis en vaardigheden hebben een andere rol in (de voorbereiding van) de datateams kunnen krijgen.

2. Zowel de disposities bij aanvang van de bijeenkomsten als het verloop van de cognitieve-, sociale- en emotionele dimensies van het leerproces bepalen de uitkomsten van het leren. Deze dimensies van het leerprocessen vragen expliciete aandacht, zowel van de datacoach als van datateamleden onderling.

3. Om lerarenopleiders te leren data te gebruiken om de instructie aan te passen, zouden verschillende datateams gestart kunnen worden op zowel het gebied van datagebruik om instructie aan ta passen als op het gebied van datagebruik om de opleiding te ontwikkelen. Datateamleden van de verschillende teams kunnen hierbij ervaringen uitwisselen, waardoor een meer verre transfer bewerkstelligd kan worden;

4. Het datateam wordt als langzaam ervaren en loopt het risico het momentum te


179

missen om te komen tot een oplossing die op korte termijn implementeerbaar is in een opleiding. Om aan deze bezwaren tegemoet te komen zou bij de keuze van een probleem helderheid moet krijgen over het tijdpad waarop oplossingen geïmplementeerd zouden moeten worden. Nu zal dit niet alle daarmee druk creëren om te komen tot oplossingen die passen binnen het tijdsbestek.

5. Uit de eerste studie komt naar voren dat datavaardigheden weliswaar onderdeel zijn van het curriculum van de pabo, maar niet alle onderdelen van het werken met data krijgen de aandacht die noodzakelijk is. Het werken met data wordt in de Nederlandse competenties voor leerkrachten niet benoemd, noch in de kennisbasis voor lerarenopleiders. Ondanks dat vastlegging in competenties de praktijk niet direct zal veranderen, heeft het wel invloed op de normering en zal de verwachtingen omtrent (aankomende) leerkrachten en daarmee indirect de praktijk beïnvloeden. Het gebruik van data zou in de lerarenopleiding versterkt kunnen worden door zowel in de beschrijving van de competenties van docenten als in de kennisbasis van lerarenopleiding te beschrijven waarin het werken met data aan zou moeten voldoen.

Bovenstaande aanbevelingen versterken het professionaliseringsperspectief. Belangrijk daarbij is dat er voldoende ruimte blijft voor het onderwijsontwikkelingsperspectief van de interventie, immers voor het welslagen van het datateam is het eveneens van belang dat in gelijke tred opgelopen wordt met de (wensen van de) organisatie. Wellicht dat een datateam interventie in de organisatie gelijktijdig kan plaatsvinden met een interventie waarbij lerarenopleiders hun eigen onderwijs op basis van data aanpassen aan de leerbehoeften van studenten, waarbij gebruik gemaakt wordt van de mogelijkheid om beide interventies van elkaar te laten leren.

Aanbevelingen voor verder onderzoek

1. De wijze waarop aanstaande leraren in de verschillende pabo’s leren om te gaan met data verschillen. Echter, er is minder bekend of en hoe deze verschillen in plaats, aandacht en vorm in het curriculum van invloed zijn op de effectiviteit van het leerproces om aankomende docenten leren data te gebruiken. Onderzoek zou licht moeten werpen op effectieve opleidingspraktijken in het leren werken met data.

2. Datateamleden hebben bij aanvang verschillen in disposities ten opzichte van data. De vraag is hoe bij een interventie als een datateam hiermee op effectieve wijze rekening mee gehouden kan worden? Onderzoek zou effectieve componenten aan het licht moeten brengen waarmee binnen een datateam tegemoet gekomen kan worden aan deze verschillende disposities, zodat elk datateamlid leert en vooral leert om data in zijn onderwijs te



180

gebruiken.4. De rol van datacoach is belangrijk. Daarom is een meer gedetailleerd inzicht

gewenst in welke interventies van datacoaches effectief zijn. Deze inzichten zouden bijvoorbeeld kunnen gaan over effectieve interventies ten aanzien van het differentiëren tussen de verschillende datateamleden, ten aanzien bezwaren wegnemen, want verschillende mogelijke oplossingen hebben verschillende tijdpaden. Wel zal daarmee vanaf de start dit aspect een onderdeel zijn van de datateam interventie en van individuele leerprocessen van datateamleden in het datateam en ten aanzien van de transfer van het geleerde zodat datateamleden niet alleen data gebruiken om het onderwijs te ontwikkelen, maar ook om de instructie aan te passen aan de leerbehoeften van studenten.

5. Professionele leergemeenschappen hebben zowel een professionaliserings- als een onderwijsontwikkeldoel. De vraag is hoe deze twee doelen elkaar beïnvloeden en welke (on)mogelijkheden deze vorm van professionaliseren biedt om beide doelen te bereiken. Onderzoek zou hier meer licht op moeten werpen.

6. Tot slot zou onderzoek tot meer inzicht kunnen leiden hoe het leren van omgaan met data van een lerarenopleider zich verhoudt tot de model-rol van de lerarenopleider.


181

Publications Related to this Study

Journals:

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2016a). Improving teacher education in the Netherlands: Datateam as learning team? European Journal of Teacher Education 39(3), 320-339. http://dx.doi.org/10.1080/02619768.2016.1171313.

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2016b). Data-based decision making in teams: Enablers and barriers. Educational Research and Evaluation 22(3-4), 213-233. http://dx.doi.org/ 10.1080/13803611.2016.1247728.

Bolhuis, E., Schildkamp, K., Luyten, H., & Voogt, J. M. (2017). Het gebruik van data door lerarenopleiders van de pabo [Teacher educators’ dat ause]. Pedagogische studiën, 94(1).

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (Under review). A case study of a data team intervention for teacher educators: The development of data use, data skills, and attitudes.

Research conferences:

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2013, Februari). Data-geïnformeerd onderwijs veranderen: Opleiders op de pabo geschoold [Data-based school improvement: Educating teacher educators]. Paper presented on the Conference of the Vereniging Lerarenopleiders Nederland (VELON). Groningen, Netherlands.

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2014). Van intuïtie naar geïnformeerd beslissingen nemen: Factoren die het functioneren van een datateam in het hbo bevorderen [From intuition to data-based decision making: Factors influencing the functioning of a data team]. Paper presented on the Onderwijs Research Dagen (ORD). Groningen, Netherlands.

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2015). From decisions based on intuition to data-informed decision making: Factors hindering the function of a data team in higher education. Paper presented on the conference of European Association for Practitioner Research on Improving Learning (EAPRIL). Luxumbourg, Luxumbourg.

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2017). The use of data by teacher educators: Do teacher educators practice what they teach? Paper presented on the Internationaal Conference for School Effectiveness and Improvement, (ICSEI). Ottawa, Canada.

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2017). Een casusonderzoek naar een datateaminterventie bij lerarenopleiders: Wat is de bijdrage van een datateaminterventie aan het professionaliseren? [A case study of a data team intervention for teacher educators: The contribution of a data team intervention to professional development]. Paper presented on the Conference of the Vereniging Lerarenopleiders Nederland (VELON). Amsterdam, Netherlands.

Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2017). How teacher educators learn to use data in a data team. Paper presented on the division day of Leraar en Lerarenopleiding of the Vereniging voor Onderwijs Research. Utrecht, Netherlands.


182

Other Publications from Erik Bolhuis:

Bolhuis, E. D., Hoorn, H. & Veldhuis, Th. (Eds.) (2003). Kennis als gereedschap. Activerend leren. Activerende didactiek volgens Kag-Al [Knowledge as tools. Active learning. Activating didactic according to Kag-AL]. VMBO-serie Wisselwerk, nr. 6. Antwerpen, Belgium: Garant.

Bolhuis, E. D. & Van der Hoeff, A. (Eds.) (2013). Onderwijs met ICT. Leren en lesgevende technologie [Education with ICT: Learning and teaching with technology]. Bussum, Netherlands: Coutinho.

Bakx, A., Ros, A. & Bolhuis, E. D. (Eds.) (2017). Cyclisch onderwijs ontwerpen [Cyclic education design]. Bussum, Netherlands: Coutinho.


183

Papers in this dissertation and contribution of co-authors

Chapter 2

Chapter 2 is based on the article

Bolhuis, E., Schildkamp, K., Luyten, H., & Voogt, J. M. (2017). Het gebruik van data door lerarenopleiders van de pabo [Teacher educators’ dat ause]. Pedagogische studiën, 94(1).

Contributions

Erik Bolhuis is the first author of this paper. Kim Schildkamp and Joke Voogt were the supervisors of Erik Bolhuis. Erik Bolhuis, Kim Schildkamp, and Joke Voogt collaboratively designed the research and adapted a questionnaire that was developed by Kim Schildkamp, Cindy Poortman, Hans Luyten, and Johanna Ebbeler (Schildkamp, et al., 2017). The first author collected and analysed the data. Hans Luyten advised Erik Bolhuis in the analysis of data. Erik Bolhuis, Kim Schildkamp, and Joke Voogt discussed the outcomes and the interpretations. The supervisors reviewed and revised the manuscript the manuscript and provided feedback.

Chapter 3


Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2016a). Improving Teacher Education in the Netherlands: Datateam as Learning Team? European Journal of Teacher Education 39(3), 320-339. http://dx.doi.org/10.1080/02619768.2016.1171313

Contributions

Erik Bolhuis is the first author of this paper. Kim Schildkamp and Joke Voogt were the supervisors of Erik Bolhuis. Erik Bolhuis, Kim Schildkamp, and Joke Voogt collaboratively designed the research. Erik Bolhuis initiated the data team, was the data coach of the data team, and collected and analysed the data. Johanna Ebbeler interviewed Erik Bolhuis about his role as data coach and researcher. Johanna Ebbeler also coded 10% of the data. Erik Bolhuis, Kim Schildkamp, and Joke Voogt discussed the outcomes and the interpretations. The supervisors reviewed the manuscript and


184

provided feedback

Chapter 4


Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (2016b). Data-Based Decision Making in Teams: Enablers and Barriers. Educational Research and Evaluation 22(3-4), 213-233. http://dx.doi.org/10.1080/13803611.2016.1247728.

Contributions

Erik Bolhuis is the first author of this paper. Kim Schildkamp and Joke Voogt were the supervisors of Erik Bolhuis. Erik Bolhuis, Kim Schildkamp, and Joke Voogt collaboratively designed the research. Erik Bolhuis initiated the data team, was the data coach of the data team, and collected and analysed the data. Johanna Ebbeler interviewed Erik Bolhuis about his role as data coach and researcher. Johanna Ebbeler also coded 10% of the data. Erik Bolhuis, Kim Schildkamp, and Joke Voogt discussed the outcomes and the interpretations. The supervisors reviewed the manuscript and provided feedback.

Chapter 5


Bolhuis, E. D., Schildkamp, K., & Voogt, J. M. (Under review). A Case Study of a Data Team Intervention for Teacher Educators: The Development of Data use, Data Skills, and Attitudes.

Contributions

Erik Bolhuis is the first author of this paper. Kim Schildkamp and Joke Voogt were the supervisors of Erik Bolhuis. Erik Bolhuis, Kim Schildkamp, and Joke Voogt collaboratively designed the research. Erik Bolhuis initiated the data team and was data coach as well. Erik Bolhuis also collected and analysed the data. Wilma Kippers coded 10% of the data. Erik Bolhuis, Kim Schildkamp, and Joke Voogt discussed the outcomes and the interpretations. The supervisors reviewed the manuscript and provided feedback.


185

Acknowledgements / Dankwoord

In 2011 werd me de mogelijkheid geboden om te promoveren, iets wat ik met beide handen aangreep. Ik kwam al gauw uit bij de Universiteit van Twente. Daar voelde als een warm bad. Dat had te maken met het onderwerp, maar nog meer met de mensen die daar werkzaam zijn (en waren). Waar ik traject startte bij Prof. Dr. Jules Pieters, nam Joke Voogt, toen ze professor werd in Amsterdam (en lector in Zwolle), het promotorschap over. Kim Schildkamp was vanaf de aanvang als co-promotor bij het onderzoek betrokken. Samen hebben zij mij op mijn intellectuele zoektocht begeleid. Of beter is te zeggen, mij aan het denken gezet, mij bijgestuurd, mij geholpen op de goede weg te blijven en bovenal mijn schrijfsels bijgestuurd. Dit is een bijzondere prestatie geweest en ik bewonder jullie begeleidingsvaardigheden en wil jullie hiervoor bedanken. Jullie zijn daarin een voorbeeld voor me. In die zin hebben jullie me meer geleerd dan alleen me begeleiden in de intellectuele zoektocht.

Deze studie was niet mogelijk geweest zonder de paticipatie van collega lerarenopleiders in en buiten de hogeschool. Mijn bijzondere dank gaat uit naar de collega’s die geparticpeerd hebben in het datateam. Jullie inzet vormde de basis voor deze studie. Tevens dank ik het managementteam van de pabo die me de gelegenheid gaven om dit onderzoek mogelijk te maken en Harry Frantzen en Jan Doelman die het belang zagen van het doen van onderzoek voor de ontwikkeling van het onderwijs.

Toch was het promoveren niet mogelijk geweest zonder de steun van Anna Mathilde. Het was niet de eerste studie die ik opgepakt had. Nadat ik mijn basiskwalificatie had bemachtigd aan de Pabo, heb ik respectievelijk een wat tegenwoordig een professionele master genoemd wordt, gevolgd (Akte Buitengewoon onderwijs), een universitaire studie (onderwijskunde) en een post-HBO (procesbegeleider). Samen met mijn jaren in het basis- en voortgezet onderwijs 28 jaar aan educatie. Leven(s)lang leren in optima forma. Ik kan gerust zeggen dat het mijn tweede natuur is geworden. De boeken waar ik niet aan toe ben gekomen liggen te lonken in de kast. Maar ik vrees dat ik die nog even moet laten liggen, want ik wil me richten op al diegenen die me het meest dierbaar zijn en die ik systematisch verwaarloosd heb.

Mijn dank gaat uit naar Anna Mathilde mijn vrouw, samen met onze kinderen Dorien, Laurens en Iris. Iris wil ik hier speciaal noemen, daar heeft zij de vormgeving van het boek op zich genomen, dank!

Documents

UvA-DARE (Digital Academic Repository) How teacher ... · PDF file%qpegrvwcnk\kpicuuguuogpvewnvwtgkpuejqqn +p% 9[cvv 5okvj ... [swcnk gfvgcejgtukp0qtyc[ )gtocp[ cpf'pincpf european