Strumenti di valutazione per le istituzioni scolastiche: il possibile ruolo dei dati INVALSI
Tommaso Agasisti
Politecnico di Milano School of Management e. [email protected]
MarcoTimbro
MarcoFormatoConvegno NazionaleFOE 8-10marzo 2013
Agenda
Perch importante la valutazione Il sistema nazionale di valutazione (che verr?) Un esempio di lettura dei dati INVALSI verso il
miglioramento Una riflessione conclusiva
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 2
MarcoTimbro
Perch importante la valutazione
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 3
MarcoTimbro
Spesa in istruzione
This picture has been evident in many other waves of the different international
achievement tests (e.g., Woessmann (2002), Section 3.2, for the 1995 TIMSS test).
Furthermore, in most cases the lack of a significant positive cross-country association
between expenditure per student and educational achievement holds up when numer-
ous other determining factors such as family background and school features (including
instruction time) are accounted for in a regression framework. Hanushek and Kimko
(2000) and Lee and Barro (2001) perform country-level regressions using different tests
and Woessmann (2003b) and Fuchs and Woessmann (2007) perform student-level
microeconometric regressions using TIMSS 1995 and PISA 2000, respectively.
As discussed above, such cross-sectional analysis has to be interpreted cautiously,
even when controlling for a large set of factors. There may be reverse causality, and
unobserved country differencesfor example, cultural traits or institutional and politi-
cal factorsmay be correlated with both inputs and outcomes. As a first step to address
such worries, one can look at within-country variation over time (Table 2.7). By look-
ing at changes in inputs and outcomes, one can rule out unobserved level effects. Thus,
Gundlach, Woessmann, and Gmelin (2001) calculate changes in expenditure and
350
400
450
500
550
0 10000 20000 30000 40000 50000 60000 70000 80000
Mat
h pe
rfor
man
ce in
PIS
A 2
003
Cumulative educational expenditure per student
Mexico
Belgium
Iceland
FranceSweden
SwitzerlandDenmark
AustriaNorway
USA
ItalyPortugal
Spain
Korea
GermanyIreland
Czech Rep.
HungaryPoland
Slovak Rep.
Greece
Finland
NetherlandsCanada
Japan
Australia
R 2 = 0.15
R 2 = 0.01
Figure 2.3 Expenditure per student and student achievement across countries. Notes: Associationbetween average math achievement in PISA 2003 and cumulative expenditure on educational insti-tutions per student between age 6 and 15, in U.S. dollars, converted by purchasing power parities.Light line: regression line for full sample. Dark line: regression line omitting Mexico and Greece.Source: Woessmann (2007a).
127The Economics of International Differences in Educational AchievementFonte: Hanushek & Woessman (2011)
Italia: elevato livello della spesa, bassi livelli di apprendimenti
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 4
MarcoTimbro
149
Figura 7.1: Differenze dai punteggi medi di TIMSS e PIRLS in Italia, nei Paesi UE e nei Paesi OCSE nelle rilevazioni IEA 2011.
In primo luogo si riscontra che rispetto al 1995, con la sola eccezione della rilevazione di matematica nellottavo di scolarit in Italia e nei Paesi UE, i risultati sono rimasti migliori rispetto alla media di riferimento (500), anche se con entit differenti nei tre riferimenti geografici analizzati. Relativamente allItalia, emergono alcune singolarit rispetto ai Paesi OCSE e UE presi in considerazione. In primo luogo si riscontra che il vantaggio in matematica nella scuola primaria decisamente pi modesto, per quanto statisticamente significativo, rispetto ai Paesi OCSE e EU e, soprattutto, i risultati di scienze alla fine della scuola secondaria di primo grado dellItalia sono rimasti invariati rispetto al riferimento teorico (pari a 500) del 1995, mentre i risultati dei Paesi OCSE e UE permangono migliori rispetto alla media TIMSS.
Un discorso a parte deve essere effettuato per la prova di matematica relativa allottavo grado di scolarit. Mentre i Paesi OCSE, soprattutto grazie al contributo di quelli dellEstremo Oriente, conseguono nel 2011 risultati significativamente pi elevati rispetto al riferimento del 1955 (500 punti), i Paesi UE, complessivamente considerati, ottengono risultati significativamente pi bassi del predetto riferimento. I risultati italiani, invece, meritano unattenzione particolare, poich sono il frutto di unevoluzione peculiare, che, se confermata anche nei prossimi anni, sembra indicare una linea di sviluppo positivo dei risultati osservati. Infatti, gli esiti del 2011 dellItalia non si discostano significativamente dal riferimento di 500 e, aspetto molto importante, segnano lincremento pi elevato in assoluto rispetto alledizione precedente di TIMSS, ossia del 20071.
1 Cfr. paragrafo 12.3 del presente rapporto.
Matematica, grade IV Matematica,
grade VIII
Italia, Lettura, grade IV
Attenzione! Molti risultati sembrano incoraggianti (e lo sono), ma per interpretarli correttamente occorre guardarli in relazione ad area UE e OCSE!
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 5
MarcoTimbro
159
La Figura 7.12 permette di visualizzare le differenze regionali sopradescritte.
Figura 7.12 Differenze territoriali dei risultati italiani nelle rilevazioni IEA.
Il grafico della Figura 7.12 mostra in modo evidente come evolva nelle macro-aree del Paese e nei diversi livelli scolastici la distanza dei risultati di ciascuna rilevazione dalla rispettiva media nazionale. Come sar ripreso nel capitolo 11, anche landamento delle differenze rappresentato nella Figura 7.12 coerente con quanto rilevato nelle indagini INVALSI, con la sola eccezione del Centro che nelle prove nazionali presenta un andamento meno soddisfacente al progredire dei livelli scolastici.
Differenza grade IV (circa 22 pt.)
Differenza grade VIII (circa 50 pt.)
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 6
MarcoTimbro
162
Figura 4.102
Pi difficile dire, sulla base di questo semplice confronto tra livelli diversi un confronto in cui non
si segue cio longitudinalmente lo stesso gruppo di allievi nel corso della loro specifica carriera
scolastica, un tipo di analisi che solo da questanno sar possibile iniziare a fare, sia pure
limitatamente al passaggio tra la V primaria e la I secondaria di primo grado se ci possa
segnalare una certa efficacia delle scuole nel ridurre i divari di competenza che la diversa origine
familiare comunque comportava per questi alunni al loro ingresso nel sistema scolastico.
Le figure 4.103 e 4.104 mettono a confronto le differenze nei diversi livelli scolastici e i risultati
degli studenti distinti in base alla regolarit nel percorso di studio.
Punteggi di matematica, distanza dalla media nazionale,
a.s. 2011/12 Stranieri I generazione
Stranieri II generazione
Italiani
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 7
MarcoTimbro
Ma un elemento in pi per le scuole paritarie Draft, May 16th 2012
! 72
Figure B.3. Test scores distribution, by grade and type (public/private), through boxplots
3/6/13 8
MarcoTimbro
Perch importante la valutazione
Le sfide del sistema educativo italiano avviare pratiche e modelli di valutazione delle performance delle scuole
rendere conto di tali performance ai policy makers e, pi in generale, a tutti gli stakeholders
Importanza di iniziative che: Siano in grado di utilizzare gli esiti delle valutazioni per sviluppare piani di miglioramento interno e potenziare il rapporto con i propri stakeholders (famiglie, istituzioni, territorio)
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 9
MarcoTimbro
Il sistema nazionale di valutazione (che verr ?)
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 10
MarcoTimbro
Il (nuovo) sistema nazionale di valutazione (SNV)
Lo stato di approvazione
Il documento di alcune associazioni del mondo della scuola Quale idea di buona scuola? La polemica rispetto alle prove Invalsi La richiesta di terziet (?!)
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 11
MarcoTimbro
Fasi del sistema nazionale di valutazione (SNV)
Prima fase: autovalutazione Utilizzo di fonti informative a disposizione degli istituti scolastici (INVALSI, Scuola in Chiaro, strumenti sviluppati autonomamente, ecc.).
Redazione di un Rapporto di Autovalutazione
Seconda fase: valutazione esterna Un team di esperti (guidato da personale ispettivo) Lettura del Rapporto di Autovalutazione + visita in loco + indicatori sviluppati da Invalsi
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 12
MarcoTimbro
Fasi del sistema nazionale di valutazione (SNV)
Terza fase: Piano di Miglioramento Individuazione punti di forza e criticit Definizione degli obiettivi di miglioramento da raggiungere
Quarta fase: Rendicontazione Sociale
Il sistema delle scuola paritarie come soggetto attivo allinterno del nuovo SNV!
3/6/13 Tommaso Agasis., Politecnico di Milano, 2013 13
MarcoTimbro
Cosa dice il SN
