L’uso delle misure standardizzate degli apprendimenti nella

valutazione dell’insegnamento scolastico.

Paolo SestitoCommissario straordinario INVALSI

Giornate nfa Torino 1 luglio 2012

Outline della presentazione

• Le prove INVALSI in concreto

• Perché valutare (in generale): certificazioni, feedback e graduatorie

• Prove INVALSI e certificazione degli studenti

• Prove INVALSI e valutazione delle scuole

• Oltre le scuole: i singoli docenti?

Le prove INVALSI in concreto

• Due ambiti (a valenza trasversale)• 5 gradi scolastici: [Riepilogo prove]

– Prove universali, restituibili a tutti– Un campione più controllato (-cheating+info) per meglio

conoscere il sistema nel suo complesso– In un caso parte (con peso pari a 1/6) dell’esame di Stato– La prospettiva longitudinale (da quest’anno)

• Cenni ad aggiustamenti on going:– Gradi da eliminare/inserire– Altri ambiti e gradi, su base campionaria, per meglio conoscere il

sistema– Verso le prove adattive e il pc (come semplificazione e

velocizzazione ma anche al fine di avere prove + custom tailored)

Perché si valuta

• Certificare (a vantaggio di terzi) il possesso di determinate conoscenze/competenze

• Fornire un feedback (innanzitutto al valutato)• Definire una graduatoria:

– Per stimolare meccanismi di quasi-mercato o comunque emulativi (serve incentivo ad essere i “più bravi”)

– Per premiare/punire (o selezionare) nel continuo– Idem ma con riferimento a una data soglia (assoluta o

relativa)• Caso particolare di queste graduatorie: identificare i casi

critici (chi non raggiunge una certa soglia minima) per consentire di intervenire a supporto, imporre cambiamenti ..

Prove INVALSI e certificazione studenti

• Le prove INVALSI sono troppo dipendenti da un singolo momento (il giorno della prova) e con un focus troppo circoscritto (italiano e matematica, che pure sono considerati non solo in quanto discipline quanto per la loro valenza e natura trasversale) per farne la base unica della certificazione degli studenti

• Il rischio di prove troppo high stakes (coaching ed eccesso uniformità)• Ma attenzione che cheating/coaching etc. sono fenomeni insiti in qualsiasi

tipologia di prova (standardizzata o diversificata, tradizionale o meno). Attribuire un (sia pur limitato e parziale) valore alle prove INVALSI può anzi aiutare:

– Il focus sulle competenze delle prove INVALSI contrasta la “prevedibilità delle prove” (e le distorsioni che ne discendono) meglio di tante prove tradizionali

– Le prove INVALSI hanno una funzione d’indirizzo culturale (coerente con gli “orientamenti” ed una impostazione che valorizza le competenze a superamento dei vecchi “programmi scolastici” come assieme di nozioni da trasmettere e acquisire): una leva da valorizzare

– La prospettiva delle prove adattive potrà migliorare questo quadro

La valutazione delle scuole• A livello di gruppo (la classe, la scuola) molte delle criticità esistenti

a livello di singolo studente vengono superate. Nell’aggregato di più studenti è più ragionevole usarle come “segnale” di fenomeni latenti, da decrittare sia per dare un feedback che per definire graduatorie.

• Attenzione però:– Il gruppo deve essere grande a sufficienza: piccoli gruppi rischiano di

esser dominati da measurement bias [Grafico italiano, Grafico matematica]

– Identificare gli estremi è un po’ meno difficile [Tavole punteggi]• Comunque gli utilizzi (feedback/premi/competizione ..) dipendono

dalle regole generali del sistema e non possono essere visti in astratto in particolare, va tenuto conto che oggi non esiste un quasi mercato dei

servizi scolastici; ove ci si muovesse in tal senso andrebbero definite varie regole a contorno (sostegno alle famiglie nelle scelte, impedimenti alle scuole nel selezionarsi gli studenti migliori, strumenti per le scuole nel “competere” per gli insegnanti migliori …). Forzare la pubblicizzazione dei risultati delle prove non è la soluzione di tutto (ed avrebbe anzi varie controindicazioni); la “pubblicità ingannevole” va contrastata.

La valutazione delle scuole:livello degli apprendimenti o VA?

• Focus su livello per identificare chi non raggiunge un target minimo, chi sia in condizioni di criticità estreme– Focus su “poveri di conoscenza” più che sul dato medio complessivo, le

due cose non sempre concidendo [Tavola cfr.]• Focus su VA per valutare la scuola e giudicarne i responsabili. Ma

con vari problemi aperti:– La prospettiva longitudinale: VSQ e l’uso (anonimo) delle anagrafi– Ma continuerà a servire anche un approccio “sezionale” (eventualmente

pseudo-longitudinale) [Tavola regressione]– Nel valutare la scuola (il d.s.) come trattare le covariate non appieno

ctrlate dalla scuola (dal d.s.): esempio turnover e in generale qualità docenti

– Idem: come trattare variabili che dipendono dal contesto ma anche dalla capacità di attivazione delle scuole: esempio risorse aggiuntive (da famiglie ed ee.ll.)

La valutazione delle scuole: autovalutazione e valutazione esterna

• Feedback alla scuola (alle sue singole componenti interne) per ragionare su se stessi:– Benchmarking complessivo (livello e VA, dato medio ma anche

eccellenze e “poveri di conoscenze”– Ma soprattutto dettaglio: quali competenze? Quali situazioni di disagio

(su aspetti che le scuole altrimenti neppure conoscerebbero: ad es. circa la composizione sociale dei propri studenti)

• NB1 anche in un “meccanismo di mercato” – in cui l’incentivo a rinnovarsi e migliorarsi venga dalla pressione di mercato – serve poi che la scuola (il d.s.) sappia leggere le proprie criticità

• NB2 le prove INVALSI comunque non esauriscono le cose su cui focalizzare la propria autovalutazione: servono altri strumenti di feedback (sondaggi alunni e famiglie, sondaggi e commenti tra pari) ed un’attitudine/disponibilità a ragionare su stessi e superare l’autoreferenzialità (e la solitudine) del singolo docente

• NB3 la scuola ha varie componenti: il feedback può/deve innescare una sana dialettica interna

La valutazione delle scuole: le prove INVALSI e la valutazione esterna

• In tutti i sistemi in cui si procede a periodici esercizi di valutazione esterna delle singole scuole non ci si limita a leggere, centralmente e passivamente, i risultati delle prove standardizzate:– Le prove (in livello, soprattutto il dato sui “poveri di conoscenze”) come

indicatore per identificare le situazioni più critiche ove concentrare il supporto e da “visitare” con maggior frequenza

– Le prove (in livello ma anche e soprattutto come VA) come primo dato da analizzare a cura di un team valutativo esterno, che però guardi anche altri aspetti soft e di processo del funzionamento della scuola

• Le visite valutative esterne:– Peer review (le cui indicazioni possano essere accettate o meno dalla

scuola) o anche trigger di una possibile azione di riorganizzazione? Una questione di gradi

– Quale il focus dei giudizi espressi e dei “consigli” per migliorare? la scuola o il suo d.s. (eventualmente da cambiare) visto come motore del cambiamento?

Oltre le scuole: i singoli docenti?

• Premessa:Premessa:1. Singoli docenti e risultati delle classi agli stessi affidate non

sono ricollegabili, né da INVALSI né a livello centrale (l’allocazione dei docenti alle classi è processo decentrato, che avviene a livello di singola scuola)

2. Nel sistema italiano: vi è un più forte legame classe/docente (il docente insegna a tutti gli alunni di una certa classe, non a una sommatoria di persone provenienti da classi diverse) e, nel contempo, un elevato turnover di queste relazioni biunivoche. Stimare un VA di docente (differenziando gli studenti ”trattati” da quel docente rispetto a quelli che, nello stesso contesto, sono “trattati” da altri) sarebbe particolarmente arduo, e quindi meno affidabile, econometricamente.

Oltre le scuole: i singoli docenti?• Considerazioni di merito:

– Conta il singolo docente o il team? Il rischio di sistemi premiali individuali che ostacolino il funzionamento del team di docenti

– Cosa premiare: Performance assoluta o relativa? Dibattito (US) su pay for percentile e uso prove “poco prevedibili”

– Quanto sono affidabili le misure di VA a livello di singolo docente? Sapere che vi sono in media grandi differenze tra docenti (anche negli effetti a lunghissimo andare: cfr. Chetty et al, 2011) non significa poter dire con certezza, oggi, che tizio è più bravo di caio dell’x%

– Qual è la priorità? differenziare le paghe di tutti (di anno in anno) o intervenire sugli estremi (evitando che arrivi in cattedra anche chi non supera una soglia minima di decenza e premiando (quasi) a fine carriera le eccellenze)?

– Nel raccordo col singolo docente non esistono solo i sistema premiali: come per le scuole, vi è spazio per una funzione di feedback al singolo docente: per segnalargli che sta trascurando elementi rilevanti, il disagio di (alcuni) dei suoi allievi etc. un feedback necessariamente locale (dalla comunità professionale di pari, dal d.s. ..), ma azionabile sulla base di strumenti e metodologie comuni

MATEMATICA I SECONDARIA

Risultati medi di scuola e indicatore “poveri di conoscenza”

Quintile indicatore poveri di

conoscenza

Quintile risultati medi di scuola

Totalebottom 2,00 3,00 4,00 5,001,00 936 179 23 10 0 1148

2,00 193 605 273 69 9 1149

3,00 21 280 492 290 66 1149

4,00 11 70 288 479 301 1149

5,00 3 25 86 309 725 1148

Totale 1164 1159 1162 1157 1101 5743

LIVELLOPOPOLAZIONE CAMPIONE

TOTALE STUDENTI anno di introduzione STUDENTI CAMPIONATI

anno di introduzione

II PRIMARIA 553.291 (2009-2010) 34.416 (2008-2009)

V PRIMARIA 531.559 (2009-2010) 33.177 (2008-2009)

I SECONDARIA DI I GRADO 582.154 (2009-2010) 43.473 (2009-2010)

III SECONDARIA DI I GRADO 553.296 (2007-2008) 26.777 (2007-2008)

II SECONDARIA DI II GRADO 516.088 (2010-2011) 50.431 (2010-2011)

Mutamenti nel ranking delle scuole (tra 2010 e 2011)

livello Valore aggiunto

ITA MAT ITA MAT

Scuole quintile inferiore che si spostano di ± 5 percentilii 75,9 75,5 84,8 82,4

Scuole quintili centrali che si spostano di ± 5 percentili 87,7 87,3 90,0 88,7

Scuole top quintile che si spostano di ± 5 posizioni 80,7 82,7 84,8 84,5

ITA MAT ITA MAT

Scuole che escono dal primo quintile 58,1 57,5 70,8 67,1

Scuole che escono dal top quintile 64,3 65,1 74,1 71,4

Modello di regressione

ITALIANO V PRIMARIA a.s. 0910Modello B Sig.(Costante) 43,433 ,000Punteggio medio di scuola di italiano al livello 2 ,215 ,000Punteggio medio di scuola di matematica al livello 2 ,180 ,000

FEMMINA 1,023 ,000ANTICIPATARIO -,338 ,229POSTICIPATARIO -6,208 ,000Straniero di I generazione -8,334 ,000Straniero di II generazione -6,162 ,000Parla DIALETTO in casa -1,297 ,000VOTO ITALIANO I QUADR ,022 ,000VOTO MATEMATICA I QUADR ,036 ,000ESCS a livello individuale 3,802 ,000ESCS medio di classe ,134 ,253Perc. Femmine nella classe -,012 ,000Perc. Anticipatari nella classe -,035 ,001Perc. Posticipatari nella classe ,004 ,634Perc. Straniero di I generazione nella classe -,025 ,000Perc. Straniero di II generazione nella classe -,035 ,000Perc studenti che parlano DIALETTO nella classe -,001 ,654ESCS medio di scuola 3,327 ,000Perc. Femmine nella scuola -,006 ,247Perc. Anticipatari nella scuola -,260 ,000Perc. Posticipatari nella scuola -,057 ,000Perc. Straniero di I generazione nella scuola ,245 ,000Perc. Straniero di II generazione nella scuola ,207 ,000Perc. studenti che parlano DIALETTO nella classe -,077 ,000