Modelli di valutazione per stimaregli effetti dei progetti nazionali

sugli apprendimenti degli studenti

Vidoni Daniele, INVALSI, daniele.vidoni@invalsi.it

Project funded by: Programmazione dei Fondi Strutturali Europei 2007-2013 – Programma Operativo Nazionale “Competenze per lo sviluppo” – FSE -2007-IT 05 1 PO 007

La domanda a cui rispondere:

Qual è l’efficacia degli interventi implementati?

Ovvero…

Gli interventi sono in grado di produrre gli effetti desiderati ex ante?

Rispondere a questa domanda richiede una accurata misurazione degli effetti dell’intervento ex post (cioè dopo la messa in atto) e implica la volontà di associare l’implementazione di un intervento pubblico alla valutazione dei suoi effetti.

Il problema sotteso:

L’ATTRIBUZIONE CAUSALE

definizione controfattuale di effetto: l’effetto di un intervento è la differenza tra quanto si osserva in presenza dell’intervento e quanto si sarebbe osservato in sua assenza.

Trappole concettuali:Attribuire alla politica il merito del cambiamento osservato nel

fenomeno tra prima e dopo la sua implementazione.

Attenzione!

Non tutto ciò che accade dopo qualcosa accade a causa di quel qualcosa, poiché il fenomeno di interesse può avere una sua dinamica spontanea.

Attribuire alla politica differenze osservate nel fenomeno di interesse tra esposti e non esposti.

Attenzione!

Questo ci espone al problema di possibili differenze nella composizione dei due gruppi, che avrebbero potuto causare differenze nei risultati anche in assenza della politica.

Possibili strade da seguire:

Garantisce l’equivalenza tra i due gruppi ma difficile da applicare per:

• problemi etici o resistenze culturali;• concreta gestione degli esclusi (che

devono rimanere tali: serve collaborazione da parte di chi eroga il trattamento);

• vincoli legali;• prassi amministrative consolidate.

Permettono di ricostruire ex post l’equivalenza tra i due gruppi.

Problemi:

• Effettiva disponibilità delle necessarie informazioni per matching in termini di apprendimenti, caratteristiche demografiche, altre caratteristiche.

Esperimenti randomizzati

Soluzioni non sperimentali

Cosa fa INVALSI in questo senso:

• Valutazione.M@t.abel+ • Valutazione PQM• Valutazione effetto

fondi PON

Esperimenti randomizzati

Soluzioni non sperimentali

7

UNIONE EUROPEA MINISTERO DELL’ISTRUZIONE, DELL’UNIVERSITA’ E DELLA

RICERCA

INVALSI PON

M@t.abel: Matematica. Apprendimenti di Base con e-learning

Formazione nazionale potenziata e rivolta in questa versione agli insegnanti delle Regioni

PON (Calabria, Campania, Puglia, Sicilia).

Valutazione.M@t.abel

8

Il caso di PON M@t.abel+: la logica dell’intervento

Scarso rendimento in

matematica degli studenti

(PISA)

Formazione degli

insegnanti

Nuova didattica in classe da parte degli insegnanti

Miglior atteggiamento e rendimento degli

studenti in matematica

Problema risolvibile con nuove modalità

di insegnamento centrate

sull’applicazione delle nozioni a casi

concreti

La logica dell’esperimento: in cosa consisteVogliamo vedere se una data politica è pubblica è in grado di modificare una grandezza di interesse: confrontiamo due gruppi identici, uno che ha ricevuto la politica e uno che non l’ha ricevuta.

Potenziali beneficiari

Mandati al trattamento

Gruppo di

controllo

Confrontiamo quindi sulla grandezza di

interesse i trattati e i non

trattati: la differenza è

l’effetto della politica

INTERVENTO

RANDOMIZZAZIONE

10

Il caso di PON M@t.abel+: l’interventoLa formazione è blended e strutturata in quattro fasi:1. incontri introduttivi in presenza con il tutor;2. incontri on line sulla piattaforma e scelta delle unità didattiche;3. sperimentazione in classe con assistenza on line del tutor;4. incontro finale e consegna del diario di bordo da parte degli insegnanti.

C’è una piattaforma con 28 unità didattiche rivolte alla scuola secondaria di primo grado (una sorta di “sceneggiatura” con forte enfasi sugli aspetti applicativi della matematica e materiali di supporto).

Gli insegnanti devono testare in classe 4 unità didattiche, redigendo un diario di bordo e discutendo on line della sperimentazione con il tutor e con gli altri insegnanti della stasse classe virtuale di formazione.

Il caso di PON M@t.abel+: il disegno di valutazione dell’intervento

Esposizione immediata a m@t.abel+ Esposizione dilazionata a m@t.abel+

2009/10 2009/10 1° coorte 3° media 3° media 2° coorte 2° media 2° media 3° coorte 1° media 1° media Legenda Esposto a m@t.abel+ Non esposto a m@t.abel+

Randomizzazione delle scuole iscritte con dilazione del trattamento per il gruppo di

controllo.

Potenziali beneficiari

RANDOMIZZAZIONE

Y: abilità in matematica degli studenti(test modello SNV).

12

6th grade 7th grade 8th grade

Variable Coef s.e Coef s.e Coef s.e

Treatment -0.49 7.78 -3.47 -6.21 1.18 7.35PUGLIA_Ba -0.19 12.51 -6.21 -10.72 18.13 16.57PUGLIA_Br -19.56 13.54 -10.72 -22.11 13.16 15.71PUGLIA_Fg -1.92 12.34 -22.11 11.86 -14.68 11.47PUGLIA_Le -12.21 14.84 11.86 -28.69 -17.91 11.68PUGLIA_Ta -13.67 10.69 -28.69 * -15.07 37.28 29.11CALABRIA_Cs -39.22 ** 17.27 -15.07 -12.64 -4.29 17.51CALABRIA_Cz 59.88 36.85 -12.64 -7.48 15.44 29.33CALABRIA_Rc 35.88 27.74 -7.48 -26.99 -36.28 ** 17.15SICILIA_Ct -31.17 ** 12.79 -26.99 * 29.11 -29.81 ** 14.91SICILIA_Me -32.87 ** 14.70 29.11 ** -30.88 -22.69 14.30SICILIA_Pa -42.00 *** 12.48 -30.88 ** -6.83 -26.33 ** 12.26SICILIA_Sr -26.48 25.33 -6.83 2.34 -69.82 *** 16.84CAMPANIA_Ce -23.33 17.71 2.34 21.25 3.04 16.06CAMPANIA_Sa -30.39 ** 15.12 21.25 0.52 -23.19 * 13.44city location -14.50 16.25 0.52 2.32 -40.58 *** 11.18peer participation at school level -2.82 1.73 2.32 29.82 3.36 ** 1.61female 4.23 9.37 29.82 54.04 26.48 17.22male 19.10 ** 9.29 54.04 ** -12.08 40.85 ** 17.28father holds at least high-school degree 24.08 *** 7.36 3.97 12.22 5.54 6.95father's education lower than high-school 11.36 * 6.70 -12.08 * 3.97 -0.69 6.81mother is a housewife -6.12 9.92 12.22 20.47 -9.79 13.72mother is not a housewife 0.46 9.88 20.47 35.46 -0.56 13.82average grade in math at first term 43.24 *** 1.66 35.46 *** 222.87 23.37 *** 1.60average grade in math at first term n.a. 280.42 *** 16.20 222.87 *** 232.84 126.00 *** 17.45constant 185.04 *** 19.78 232.84 *** 0.00 356.15 *** 27.67

Effetto medio sulle conoscenze matematiche – ciascun livello

13

Differenze tra atteggiamenti e approccio didattico degli insegnanti (gruppo trattato e gruppo di

controllo)

fully compliantpartially

compliantcontrol

Teacher practice

I make students do exercise in groups in every lesson (%)

27.6 19.6 15.5 12,08 *** 4.1

(4,53) (4,00)I always correct homework on students' exercise book (%)

91.4 93.0 86.3 5.1 * (a) 6.6 **

(3,50) (3,10)

I exchange views with my collegues at least once a week on how to explain math contents

64.4 54.2 47.2 17.2 *** 7.0 * (a)

(5.45) (5.20)

How often do you use materials or didactics units produced by yourself or together with your collegues? (scale 1-10)

5.4 5.3 5.1 0,3 0,24

(0,25) (0,27)

Teacher beliefs on students

The study of math requires to learn several formulas and rules by heart

3.9 3.9 4.3 -0,37 * (a) -0,39 *

(0,25) (0,22)

Several students find abstract reasoning difficult6.6 6.5 7.0 -0,44 ** -0,56 ***

(0,20) (0,18)

means differences means fully com - C

(s.e.)

differences means partially com - C

(s.e.)

Note: (a) the null hypothesis is difference in means negative; in all other cases the null hypothesis is difference is equal to zero. The

symbols ***, **, * indicate that differences in means are statistically significant at the 1, 5, and 10 percent level.

14

• I risultati preliminari suggeriscono che, nell’anno in cui la formazione viene seguita, il programma M@t.abel non sortisce effetti statisticamente significativi.

Si tratta di un risultato coerente con la letteratura in quanto un cambiamento dell’approccio didattico del docente richiede tempo;Per questo, al fine di testare effetti di medio periodo, il progetto ha durata triennale.

• Vi sono alcune differenze nell’approccio didattico degli insegnanti e queste differenze potrebbero condurre a differenze negli apprendimenti negli anni successivi.

Risposte preliminari…

15

• Qual’è l’effetto di M@t.abel sull’attitudine degli studenti verso la matematica?

• C’è un problema di self-selection nelle scuole che non hanno collaborato del tutto alla raccolta dati?

• Se così fosse, gli effetti di M@t.abel sono stati diluiti e quindi potrebbe essere utile modificare l’intevento per migliorare la partecipazione di coloro che si iscriveranno in futuro?

• Chi dovrebbero essere i beneficiari dell’intervento?

Visto che l’età è un fattore rilevante per la partecipazione, il fatto che il programma si rivolga a docenti di ruolo – quindi di norma più anziani – potrebbe essere messo in discussione. Allo stesso modo, se l’uso del computer è abbastanza collegato all’età, potrebbe esser utile assicurarsi che i partecipanti abbiano sufficienti conoscenze informatiche prima di iscriverli a questi programmi.

…e nuove domande da esplorare…

• Valutazione PQM

• Valutazione effetto fondi PON

Soluzioni non sperimentali

17

Proposta valutativa: Per tutte le classi (PQM e non) di tutte le scuole esiste una misura d’ingresso (Test SNV 2009-10)

In ogni scuola identificherà come classi di controllo le classi che hanno il profilo più simile alle classi PQM in termini di:•Tempo medio delle lezioni;•Regolarità;•Livello medio degli apprendimenti degli studenti come rilevato dal SNV 2009-10;•Livello medio di status socioculturale familiare (SCS) degli studenti per classe;•Sesso (% femmine);•Origine (% nati in Italia).

Ognuna delle classi individuate sosterrà la prova INVALSI PQM 2010-11… oggi!

Disegno di valutazione PQMLa policy: Formazione disciplinare in matematica e promozione dell’utilizzo di

informazioni standardizzate a fini diagnostici.

Con i necessari caveat, il confronto del livello medio dei risultati degli studenti delle classi PQM rispetto ai risultati degli studenti delle classi di controllo potrà fornire una prima approssimazione relativamente all’effetto del progetto PQM

18

Quasi esperimenti:Stime locali

Disegni di valutazione per la stima dell’effetto dei fondi PON - 1

Scuole simili (per contesto e tipo di

popolazione studentesca)

Fondi PON

NO Fondi PON

19

Disegni di valutazione per la stima dell’effetto dei fondi PON - 2

Trend 2003-2009 Matematica - ItaliaRisultati in crescita nelle regioni PON

Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09

20

Disegni di valutazione per la stima dell’effetto dei fondi PON - 2

Analisi secondarie con metodologie di matching•Quante delle scuole del campione PISA fruiscono di fondi strutturali?•Coeteris paribus, ci sono differenze tra scuole PISA PON e NON PON?•Come si comportano a 2 anni di distanza in base a prove SNV – II SSSG a.s. 2010-11?

Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09

21

GRAZIE