View
214
Download
0
Category
Preview:
Citation preview
Modelli di valutazione per stimaregli effetti dei progetti nazionali
sugli apprendimenti degli studenti
Vidoni Daniele, INVALSI, daniele.vidoni@invalsi.it
Project funded by: Programmazione dei Fondi Strutturali Europei 2007-2013 – Programma Operativo Nazionale “Competenze per lo sviluppo” – FSE -2007-IT 05 1 PO 007
La domanda a cui rispondere:
Qual è l’efficacia degli interventi implementati?
Ovvero…
Gli interventi sono in grado di produrre gli effetti desiderati ex ante?
Rispondere a questa domanda richiede una accurata misurazione degli effetti dell’intervento ex post (cioè dopo la messa in atto) e implica la volontà di associare l’implementazione di un intervento pubblico alla valutazione dei suoi effetti.
Il problema sotteso:
L’ATTRIBUZIONE CAUSALE
definizione controfattuale di effetto: l’effetto di un intervento è la differenza tra quanto si osserva in presenza dell’intervento e quanto si sarebbe osservato in sua assenza.
Trappole concettuali:Attribuire alla politica il merito del cambiamento osservato nel
fenomeno tra prima e dopo la sua implementazione.
Attenzione!
Non tutto ciò che accade dopo qualcosa accade a causa di quel qualcosa, poiché il fenomeno di interesse può avere una sua dinamica spontanea.
Attribuire alla politica differenze osservate nel fenomeno di interesse tra esposti e non esposti.
Attenzione!
Questo ci espone al problema di possibili differenze nella composizione dei due gruppi, che avrebbero potuto causare differenze nei risultati anche in assenza della politica.
Possibili strade da seguire:
Garantisce l’equivalenza tra i due gruppi ma difficile da applicare per:
• problemi etici o resistenze culturali;• concreta gestione degli esclusi (che
devono rimanere tali: serve collaborazione da parte di chi eroga il trattamento);
• vincoli legali;• prassi amministrative consolidate.
Permettono di ricostruire ex post l’equivalenza tra i due gruppi.
Problemi:
• Effettiva disponibilità delle necessarie informazioni per matching in termini di apprendimenti, caratteristiche demografiche, altre caratteristiche.
Esperimenti randomizzati
Soluzioni non sperimentali
Cosa fa INVALSI in questo senso:
• Valutazione.M@t.abel+ • Valutazione PQM• Valutazione effetto
fondi PON
Esperimenti randomizzati
Soluzioni non sperimentali
7
UNIONE EUROPEA MINISTERO DELL’ISTRUZIONE, DELL’UNIVERSITA’ E DELLA
RICERCA
INVALSI PON
M@t.abel: Matematica. Apprendimenti di Base con e-learning
Formazione nazionale potenziata e rivolta in questa versione agli insegnanti delle Regioni
PON (Calabria, Campania, Puglia, Sicilia).
Valutazione.M@t.abel
8
Il caso di PON M@t.abel+: la logica dell’intervento
Scarso rendimento in
matematica degli studenti
(PISA)
Formazione degli
insegnanti
Nuova didattica in classe da parte degli insegnanti
Miglior atteggiamento e rendimento degli
studenti in matematica
Problema risolvibile con nuove modalità
di insegnamento centrate
sull’applicazione delle nozioni a casi
concreti
La logica dell’esperimento: in cosa consisteVogliamo vedere se una data politica è pubblica è in grado di modificare una grandezza di interesse: confrontiamo due gruppi identici, uno che ha ricevuto la politica e uno che non l’ha ricevuta.
Potenziali beneficiari
Mandati al trattamento
Gruppo di
controllo
Confrontiamo quindi sulla grandezza di
interesse i trattati e i non
trattati: la differenza è
l’effetto della politica
INTERVENTO
RANDOMIZZAZIONE
10
Il caso di PON M@t.abel+: l’interventoLa formazione è blended e strutturata in quattro fasi:1. incontri introduttivi in presenza con il tutor;2. incontri on line sulla piattaforma e scelta delle unità didattiche;3. sperimentazione in classe con assistenza on line del tutor;4. incontro finale e consegna del diario di bordo da parte degli insegnanti.
C’è una piattaforma con 28 unità didattiche rivolte alla scuola secondaria di primo grado (una sorta di “sceneggiatura” con forte enfasi sugli aspetti applicativi della matematica e materiali di supporto).
Gli insegnanti devono testare in classe 4 unità didattiche, redigendo un diario di bordo e discutendo on line della sperimentazione con il tutor e con gli altri insegnanti della stasse classe virtuale di formazione.
Il caso di PON M@t.abel+: il disegno di valutazione dell’intervento
Esposizione immediata a m@t.abel+ Esposizione dilazionata a m@t.abel+
2009/10 2009/10 1° coorte 3° media 3° media 2° coorte 2° media 2° media 3° coorte 1° media 1° media Legenda Esposto a m@t.abel+ Non esposto a m@t.abel+
Randomizzazione delle scuole iscritte con dilazione del trattamento per il gruppo di
controllo.
Potenziali beneficiari
RANDOMIZZAZIONE
Y: abilità in matematica degli studenti(test modello SNV).
12
6th grade 7th grade 8th grade
Variable Coef s.e Coef s.e Coef s.e
Treatment -0.49 7.78 -3.47 -6.21 1.18 7.35PUGLIA_Ba -0.19 12.51 -6.21 -10.72 18.13 16.57PUGLIA_Br -19.56 13.54 -10.72 -22.11 13.16 15.71PUGLIA_Fg -1.92 12.34 -22.11 11.86 -14.68 11.47PUGLIA_Le -12.21 14.84 11.86 -28.69 -17.91 11.68PUGLIA_Ta -13.67 10.69 -28.69 * -15.07 37.28 29.11CALABRIA_Cs -39.22 ** 17.27 -15.07 -12.64 -4.29 17.51CALABRIA_Cz 59.88 36.85 -12.64 -7.48 15.44 29.33CALABRIA_Rc 35.88 27.74 -7.48 -26.99 -36.28 ** 17.15SICILIA_Ct -31.17 ** 12.79 -26.99 * 29.11 -29.81 ** 14.91SICILIA_Me -32.87 ** 14.70 29.11 ** -30.88 -22.69 14.30SICILIA_Pa -42.00 *** 12.48 -30.88 ** -6.83 -26.33 ** 12.26SICILIA_Sr -26.48 25.33 -6.83 2.34 -69.82 *** 16.84CAMPANIA_Ce -23.33 17.71 2.34 21.25 3.04 16.06CAMPANIA_Sa -30.39 ** 15.12 21.25 0.52 -23.19 * 13.44city location -14.50 16.25 0.52 2.32 -40.58 *** 11.18peer participation at school level -2.82 1.73 2.32 29.82 3.36 ** 1.61female 4.23 9.37 29.82 54.04 26.48 17.22male 19.10 ** 9.29 54.04 ** -12.08 40.85 ** 17.28father holds at least high-school degree 24.08 *** 7.36 3.97 12.22 5.54 6.95father's education lower than high-school 11.36 * 6.70 -12.08 * 3.97 -0.69 6.81mother is a housewife -6.12 9.92 12.22 20.47 -9.79 13.72mother is not a housewife 0.46 9.88 20.47 35.46 -0.56 13.82average grade in math at first term 43.24 *** 1.66 35.46 *** 222.87 23.37 *** 1.60average grade in math at first term n.a. 280.42 *** 16.20 222.87 *** 232.84 126.00 *** 17.45constant 185.04 *** 19.78 232.84 *** 0.00 356.15 *** 27.67
Effetto medio sulle conoscenze matematiche – ciascun livello
13
Differenze tra atteggiamenti e approccio didattico degli insegnanti (gruppo trattato e gruppo di
controllo)
fully compliantpartially
compliantcontrol
Teacher practice
I make students do exercise in groups in every lesson (%)
27.6 19.6 15.5 12,08 *** 4.1
(4,53) (4,00)I always correct homework on students' exercise book (%)
91.4 93.0 86.3 5.1 * (a) 6.6 **
(3,50) (3,10)
I exchange views with my collegues at least once a week on how to explain math contents
64.4 54.2 47.2 17.2 *** 7.0 * (a)
(5.45) (5.20)
How often do you use materials or didactics units produced by yourself or together with your collegues? (scale 1-10)
5.4 5.3 5.1 0,3 0,24
(0,25) (0,27)
Teacher beliefs on students
The study of math requires to learn several formulas and rules by heart
3.9 3.9 4.3 -0,37 * (a) -0,39 *
(0,25) (0,22)
Several students find abstract reasoning difficult6.6 6.5 7.0 -0,44 ** -0,56 ***
(0,20) (0,18)
means differences means fully com - C
(s.e.)
differences means partially com - C
(s.e.)
Note: (a) the null hypothesis is difference in means negative; in all other cases the null hypothesis is difference is equal to zero. The
symbols ***, **, * indicate that differences in means are statistically significant at the 1, 5, and 10 percent level.
14
• I risultati preliminari suggeriscono che, nell’anno in cui la formazione viene seguita, il programma M@t.abel non sortisce effetti statisticamente significativi.
Si tratta di un risultato coerente con la letteratura in quanto un cambiamento dell’approccio didattico del docente richiede tempo;Per questo, al fine di testare effetti di medio periodo, il progetto ha durata triennale.
• Vi sono alcune differenze nell’approccio didattico degli insegnanti e queste differenze potrebbero condurre a differenze negli apprendimenti negli anni successivi.
Risposte preliminari…
15
• Qual’è l’effetto di M@t.abel sull’attitudine degli studenti verso la matematica?
• C’è un problema di self-selection nelle scuole che non hanno collaborato del tutto alla raccolta dati?
• Se così fosse, gli effetti di M@t.abel sono stati diluiti e quindi potrebbe essere utile modificare l’intevento per migliorare la partecipazione di coloro che si iscriveranno in futuro?
• Chi dovrebbero essere i beneficiari dell’intervento?
Visto che l’età è un fattore rilevante per la partecipazione, il fatto che il programma si rivolga a docenti di ruolo – quindi di norma più anziani – potrebbe essere messo in discussione. Allo stesso modo, se l’uso del computer è abbastanza collegato all’età, potrebbe esser utile assicurarsi che i partecipanti abbiano sufficienti conoscenze informatiche prima di iscriverli a questi programmi.
…e nuove domande da esplorare…
• Valutazione PQM
• Valutazione effetto fondi PON
Soluzioni non sperimentali
17
Proposta valutativa: Per tutte le classi (PQM e non) di tutte le scuole esiste una misura d’ingresso (Test SNV 2009-10)
In ogni scuola identificherà come classi di controllo le classi che hanno il profilo più simile alle classi PQM in termini di:•Tempo medio delle lezioni;•Regolarità;•Livello medio degli apprendimenti degli studenti come rilevato dal SNV 2009-10;•Livello medio di status socioculturale familiare (SCS) degli studenti per classe;•Sesso (% femmine);•Origine (% nati in Italia).
Ognuna delle classi individuate sosterrà la prova INVALSI PQM 2010-11… oggi!
Disegno di valutazione PQMLa policy: Formazione disciplinare in matematica e promozione dell’utilizzo di
informazioni standardizzate a fini diagnostici.
Con i necessari caveat, il confronto del livello medio dei risultati degli studenti delle classi PQM rispetto ai risultati degli studenti delle classi di controllo potrà fornire una prima approssimazione relativamente all’effetto del progetto PQM
18
Quasi esperimenti:Stime locali
Disegni di valutazione per la stima dell’effetto dei fondi PON - 1
Scuole simili (per contesto e tipo di
popolazione studentesca)
Fondi PON
NO Fondi PON
19
Disegni di valutazione per la stima dell’effetto dei fondi PON - 2
Trend 2003-2009 Matematica - ItaliaRisultati in crescita nelle regioni PON
Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09
20
Disegni di valutazione per la stima dell’effetto dei fondi PON - 2
Analisi secondarie con metodologie di matching•Quante delle scuole del campione PISA fruiscono di fondi strutturali?•Coeteris paribus, ci sono differenze tra scuole PISA PON e NON PON?•Come si comportano a 2 anni di distanza in base a prove SNV – II SSSG a.s. 2010-11?
Fonte: INVALSI (2009), Rapporto Nazionale Pisa 2009 - http://www.invalsi.it/invalsi/ri/pisa2009.php?page=pisa2009_it_09
21
GRAZIE
Recommended