Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
1
Interpretazione e utilizzo dei dati di valutazione della didattica
Leonardo Grilli
Email: [email protected]: www.ds.unifi.it/grilli
Dipartimento di Statistica “G. Parenti” di Firenze
Corso della Scuola della SISMetodi statistici per la valutazione e il monitoraggio
della formazione universitariaFirenze, 10-14 ottobre 2005
L. Grilli – Scuola SIS 2005 2
SOMMARIO
PARTE I: IntroduzionePARTE II: Il questionarioPARTE III: Sintesi dei giudiziPARTE IV: Comparazioni
L. Grilli – Scuola SIS 2005 3
PARTE I:
Introduzione
L. Grilli – Scuola SIS 2005 4
FINALITA’ DELLA VALUTAZIONE
Individuazione dei fattori che facilitano o ostacolano l’apprendimento con riferimento
sia all’attività didattica in senso strettoche alle condizioni logistiche in cui si
realizza
L. Grilli – Scuola SIS 2005 5
FINALITA’ DELLA VALUTAZIONE
Attivazione di interventi specifici a livello di singolo insegnamento, corso di studi ecc. per migliorare le modalità didattiche e logisticheAttivazione di politiche di incentivazionea livello di facoltà o ateneo per il miglioramento della qualità della didattica
L. Grilli – Scuola SIS 2005 6
LIVELLI DI ANALISI
Insegnamento Corso di LaureaFacoltàAteneo
Ogni livello di analisi costituisce anche un livello decisionale
2
L. Grilli – Scuola SIS 2005 7
UTILIZZO DEI RISULTATIsingolo insegnamento ⇒ revisione del programma e del materiale didattico, coordinamento con altri insegnamentiCorso di Laurea ⇒ organizzazione della didatticaAteneo, Facoltà ⇒ pianificazione dell’offerta formativa, infrastrutture, incentivazione
L. Grilli – Scuola SIS 2005 8
TIPO DI VALUTAZIONE
Valutazione assoluta della singola unità (insegnamento, CdL, …)
Valutazione comparativa:Con la stessa unità in periodi passati
Con un’altra unità o insieme di unità nello stesso periodo
L. Grilli – Scuola SIS 2005 9
TIPO DI RILEVAZIONE
Con questionario cartaceoper ogni singolo insegnamento (tipicamente in classe durante l’ora di lezione)in parallelo: valutazione contemporanea di tutti gli insegnamenti del semestre
Con questionario elettronicoe-mailweb
L. Grilli – Scuola SIS 2005 10
PARTECIPAZIONE ALL’INDAGINELa valutazione della didattica fa riferimento ai soli studenti “frequentanti”
Problema 1: in base a quali criteri uno studente viene definito “frequentante”?Problema 2: tipicamente non tutti gli studenti frequentanti compilano il questionario
• in modo intenzionale• in modo non intenzionale (ad es. perché assenti il giorno
della rilevazione)Se un dato insegnamento fa registrare una bassa partecipazione la sua valutazione è poco attendibile: pertanto occorre stimare il tasso di partecipazione
L. Grilli – Scuola SIS 2005 11
PARTECIPAZIONE ALL’INDAGINEPer stimare il tasso di risposta per singolo insegnamento si può usare il seguente metodo (adottato dall’Università di Firenze):
num. questionari raccolti stima num. frequentanti
tasso risp. =
media troncata delle stime effettuate dagli studenti
Il tasso di risposta può essere calcolato anche a livello di Corso di Laurea, ma comunque non fornisce indicazioni sul tasso di copertura (insegnamenti monitorati/attivati)
L. Grilli – Scuola SIS 2005 12
QUALITÀ DEI DATIValori mancanti
Caratteristiche dello studente
Caratteristiche dell’insegnamento
Nei quesiti di valutazione
Valori anomali
Codici errati
Risposte “strane” o “a caso”
3
L. Grilli – Scuola SIS 2005 13
NATURA DELLE VARIABILI
I quesiti proposti nel modello di rilevazione prevedono solitamente risposte su scala ordinale a 3, 4, 5,…, modalità
I valori numerici eventualmente associati ad ogni modalità di risposta indicano l’ordine tra le modalità stesse, ma le distanze assolute tra le modalità sono incognite
L. Grilli – Scuola SIS 2005 14
INDICATORILivello di aggregazione
singolo insegnamento se ha almeno k questionari validi (l’Università di Firenze ha fissato k=6)
corso di laurea, facoltà, ateneoNumero di quesiti
Semplici (un quesito alla volta)Multidimensionali (più quesiti congiuntamente)
UtilizzoSingolo insegnamento, corso di laurea, ecc.Comparativi
L. Grilli – Scuola SIS 2005 15
PARTE II:
Il questionario
L. Grilli – Scuola SIS 2005 16
QUESTIONARIO
RDR 01/00 (B. Chiandotto, M. Gola) Questionario di base da utilizzare per l'attuazione di un programma per la valutazione della didattica da parte degli studentiDOC 09/02 Proposta di un insieme minimo di domande per la valutazione della didattica da parte degli studenti frequentanti
Indicazioni del
Il questionario adottato dall’Università di Firenze contiene alcune integrazioni (in particolare, include 5 quesiti “personalizzabili” dalle facoltà)
L. Grilli – Scuola SIS 2005 17
QUESTIONARIO
Il questionario di valutazione della didattica di solito è composto da (al più) 5 parti:
Informazioni sull’insegnamentoInformazioni sullo studenteQuesiti di valutazione degli aspetti del corso (su scala ordinale)Suggerimenti in forma chiusa (sì/no)Suggerimenti in forma aperta
L. Grilli – Scuola SIS 2005 18
QUESTIONARIO: informazioni sull’insegnamento e sullo studente
4
QU
ESTI
ON
ARIO
: i 2
3 qu
esiti
L. Grilli – Scuola SIS 2005 20
QUESTIONARIO: i suggerimenti
L. Grilli – Scuola SIS 2005 21
PARTE III:
Sintesi delle valutazioni
L. Grilli – Scuola SIS 2005 22
DUE APPROCCII quesiti di valutazione sono su scala ordinale. Per la sintesi si possono seguire due approcci:
Trattare le risposte come variabili ordinali, adottando misure di sintesi consone (es. mediana)Cambiare la scala da ordinale a quantitativa, trattando le risposte come variabili quantitative (ciò consente, ad es., di calcolare la media aritmetica)
L. Grilli – Scuola SIS 2005 23
INDICI DI LOCAZIONE PER VARIABILI ORDINALI
MedianaIndice di valutazione positiva (IVP)
Distribuzione quesito Q per il corso A
0.00
10.00
20.00
30.00
40.00
50.00
0.0020.0040.0060.0080.00100.00120.00
frequenza 10.00 30.00 40.000 20.00
cumulata 10.00 40.00 80.00 100.00
No no/sì sì/no Sì
Mediana=sì/no IVP=60%
IVP= % di studenti che danno un giudizio positivo al quesito considerato
L. Grilli – Scuola SIS 2005 24
Per un singolo insegnamento (corso di laurea, ecc.)
Indici di eterogeneitàIndici di dispersioneQuantili della distribuzione
INDICI DI VARIABILITA’ PER VARIABILI ORDINALI
5
L. Grilli – Scuola SIS 2005 25
CAMBIAMENTO DI SCALATrasformazione ordinale ⇒ quantitativaPRO
calcolare indici più “informativi”applicare metodi statistici di uso comunefacilitare la lettura da parte del pubblico
CONTROLa scala quantitativa è più informativa di quella ordinale -> il passaggio richiede la formulazione di ipotesi non verificabili
L. Grilli – Scuola SIS 2005 26
CAMBIAMENTO DI SCALA
Metodi di trasformazione da variabile ordinale a quantitativa:Metodi di scoring (Fielding 1999)Attribuzione di punteggi (Chiandotto e Gola, 1999)
L. Grilli – Scuola SIS 2005 27
PUNTEGGIOgni risposta viene convertita in un punteggio: es. il sistema di punteggi proposto da Chiandotto e Gola e adottato dall’Università di Firenze prevede
risposta 1 (decisamente no) → punti 2risposta 2 (più no che sì) → punti 5risposta 3 (più sì che no) → punti 7risposta 4 (decisamente sì) → punti 10
Indicatore di sintesi: media aritmetica
L. Grilli – Scuola SIS 2005 28
PUNTEGGIL’attribuzione dei punteggi 2 ,5, 7, 10 è ovviamente opinabile, ma le analisi di sensitività mostrano che con altri punteggi le informazioni che si traggono dalle valutazioni sono sostanzialmente identiche
La media aritmetica è compresa fra 2 e 10
Quando le risposte degli studenti si distribuiscono in ugual misura fra le quattro modalità la media aritmetica assume il valore 6, che pertanto non può essere considerato come un valore di piena sufficienza. La sufficienza può essere ragionevolmente collocata sul valore 7
L. Grilli – Scuola SIS 2005 29
MEDIA VS. MEDIANA e IVPLa MEDIA sulla variabile trasformata con i punteggi è più informativa dei corrispondenti indici sulla variabile originale
0
20
40
60
80
100
frequenza 0.00 45.00 25.00 30.00
No no/sì sì/no Sì0
20
40
60
80
100
frequenza 20.00 25.00 55.00 0.00
No no/sì sì/no Sì
Mediana=“sì/no” IVP=55%
Media=7
Mediana=“sì/no” IVP=55%
Media=5.5L. Grilli – Scuola SIS 2005 30
PARTE IV:
Comparazioni
6
L. Grilli – Scuola SIS 2005 31
COMPARAZIONI
Una volta deciso l’approccio per la sintesi delle risposte si deve scegliere una strategia per le comparazioniI metodi grafici sono essenziali perché facilitano la comunicazione dei risultatiA fini della valutazione è essenziale fare confronti equi (a parità di condizioni)
L. Grilli – Scuola SIS 2005 32
COMPARAZIONIAmbito della valutazione comparativa Elemento da
valutare Area disciplinare
Corso di studi
Facoltà Ateneo Nazionale
Insegnamento si si si si si Area disciplinare si si si si Corso di studi si si si Facoltà si si Ateneo si
La comparazione dipende anche dai destinatari delle informazioni (titolare insegnamento, Preside di Facoltà, Presidente del corso di laurea, …, nucleo di valutazione locale o nazionale) e dai loro compiti ‘operativi’.
L. Grilli – Scuola SIS 2005 33
GRAFICI DI COMPARAZIONESi possono tracciare profili per confronti:
Nel tempo: stesso insegnamento (CdL, ecc.) uno/due anni primaNello “spazio”: per un dato a.a.
insegnamenti dello stesso corso di laurea;corsi di laurea stessa facoltà ecc.;per sotto-gruppi: p.e tutti i corsi di una certa area disciplinare.
Attenzione a non sovrapporre troppi profili, altrimenti il grafico diviene illeggibile!
L. Grilli – Scuola SIS 2005 34
GRAFICO IVP-IVP
0102030405060708090
100
1 8 10 12 14 16 23 25
InsegnamentoCorso Laurea
quesito
IVP
Nota: per facilitare la lettura dei profili è usuale unire i punti sebbene l’ordinamento dei quesiti sia arbitrario
L. Grilli – Scuola SIS 2005 35
4
6
8
10
1 8 10 12 14 16 23 25
InsegnamentoCorso Laurea
quesito
didattica StudenteAspettiformali
GRAFICO MEDIE-MEDIE
media
L. Grilli – Scuola SIS 2005 36
COMPARAZIONI CON QUANTILILa media dell’insegnamento in esame può essere comparata non solo con la MEDIA dell’insieme di riferimento (CdL, Facoltà, ecc.), ma anche con alcuni quantili, come il MINIMO, il TERZO QUARTILE, ecc.Ingegneria primo anno, II semestre a.a. 1999/00
Lower UpperVariable Mean Quartile Quartile Minimum Maximum------------------------------------------------------------q12 8.03 7.33 8.81 5.17 10.00q13 6.81 5.66 7.54 4.89 10.00q14 6.54 5.03 8.11 3.20 10.00q15 6.14 5.13 6.90 3.00 10.00q16 7.26 6.28 7.99 5.00 10.00q17 7.77 7.11 8.37 5.27 10.00
Esempio Q14= chiarezza docente
7
L. Grilli – Scuola SIS 2005 37
Soglia di“eccellenza”
Soglia diattenzione
facoltà
Q3
Q1
p95
p5
COMPARAZIONI CON QUANTILI
L. Grilli – Scuola SIS 2005 38
INDICATORI GREZZI: PROBLEMII giudizi formulati sono influenzati non solo dalla “qualità” dell’aspetto del corso che si sta valutando, ma anche da altri fattori, non direttamente sotto il controllo del docente, del Presidente del corso di laurea, del Preside ecc.:
Caratteristiche degli studentiCaratteristiche dell’insegnamento
Problemi particolarmente rilevanti se gli indicatori sonofinalizzati alla costruzione di graduatorie!
L. Grilli – Scuola SIS 2005 39
CARATTERISTICHE DEGLI STUDENTICaratteristiche individuali, osservabili e non, degli studenti:
Scuola di provenienza;Anno di corso;Preparazione di base;Interesse per la disciplina;Motivazioni allo studio ecc…
Auto-selezione degli studenti per corso di laurea e, per gli insegnamenti non obbligatori, anche relativamente agli insegnamenti
L. Grilli – Scuola SIS 2005 40
L’insegnamento B è migliore?
0
5
10
15
20
25
30
35
3 4 5 6 7 8 9 10
mediaSembra di sì, ma la differenza potrebbe essere dovuta (in tutto o in parte) al tipo di studenti che frequentano il corso…
Insegnamento BInsegnamento A
L. Grilli – Scuola SIS 2005 41
L’insegnamento B è migliore?
tipo stud. MEDIA STD A Ba 7.0 1.0 0.10 0.40b 4.3 0.7 0.30 0.10c 8.0 0.5 0.10 0.35d 6.0 0.8 0.50 0.15
1 1media 5.79 6.93
Giudizi stud. Composizione
La tabella presenta un esempio in cui i due insegnamenti A e B hanno la stessa ‘qualità’ e la differenza è interamente dovuta alla diversa composizione del corpo studentesco (assumendo 4 tipologie di studente)
L. Grilli – Scuola SIS 2005 42
CARATTERISTICHE DELL’INSEGNAMENTO
Area disciplinare (Scienze applicate, Ingegneria, matematica e discipline analoghe, Mediche infermieristiche e analoghe, Economia e discipline analoghe, Lingue e lettere)
Dimensione della classeLivello dell’insegnamento:
anno di corsoLaurea, master, dottorato
Obbligatorio vs. a libera sceltaA parità di qualità dell’insegnamento, queste caratteristiche influenzano il giudizio espresso dagli studenti
8
L. Grilli – Scuola SIS 2005 43
CONFRONTI EQUI
Due vie per effettuare confronti equi:Stratificazione: definizione di gruppi omogenei (considerando ad es. il settore disciplinare, l’anno di corso …) all’interno dei quali fare le comparazioniModelli di regressione: inclusione di covariate rappresentanti caratteristiche dell’insegnamento e/o dello studente
L. Grilli – Scuola SIS 2005 44
MODELLI DI REGRESSIONEStandard: unità elementare di analisi insegnamento (o corso di laurea, o facoltà)Multilivello: unità elementare analisi questionario, unità di secondo livello insegnamento ecc.
I modelli consentono di- fornire indicatori “netti”, cioè depurati da caratteristiche
dell’insegnamento e/o degli studenti- Individuare i fattori esplicativi della ‘qualità’ dell’insegnamento
L. Grilli – Scuola SIS 2005 45
INDICATORI NETTI: PROBLEMI
Le caratteristiche dell’insegnamento e degli studenti da inserire nel modello sono numerose e interrelate ⇒ un modello adeguato èmolto complesso e di difficile specificazione e stimaAlcune caratteristiche cruciali sono
di difficile misurazione (es. motivazione degli studenti) ⇒ distorsione da errore di misurazionenon diponibili nei dati ⇒ distorsione da omissione di fattori rilevanti
Gli indicatori netti spesso presentano una elevata variabilità campionaria, per cui molte comparazioni sono statisticamente non significative
E’ difficile ottenere indicatori netti attendibili:
Pertanto le graduatorie basate sugli indicatori netti sono in principio corrette, ma in pratica poco attendibili ⇒ gli indicatori netti dovrebbero essere usati per identificare i casi migliori e peggiori, da sottoporre successivamente ad un attento esame per l’individuazione dei motivi di eccellenza o mediocrità
L. Grilli – Scuola SIS 2005 46
MODELLI MULTILIVELLOesplicitazione dei fattori che influenzano la formulazione dei giudizi considerazione esplicita della struttura gerarchica dei datistima efficiente dei coefficienti di regressioneerrori standard delle stime misurati correttamentepossibile modellazione delle interazioni tra caratteristiche dell’insegnamento e caratteristiche degli studentiderivazione di indicatori netti aggiustati per le caratteristiche dell’insegnamento e degli studenti
L. Grilli – Scuola SIS 2005 47
MODELLI MULTILIVELLO
00 10 01T T
ij ij j j ijY uγ ε= + + + +γ x γ w
Variabili di livello 1:Caratteristiche dello studente
Variabili di livello 2:Caratteristiche dell’insegnamento
Effetto casuale sull’intercetta:
Indicatore netto
i = studente (livello 1) j = insegnamento (livello 2)
Variabile di risposta:
Valutazione dell’insegnamento espressa dallo studente
.
valutazione dell'insegnamento espressa dallo studente
valutazione media dell'insegnamento (= indicatore grezzo)ij
j
Y j i
Y j