Indagine TIMSS 2007 Trends in International Mathematics and Science Study di Anna Maria Caputo

1

Indagine TIMSS 2007

Trends in International Mathematics and Science Study

di

Anna Maria Caputo

2

IEAInternational Association for the Evaluation of

Educational Achievement

• associazione internazionale indipendente di centri di ricerca (circa 62 paesi);

• fondata nel 1958 da un gruppo di studiosi (Bloom, Thorndike, Husén, ecc…);

• associazione legale nel 1966 (T. Husén) alla quale partecipavano 15 paesi;

• con lo scopo di condurre ricerche comparative internazionali nel campo della valutazione.

3

Ricerche IEA

• The Six-subject Study (1970-1971);• Written composition (1983-1984);• Comprensione della lettura: Reading Literacy

(1985), PIRLS (2001, 2006);• Educazione Civica (1999, 2009);• Information Technology: Comped (1989,

1992), SITES (1999-2009);• Matematica e Scienze.

4

Indagini IEA Matematica e Scienzepassato...

• prima indagine sulla Matematica (FIMS) nel 1964 (12 paesi);

• prima indagine sulle Scienze (FISS) nel 1973-’74 (19 paesi);• seconda indagine sulla Matematica (SIMS) nel 1980-’82 (20

paesi);• seconda indagine sulle Scienze (SISS) nel 1983-’84 (26 paesi);• terza indagine sulla Matematica e le Scienze (TIMSS) nel

1994-’95 (45 paesi);• TIMSS-Repeat nel 1998-’99 (38 paesi (26 paesi al TIMSS));• TIMSS 2003 nel 2002-2003 (49 paesi complessivamente).

5

presente e futuro...

• TIMSS 2007 (elaborazione ed analisi dei dati nazionali) & TIMSS Advanced 2008 (elaborazione ed analisi dati internazionale);

• TIMSS 2011 (revisione framework, costruzione strumenti);

• ciclo quadriennale di indagini: 1995, 1999, 2003, 2007, 2011, 2014, …;

• livelli scolastici indagati...

6

TIMSS

Anno Anno di scolarità per il trend 1995 4 8 Ultimo anno

1999 8 2003 4 8 2007 4 8 Ultimo anno

(2008)

2011 4 8 PIRLS …

7

TIMSS 1995 - Obiettivi ambiziosi

• definizione di un curricolo ‘virtuale internazionale’;• analisi curricolare ambiziosa;• prove di matematica e di scienze a largo raggio che

comprendevano anche prove in laboratorio;• questionari per studenti, insegnanti e dirigenti

scolastici (1500 domande);• studio dei casi (video) in Giappone, Stati Uniti,

Svizzera.

8

TIMSS 1999 (TIMSS-R)

• prima indagine di trend della IEA;• scopo più mirato:

– enfasi sulle misure di trend;– soltanto l’ottavo anno di scolarità (8/8, 4/8);– definizione di indicatori rilevanti per la politica

scolastica;• finanziata dal governo USA e dalla World Bank.

9

TIMSS 2003 – Indagine di trend

• popolazioni indagate: due (quarto ed ottavo anno di scolarità);

• ridefinizione framework matematica e scienze per entrambe le dimensioni (domini dei contenuti e domini cognitivi);

• misure di trend per tutte le variabili (apprendimento, contesto);

• definizione di benchmark teorici anche per le prossime indagini: avanzato (625), alto (550), intermedio (475), basso;

• finanziata dalla World Bank per i paesi del terzo mondo.

10

TIMSS 2007

• misurare l’andamento dell’apprendimento in matematica e scienze di due popolazioni:– gli studenti frequentanti il 4° anno di scuola (il

maggiore numero di studenti di 9 anni);– gli studenti frequentanti l’8° anno di scuola (il

maggiore numero di studenti di 13 anni);

• studiare gli indicatori al passare del tempo

• monitorare i curricoli dei paesi partecipanti.

11

Ciclo Indagine IEA

• domande;

• quadro di riferimento concettuale;

• piano di campionamento e campionamento;

• raccolta dati;

• elaborazioni ed analisi;

• conclusioni.

12

Domande guida

• Che cosa gli studenti dovrebbero apprendere?• Chi fornisce istruzione?• Come è organizzata l’istruzione?• Dove ha luogo l’istruzione?• Quando ha luogo l’istruzione?• Che cosa hanno appreso gli studenti?• Cambiamenti fra il 1994-’95, 1998-’99, 2002-’03 e

2006-’09.

13

Scopo del TIMSS

• comparare i sistemi educativi dei paesi partecipanti in termini di…– curricoli,– insegnamento (contenuti, pratiche didattiche, ecc.),– apprendimento (contenuti ed abilità);

• che cosa gli studenti apprendono e il contesto dove avviene.

14

TIMSS 2007

• esaminare e valutare le differenze nel rendimento scolastico in Matematica e Scienze (comparazioni orizzontali, verticali e longitudinali) ;

• popolazione: scuola primaria (IV), scuola secondaria di I grado (III);

• raccolta dati nell’a.s. 2006-’07 (maggio);• prova sul campo nell’a.s. 2005-’06 (aprile).

16

Definizione popolazione 1 italiana TIMSS 2007

• Tutti gli studenti che frequentano la classe IV della scuola primaria, la quale ha la maggiore presenza di studenti di 9 anni a maggio (popolazione: 555.976 studenti, nessuna esclusione).

17

Definizione popolazione 2 italiana TIMSS 2007

• Tutti gli studenti che frequentano la classe III della scuola secondaria di I grado, la quale ha la maggiore presenza di studenti di 13 anni a maggio (popolazione: 602.185, nessuna esclusione).

18

Organizzazione TIMSS 2007

• coordinamento internazionale (International Study Center) al Boston College (staff di circa 20 persone con due direttori);

• coordinamento nazionale affidato al centro nazionale (per l’Italia INValSI con uno staff di 4 persone con il NRC);

• commissioni .

19

Relazione fra gli strumenti TIMSS 2007 e la mappa concettuale

Questionari alivello di Sistema Questionario

Scuola QuestionarioStudente

Contesto sociale generale ed

educativo

Contesto locale,di territorio e

di scuolaBackground personale

Curricoloproposto

Curricoloattuato

Curricoloraggiunto

1. Analisi curricolare2. Questionari esperti3. Rassegna item

1. Questionario insegnanti

1. Fascicoli test

20

Mappe concettuali del curricolo

• 2 mappe: una per la matematica e una per le scienze;

• definite attraverso 2 dimensioni:– dimensione dei contenuti specifici per disciplina

(domini di contenuti) e per livello indagato;

– dimensione cognitiva, ovvero prestazioni attese descritto in termini di tipi di prestazioni o comportamenti che ci si potrebbero aspettare dagli studenti a scuola (domini cognitivi).

21

Matematica – Domini dei contenuti4° anno di scolarità

• Numero (numeri naturali, frazioni e decimali, espressioni numeriche, sequenze e relazioni);

• Figure geometriche e misure (rette ed angoli, figure piane e solidi, posizione (sistemi non formali di coordinate) e movimento (assi di simmetria, riflessione e rotazione));

• Visualizzazione dati (lettura ed interpretazione, organizzazione e rappresentazione).

22

Matematica – Domini dei contenuti8° anno di scolarità

• Numero (numeri naturali, frazioni e decimali, interi, rapporto, proporzione, percentuale);

• Algebra (sequenze, espressioni algebriche, equazioni/formule e funzioni);

• Geometria (figure geometriche, misure geometriche, posizioni (piano cartesiano) e movimento (simmetria, traslazione, riflessione e rotazione));

• Dati e probabilità (organizzazione e rappresentazione dei dati, interpretazione dei dati, probabilità (incertezza)).

23

Matematica – Domini cognitivi

• conoscenza (ricordare, riconoscere, eseguire calcoli, recuperare, misurare, classificare/ordinare);

• applicazione (scegliere, rappresentare, modellizzare, implementare, risolvere problemi di routine);

• ragionamento (analizzare, generalizzare, sintetizzare/integrare, giustificare, risolvere problemi non di routine).

24

Scienze – Domini dei contenuti4° anno di scolarità

• Scienze della vita (caratteristiche e processi degli esseri viventi; cicli di vita, riproduzione ed ereditarietà; interazioni con l’ambiente; ecosistemi; salute dell’uomo);

• Scienze fisiche (classificazione e proprietà della materia; fonti di energia, calore e temperatura; luce e suono; elettricità e magnetismo; forze e moto);

• Scienze della Terra (struttura, caratteristiche fisiche e risorse della Terra; processi, cicli e storia della Terra; la Terra nel sistema solare).

25

Scienze – Domini dei contenuti8° anno di scolarità

• Biologia (caratteristiche, classificazione e processi degli organismi; cellule e loro funzioni; cicli di vita, riproduzione ed ereditarietà; diversità, adattamento e selezione naturale; ecosistemi; salute dell’uomo);

• Chimica (classificazione e composizione della materia; trasformazione chimica);

• Fisica (stati fisici e trasformazione della materia; trasformazioni di energia, calore e temperatura; luce; suono; elettricità e magnetismo; forze e moto);

• Scienze della Terra (struttura e caratteristiche fisiche della Terra; processi, cicli e storia della Terra; risorse della Terra, uso e conservazione; la Terra nel sistema solare e nell’Universo).

26

Scienze – Domini cognitivi

• conoscenza (ricordare/riconoscere, definire, descrivere, illustrare con esempi, uso di strumenti e procedure);

• applicazione (confrontare/contrapporre/classificare, utilizzare modelli, mettere in relazione, interpretare informazioni, trovare soluzioni, spiegare);

• ragionamento (analizzare/risolvere problemi, integrare/ sintetizzare, ipotizzare/prevedere, progettare/ pianificare, trarre conclusioni, generalizzare, valutare, giustificare).

Indagine scientifica (aspetti: formulare domande e ipotesi, progettare indagini, rappresentare dati, analizzare e interpretare dati; trarre conclusioni e svolgere spiegazioni).

27

Strumenti per misurare l’apprendimento (1)

• 14 fascicoli di prove ’07 + 4 fascicoli per trend ’06, ma ogni studente completa un solo fascicolo;

• ogni fascicolo suddiviso in due parti; • stesso tempo di risposta per ogni fascicolo:

– per la IV primaria, 72 minuti (36+36+intervallo),

– per la III media, 90 minuti (45+45+intervallo);

• item suddivisi in 28 blocchi (14 di matematica e 14 di scienze);

28

Strumenti per misurare l’apprendimento (2)

• in ogni blocco item per 22,5 minuti di valutazione per la III media e 18 minuti di valutazione per la IV primaria;

• 4 blocchi per fascicolo (2 blocchi di matematica e 2 di scienze);

• nei fascicoli dispari i quesiti di matematica precedono quelli di scienze, viceversa nei fascicoli pari;

• 2 blocchi per fascicolo contengono item dei precedenti TIMSS (non resi pubblici) per consentire le misure di trend mentre 2 blocchi per fascicolo contengono nuovi item di rimpiazzo;

29

Strumenti per misurare l’apprendimento (3)

• I blocchi sono combinati in modo che gli studenti rispondono a sufficienti item per ottenere misure affidabili di trend in ambedue le discipline;

• in III media permesso l’uso della calcolatrice tascabile;

• ogni fascicolo contiene item: a scelta multipla e a risposta aperta circa nella stessa proporzione;

• i fascicoli presentano le stesse difficoltà;

• i fascicoli contengono sia item di matematica che di scienze;

30

Strumenti per misurare l’apprendimento (4)

• ogni fascicolo è composto da:– da item “sicuri” delle precedenti indagini TIMSS;

– da item nuovi e innovativi di problem solving;

– da item di rimpiazzo (equivalenti) degli item delle precedenti indagini resi pubblici;

• gli item di problem solving prevedono l’uso di materiale di tipo manipolativo (carte con i numeri, righello, carte con figurine geometriche, ecc.)

31

Strumenti per misurare l’apprendimento (5)

• i fascicoli per la IV primaria contengono complessivamente 353 item:– 179 item di matematica e 174 di scienze;– riuniti in 28 gruppi diversi;

• I fascicoli per la III media contengono complessivamente 429 item:– 215 item di matematica e 214 di scienze;– riuniti in 28 gruppi diversi.

32

Questionari di contesto (1)

• intendono raccogliere informazioni nei vari sistemi scolastici:– sulle modalità di organizzazione dell’insegnamento

di matematica e scienze;– sulle relazioni possibili fra intervento della scuola e

prestazione degli studenti.

33

Questionari di contesto (2)

• Questionario Scuola (rivolto al Dirigente scolastico) fornisce informazioni sul personale, sulle risorse, sugli studenti e sui loro comportamenti, sulle attività didattiche e sul clima nella scuola.

34

Questionari di contesto (3)

• Questionario Insegnante– per la scuola primaria rivolto all’insegnante di matematica e

di scienze;– per la scuola media rivolto agli insegnanti di Scienze

matematiche, chimiche, fisiche e naturali

fornisce informazioni sulla formazione (scolastica e professionale), sui metodi di insegnamento e sull’atteggiamento verso l’insegnamento della matematica e delle scienze.

35

Questionari di contesto (4)• Questionario Studente fornisce variabili di sfondo

rispetto alle quali analizzare la misura dell’apprendimento (punteggio);

• è suddiviso in sezioni riguardanti il background dello studente (età, sesso, livello culturale e socioeconomico della famiglia, storia scolastica, ecc.), opinioni ed atteggiamenti riguardo alla matematica e alle scienze;

• esamina in particolare i fattori di successo, la percezione dell’importanza del successo, l’influenza dei compagni di classe e degli insegnanti.

36

37

Matematica 4° grado- distribuzione livelli italiani apprendimento per area geografica

• cinque livelli: nord ovest (508 (4,4)); nord est (525 (5,9)); centro (507 (6,3)); sud (508 (8,6)); sud e isole (483 (8,9))

• livello medio migliori: 659 (10,5);• livello medio peggiori: 362 (6,4) (tra Colombia e Algeria);• livello massimo nel sud (792 (20,2)) seguito dal nord est (759

(18,2));• differenza migliori - peggiori minore (303 (21,3)) nel sud e

isole;• tre livelli medi: nord est; no, centro e sud; sud ed isole;• unico curricolo dal 1985 rivisto nel 2002 (Indicazioni

nazionali) (nuova revisione settembre 2007)

38

39

Matematica 8° grado- distribuzione livelli italiani apprendimento per area geografica

• cinque livelli: nord ovest (491 (5,2)); nord est (506 (7,5)); centro (489 (3,2)); sud (468 (6,9)); sud e isole (446 (8,4));

• livello medio migliori: 651 (5,0);• livello medio peggiori: 357 (6,0) (fra Kuwait e Botswana);• livello massimo nel nord ovest (734 (6,5)) seguito dal nord est

(625 (5,1));• differenza migliori - peggiori minore (299 (7,8)) nel sud e isole;• quattro livelli medi variabili;

• unico curricolo dal 1979 rivisto nel 2002 (Indicazioni nazionali) (nuova revisione settembre 2007).

40

41

Scienze 4° grado- distribuzione livelli italiani apprendimento per area geografica

• cinque livelli: nord ovest (541 (4,9)); nord est (556 (5,4)); centro (536 (5,8)); sud (532 (8,8)); sud e isole (507 (8,7))

• livello medio migliori: 662 (9,5);• livello medio peggiori: 444 (7,0) (tra Ucraina e Iran);• livello massimo nel centro (776 (22,8)) seguito dal sud (773

(19,4));• differenza migliori - peggiori minore (222 (23,5)) nel sud;• tre livelli medi: nord est; no, centro e sud; sud ed isole;

• unico curricolo dal 1985 rivisto nel 2002 (Indicazioni nazionali) (nuova revisione settembre 2007)

42

43

Scienze 8° grado- distribuzione livelli italiani apprendimento per area geografica

• cinque livelli: nord ovest (509 (4,5)); nord est (527 (7,1)); centro (506 (3,7)); sud (477 (6,1)); sud e isole (462 (8,0));

• livello medio migliori: 658 (5,4);• livello medio peggiori: 356 (6,3) (Botswana);• livello massimo nel nord est (746 (6,8)) seguito dal sud (726

(5,5));• differenza migliori - peggiori minore (290 (7,9)) nel sud e isole;• quattro livelli medi variabili;

• unico curricolo dal 1979 rivisto nel 2002 (Indicazioni nazionali) (nuova revisione settembre 2007).

44

45

46

47

48

49

50

51

52

53