Valutazione basata sulla teoria e valutazione di impatto

Nicoletta StameUniversità di Roma “Sapienza”

Il rapporto tra teoria e metodo in valutazione - 1

Prevalenza del metodo (anni ‘60-’80)• si presume che il programma sia razionale:

obiettivi-mezzi-risultati, che sia già di per sé “una teoria del cambiamento”

• occorre solo scoprire se il programma ha avuto successo, e per questo occorre un metodo

• il metodo sperimentale scopre se c’è stato cambiamento (ma non spiega perché)

2

Il rapporto tra teoria e metodo in valutazione - 2

Prevalenza della teoria (anni ‘90 in poi):• non sappiamo perché i programmi dovrebbero

produrre quei risultati (incertezza sui programmi)• i programmi sono attuati in modi diversi nei vari

contesti (incertezza sulla implementazione)

Aprire la scatola nera: cercare la spiegazione

3

La valutazione basata sulla teoria

La teoria è una “sequenza di ipotesi che mostrano come gli input del programma (personale, risorse, attività) si trasformano attraverso una serie di fasi intermedie nei risultati desiderati (miglioramenti per le persone, per le organizzazioni o per le comunità)” (Weiss)

4

Teoria dell’implementazione

la teoria dell’implementazione si concentra su come viene condotto il programma (secondo quanto programmato ?)

5

Teoria del programma

La teoria del programma ha a che fare con i meccanismi che intervengono tra l’erogazione del servizio previsto dal programma e il verificarsi dei risultati di interesse.

Si concentra sulla risposta dei partecipanti al servizio previsto dal programma.

Il meccanismo del cambiamento non è costituito dalle attività del programma in sé quanto dalla risposta che le attività generano

6

Quali teorie

• quelle della letteratura (meta-analisi)• quella dei documenti ufficiali del programma

(quando c’è)• quelle degli stakeholders: farsi narrare le

storie

L’esempio del programma di visite domiciliari da parte degli insegnanti

7

La teoria come guida nella definizione del disegno di valutazione

• il quadro logico: effetti diretti e indiretti, variabili intervenienti

• i passaggi vanno misurati per vedere se la teoria tiene o dove i programmi vanno fuori binario

8

la spiegazione

• poter dimostrare che un passaggio ha portato ad un altro

• verificando le teorie che si sono individuate

• escludendo le teorie rivali

9

Una variante: la valutazione realista

• Pawson e Tilley : Valutare significa capire “cosa funziona meglio dove, per chi, in quali circostanze e perché”

• La combinazione CMOcontesto + meccanismo = outcome

10

Cosa sono le teorie

• Non sono leggi sociali, ma semi-regolarità, teorie di medio raggio, che vanno continuamente testate e ridefinite (ad es. Merton e i gruppi di appartenenza)

• spiegazioni che forniscono una causalità genetica (come e perché qualcosa si trasforma in qualcos’altro, processi: ad es. empowerment, rassicurazione), e non causalità sequenziale (c’è stata causa perché dopo il l’intervento si è prodotto l’effetto).

11

Cosa sono i programmi

• sistemi sociali – Stratificazione, embeddedness– Interazione tra individuo e istituzione

• opportunità che un attore situato in un contesto può cogliere (scelta vincolata)

12

Contesto

• il complesso precedente di regole sociali, relazioni e sistemi culturali che esistono in quei luoghi o istituzioni

• come reagiscono tali regole alle nuove idee o risorse introdotte dal programma? Agevolano o fanno da ostacolo?

13

Meccanismi

• rendono conto di come i processi costituiscono il programma

• mostrano che i risultati derivano dalle scelte degli stakeholders

l’esempio della teoria dei gruppi di riferimento

14

Risultato: Il programma funziona se

Gli attori• scelgono di farli funzionare (scelta vincolata)• si trovano nelle condizioni di contesto

appropriate (condizionalità)• si trovano nel momento buono e gli interventi

non si sono ancora routinizzati (contingenza)

15

Il metodo di ricerca

• Non esiste un metodo preferito

• L’intervista realista

• La sintesi realista

16

Il rapporto tra teoria e metodo in valutazione. 3

Nuova prevalenza del metodo? Anni 2000-- la debolezza del metodo: selection bias

- La gerarchia dei metodi: gold standard:- gli esperimenti randomizzati- i quasi-esperimenti

17

La valutazione di impatto

Due definizioni di impatto:- Una definizione ampia (DAC/OECD): Effetti di lungo periodo positivi e negativi, primari e secondari, prodotti da un intervento di sviluppo, direttamente o indirettamente, intenzionalmente o meno

- Una definizione limitata (White: 3IE -International Initiative for Impact Evaluation):La differenza nell’indicatore di interesse (Y) tra la situazione con intervento (Y1) e la situazione senza intervento (Y2)

18

Due modi di concepire la politica

• Def. DAC : la politica è un insieme di azioni e un sistema di relazioni, volte ad affrontare un problema – Processo (implementazione) e risultato– Effetti attesi e inattesi

• Def. 3IE : la politica è un “trattamento”– Implementazione come “protocollo”– Effetto netto

19

Quali approcci per la valutazione di impatto? 1

Dipende da:• Le caratteristiche dei programmi:

- Semplici, complicati, complessi- Diretti, indiretti- Immediati o a lungo termine

20

Quali approcci per la valutazione di impatto? 2

Dipende da:Le domande di valutazione:• Causalità: L’intervento ha fatto la differenza?

• Spiegazione: come e perché si è prodotto quel risultato?

• Quali conseguenze ha il risultato per i diversi stakeholders?

21

Quali approcci per la valutazione di impatto? 3

Una pluralità di approcci:- Esperimenti randomizzati- Quasi-esperimenti- Valutazione basata sulla teoria- Studi di caso- Valutazione partecipata

22

Bibliografia• Campbell, D. , “Riforme come esperimenti”, in N. Stame, a cura di,

Classici della valutazione, Angeli, Milano, 2007• Pawson R. e Tilley, N., “Un’introduzione alla valutazione scientifica

realista”, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007

• Rogers, P. “Using program theories to evaluate complicated and complex aspects of intervention”, in Evaluation, vol. 14, n. 1, 2008

• Stame, N. , “What doesn’t Work? Three Failures, Many Answers”, in Evaluation, vol. 16, n. 4, 2010

• Weiss, C., “La valutazione basata sulla teoria: passato, presente e futuro”, in Classici della valutazione, a cura di N. Stame, Franco Angeli, 2007

• White , H. “A contribution to current debates in impact evaluation”, in Evaluation, vol. 16, n. 2, 2010

23