Embed Size (px)
Citation preview
1
Corso di formazione sul monitoraggio e la valutazione dei Piani di zona
avviati in Provincia di Torino
Dossier: la valutazione dei piani di zona
26-28 giugno 2006
Katja Avanzini ([email protected])Carla Dessi ([email protected])
Diletta Cicoletti ([email protected])
2
Alcune definizioni chiave di valutazione
3
DEFINIZIONE
è un’espressione di giudizio rispetto ad azioni di interesse collettivo,
con l’intento di migliorare le azioni pubbliche, viene svolta attraverso attività di ricerca
realizzate con metodi rigorosi e codificabili, valorizzando gli aspetti inattesi e
contraddittori, deve essere comunicata a terzi in modo
esplicito e trasparente, all’interno di un processo nel quale
valutazione e progettazione sono percorsi integrati.
VALUTA-ZIONEVALUTA-ZIONE
4
CHE COSA SI VALUTA NEI SERVIZI SOCIALI
I CASI GLI INTERVENTI
LE POLITICHE
Per fornire migliori
risposte alle esigenze individuali
Per offrire risposte
omogenee efficienti ed
efficaci
Per offrire al territorio le
migliori risposte
possibili ai bisogni sociali
5
Una valutazione “frattale” Valutazione del singolo intervento
Valutazione zonale della politica di uno specifi-co settore
(anziani)
Valutazione del piano di zona
Valutazione degli interventi
provinciali di coordinamento e
sostegno
Valutazione della politica regionale
6
TIPI DI VALUTAZIONELa valutazione realizzata prima
dell'approvazione e della successiva implementazione di un progetto;
In questo caso la valutazione aiuta i decisori a scegliere fra scenari alter-nativi (derivati da probabili diversi impatti dell'azione da avviare), o fra progetti alternativi, o fra modalità di esecuzione alternative dello stesso progetto.
Nel caso in cui non ci sia una reale possibilità di scelta, aiuta a stimare i diversi effetti, positivi e negativi, del progettoin via di implementazione, al fine di elaborare correzioni o sostegni
VALUTAZIONE EX ANTE-
VALUTAZIONE EX ANTE-
7
TIPI DI VALUTAZIONE
VALUTA
ZIONE IN ITINERE
VALUTA
ZIONE IN ITINERE
E' quella valutazione che si realizza mentre il processo
valutato è ancora in corso, al fine di conseguire
l'adattamento e la correzione di eventuali deviazioni dal
progetto originario, a causa di errori di progettazioni o di
modificazioni del contesto;
8
TIPI DI VALUTAZIONE
VALUTAZIO
NE EX POST
VALUTAZIO
NE EX POST
Valutazione di un intervento dopo che è stato completato. L'obbiettivo della
valutazione ex post è quello di studiare se e come il progetto abbia
raggiunto gli obbiettivi prefissati nonché immaginare soluzioni
adeguate per interventi simili in futuro in genere si considerano due momenti
distinti della valutazione ex post: dell'output (di esito - costi benefici - ) dell'outcome (di impatto )
9
TIPI DI VALUTAZIONEAffronta di norma l'aspetto procedurale e
mira ad analizzare i seguenti aspetti: il grado di cooperazione fra i
soggetti coinvolti il modo in cui vengono raggiunti i
destinatari degli interventi le procedure di partecipazione
adottate i fattori di successo incontrati
nell'implementazione dell'intervento gli ostacoli incontrati
VALUTA
ZIONE DI
PROCESSO
VALUTA
ZIONE DI
PROCESSO
10
TIPI DI VALUTAZIONE
Valutazione che considera gli esiti di un determinato intervento, la sua
efficacia. Viene usualmente distinta in due caterie fondamentali:
l'efficacia interna, intesa come la capacità di raggiungere gli obiettivi e i risultati attesi, definiti a priori
l'efficacia esterna, intesa come la capacità del servizio di soddisfare i bisogni degli utenti
VALUTAZIONE DI RISULTATOVALUTAZIONE DI RISULTATO
11
TIPI DI VALUTAZIONEE' una valutazione attraverso la quale la
qualità degli interventi forniti viene analizzata e sottoposta a giudizi finalizzati al suo miglioramento
Fare valutazione della qualità per chi si occupa di servizio sociale significa tenere conto di valori ed obbiettivi dei soggetti coinvolti in un determinato intervento (destinatari, operatori, attori della comunità locale) e delle relazioni tra tali attori
VALUTAZIO
NE DELLA QUALITA'
VALUTAZIO
NE DELLA QUALITA'
12
TIPI DI VALUTAZIONE
La valutazione realizzata coinvolgendo un n. significativo
di attori implicati nella realizzazione di un servizio, che contribuiscono alla formulazione di giudizi e se ne assumono la
responsabilità rispetto alla realizzazione degli interventi
successivi
VALUTAZIONE PARTECIPATA
VALUTAZIONE PARTECIPATA
13
CONSIDERAZIONI DI SINTESI
1. La Valutazione pervade in modo crescente la normativa nazionale di settore: Ci viene pertanto sempre più frequentemente detto che:
la valutazione si deve fare .
2. Si tratta di valutazione di casi, interventi e di politiche, anche se, come è logico, la normativa insiste soprattutto su interventi e politiche, lasciando al livello professionale la valutazione dei casi.
14
CONSIDERAZIONI DI SINTESI
3. Le finalità valutative proposte sono sia nella logica della valutazione \ appren-dimento per migliorare (learning) che in quella della valutazione \ rendicon-tazione (accountability). Tuttavia la normativa non è sempre chiara sul "perché si valuta"
4. Ci viene per tanto detto che valuta-zione si deve fare ma dalla lettura della normativa la valutazione "non si vede", non si capisce cioè come si può fare la valutazione
15
Attenzioni metodologiche
16
ATTENZIONI METODOLOGICHE
Principio di autovalutazione
ogni soggetto interessato dalla valutazione è responsabile e
primo utilizzatore della propria valutazione
17
ATTENZIONI METODOLOGICHE
Principio dei diversi livelli di valutazione
il processo di valutazione interessa tutti i livelli istitu-
zionali coinvolti nell’ erogazione di un intervento
18
ATTENZIONI METODOLOGICHE
Principio di non autoreferenzialita'
per quanto possibile la valutazione deve essere basata
su riscontri oggettivi e comunque esterni al soggetto
valutatore
19
ATTENZIONI METODOLOGICHE
Principio di confrontabilità:
le valutazioni devono essere condotte sulla base di criteri di giudizio e metodi omogenei e permettere
confronti nel corso del tempo, anche fra più esperienze.
20
ATTENZIONI METODOLOGICHE
Principio di trasparenza:
le valutazioni devono essere condotte sulla base di criteri di trasparenza ovvero attraverso attività chiare, esplicite e
documentate per i diversi livelli e soggetti coinvolti
(chi ha diritto di sapere)
21
IL SUCCESSO DELLA VALUTAZIONE
La misura del successo della valutazione può essere rappresentata dall’ampiezza
dei cambiamenti intervenuti nel comportamento degli attori
dell’intervento, servizio o politica
22
IL SUCCESSO DELLA VALUTAZIONE
La probabilità di successo della valutazione è alta se questa svolge una funzione di apprendimento per gli attori
coinvolti
23
La costruzione del disegno di valutazione dei piani di zona
24
L’unità di analisi: l’implementazione del sistema dei servizi del pdz
Piano di zona
Area anziani
Area disabili
Area minori e famiglia
Ob: potenziare la domiciliarità Ob.:Tutela
del bambino
SAD
Ricoveri di sollievo
Assegni di servizio
Area …
25
Il Pdz e la sua valutazione
Il piano di zona rappresenta uno strumento ambizioso e, allo stesso tempo, “rivoluzionario” diviene quindi cruciale valutarlo almeno per 3 ragioni:– per considerare la sua capacità di cambiamento, del
sistema programmatorio delle politiche sociali, – per valutare l’effettiva implementazione delle
politiche che si propone di realizzare;– per valutare la sua capacità di incidere nella effettiva
realizzazione di servizi e interventi,
Il problema che ci si pone allora è: come valutare i piani di zona, da quale livello di governo del
sistema, con quali precise finalità?
26
I livelli della valutazione 1
La valutazione dei Piani di zona è auspicabile che si svolga agli stessi livelli in cui avviene il governo del sistema e la sua programmazione e quindi è necessario svilupparla:
a livello regionale, provinciale o di azienda di ambito territoriale, allargato agli
stakeholders coinvolti nella programmazione partecipata.
27
I livelli della valutazione 2Avendo questi livelli, ruoli e competenze
diverse in tema di programmazione è necessario anche prevedere modalità
diverse di valutazione.
E’ necessario sottolineare che questi livelli non procedono autonomamente ma devono prevedere dei flussi di comunicazione tra
loro, e alimentarsi a vicenda.
28
Che cosa si può valutare dei pdz?
Il processo di pianificazione e il documento di piano (valutazione ex ante)
Il cambiamento prodotto:– L’implementazione degli interventi previsti dal piano
– La politica sociale prevista dal Piano
(valutazione in itinere e ex post)
I processi di integrazione avviati:– L’integrazione fra Enti Locali
– L’integrazione con l’ASL
– L’integrazione con il Terzo Settore
(valutazione della governance)
29
Le finalità della valutazione nei Pdz
La valutazione ex ante dei Piani di zona finalizzata a verificarne la conformità rispetto agli indirizzi regionali (linee guida) e trarne ulteriori suggerimenti per ri-orientare la programmazione in una direzione più efficace
La valutazione in itinere del processo di implementazione dei piani di zona, per monitorarne gli esiti parziali e individuare criticità e punti di forza utili per suggerire strategie migliorative
La valutazione ex post finalizzata a individuare i risultati ottenuti nella implementazione dei piani di zona (anche in relazione alla spesa sostenuta) per orientare le successive scelte programmatorie
30
Il disegno di valutazione dei piani di zona
Perché l'attività di valutazione del Piano di zona sia efficace essa deve risultare utile a chi deve prendere decisioni. Deve cioè produrre informazioni e dati che servano effettivamente a formulare giudizi e - su questa base - riprogettare
corsi d’azione.
31
Il disegno di valutazione del piano di zona
Una valutazione fatta bene aiuta a: – capire meglio il problema; – capire meglio le scelte fatte e le loro
implicazioni; – capire meglio cosa funziona e cosa no
nella politica; – scoprire cose nuove, inaspettate.
32
Il disegno di valutazione dei piani di zona
E' cruciale che essa avvenga sulla base di un disegno di valutazione, parte
integrante del Piano stesso, che indichi quali sono le domande alla quale la
valutazione deve rispondere, quali sono gli strumenti utilizzati per rispondervi,
chi e quando svolgerà le attività necessarie.
33
Ma che cosa intendiamo valutare dei Piani di zona?
Il cambiamento prodotto sul territorio con la nuova programmazione e pianificazione delle politiche sociali, le due dimensioni principali del cambiamento sono:
Lo sviluppo del sistema dei servizi Lo sviluppo del territorio
34
Lo sviluppo del sistemaIl processo avviato con la riforma dei servizi sociali ha sviluppato un cambiamento nella progettazione e pianificazione del sistema di servizi e interventi. La portata del cambiamento la possiamo leggere ad esempio attraverso: un’analisi del sistema di interventi e servizi l’apporto innovativo sul sistema dei servizi
35
Punti di attenzione 1
1. La valutazione è opportuno che avvenga ai diversi livelli della programmazione in un quadro, però nel quale tali livelli si alimentino a vicenda, divenendo l’uno risorsa per l’altro.
2. La valutazione dei Piani deve concentrarsi non solo sui documenti ma soprattutto sulle azioni concrete, sugli interventi sociali che a seguito dei piani vengono realizzati.
3. La valutazioni dei piani è opportuno che sia orientata anche all’analisi costi benefici,
36
Punti di attenzione 2
4. I disegni di valutazione dei Pdz, saranno più efficaci se utilizzeranno metodologie miste, che si basino su più strumenti e più fonti informative, e che assumano una logica di piano
5. La valutazione deve essere condotta in modo partecipato e deve essere interpretata come processo di apprendimento collettivo dei soggetti che insieme concorrono alla realizzazione delle politiche sociali pubbliche, che, anche grazie alla valutazione, imparano a “governare” insieme un sistema locale di servizi alla persona.
37
I passaggi principali per la costruzione del disegno di valutazione
1. Individuazione della finalità della valutazione
2. Identificazione dello scopo (la mission) dell’oggetto di valutazione
3. Identificazione delle dimensioni di valutazione4. Identificazione dei criteri5. Identificazione degli indicatori6. Identificazione degli strumenti e delle fonti informative7. Rilevazione sul campo.8. Valutazione vera e propria (espressione di un giudizio) e
identificazione degli obiettivi di miglioramento.9. Individuazione delle strategie di miglioramento10. Restituzione dei risultati della valutazione agli stakeholders
38
Ricordando le caratteristiche degli indicatori…
Gli indicatori, per essere adeguatamente utilizzabili nel processo valutativo,
debbono possedere le seguenti caratteristiche
( Zajczyk 1997):
1) Validità2) Attendibilità3) Sensibilità4) Adeguatezza5) Comparabilità6) Tempestività
39
Le caratteristiche degli indicatori
1) Validità, ovvero la capacità di rappresentareeffettivamente il concetto/ criterio indicato in
modo accettabile
Non esiste alcun criterio “oggettivo” per misurarla a
priori, al fine di soddisfare questo requisito ci si avvale della conoscenza del contesto in cui si
opera.
E’ infatti, ad esempio, proprio la conoscenza del
contesto che ha permesso di identificare in termini di PARTECIPAZIONE l’indicatore: N° di soggetti individuati (istituzionali e non)/
N° di soggetti presenti sul territorio
40
Le caratteristiche degli indicatori
2) Attendibilità, ovvero è in grado di cogliere effettivamente quegli aspetti che ci si era
proposti di rilevare
In che termini ad esempio “Gli interventi dei partecipanti durante gli incontri” consentono
di ricostruire la dimensione PARTECIPAZIONE?
41
Le caratteristiche degli indicatori
3) Sensibilità, ovvero la capacità di discriminare
tra le diverse forme che può assumere un fenomeno
E’ la sensibilità ad intervenire nell’individuazione di un indicatore piuttosto che un altro, si pensi ad esempio alla scelta di monitorare “I tempi di attesa nell’accesso ai servizi” in termini di miglioramento della
qualità della vita delle famiglie
42
Le caratteristiche degli indicatori
4) Adeguatezza, ovvero rispondere ai bisogni conoscitivi del valutatore
In termini ad esempio di Congruenza tra bisogni ed allocazione delle risorse si è ritenuto adeguato rilevare ex post la
“Percezione dei tavoli relativamente ai bisogni affrontati e alle azioni realizzate”
43
Le caratteristiche degli indicatori
5) Comparabilità, ovvero la possibilità di confrontare lo stesso fenomeno in aree
territoriali diverse o lo stesso fenomeno nella stessa area ma in tempi diversi
6) Tempestività, ovvero possono essere utilizzati
in tempi adeguati per modificare un programma o un intervento grazie al giudizio
che hanno permesso di formulare
44
Il monitoraggio e la valutazione
Ovvero la valutazione in itinere
45
Nella letteratura specializzata al monitoraggio viene data rilevanza relativa, non esistono testi
specifici sul monitoraggio, le definizioni ed applicazioni del monitoraggio si ritrovano
all’interno dei manuali sulla valutazione degli interventi e delle politiche.
IL MONITORAGGIO : DEFINIZIONI
46
“Il monitoraggio è un processo di raccolta di dati e informazioni sulle modalità di attuazione di un
intervento o di una politica.
E’ utilizzato spesso a fini di accountability; in altre parole, i dati e le informazioni vengono
raccolti dalle strutture di attuazione per mostrare a soggetti esterni di controllo (le agenzia che hanno erogato i finanziamenti
oppure le agenzie responsabili per il rispetto degli standard) che l’intervento viene realizzato
secondo quanto previsto dal programma originario”.
C. Weiss 1972
IL MONITORAGGIO : DEFINIZIONI
47
“Il monitoraggio serve per verificare se la politica:
sta raggiungendo il target di destinatari previsto,
è attuata in modo fedele al disegno originario,
sta utilizzando le risorse (finanziarie, umane, tecnologiche, ecc.) in modo economico ed efficiente”.
P.H. Rossi - H.E. Freeman 1989
IL MONITORAGGIO : DEFINIZIONI
48
“Monitoraggio =
funzione che consiste nell’accertamento e nella descrizione puntuale e metodica dell’avanzamento di un progetto e nella segnalazione tempestiva delle discrepanze
rispetto a quanto stabilito”
Il Calamaio e l’arcobaleno 2000
IL MONITORAGGIO : DEFINIZIONI
49
“Una funzione del management che, attraverso una raccolta metodica di dati, verifica se le risposte materiali e finanziarie impiegate in
un’iniziativa sono sufficienti, il personale impiegato è adeguatamente preparato e
qualificato, le attività in atto sono previste nei termini di riferimento e sono stati raggiunti gli
obbiettivi prefissati nei piani di lavoro”
Pennisi 1991
IL MONITORAGGIO : DEFINIZIONI
50
Le parole chiave che maggiormente ricorrono in queste definizioni sono:
Accountability (rendicontazione) Verifica (rispetto di obbiettivi dati) Avanzamento (rispetto dei tempi)
IL MONITORAGGIO : DEFINIZIONI
51
MONITORAGGIO E VALUTAZIONE
MONITORAGGIO Fornisce l’informazione viene fatto con
rilevazioni regolari misura il
raggiungimento di standard
Stame 1998
VALUTAZIONE Formula il giudizio Può essere fatta in
momenti diversi, o in un solo colpo
misura delle dimensioni: efficienza, efficacia, qualità
52
Il monitoraggio è pertanto una funzione all’interno della più complessa esperienza della valutazione.
Il monitoraggio, in sé, non è una disciplina, ma una funzione \
strumento utile per rendere conto, e verificare lo sviluppo di una politica nel corso del tempo, utile, in altri termini,
per realizzare le valutazioni in itinere.
MONITORAGGIO E VALUTAZIONE
53
Il monitoraggio può allora essere una funzione “molto utile per la valutazione in itinere …... Per es. le eventuali deviazioni dal disegno
iniziale possono derivare non tanto da errori degli attuatori, ma da una progettazione operativa deficitaria. Oppure ancora, il disegno originario può essere eseguito correttamente, senza tuttavia produrre i
risultati in itinere attesi”…..;
.
MONITORAGGIO E VALUTAZIONE
54
“ Quando attraverso il monitoraggio emergono aspetti di questo genere, e la valutazione in
itinere è in grado di fornire le spiegazioni appropriate, vengono messi a disposizione
dei decisori importanti elementi per una modificazione della politica in corso; oppure
evidenziata l’esigenza di una nuova politica..”
Vecchi 2000
MONITORAGGIO E VALUTAZIONE
55
IL MONITORAGGIO: A CHE COSA SERVE? Lo stato di avanzamento dei programmi,
delle politiche, degli interventi; Le piste di approfondimento per mettere
in luce criticità e i fattori di successo nello sviluppo di un singolo intervento, di un distretto, di un’area tematica;
Le informazioni basilari per procedere a una valutazione in itinere degli interventi e delle politiche (è un sensore).
Serve per
evidenziare:
Serve per
evidenziare:
56
IL MONITORAGGIO: A CHE COSA NON SERVE?
dare informazioni sulla qualità degli interventi e delle politiche
dare informazioni sugli esiti, sui risultati ottenuti per l’utente finale, cioè sulla efficacia degli interventi e delle politiche
Non Serve
per:
Non Serve
per:
57
Il monitoraggio la valutazione
Il monitoraggio è un processo diraccolta di dati e informazioni sulle modalità di attuazione di un interventoo di una politica
Il monitoraggio serve per: Lo stato di avanzamento dei
programmi, delle politiche, degli interventi;
Le piste di approfondimento per mettere in luce criticità e i fattori di successo nello sviluppo di un singolo intervento, di un distretto, di un’area tematica;
Le informazioni basilari per procedere a una valutazione in itinere degli interventi e delle politiche (è un sensore)
Il monitoraggio: Fornisce l’informazione Viene fatto con rilevazioni regolari Misura il raggiungimento di standard
La valutazione intende rispondere alla domanda: ciò che si fa è fatto bene? Risponde, e in quale misura, alle strategie di Piano? Come si può migliorare?
La valutazione serve per dare informazioni sulla qualità
degli interventi e delle politiche dare informazioni sugli esiti, sui
risultati ottenuti per l’utente finale, cioè sulla efficacia degli interventi e delle politiche
Una valutazione fatta bene aiuta a: capire meglio il problema; capire meglio le scelte fatte e le
loro implicazioni; capire meglio cosa funziona e cosa
no nella politica; scoprire cose nuove, inaspettate.
58
Il monitoraggio la valutazione
ELEMENTI DI MONITORAGGIO: qualche esempio
Lo stato di implementazione degli interventi
Il livello di raggiungimento deidestinatari
Le risorse umane impiegate
Le risorse finanziarie impiegate
ELEMENTI DI VALUTAZIONE:qualche esempio
Livello di integrazione/ collaborazione raggiunto tra gli attori del territorio
Principali ostacoli/ criticità edelementi di facilitazione incontrati
Risultati raggiunti
“Lezioni apprese”
