LA STATISTICA E IL PROCESSO DECISIONALE Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per lattività pubblica, richiede:

LA STATISTICA E IL PROCESSO DECISIONALE

Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per l’attività pubblica, richiede:

• Volontà nella RICERCA STATISTICA di confrontarsi con realtà caratterizzate da comportamenti, logiche di azione e condizioni ambientali particolari e spesso sconosciute

• Volontà nell’ATTIVITA’ CONCRETA di accogliere il contributo di una disciplina considerata da sempre troppo astratta

Valutare e decidere

La valutazione è un processo intellettuale di analisi e sintesi, le cui finalità fondamentali sono:

• imparare sistematicamente dall’esperienza;

• utilizzare quanto appreso per migliorare le attività correnti e promuovere lo sviluppo della programmazione attraverso un’accurata selezione di alternative per l’azione futura

1/4

La valutazione è uno strumento orientato all’assunzione di decisioni

Valutare e decidere

Contesto tecnico-statistico Contesto politico

Nelle attività di Valutazione le operazioni statistiche fornendo le basi per la decisione acquistano valore politico

Contesto tecnico-statistico Contesto politico

Nelle attività di Valutazione le decisioni politiche senza un apporto tecnico-statistico non sono in grado di rispondere a bisogni informativi

2/4

Valutare e decidere

La necessità di valutare può derivare da una molteplicità di bisogni:

1) la carenza di informazioni, necessarie all’attività programmatoria, relative alla conoscenza dei bisogni e alla determinazione degli obiettivi;

2) la mancanza di sufficienti conoscenze utili alla gestione di un sistema operativo già esecutivo;

3) la necessità di monitoraggio in medio tempore sullo stato di avanzamento e di realizzazione delle attività intraprese;

4) l’esigenza di verifiche al termine delle attività

3/4

Valutare e decidere

Schema di processo valutativo

Sistemadecisionale

Quesiticonoscitivi

Sistemainformativo

Sui fenomeni del sistema operativo

Modello di sistema operativo

Relazionitra le variabili

Dei soggetti decisori

Variabili in gioco

Indicatori

4/4

La decisione come processo

Ogni decisione, sia essa individuale o collettiva, personale

o istituzionale, quale espressione di un impegno ed

intervenire nella realtà, è il prodotto ultimo di un insieme

di attività di analisi, elaborazione e confronto

PROCESSO DECISIONALE

MODELLO

1/14

Modello semplificato del processo decisionale mirato a trattare il contributo della STATISTICA

Assunzioni per la formulazione del modello

1. Tre fasi sequenziali facenti capo a corrispondenti attività e richiedenti informazioni più o meno ampie (identificazione del problema, formulazione di soluzioni, adozione di una decisione)

2. Componenti relative al contesto e agli attori (risorse, vincoli ambientali, sistema di valori e attese dei soggetti, personali conoscenze ed esperienze in riferimento al problema, livello di sensibilità tecnico-scientifica)

3. Direzione del processo secondo una logica incrementale (riduzione dell’incertezza e delle alternative)

La decisione come processo

MODELLO

2/14

La decisione come processo: l’identificazione del problema

Attese di un soggetto responsabile del processo

decisionale

Sue percezioni relative al livello di realizzazione di queste nella

realtà

GAP

Problema

Dimensione del problema

Nella fase di identificazione del problema, molto spesso il decisore non utilizza strumenti tecnici idonei a misurare la realtà, e si limita a valutazioni di carattere personale o di convenienza politica

Contributo della ricerca statistica

• Indicare più obiettivamente le aree su cui intervenire

• Porre obiettivi concreti al decisore

• Suggerire interventi meno dipendenti dalla sensibilità del decisore e dagli aspetti soggettivi e più rispondenti alle necessità oggettive

• Fornire un supporto all’imparzialità dell’attività successivamente svolta (es. Pubblica Amministrazione)

3/14

La decisione come processo: la formulazione delle soluzioni

Due attività principali:• Raccolta di informazioni

• Preparazione di proposte di soluzioni

Nella letteratura politologica:

Analisi (ricerca di alternative mediante elaborazione dal semplice al complesso, per individuare le implicazioni possibili, gli effetti di un intervento piuttosto di un’altro e le eventuali conseguenze dovute all’inazione)

Selezione (riduzione delle diverse opzioni proponibili a poche scelte, operata sulla base di valutazioni di merito o di opportunità, di fattibilità, di cogenza normativa, ecc…)

4/14

Nel modello semplificato:

Attività di ricerca preparatoria alla decisione (raccolta di informazioni e proposta di soluzioni)

• dimensioni e peculiarità del problema

• disponibilità di risorse

• ristrettezza dei vincoli

La decisione come processo: la formulazione delle soluzioni

• conoscenze tecnico-scientifiche disponibili

• caratteristiche ambientali

• “stile decisionale” del decisore (modus procedendi caratterizzato da sistematicità e da consapevolezza)

Minima (previsione di un’unica soluzione)

Ampia (previsione di più soluzioni)

5/14

La decisione come processo: l’adozione di una decisione

In tale fase: • vengono prese in esame le soluzioni possibili, precedentemente elaborate;

• vengono messe a confronto tali soluzioni, con lo scopo di identificare la più soddisfacente;

• viene infine operata la scelta.

Sistema di valori e di priorità del decisore (efficienza economica, efficacia sociale, convenienza politica, in termini di risultati, in termini di impatto, ecc…)

In un processo decisionale:

Scelta e adozione di una decisione

Ricerca e utilizzo di informazioni nelle fasi precedenti (con l’ausilio di tecniche statistiche)

Sostenuto da:

6/14

La decisione come processo: le informazioni e il processo decisionale

-La fiducia nella metodologia statistica e negli strumenti informativi

- Il sistema dei valori e delle attese

-Lo stile decisionale

-La natura

-La complessità

-Le risorse disponibili

- I vincoli esistenti

UTILIZZO DI DATI STATISTICI

NEL PROCESSO DECISIONALE

VARIABILI DIPENDENTI DAL DECISORE:

VARIABILI DIPENDENTI DAL PROBLEMA:

VARIABILI DIPENDENTI DALL’AMBIENTE:

Schema delle variabili che influenzano l’utilizzo di dati statistici

7/14





VARIABILI DIPENDENTI DAL DECISORE: Sovrintende l’intero processo decisionale:

• attraverso le attese, influisce sulla fase di identificazione del problema;

• determina i contenuti informativi rilevanti;

• orienta la scelta del sottoinsieme di soluzioni possibili;

• su quali possibili conseguenze delle soluzioni proposte focalizzare l’attenzione e quali elementi trascurare;

• indirizza la valutazione delle alternative e decreta la più soddisfacente;

• stabilisce quali siano gli aspetti della realtà da considerare in vista di nuove decisioni.

8/14





VARIABILI DIPENDENTI DAL DECISORE: Riconoscimento difficile dei criteri e delle logiche sottostanti:

• componenti di natura soggettiva;

• presenza di aree grigie nel processo decisionale, con scelta di non confrontarsi apertamente per evitare possibili scontri;

• utilizzo di criteri non legittimi e utilizzo di informazioni con intento strumentale;

• resistenza ad esporsi con valori ed attese troppo rigorosi per il timore di valutazione critica e di controllo interno ed esterno sul proprio operato;

Es. Instabilità dei sistemi di valori e attese propri della Pubblica Amministrazione, per complessità dei meccanismi che sovrintendono al reale con cui confrontarsi, e per continue modifiche degli equilibri necessari all’assunzione di una decisione, alla cui formazione concorrono numerose parti.

9/14

La decisione come processo: Misconoscimento e riconoscimento della funzione informativa della statistica nella Pubblica Amministrazione

Due estremi di connubio tra metodi statistici e processi decisionali:

Misconoscimento della validità della funzione informativa della statistica

Prevalere dell’approccio burocratico nella formazione della decisione, caratterizzata da:

• rigidità delle forme e delle procedure;

• pretta applicazione delle norme;

• inalterabilità delle routine;

• limitatezza degli strumenti informativi;

• attribuzione della funzione di formazione e analisi dei dati a personale amministrativo non qualificato.

Produzione di decisioni come atti amministrativi formali, meri esecuzioni della legge

10/14

Riconoscimento del contributo della statistica al soddisfacimento del fabbisogno informativo e della sua rilevanza nell’attività decisionale


Attività pubblica maggiormente svincolata dai formalismi e più marcatamente caratterizzata da un approccio tecnico

• verifica sistematica della rilevanza dei contenuti conoscitivi in vista della decisione;

• attenzione alla qualità e alle potenzialità dell’apparato informativo;

Produzione di decisioni come atti di pianificazione dell’attività amministrativa

11/14


Mansioni concettuali e esecutive di preparazione dell’informazione opportuna alla decisione

Abilità nel “discriminare tra strumenti”

Statistici Decisori

Operare le decisioni mediante l’esercizio dell’attività di scelta tra soluzioni possibili

Abilità nel “discriminare tra politiche”

Ricerca del compromesso tra la diversa natura di valori e di attese, di abilità e di sensibilità, in modo che si realizzi una

proficua collaborazione e che i risultati finali rappresentino un equilibrio tra i rispettivi modi di operare

12/14

La decisione come processo: Le cause della resistenza del soggetto Pubblica Amministrazione all’utilizzo dell’informazione statistica

Difficoltà per l’informazione statistica ad entrare nei processi decisionali della Pubblica Amministrazione per cause:

tecniche

politiche

ambientali

frazionamento su più livelli dell’attività pubblica e della responsabilità del pubblico servizio che ostacola la costruzione di sistemi informativi omogenei;

“formalismo giuridico”, ovvero attitudine del soggetto pubblico a incentrare la propria azione sul dettato letterale della norma; il principio di legalità ha assoluta priorità su qualunque altro criterio ispiratore (buon andamento, efficacia, efficienza, economicità, ecc..);

carenza di stuff dedicato all’attività di raccolta, produzione e gestione delle informazioni, interno all’Amministrazione o esterno, ma ad essa legato da un vincolo di collaborazione stabile e duraturo.

13/14

La decisione come processo: La cultura statistica

Quale diffusione della cultura statistica? Quale diffusione della valutazione?

Uso controverso del termine e scarsa applicazione corretta anche nella Pubblica Amministrazione per generale carenza di cultura quantitativa

Applicazione solo parziale di interventi del legislatore a sostegno dei sistemi informativi nella Pubblica Amministrazione

Ambiente non ancora propenso al riconoscimento del contributo degli strumenti conoscitivi nel processo decisionale

Per i tecnici che si occupano di valutazione, o comunque di produzione di dati e statistiche di sostegno alla pubblica azione, saper:

attuare una “politica attiva”, da realizzare attraverso un inserimento più fattivo ed articolato, con valenze operative sempre più accentuate

muoversi con disinvoltura in condizioni non ideali di applicazione del metodo

mostrare un atteggiamento disposto al dialogo e un approccio elastico

14/14

LA VALUTAZIONE: Introduzione

Momento qualificante delle attività di Programmazione di azioni e interventi che intende raggiungere delle finalità o obiettivi (benessere sociale od economico di una popolazione o comunità), attraverso interventi specifici, mirati, i quali vengono perseguiti e condotti sempre con risorse limitate (umane, economiche, culturali, professionali)

Funzione della Valutazione

La Valutazione (V) è un momento importante che deve caratterizzare ogni passo della programmazione, per questo più che parlare della V ad es. dei servizi, ha senso parlare di V come una condizione che caratterizza ogni passo del processo programmatorio.

Processo di natura tecnico-organizzativa mirato a garantire livelli di qualità sempre più elevati nei risultati finali di un sistema produttivo attraverso cambiamenti continui e progressivi in variabili di struttura e di processo che caratterizzano la specifica produzione.

Valutazione Sviluppo della Qualità (Quality Improvement)

1/7


Primi percezioni della necessità di V sin dagli anni '30 negli USA.

L'espressione del "bisogno" non è più percepita come sufficiente perché un intervento (qualunque) sia ritenuto giusto, opportuno, utile. Da cui la necessità di individuare i motivi, le ragioni dell’intervento e misurare i risultati ottenuti a preventivo e a consuntivo.

La nascita della cultura della V viene collocata negli anni ‘60, nello scenario dei programmi sociali delle amministrazioni democratiche americane. Si pone sempre più forte la necessità di dimostrare la produttività, l’efficienza, i benefici (sia economici che sociali) delle politiche economiche e sociali nelle quali viene speso il denaro dei “cittadini-contribuenti”.

Solo dagli anni '90 con in concetto di "qualità" si comincia a parlare di V, ma ancora in modo limitato e non sistematico.

2/7


Nel 1981, l’Organizzazione Mondiale della Sanità si esprime così sulla Valutazione:

“Un modo sistematico di imparare dall’esperienza e di utilizzare quanto appreso per migliorare le attività correnti e promuovere lo sviluppo della programmazione attraverso un’accurata selezione di alternative per l’azione futura”.

approccio empirico, ragionato, mirato, di osservare il servizio e le attività connesse

accento sul fabbisogno di informazioni, sulla raccolta sistematica di dati e sulla loro trasformazione in informazioni

3/7


Una successiva e importante definizione di V è fornita da Patton:

"La pratica della Valutazione riguarda la raccolta sistematica di informazioni circa le attività, le caratteristiche e i risultati di programmi, personale e strutture destinata a persone interessate a giudicare come specifici aspetti di quei programmi, di quel personale, di quelle strutture abbiano operato e abbiano influito sul sistema.”

raccolta sistematica e organizzata di informazioni relativamente ad un insieme vasto e complesso di elementi del Sistema

ruolo centrale alla Statistica come metodo e insieme di tecniche atte alla produzione di informazioni da dati empirici qualitativi e quantitativi

vincolo di assegnare a tali informazioni il compito di esprimere giudizi da parte di specifici soggetti

il termine V in generale destinato a : a) programmi, b) personale, c) politiche, d) strutture; e) altri processi valutativi

4/7


Il Congresso dell’Associazione Italiana di Valutazione del 1997 precisava:

"La Valutazione risulta senz’altro di grande aiuto quando si vuole individuare il modo migliore per perseguire gli obiettivi, soprattutto in una situazione come quella italiana, caratterizzata dall’attenzione alle procedure piuttosto che al perseguimento dei risultati, oltre che da un certo fatalismo sulle difficoltà di riforma delle istituzioni pubbliche.”

“Valutare significa confrontare i risultati ottenuti da politiche e interventi pubblici con gli obiettivi individuati e con i problemi che essi intendevano affrontare: la Valutazione è, quindi, uno strumento chiave per valorizzare le scelte.”

“La V è un processo attraverso il quale si intende esprimere un giudizio in merito ad una decisione da prendere o ad una politica che si è realizzata” (Bertin, l995).

5/7


La valutazione deve essere svolta da esperti o quanto meno da persone competenti. È specialistica e interdisciplinare (Stame, 1997).

Alcune discipline hanno sviluppato al loro interno saperi e competenze valutative, dando così origine a degli esperti di valutazione

Ogni ricerca valutativa oltre ad attingere a uno o più dei saperi fondanti, dovrà entrare in contatto con le discipline che si occupano delle attività o delle questioni da valutare

Sono necessarie competenze tecniche proprio dell’ambito metodologico, quantitativo e quindi anche della Statistica

Bisogna entrare nell’ambito sostantivo, conoscere la sostanza del problema

La V è il risultato di un gruppo di lavoro, di una équipe di “esperti” che interagiscono nelle singole componenti, sul problema sostantivo. Non un lavoro di élite di “esperti” che forniscono il loro contributo anche altamente specialistico ma distinto dagli altri, in termini anche astratti e non collegati al contesto sostantivo

6/7


È essenziale concepire la V come uno strumento orientato alla assunzione di decisioni, e di collegare strettamente il processo valutativo con quello decisionale, sia a livello operativo che politico e di governo.

Il processo attraverso cui si effettua una V deve essere considerato altrettanto importante delle conclusioni a cui si perviene, dato che il coinvolgimento nello stesso processo spesso induce a migliorare la comprensione delle attività oggetto di valutazione e un più costruttivo approccio alla loro gestione e all’azione futura.

7/7

LA VALUTAZIONE: I bisogni della V

I bisogni di valutazione sono molteplici e possono essere classificati in tre grandi categorie:

necessità di alimentare la conoscenza utile per gestire un particolare segmento di piano già reso esecutivo dagli organi di governo: a questo aspetto della valutazione è interessata la struttura operativa dei servizi, in quanto responsabile dell’uso corrente delle risorse ai fini del perseguimento degli obiettivi di piano e titolare della decisioni necessarie a far funzionare il sistema adattandolo in via continuativa alle circostanze concrete

bisogni valutativi collegati con il governo di un segmento temporale di piano: si tratta di effettuare verifiche periodiche sullo stato di attuazione del piano e sulla sua idoneità a perseguire gli obiettivi previsti, verifiche finalizzate a rendere disponibili conoscenze utili per l’aggiornamento periodico del piano

bisogni valutativi collegati con il governo del processo programmatorio visto nella sua continuità storica di medio periodo

1/1

LA VALUTAZIONE: Il quando della V

La V può intervenire su diversi livelli e in diversi momenti del progetto, dell’azione o della politica considerata:

valutazione ex-ante: interviene prima dell’esecuzione del progetto, al livello dell’iniziale definizione di obiettivi e strategie. Si analizzano le possibili alternative di un progetto, individuando la/le soluzione/i migliore/i per attuarlo e prevedendo i possibili esiti. Aiuta il decisore a ridurre l’incertezza nelle scelte. È finalizzata “per decidere” e “per selezionare”.

1/3


valutazione in itinere: si applica nel corso della realizzazione del progetto con l’obiettivo di evidenziarne gli effetti, di valutarne l’impatto e di rilevare le insorgenze di conseguenze non previste. Consente di verificare se la realizzazione del progetto si sta dirigendo verso gli obiettivi prefissati. È ancora poco presente nei servizi pubblici italiani. Il monitoraggio, che consiste in una attività di rilevazione sistematica e continuativa per verificare lo stato di avanzamento dei progetti, è lo strumento che permette di effettuare la valutazione in itinere.

2/3


valutazione ex-post: interviene quando il progetto è completo e concluso, per cercare di tener conto degli effetti realmente prodotti dal progetto e per verificare se gli obiettivi iniziali siano stati raggiunti. Essa riveste un interesse fondamentale, perché consente di trarre degli insegnamenti per eventuali progetti futuri e al contempo permette di correggere, qualora sia possibile, parti del progetto originario.Questo tipo di valutazione viene utilizzata solo in pochissimi casi e principalmente, quando è imposta dalla legge.

3/3

LA VALUTAZIONE:

Glossario dei principali termini utilizzati negli ambiti della valutazione e gestione basata sui risultati (documento Ocse/Dac – 2002)

Il Gruppo di lavoro sulla valutazione del Comitato aiuto allo sviluppo (Dac) è un forum internazionale, nel quale gli esperti di valutazione in servizio presso agenzie di sviluppo bilaterali o multilaterali si riuniscono periodicamente per condividere le proprie esperienze, con l’obiettivo di migliorare la pratica della valutazione e rafforzarne l’impiego come strumento per le politiche di cooperazione

GLOSSARIO (www..org/dac/evaluation).Valutazione: L’apprezzamento sistematico e oggettivo su formulazione, realizzazione ed esiti di un progetto, programma o politica di sviluppo che si effettua in corso d’opera o dopo il completamento delle attività previste. Essa si propone di esprimere un giudizio sulla rilevanza e il raggiungimento degli obiettivi, su efficienza, efficacia, impatto e sostenibilità. Una valutazione dovrebbe fornire informazioni credibili e utili e consentire ai beneficiari e ai donatori l’integrazione degli insegnamenti appresi nei loro processi decisionali. Per valutazione si intende anche il processo di determinazione del valore e dell’importanza dei possibili effetti indotti da un’attività, politica o programma. Trattasi della formulazione di un giudizio, nel modo più sistematico e oggettivo possibile, su un intervento di sviluppo pianificato, in fase di realizzazione o già completato. Nota: in alcuni casi, la valutazione comporta la definizione di standard appropriati, un esame delle prestazioni rese in rapporto a detti standard, un giudizio sui risultati ottenuti rispetto a quelli originariamente attesi e l’identificazione degli insegnamenti più rilevanti scaturiti dall’esperienza. Termine correlato: riesame.

GLOSSARIO (www..org/dac/evaluation).Valutazione a grappoli: Valutazione di un insieme di attività, progetti e/o programmi tra loro correlati.Valutazione congiunta: Valutazione alla quale partecipano diversi organismi donatori e/o partner.Nota: esistono vari gradi di “associazione” a seconda della misura in cui i singoli partner cooperano nel processo di valutazione, mettono in comune le loro risorse e concorrono all’elaborazione dei documenti di valutazione. Le valutazioni congiunte possono contribuire al superamento dei problemi di attribuzione nello stabilire l’efficacia dei programmi e delle strategie, la complementarità degli sforzi sostenuti dai diversi partner, la qualità del coordinamento, ecc.Valutazione di processo: Valutazione delle dinamiche interne degli enti esecutori, degli strumenti a loro disposizione per le politiche di sviluppo, dei loro meccanismi di funzionamento, delle loro modalità di gestione e dei collegamenti esistenti tra questi elementi. Termine correlato: valutazione formativa.Valutazione di progetto: Valutazione di un singolo intervento di sviluppo ideato per raggiungere determinati obiettivi, con risorse e tempi di realizzazione definiti, spesso nel contesto di un programma più vasto.Nota: l’analisi costi-benefici costituisce uno dei principali strumenti di valutazione per i progetti che presentano benefici quantificabili. Quando i benefici non possono essere quantificati, il metodo di indagine appropriato è l’analisi costo-efficacia.Valutazione di programma: Valutazione di un insieme di interventi combinati e destinati al raggiungimento di specifici obiettivi di sviluppo a livello globale, di area, di paese, o al raggiungimento di obiettivi di sviluppo settoriale.Nota: un programma di sviluppo è un intervento temporalmente vincolato, comprendente molteplici attività che possono interessare in modo trasversale diversi settori, temi e/o aree geografiche. Termine correlato: valutazione di programma-paese.

GLOSSARIO (www..org/dac/evaluation).Valutazione di programma-paese: Valutazione del portafoglio degli interventi di sviluppo di uno o più donatori o agenzie, e della relativa strategia di assistenza, in un paese partner.Valutazione di programma settoriale: Valutazione di un insieme di interventi di sviluppo settoriali, in uno o più paesi, che contribuiscono al conseguimento di un obiettivo di sviluppo specifico. Nota: un settore include le attività di sviluppo comunemente raggruppate secondo le competenze della pubblica amministrazione come la salute, l’educazione, l’agricoltura, i trasporti, ecc.Valutazione esterna: Valutazione di un intervento di sviluppo condotta da enti e/o individui al di fuori degli organismi finanziatori o esecutori.Valutazione ex ante: Valutazione di un intervento di sviluppo eseguita prima della sua realizzazione. Termine correlato: valutazione preliminare, controllo preliminare di qualità.Valutazione ex post: Valutazione di un intervento di sviluppo eseguita dopo il suo completamento.Nota: essa può essere effettuata subito dopo o molto tempo dopo la conclusione dell’intervento con l’intento di identificare i fattori di successo o insuccesso, di valutare la sostenibilità dei risultati e l’impatto, e di trarre conclusioni che possano influenzare altri interventi.Valutazione formativa: Valutazione volta a migliorare le prestazioni rese che viene generalmente effettuata durante la fase di realizzazione di progetti o programmi.Nota: le valutazioni formative possono essere effettuate per altre ragioni quali la verifica di conformità, esigenze di tipo legale o come componenti di valutazioni più ampie.

GLOSSARIO (www..org/dac/evaluation).Valutazione indipendente: Valutazione realizzata da enti o persone non soggetti a controllo da parte dei responsabili della formulazione e della realizzazione di un intervento di sviluppo.Nota: la credibilità di una valutazione dipende in parte dal grado di indipendenza con la quale è stata effettuata. L’indipendenza implica la libertà da influenze politiche e da pressioni degli enti interessati e si caratterizza per un libero accesso alle informazioni e per un’autonomia totale nell’investigazione e nella presentazione dei risultati.Valutazione intermedia: Valutazione condotta circa alla metà della fase di realizzazione dell’intervento. Termine correlato: valutazione formativa.Valutazione interna: Valutazione di un intervento di sviluppo eseguita da un’unità e/o da persone che dipendono dall’ente finanziatore, dal partner locale o dall’ente esecutore.Termine correlato: autovalutazione.Valutazione partecipativa: Metodo di valutazione nel quale i rappresentanti di agenzie e di altre parti interessate (inclusi i beneficiari) collaborano alla definizione, realizzazione e interpretazione dei risultati di una valutazione.Valutazione preliminare: Un giudizio complessivo sulla rilevanza, fattibilità e impatto potenziale di un intervento di sviluppo effettuato prima della decisione in merito al finanziamento dell’intervento stesso.Nota: presso le banche e le agenzie di sviluppo, la valutazione preliminare abilita gli organi deliberanti a decidere se la proposta di finanziamento all’esame costituisce un investimento appropriato per le loro risorse. Termine correlato: valutazione ex ante.Valutazione riepilogativa: Studio condotto alla fine di un intervento (o di una sua fase) per determinare in che misura sono stati raggiunti i risultati attesi. La valutazione riepilogativa è volta a fornire informazioni sul valore di un programma. Termine correlato: valutazione di impatto.Valutazione tematica: Valutazione di un gruppo selezionato di interventi, tutti indirizzati verso una specifica priorità di sviluppo, che interessa trasversalmente più paesi, aree e settori.

LA VALUTAZIONE: DAC Evaluation Quality Standards

Il seguente contributo offre uno schema di riferimento delle fasi e componenti il processo di Valutazione così come proposto da un gruppo di studio DAC in collaborazione con l’OECD (www.oecd.org/dac/evaluationnetwork).

Standard di Qualità per la valutazione stabiliti dal DAC (Comitato di Aiuto allo Sviluppo /Development Assistance Committee) (per l’applicazione di una fase sperimentale)IntroduzioneGli standard di qualità della valutazione stabiliti dal DAC identificano i punti chiave necessari (identify the key pillars needed) per il processo e per la realizzazione (product) di una valutazione di qualità. Sono stati preparati dai membri del DAC allo scopo di definire le aspettative dei paesi membri relativamente ai processi e alle realizzazioni (product) di valutazione.Gli standard non sono vincolanti per i paesi membri ma sono una guida per una “good practice” con l’obiettivo di migliorare la qualità delle valutazioni di intervento allo sviluppo. Intendono contribuire ad un approccio armonizzato alla valutazione in linea con i principi della Dichiarazione di Parigi sull’Efficacia dell’aiuto1

Gli standard hanno lo scopo di:a) fornire gli standard per il processo (conduct) e per le realizzazioni/prodotti (outputs) delle valutazioni;b) facilitare il confronto delle valutazioni attraverso i paesi (metavalutazione);c) facilitare le associazioni e la collaborazione sulla valutazione congiunta (joint-evaluation);d) permettere ai paesi membri di utilizzare reciprocamente i risultati e i rapporti sulle valutazioni

(compreso good practice e insegnamenti appresi dalla valutazione); ee)semplificare gli sforzi di valutazione.

Gli Standard supportano le valutazioni che aderiscono ai principi di valutazione che troviamo nei “Principles for the Evaluation of Development Assistance” (Principi per la Valutazione di assistenza allo Sviluppo), includendo imparzialità e indipendenza, credibilità e utilità2, gli standard dovrebbero essere letti in accordo con quei principi.

I Principi si concentrano sulla gestione e sulla organizzazione istituzionale dei sistemi di valutazione all’interno delle agenzie di sviluppo e rimangono il riferimento (benchmark) rispetto al quale sono valutati i membri OECD attraverso il meccanismo delle DAC Peer Reviews3. Al contrario gli Standard forniscono indicazioni sul processo (conduct) delle valutazioni e sulle relative rendicontazioni.

Sebbene gli standard non siano vincolanti per ogni valutazione, dovrebbero comunque essere applicati il più largamente possibile e laddove non fosse possibile, dovrebbe essere fornita una breve spiegazione.

Il termine “intervento di sviluppo” (‘development intervention’) è usato negli standard come un termine generale, per riferirsi all’oggetto della valutazione e può riferirsi ad una attività, ad un progetto, ad un programma, ad una strategia, ad una politica, ad un tema, ad un settore, ad una zona operativa, alle prestazioni istituzionali, etc.

Gli standard riconoscono che la realizzazione di una valutazione può avvenire in una varietà di forme, incluse le relazioni orali o scritte, esposizioni e gruppi di lavoro. Il termine “rapporto/relazione di valutazione (evaluation report)” è usato per tutte le forme che può assumere la realizzazione di una valutazione.

1. Spiegazione razionale, scopo e obiettivi di una valutazione.

1.1 Spiegazione razionale della valutazione.Descrive perchè e per chi la valutazione è intrapresa e perchè viene intrapresa in un particolare momento temporale.

1.2 Lo scopo della valutazione.Lo scopo della valutazione è in linea con la funzione di apprendimento e rendicontabilità della valutazione.

Per esempio lo scopo della valutazione potrebbe essere di:- Contribuire a migliorare una politica, procedura o tecnica di assistenza, - Considerare la continuazione o l’interruzione di un progetto;- Rendere conto, alle persone interessate (stakeholder) e ai contribuenti,

delle spese per l’assistenza.DAC Evaluation Quality Standards

1.3 Gli obiettivi di una valutazione .Gli obiettivi della valutazione specificano cosa la valutazione mira a realizzare.Per esempio:- accertare risultati (prodotti (output), effetti a medio termine (outcome), impatto

(impact)) e valutare l'efficacia, l'efficienza e l'attinenza di un intervento specifico di sviluppo;

- fornire risultati (findings), conclusioni e raccomandazioni riguardo ad uno specifico programma o ad una specifica politica.

DAC Evaluation Quality Standards

2. Portata della valutazione .2.1 Portata della valutazione.La portata della valutazione è chiaramente definita specificando i temi (issues) trattati, i fondi realmente spesi, il periodo di tempo, i tipi di intervento, la copertura geografica, i gruppi target, così come altri elementi di intervento allo sviluppo interessati alla valutazione. 2.2 Logica e risultati di intervento.Il rapporto di valutazione descrive e valuta brevemente la logica di intervento e distingue i risultati a livelli differenti: input, attività, effetti a medio termine (outcome) e impatti. Il rapporto fornisce inoltre una breve valutazione globale della logica di intervento. 2.3 Criteri di valutazione.Il rapporto di valutazione applica i cinque criteri stabiliti dal DAC per la valutazione dell’assistenza allo sviluppo: pertinenza, efficienza, efficacia, impatto e sostenibilità. I criteri applicati per la valutazione data, sono definiti in termini non ambigui, qualora non venga applicato un particolare criterio, questo deve essere spiegato nella relazione di valutazione, così come nel caso in cui siano applicati criteri aggiuntivi.2.4 Quesiti relativi alla valutazione.I quesiti sollevati, così come ogni revisione ai quesiti originali sono documentati nel rapporto affinché i lettori siano in grado di accertare se la squadra di valutazione li ha sufficientemente valutati.


3. Contesto.3.1 Il contesto relativo allo sviluppo e alla politica.Il rapporto di valutazione fornisce una descrizione del contesto politico relativo all’intervento di sviluppo, alla documentazione della politica dell’agenzia di sviluppo e dei partner, agli obiettivi ed alle strategie. Il contesto di sviluppo può riferirsi all’economia nazionale e regionale e ai livelli di sviluppo. Il contesto politico può riferirsi alle strategie di riduzione della povertà, alla parità dei sessi, alla protezione dell’ambiente e ai diritti umani.3.2 Il contesto istituzionale.Il rapporto di valutazione fornisce una descrizione dell’ambiente istituzionale e delle persone interessate (stakeholder) relativamente all’intervento di sviluppo, in modo che la loro influenza possa essere identificata e valutata.3.3 Il contesto socio-politico.Il rapporto di valutazione descrive il contesto socio-politico entro cui l’intervento avviene e la relativa influenza sui risultati e sull’effetto a medio termine (outcome) e sull’impatto dell’intervento di sviluppo.3.4 Misure per l’implementazione /esecuzione.Il rapporto di valutazione descrive le misure organizzative stabilite per l’implementazione/esecuzione dell’intervento di sviluppo, incluso i ruoli dei donatori e dei partner.


4. Metodologia di valutazione.4.1 Spiegazione della metodologia usata.Il rapporto di valutazione descrive e spiega il metodo e il processo di valutazione e ne discute la validità e l’attendibilità. Riconosce tutti i vincoli incontrati e il loro impatto sulla valutazione compreso l’impatto sulla indipendenza della valutazione. Descrive in modo dettagliato i metodi e le tecniche usate per la raccolta e la elaborazione dei dati e delle informazioni. Vengono giustificate le scelte e vengono spiegati limiti e imperfezioni.

4.2 Valutazione dei risultati.I metodi per la valutazione dei risultati sono specificati. I fattori di attribuzione e i fattori di successo o di disturbo/insuccesso dovrebbero essere identificati (addressed). Se gli indicatori vengono usati come base per la valutazione dei risultati, questo dovrebbe avvenire seguendo i criteri detti SMART (specifico, misurabile, raggiungibile, rilevante e vincolato a un termine).


4.3 Parti interessate (stakeholder) consultate.Le parti interessate vengono coinvolte nel processo di valutazione per l’identificazione delle problematiche e forniscono input per la valutazione. Vengono consultati sia i donatori che i partner. Il rapporto di valutazione indica le parti interessate (stakeholders) consultate, i criteri per la loro selezione e descrive la partecipazione delle parti interessate.Viene inoltre indicato se non tutte le parti interessate sono state consultate, e vengono inoltre descritti i metodi e le motivazioni per la selezione di particolari parti interessate (stakeholders)4.4 CampionamentoIl rapporto di valutazione spiega la selezione di ogni campione. Devono essere identificati i limiti riguardanti la rappresentatività dei campioni di valutazione.4.5 Squadra di valutazione.La composizione delle squadre di valutazione dovrebbe possedere un misto di abilità valutative e di conoscenza tematica, dovrebbe essere equilibrata nel genere, e includere professionisti provenienti dai paesi o regioni interessate..


5. Fonti di informazione.

5.1 Trasparenza delle fonti di informazioni .

Il rapporto di valutazione descrive le fonti di informazioni utilizzate (documentazione, dichiaranti, letteratura etc. ) sufficientemente dettagliate di modo che possa essere accertata l’adeguatezza delle informazioni. Vengono incluse le liste complete degli intervistati e i documenti consultati, fino al punto in cui ciò non entri in conflitto con la segretezza e la riservatezza dei partecipanti .

5.2 Affidabilità ed esattezza delle fonti di informazione.La valutazione crossvalidates e valuta criticamente le fonti di informazioni usate e la validità dei dati usando una varietà di metodi e fonti di informazioni.

• 6. Indipendenza.

• 6.1 Indipendenza dei valutatori nei confronti delle parti interessate (stakeholders).

• Il rapporto di valutazione indica il grado di indipendenza dei valutatori dalla funzione politica, dalla funzione operativa e di gestione dell’agente commissionante, dagli esecutori, e dai beneficiari. Eventuali conflitti di interessi devono essere apertamente e onestamente evidenziati.

• 6.2 Processo di valutazione aperto e libero.

• La squadra di valutazione deve essere in grado di lavorare liberamente e senza interferenze. Deve esserle assicurata collaborazione e accesso a tutte le informazioni. Il rapporto di valutazione indica tutti gli impedimenti che potrebbero avere avuto effetto sul processo di valutazione.

• 7. Etica di valutazione.

• 7.1 Valutazione condotta in modo professionale e etico.

• Il processo di valutazione mostra sensibilità al genere, alle credenze, agli usi e ai costumi di tutte le parti interessate e viene svolto con integrità e onestà. Devono essere protetti i diritti e il welfare di coloro che partecipano alla valutazione. L’anonimato e la riservatezza degli informatori individuali dovrebbero essere protetti se richiesti e/o secondo quanto previsto dalla legge.

• 7.2 Riconoscimento dei disaccordi nella squadra di valutazione.

• I membri della squadra di valutazione dovrebbero avere l’opportunità di dissociarsi da particolari giudizi e raccomandazioni. Qualunque divergenza di opinioni irrisolte all’interno della squadra dovrebbe essere inserita nel rapporto.

• 8. Garanzia della qualità.

• 8.1 Inserimento delle osservazioni delle parti interessate (stakeholder).

• Alle parti interessate viene data l’opportunità di esprimere commenti sui risultati, sulle conclusioni, sulle raccomandazioni e sugli insegnamenti appresi dalla valutazione. Il rapporto di valutazione riflette queste osservazioni e riconosce tutti i disaccordi sostanziali. Nelle dispute sui fatti che possono essersi verificati, i valutatori dovrebbero indagare e cambiare la stesura preliminare del rapporto se necessario. Nel caso di opinione o interpretazione, le osservazioni delle parti interessate dovrebbero essere riprodotte alla lettera, in un allegato per esempio fino al punto in cui queste non entrino in conflitto con i diritti e il welfare dei partecipanti.

• 8.2 Controllo di qualità.

• Il controllo di qualità è esercitato lungo tutto il processo di valutazione. Dipende dalla portata e dalla complessità della valutazione, il controllo di qualità è eseguito sia internamente che attraverso un’autorità esterna, peer review, o un gruppo di riferimento. I controlli di qualità aderiscono al principio di indipendenza dei valutatori.

• 9. Rilevanza dei risultati di valutazione.

• 9.1 Formulazione dei risultati della valutazione.• I risultati della valutazione sono relativi all’oggetto e allo scopo della valutazione. I risultati

dovrebbero chiaramente scaturire dai quesiti posti dalla valutazione e dall’analisi dei dati, mostrando una linea netta di prova a sostegno delle conclusioni (??). Qualsiasi discrepanza tra implementazione attesa e reale dell’oggetto di valutazione deve essere spiegata.

• 9.2 Valutazioni effettuate entro il termine e il budget assegnati.• La realizzazione della valutazione e la messa a disposizione dei risultati sono correlate in

termini di tempo allo scopo della valutazione. Eventuali cambiamenti nella programmazione o nel budget devono essere spiegati nel rapporto. Deve essere spiegata qualsiasi discrepanza tra implementazione e prodotto della valutazione attesi e reali.

• 9.3 Raccomandazioni e insegnamenti appresi dalla valutazione.• Raccomandazioni e insegnamenti appressi dalla valutazione sono destinati agli utenti

futuri e sono perseguibili entro le responsabilità degli utenti. Le raccomandazioni sono proposte perseguibili e gli insegnamenti appresi (dalla valutazione) sono generalizzazioni di conclusioni applicabili in un uso più ampio.

• 9.4 Utilizzo della valutazione.• La valutazione richiede un riconoscimento e una risposta espliciti dall’amministrazione

per quanto riguarda l’aggiornamento futuro dei risultati della valutazione. • L’amministrazione assicurerà la diffusione, il deposito e la gestione sistematica dei

prodotti della valutazione per assicurare un facile accesso e per massimizzare i benefici dei risultati della valutazione.

•

• 10. Completezza.

• 10.1 Le conclusioni rispondono alle domande di valutazione. • Il rapporto di valutazione risponde a tutte le domande e ai bisogni di informazione

elencati nell’ambito di valutazione. Dove non è possibile, devono essere fornite motivazioni e spiegazioni.

• 10.2 Chiarezza dell’analisi.• L’analisi è strutturata con un flusso logico. Le informazioni e i dati sono presentati e

interpretati in modo sistematico. I risultati e le conclusioni sono chiaramente identificati e scaturiscono logicamente dall’analisi dei dati e delle informazioni. I presupposti di fondo sono resi espliciti e tenuti in considerazione.

• 10.3 Distinzione tra conclusioni, raccomandazioni e insegnamenti appresi• I rapporti di valutazione devono distinguere chiaramente i risultati, dalle conclusioni e

dalle raccomandazioni. La valutazione presenta conclusioni, raccomandazioni e insegnamenti appresi separatamente e con una distinzione del tutto logica tra esse. Le conclusioni sono convalidate dai risultati e dalle analisi. Raccomandazioni e insegnamenti appresi vengono logicamente dopo le conclusioni.

• 10.4 Chiarezza e rappresentatività del sommario.• Il rapporto di valutazione contiene un sommario esecutivo. Il sommario fornisce una

descrizione/visione d’insieme del rapporto, evidenziando le principali conclusioni, raccomandazioni e insegnamenti appresi.

GLI OBIETTIVI GENERALI DELLA VALUTAZIONE 1/12

1. Utilità

• dare risposta coerente a quesiti e problemi rilevanti e specifici

• offrire soluzioni spendibili rispetto alle esigenze della Valutazione

• portare benefici chiari all’intero progetto e al sistema

• preventivare un investimento di risorse per svolgere la Valutazione al meglio

2. Fattibilità

Considerare il livello di realizzo del progetto tenendo conto di:

• Possibili resistenze in particolare negli interventi di innovazione

• Realtà spesso contraddittorie e complesse (es. personale con varie funzioni)

• Inerzie che rendono difficile valutare l’impatto del processo


3. Forte vincolo alla pertinenza e appropriatezza rispetto alle finalità

• corrispondenza piena fra attività di analisi e bisogno valutativo desiderato

• nel collegamento fra Sistema informativo e Sistema sostantivo, individuazione degli aspetti veramente affini con il problema in studio e realmente influenti sul risultato finale

4. Accuratezza metodologica

Competenza accurata nella metodologia della ricerca e nelle tecniche di analisi statistica


Nella visione più ampia di valutazione la quale può riguardare aspetti sia della programmazione, della pianificazione che della gestione di progetti o interventi, gli obiettivi della valutazione possono così essere descritti (Bertin):

• determinazione del livello di raggiungimento degli obiettivi del programma: individuare diversi livelli di possibile raggiungimento degli obiettivi del programma e una volta individuato il livello, ipotizzare delle conseguenze nella fase successiva del programma

• accertamento degli aspetti forti e gli aspetti deboli degli elementi considerati nel prendere decisioni e nel costruire il programma: qui emerge la competenza del valutatore il quale entra nella sostanza del problema; in un processo, in un programma, ci sono degli anelli forti e degli anelli deboli di congiunzione, questo sempre perché ogni intervento è fatto con le risorse e queste sono limitate. Le situazioni più problematiche che si incontrano nei Sistemi complessi vengono risolte spesso in condizioni di incertezza, l’informazione disponibile non sempre è sufficiente per chiarire i dubbi, questa consapevolezza contribuisce a procedere adeguatamente


• determinazione del livello di generalizzabilità ed estensione di un programma ad altri gruppi di popolazione: obiettivo importantissimo in un intervento è quello di vedere se, in termini quasi sperimentali, si può estendere al resto della popolazione o prevedere le possibili conseguenze in altre tipologie di popolazione o anche in altri paesi

• produzione di nuove conoscenze sul programma, sui suoi effetti o sui problemi che si possono incontrare nella sua implementazione: è nell’osservazione sistematica delle varie fasi del programma che si acquisiscono nuove conoscenze necessarie a conoscere meglio la realtà, a capire come il sistema reagisce e a mettere in luce degli aspetti fino ad allora sconosciuti


• confronto di strategie o programmi alternativi rispetto all’efficacia o ai costi/efficienza: per vedere qual è il miglior programma alternativo che a parità di condizioni, di fattori, realizza meglio gli obiettivi previsti

• identificazione delle ipotesi per studi ed approfondimenti futuri: in ogni attività di ricerca ci sono dei problemi aperti che possono identificare e stimolare altre ipotesi di studio. Occorre chiedersi, anche a seguito di un intervento, quali sono i problemi aperti che si prospettano, che possono coincidere con le ipotesi di partenza ma che possono anche divergere, comportando l’emergere di problemi nuovi, di ipotesi di studio nuove.

È possibile capire cosa vogliamo valutare attraverso i livelli di applicazione, che possono essere distinti nelle seguenti categorie:


• FRONT END ANALYSIS: questo tipo di valutazione precede l’applicazione del programma e fornisce una guida nell’attuazione, nella costruzione ed implementazione del programma. Questo è molto importante perché serve a prevedere i potenziali problemi che si incontrano. L’analisi verte sulla misurazione dell’opportunità di implementare un programma operato in un preciso contesto spazio-temporale e sulla fattibilità dell’intervento

• EVALUABILITY ASSESSMENT: ha una funzione più incentrata alla valutazione in senso tecnico, si tratta di capire quali sono i problemi tecnici, quali limiti si possono incontrare applicando diverse strategie


• FORMATIVE EVALUATION: questo tipo di valutazione ha proprio il compito di valutare i progetti di informazione, le attività che vedono un coinvolgimento diretto di elementi che sono risorse umane. E’ tra i più complessi perché qui la centralità è la risorsa umana. Si possono avere informazioni per la gestione e lo sviluppo del programma in merito alle caratteristiche delle risorse umane. Fra le varie risorse, l’economica, quella delle strutture dei servizi, ecc., è quella umana la più difficile da gestire e quindi anche da valutare

• IMPACT OR SUMMATIVE EVALUATIONS: è una componente della valutazione che mira a quantificare, dimensionare gli sforzi che si stanno facendo per applicare il programma. Mette in evidenza l’aspetto dell’impegno devoluto per il programma, per l’investimento. Quando si attiva un programma nuovo, un’iniziativa nuova, possono emergere le inerzie del sistema, a volte difficili da valutare a priori (es. operatori che dovranno lavorare con procedure nuove e sperimentali nei confronti dell’utenza, possono reagire in maniera imprevista e corporativa)

Rispetto alla complessità dei livelli degli obiettivi c’è una risposta sufficientemente soddisfacente e organica prodotta con l’approccio metodologico chiamato della Valutazione Differenziale, che poggia su pochi, semplici ma ordinati principi:


1. l’opportunità di segmentare ogni progetto, programma, piano di intervento in fasi logicamente e temporalmente consequenziali, ciascuna delle quali va assoggettata ad una specifica valutazione interna. Una prima fase può essere rappresentata ad esempio dalla rilevanza del problema. Quando si decide di attivare un programma, un intervento, è per rispondere ad un problema emergente, rilevante; allora la prima fase è quella della evidenza della rilevanza di un problema. Un’altra fase può essere ad esempio la valutazione delle risorse disponibili, ecc. Il principio della valutazione differenziale serve proprio per questo: si valutano le varie fasi logiche e temporali internamente, per vedere i punti di errore e quali sono i punti critici in ogni aspetto


2. la necessità di selezionare alcune categorie cruciali di valutazione da applicare con atteggiamento specifico a ciascuna delle fasi precedentemente definite. Ad esempio si può considerare la categoria dell’impatto sulla popolazione in termini di aspettative, in termini di immagine, di investimento in strategie di attuazione di programmi diversi

3. l’accortezza di adottare strumenti di osservazione e misura del divenire dei processi in ragione della fase e della categoria di analisi; nelle singole fasi occorre utilizzare strumenti di osservazione diversi

4. l’affermazione del principio della retroazione: nei casi in cui la valutazione dimostri il mancato raggiungimento degli obiettivi intermedi ad essa specifici, si considerano i livelli di raggiungimento degli obiettivi precedenti. Nella logica del processo la sequenzialità temporale o di esecuzione logica temporale è tale per cui se un passaggio è saltato o è insoddisfacente la ragione è da ricercare anche nelle fasi precedenti. L’analisi del diverso livello di raggiungimento, di soddisfazione, di realizzo dei vari passaggi permette di poter avanzare ipotesi sul perché del mancato raggiungimento dell’obiettivo


Va ricordato che delle quattro ragioni fondative dell’approccio differenziale, mentre hanno ottenuto pieno riconoscimento e adeguata applicazione le prime tre, divenute condizione di sensibilità concorde tra gli operatori, la quarta non pare ancora penetrata nei modi di gestire le attività programmatiche, valendo piuttosto il costume (o la credenza) che, una volta decollati con un nuovo progetto, esso debba essere portato necessariamente a conclusione, qualsiasi siano state le condizioni esecutive incontrate durante il processo realizzativo: viene a cadere così l’essenza stessa della logica differenziale, che presuppone abilità di aggiustamento e coraggio autoriflessivo, pena la caduta della qualità stessa dell’attività avviata

Va anche ricordato che la valutazione differenziale mantiene un ragionevole rispetto per i caratteri dell’altro approccio assai diffuso in letteratura e nella pratica, fondato su forti paradigmi scientifici ma adatto a situazioni segnate da semplicità di contesto e facilità di applicazione (l’approccio cosiddetto della valutazione sperimentale): quest’ultimo opera infatti nella intenzione di misurare l’effetto netto di un unico trattamento fatto intervenire, sotto stretto controllo delle condizioni di disturbo, da parte del ricercatore.Anche il modello differenziale ha alla sua base la ratio della confrontabilità tra i gruppi, dell’analisi prima-dopo l’azione compiuta, dell’isolamento dei fattori, ma esso si scontra con la complessità della situazione, l’ampiezza anche temporale dei processi, la pluralità degli attori e delle funzioni


Formulazione politica

rilevanzae

adeguatezza nella formulazionee

conguenzae

coerenza internae

sforzo accettabile NO SI

progettazione operativa

coerenza internae

coerenza con fase precedentee

adeguatezza nella formulazionee

sforzo accettabile

NO SI

avvio (acquisizione risorse)

avanzamento accettabilee

sforzo accettabile NO SI

realizzazione

avanzamento accettabilee

efficaciae

efficienzae

impatto non negativoe

rilevanzaNO SI

FASI

DI

IMPL

EM

EN

TA

ZIO

NE

FASI

DI

FOR

MU

LA

ZIO

NE

DE

L P

RO

GR

AM

MA


Flusso di programmazione e valutazione

Le dimensioni e le variabili della Valutazione 1/6

Pertinenza Misura il rapporto tra

RISULTATI/OBIETTIVI e BISOGNI REALI DI SALUTE

Efficacia " RISULTATI e OBIETTIVI PRODOTTI (iniziali)

Efficienza " PRESTAZIONI PRODOTTEcome è stato eseguito (es. n. di analisi compiute per ogni operatore, n. di telefonate a cui è stata data risposta, ecc.)

e RISORSE IMPIEGATE

Rendimento " RISULTATI e RISORSE

Avanzamento Grado di realizzazione di un progetto

Impatto Effetti sul sistema sociale complessivo

Il sistema dei servizi è un sistema produttivo: a fronte di bisogni ad esempio di salute presenti nella comunità, il sistema dispone di risorse umane e materiali che, attraverso processi trasforma in prodotti (es. prestazioni di cura), ai quali corrispondono risultati in salute (es. guarigione da stati morbosi acuti)

La Joint Commission on Accreditation of Helthcare Organization che opera in USA, indica anche le seguenti dimensioni da misurare per una completa Valutazione del Servizio sanitario:


Accessibilità Facilità per l’utente di accedere alle prestazioni in caso di bisogno.Un servizio, in caso di bisogno, è accessibile o no?

Tempestività Disponibilità delle prestazioni in termini utili rispetto allo stato di bisognoEs.: se un soggetto chiede di fare una analisi medica, la tempestività incide in termini di salute, perché ci sono esami che non si possono rimandare.

Correttezza Corrispondenza delle prestazioni ottenute agli standard in base allo stato dell’arte. Ciò che viene fatto deve essere congruo, coerente, vicino all’istanza.

Efficacia Grado di potenziale soddisfacimento del bisogno tramite la prestazioni ricevuta.

Pertinenza Corrispondenza tra prestazione ottenuta e bisogno presentato dall’utente.

Rendimento Ottenimento dei risultati attesi al minimo costo.

Continuità Coordinamento e integrazione tra prestazioni necessarie al soggetto.Si può pensare al paziente che, appena uscito dall’ospedale, sia seguito da altre strutture grazie ad un coordinamento fra servizi.


Riservatezza Garanzia di non diffusione ad estranei di informazioni concernenti se stessi e il proprio stato di salute.

Partecipazione Coinvolgimento del paziente e dei familiari nelle decisioni relative alla prestazione.

Garanzia Livello di sicurezza rispetto alle possibilità di ottenere prestazioni in caso di bisogno.

FUNZIONI DI CONTROLLO

QUANDO PERCHE’ COSA CONTROLLARE

VERIFICA Durante l’esecuzione del progetto

Per gestire al meglio il progetto

-Risultati che via via si vanno perseguendo-Avanzamento-Uso risorse

VALUTAZIONE Alla fine Per imparare per il futuro: riprogettare

-Risultati finali rispetto a: obiettivi fissati bisogni reali-Cause di ottimi o cattivi risultati-Livelli di efficienza

Si stabiliscono i criteri da seguire-cosa controllare-come controllare-chi controllare

-DURANTE L’ESECUZIONE

-A CONSUNTIVO

-si raccolgono e si elaborano i dati-si esprimono i giudizi-in relazione ai giudizi, eventualmente

IN SEDE DI PROGETTAZIONE

Le dimensioni e le variabili della Valutazione 4/6Alcune caratteristiche dei processi di controllo attuati attraverso la VERIFICA e la VALUTAZIONE:

Le variabili che entrano in gioco nella valutazione sono di tre tipi:


• VARIABILI FINALI: queste non stanno ad significare “il risultato” del processo ma significano “tutto ciò che emerge alla fine di ogni singola fase della valutazione”. Possiamo avere “variabili intermedie” e “variabili finali”. Per “variabili finali” si intende fenomeni che esprimono i “fini” per i quali il micro-sistema produce. Si intendono quindi quelle variabili che, a vario titolo, sono il risultato del processo attivato. Es.: numero di prestazioni erogate, di diagnosi, di prestazioni effettuate per operatore. Quando si parla di “variabili finali” si possono intendere quelle riferite alla fine di tutto il processo (cosa salta fuori alla fine) ma non solo

• VARIABILI STRUMENTALI: ossia variabili sulle quali operare per ottenere certi risultati. Sono espressione di fenomeni del micro-sistema produttivo (risorse, processi, prodotti) sui quali si può intervenire attraverso l’azione di sviluppo di qualità, al fine di determinare variazioni positive nelle variabili finali. Sono variabili che definiscono il sistema, che compongono il sistema. Ad esempio senza risorse umane non si può avere il “sistema ospedaliero”, ecc.


• VARIABILI CONCOMITANTI: sono quelle variabili sulle quali non si può intervenire ma bisogna subirle. Variabili concomitanti sono: la distribuzione per sesso degli operatori (tanti maschi, tante femmine); se l'unità che dobbiamo valutare si trova ad esempio in un contesto urbano oppure rurale; sono elementi che non si possono modificare. Ad esempio se si vuole valutare il livello di difficoltà che si ha nello studio della statistica, una variabile concomitante è il diploma di maturità posseduto da ogni studente; un fattore inevitabile, immutabile ma che ovviamente deve essere considerato nel momento in cui si procede alla valutazione. Le variabili concomitanti svolgono il loro ruolo sia sul versante degli investimenti, sia sul versante degli effetti finali.

Gli indicatori 1/2

L’Organizzazione Mondiale della Sanità definisce “indicatore” un’informazione selezionata in modo opportuno, che aiuta a misurare i cambiamenti in relazione a criteri prioritari e permette di monitorare aspetti specifici dell’“attività” sanitaria, o fattori permanenti alla determinazione della stessa.

Gli indicatori possono soddisfare diverse finalità: comparative (quantificando il fenomeno di interesse), valutative (cogliendo la posizione assunta dal fenomeno quantificato, rispetto a standard di riferimento) e programmatorie (suggerendo la possibilità di miglioramento rispetto alla posizione ricoperta).

L’indicatore è lo strumento attraverso il quale si concretizza, si operativizza una variabile o un suo aspetto particolare. In termini generali può essere definito come indicatore l’espressione empirica di una variabile. La variabile è un concetto, l’indicatore un suo referente esperenziale.

Gli indicatori 2/2

Di seguito vengono descritti alcuni indicatori nell’area dell’assistenza sanitaria. All’interno di ciascun livello di assistenza e/o area di domanda, nel D.Lgs. luglio 95, sono enucleati una serie di indicatori, espressione delle principali classi di fenomeni:

1) INDICATORI SOCIO-ECONOMICI (riguardanti orientativamente i fenomeni socio-economici, demografici e culturali, ecc.);

2) INDICATORI DI STATO DI SALUTE (per genere, età, ambiente di vita, ecc. degli assistiti);

3) INDICATORI DI DOMANDA ESPRESSA E DI ACCESSIBILITÀ (sulla disponibilità del servizio, in termini di strutture e/o di entità delle liste di attesa, sulla numerosità degli utenti reali o potenziali, sulla dimensione della domanda espressa dalla popolazione);

4) INDICATORI DI RISORSE (risorse finanziarie: spesa corrente pro-capite, rapporto tra spesa corrente specifica per livello e/o area di domanda e spesa corrente totale, costo medio per tipologia di operatori; risorse umane);

5) INDICATORI DI ATTIVITA’ (relativa a servizi e prestazioni erogati in rapporto al personale impiegato e agli utenti effettivi e potenziali);

6) INDICATORI DI EFFICACIA (per cogliere i risultati conseguiti, scindibili in: indicatori di risultato complessivo, per valutare il conseguimento degli obiettivi del PSN, e indicatori di risultato tecnico, per valutare la qualità dell’assistenza erogata dai servizi sanitari).

Parametri Laboratorio

A B C

1. Ore settimanali di attività (risorse)

24 30 20

Prestazioni (analisi)

960 1500 1200

Risultati (n. di casi effettivamente diagnosticati)

900 1200 720

Tre laboratori di analisi biomediche della USL n.100 sono caratterizzati dai seguenti parametri di funzionamento:

Esempio

a) Qual è il laboratorio più efficace?b) Qual è il laboratorio più efficiente?c) Qual è il laboratorio con rendimento più alto?d) Quali dovrebbero essere i livelli di attività e di risultato di un quarto

laboratorio D, funzionamento di 26 ore, che intendesse raggiungere i massimi valori degli indici di funzionamento dei tre laboratori A, B e C?

A B C

a) EFFICACIA 900/24 = 37,5 1200/30 = 40 720/20 = 36

b) EFFICIENZA 960/24 = 40 1500/30 = 50 1200/20 = 60

c) RENDIMENTO 900/960 = 0,9375 1200/1500 = 0,8 720/1200 = 0,6

Esempio

d) Poiché ho 26 ore e devo raggiungere i livelli massimi come si fa?

EFFICACIA = 40

RISULTATI / RISORSE = 4026 × 40 = 1040

EFFICIENZA = 60

PRESTAZIONI / RISORSE = 6026 × 60 = 1560

RENDIMENTO = 66.7%

RISULTATI / PRESTAZIONI = 66.7%

(1040 : 1560) × 100 = 66.7%

• LABORATORIO INDIVIDUALE SU: VALUTAZIONE .•

VEROFALSO

• 1. E’ una tecnica di analisi dei processi decisionali nei servizi 1 2• 2. Una procedura di misurazione è rappresentata dall’analisi • della Qualità 1 2• 3. La V ex ante si basa sui risultatati prodotti alla fine del processo 1 2• 4. Si basa prevalentemente sulle aspettative dell’utenza 1 2• 5. L’impatto di un intervento viene affrontato nella V ex ante 1 2• 6. Si svolge in ogni unità di intervento una volta all’anno 1 2• 7. E’ sempre associata alle norme di Classificazione della Qualità 1 2• 8)Permette di misurare diversi aspetti del servizio 1 2• 9)E’ imposta per legge a tutte le aziende erogatrici di servizi 1 2• 10.Si configura come un metodo occasionale di osservare • l’esperienza 1 2• 11.La rilevanza dell’intervento o progetto deve emergere • nella fase di V ex-post 1 2• 12.La verifica dell’uso delle risorse è la fase centrale • nella Valutazione 1 2 • 13. Il rendimento di un Progetto o intervento è funzione delle • sole risorse impiegate 1 2• 14. L’efficacia è una variabile concomitante nella valutazione • del Progetto 1 2

• LABORATORIO SU :INDICATORI DELLA VALUTAZIONE DEI SERVIZI.• Tre laboratori di analisi cliniche sono caratterizzati dai seguenti parametri di funzionamento• Parametri• Laboratori• X• Y• Z• 1) Ore settimanali di attività 24 30 32

• 2) Prestazioni (n. di prelievi effettuati) 600 900 800

• 3) Risultati (n. di casi effettivamente 480 810 672• analizzzati)• Qual è l’ufficio più efficiente? • Qual è l’ufficio più efficace? • Qual è l’ufficio con rendimento più alto?• Quali dovrebbero essere i livelli di attività e di risultato di un quarto ufficio che lavora 36 ore, che

intendesse raggiungere i massimi valori degli indici di funzionamento dei laboratori X Y Z?

Documents

LA STATISTICA E IL PROCESSO DECISIONALE Il riconoscimento del ruolo della statistica nei processi decisionali, in particolare per lattività pubblica, richiede: