Aib 2008 Mdg

Seminario AIB Roma 13 novembre 2008

Misurazione e valutazione come .. MdG

Misurazione e valutazione come

strumenti di gestione, cambiamento

e sviluppo Maurizio di GirolamoMaurizio di Girolamo

Biblioteca di AteneoUniversità degli Studi di Milano Bicocca

Seminario AIB 13 novembre 2008

2Seminario AIB Roma 13 novembre 2008


Oggi parliamo di valutazione

• La valutazione: una brutta parola o tante parole da mettere insieme?

• Tutto quello che avremmo voluto sapere ma che non abbiamo mai osato chiedere… ancora

• Una sola domanda…

• … tante possibili risposte



La “nuvola” della valutazione



La misurazione, il monitoraggioe la valutazione della biblioteca

?

?

?

Valutare

A pproc c ioqualita tiv o

V alutare

Comprendereil presente

Balanc eds c orec ard

A pproc c ioquantita tiv o

E ffi ca cia

E ffi c i e n za

E co n o m i ci tà

Rilev az ion isistemat iche

Rilev az ion ioccasionali

M isu re

P ro ce ssi

Im p a tto

Co n tro l l o d i g e sti o n e

In d a g in i d i c l im a

P lu ri e n n a l e

A n n u a le

S e m e stra le

O u tco m e

In d i ca to ri

In d a g in i d i cu sto m e r

Fo cu s g ro u p

In te rvi ste stru ttu ra tese m i stru ttu ra ten a rra ti ve

Rice rca a zi o n e

Soddis f az ione degli utent i

Qualità de ls e rvizio

Budget

In f ras tru tture

Pianif ic are i lc am biam ento

A naliz z are i lpas s a to

V er if ic are g l iob ie tti vi

T a sso d i e rro re o d isco sta m e n to

Pres taz ion i

S ta ff

S e rvi zi tra d i z i o n a l i

S e rvi zi e l e ttro n i c i

Co n fo rm i tà a g l i sta n d a rd

E q u i tà

B a ck o ffi ce

Bis ognifo rm ati vi

M a p p a d e l l e co m p e te n ze

E m p o we rm e n t

T rim e stra l e

M e n si l e

P u b b l i ca zi o n e d i re p o rt d i si n te si a l i ve l l o a g g re g a to

In d a g in i d i cu sto m e s sa ti sfa cti o n

L a n cio d i n u o vi se rvi z i

In d a g in i q u a l i ta ti ve

In d a g in i su i b i so g n i fo rm a ti vi

E B L

In p u t

O u tp u t

M isu re d a ra cco g l i e reFo n tiM e to d o d i ri l e va zio n e

Quando misurare

Perchè misurarerac c ogliere informazioni per...

Come misurare

Fro n t o ffi ce

Cosa misurare



La valutazione è…• l'insieme delle attività per esprimere un giudizio per un fine

decisionale; tale giudizio deve essere argomentato tramite procedure di ricerca valutativa che ne costituiscono elemento essenziale ed imprescindibile di argomentazione. Le espressioni di giudizio argomentate sulla base di dati e informazioni raccolti e analizzati per questo scopo, e finalizzate al sostegno della decisione, è ciò che distingue la valutazione scientifica e professionale dall'espressione di giudizi basati sul senso comune, su pregiudizi, su interessi di parte.

(Claudio Bezzi) http://www.valutazione.it



La teoria: l’evoluzione dello La teoria: l’evoluzione dello “Scientific management”“Scientific management”

• La Misurazione (H. Ford, F. Taylor, 1920-30)

• PDCA = Plan, do, check, act (E. Deming, 1940-50)

• MBO = Manage by objective (P. Drucker, 1950-60)

• ABC = Activity base costing (1970-80)• Balance Scorecard (Norton-Kaplan

1990-2000)



La teoria La teoria applicabileapplicabile alla pratica: alla pratica: i principi guida del New Public i principi guida del New Public

Management Management • Decentramento e autonomia della

gestione• Controllo delle spese• Informatizzazione• Misurazione delle prestazioni• Valutazione e incentivazione del

personale• Valutazione dell’impatto delle politiche

adottateLa governance nella PA

<http://www.governance.formez.it/>



La performance come…

• Controllo di legittimità (adempimento burocratico) anni ’80

• Efficienza manageriale (efficienza, economicità, qualità) anni ’90

• Creazione di valore pubblico (risultati, effetti, impatti) anni 2000

Misurare per decidere La misurazione delle performance per migliorare le politiche pubbliche e i servizi (2007)

<http://www.cantieripa.it/inside.asp-id=513.htm>



Evaluation - foci

Inputs Processes Outputs Outcomes ImpactsInputs Processes Outputs Outcomes Impacts

Increasing difficulty …………Increasing usefulness …………

We have 2 million records

We have the technology to transform data

into information-rich products

We have delivered

one million documents

26 students have read this paper

As a result of our service,

humankind has beaten

malaria

Peter Brophy, Assessing library value and performance, Milano, novembre 2007

La valutazione come sviluppo lineare



La valutazione come cicloLa valutazione come ciclo

Obiettivi Input Attuazione

Monitoraggio

efficienza, qualità

efficacia interna

rilevanza

Variabiliintervenien

ti

Valutazione

Prodotti(output)

Risultati(outcome)

Impatti(impact)

utilità, sostenibilità

PROBLEMICOLLETTIV

I =CONDIZIO

NIINDESIDER

ATE

Il ciclo logico del monitoraggio e della valutazione (Vecchi, Forum PA 2005):



Le prospettive della valutazione

Prospettiva esternaUtenti

Focus sulla qualitàFocus sull’impatto

Prospettiva internaBiblioteca

Focus sui processiFocus sui prodotti

Approccio quantitativo Approccio qualitativo



Quali misure e per quale scopoPerformance Measures Should Help Us Decide:

Are We Doing Things Right?

(How?)Are We Doing The Right Things?

(What?)Are We Doing The Right Things?

(What?)

InputInputInputInput ProcessProcessProcessProcess OutputOutputOutputOutput OutcomeOutcomeOutcomeOutcome

Input: Resources, including budget and workforceProcess: Activities, efforts, workflowOutput: Products and services producedOutcome: Results, accomplishments, impacts

Joseph R. Matthews, The Balanced Scorecardin Public Libraries, September 2006



Un mondo di progetti…

• ARL: <http://www.arl.org/stats/>• COUNTER: <http://www.projectcounter.org/>• E-VALUED: http://www.evalued.bcu.ac.uk/• MESUR: <http://www.mesur.org/MESUR.html>• IFLA: <http://www.ifla.org/VII/s22/>• LISU: <http://www.lboro.ac.uk/departments/dils/lisu/>• SCONUL: <http://www.sconul.ac.uk/statistics/>• LIBQUAL+: <http://www.libqual.org/>• ULB MUNSTER:

<http://www.ulb.uni-muenster.de/bibliothek/projekte/outcome.html>



E noi?

GIM (Gruppo Interuniversitario

per il Monitoraggio

dei sistemi bibliotecari di ateneo)

<http://gim.cab.unipd.it/>

BIC (Biblioteche Italiane Certificate) <http://www.comune.empoli.fi.it/bic/index.h

tml>



Gli strumenti

• Efficienza– Costi/benefici– Prodotti– Processi

• Efficacia– Customer satisfaction

• Impatto– Outcome– Risultati

• Approccio quantitativo– Indicatori finanziari– Activity based costing– Diagramma di Pareto– ROI, Contingent valuation

• Approccio qualitativo– Questionari– Interviste, focus group– Mystery shopping

• Approccio misto– Balance scorecard



L’analisi delle attività…

Efficienza Efficacia

Progetti

ProdottiGestione monografie - ordini

Gestione monografie - catalogazioni

Gestione periodici

Coordinamento

ILL/DD

Gestione sale e collezioni

Reference

Prestito

Formazione e comunicazione

Gestione Web

Gruppi di lavoro interateneo

Manutenzione del catalogo

Gestione sistemi informativi

Gestione ILS

Sviluppo organizzativo

Risorse elettroniche

Coordinamento



… e la frustrazione del bibliotecario

L’angolo del buon umore 1



Attività per rilevanza

0

20

40

60

80

100

RILEVANZA % FTE

Rilegature

Formazione

ILL-DD

Gestione spazi/sala/collezioni

Recuperi catalografici

Consolidamento AP

Gruppi di lavoro

Reference

Manutenzione catalogo

Gestione periodici

Prestito

Gestione monografie

Attività per FTE

0

20

40

60

80

100

RILEVANZA % FTE

Rilegature

Manutenzione catalogo

Gestione spazi/sala/collezioni

Consolidamento AP

Recuperi catalografici

Gruppi di lavoro

Formazione

ILL-DD

Reference

Gestione monografie

Gestione periodici

Prestito

Attività I D RI LEVANZA % FTEPrestito FO-01 15 21,88Gestione periodici BO-02 14 16,06Gestione monografie BO-01 15 15,00Reference FO-02 10 12,88I LL-DD FO-04/05 5 7,81Formazione I S-01 5 5,69Gruppi di lavoro I S-02 10 5,69Recuperi catalografici BO-04 5 3,75Consolidamento AP BO-03 5 3,38Gestione spazi/sala/collezioni FO-03 5 3,31Manutenzione catalogo BO-08 10 2,38Rilegature BO-05 1 2,19

Attività I D RI LEVANZA % FTE

Prestito FO-01 15 21,88

Gestione periodici BO-02 14 16,06

Gestione monografie BO-01 15 15,00

Reference FO-02 10 12,88

I LL-DD FO-04/05 5 7,81

Formazione I S-01 5 5,69

Gruppi di lavoro I S-02 10 5,69

Attività I D RI LEVANZA % FTE

Prestito FO-01 5,00 5,00

Gestione periodici BO-02 4,67 3,67

Gestione monografie BO-01 5,00 3,43

Reference FO-02 3,33 2,94

I LL-DD FO-04/05 1,67 1,79

Formazione I S-01 1,67 1,30

Gruppi di lavoro I S-02 3,33 1,30

distribuzione attività

0

1

2

3

4

5

0 1 2 3 4 5

rilevanza

fte Attività

29Acquisizioni0,00415,00%MatematicaBack OfficeU2AnonimoGennaio

5Acquisizioni0,00727,00%GeologiaBack OfficeU2AnonimoGennaio

195Acquisizioni0,0014,00%Base U2Back OfficeU2AnonimoGennaio

Acquisizioni0,0033,00%Base U2Back OfficeU2AnonimoGennaio

171Acquisizioni0,02124,78%PsicologiaBack OfficeU6AnonimoGennaio

Acquisizioni0,0000,00%Back OfficeU6AnonimoGennaio

198Acquisizioni0,03035,82%EconomiaBack OfficeU6AnonimoGennaio

Acquisizioni0,000MedicinaBack OfficeU8AnonimoGennaio


252Acquisizioni0,04554,00%SociologiaBack OfficeU6AnonimoGennaio

646Acquisizioni0,0033,00%DirittoBack OfficeU6AnonimoGennaio

0Ordini0,0000,00%Base U6Back OfficeU6AnonimoGennaio

14Fascicoli0,0000,00%Base U6Back OfficeU6AnonimoGennaio


30Acquisizioni0,01315,00%StatisticaBack OfficeU6AnonimoGennaio

OutputAttivitàFTE% FTEArea discSettoreSedeCognomeMese

29Acquisizioni0,00415,00%MatematicaBack OfficeU2AnonimoGennaio

5Acquisizioni0,00727,00%GeologiaBack OfficeU2AnonimoGennaio


Acquisizioni0,0033,00%Base U2Back OfficeU2AnonimoGennaio

171Acquisizioni0,02124,78%PsicologiaBack OfficeU6AnonimoGennaio

Acquisizioni0,0000,00%Back OfficeU6AnonimoGennaio

198Acquisizioni0,03035,82%EconomiaBack OfficeU6AnonimoGennaio



252Acquisizioni0,04554,00%SociologiaBack OfficeU6AnonimoGennaio

646Acquisizioni0,0033,00%DirittoBack OfficeU6AnonimoGennaio

0Ordini0,0000,00%Base U6Back OfficeU6AnonimoGennaio

14Fascicoli0,0000,00%Base U6Back OfficeU6AnonimoGennaio


30Acquisizioni0,01315,00%StatisticaBack OfficeU6AnonimoGennaio

OutputAttivitàFTE% FTEArea discSettoreSedeCognomeMese

12,77%2,09%15,95%10,87%19,07%16,92%Psicologia Totale

3,85%2,09%4,42%5,46%9,30%8,92%Marzo

5,07%0,00%6,12%4,26%5,86%4,13%Febbraio

3,84%0,00%5,41%1,15%3,91%3,88%GennaioPsicologia

6,19%5,99%2,36%2,59%7,94%3,77%Informatica Totale

2,98%1,75%1,07%0,88%2,10%0,54%Marzo

2,64%2,69%1,07%1,39%1,87%1,25%Febbraio

0,57%1,55%0,21%0,32%3,97%1,97%GennaioInformatica

21,28%13,54%9,56%10,83%18,73%13,48%Formazione Totale

6,34%8,35%3,29%4,18%6,45%2,06%Marzo

7,02%3,70%3,65%2,79%7,14%3,79%Febbraio

7,93%1,48%2,62%3,86%5,14%7,62%GennaioFormazione

10,42%32,39%13,95%12,15%13,60%15,54%Economia Totale

2,33%13,06%3,43%4,62%3,03%7,76%Marzo

2,50%3,77%5,02%4,50%6,88%3,29%Febbraio

5,59%15,56%5,49%3,03%3,69%4,49%GennaioEconomia

21,84%30,24%35,39%45,40%10,41%27,29%Diritto Totale

6,48%9,70%15,22%19,51%2,93%5,83%Marzo

8,26%14,68%9,33%13,74%2,88%6,81%Febbraio

7,11%5,86%10,84%12,15%4,59%14,66%GennaioDiritto

FTEOutputFTEOutputFTEOutputMeseArea disc

OrdiniFascicoliAcquisizioni

DatiAttività

12,77%2,09%15,95%10,87%19,07%16,92%Psicologia Totale

3,85%2,09%4,42%5,46%9,30%8,92%Marzo

5,07%0,00%6,12%4,26%5,86%4,13%Febbraio

3,84%0,00%5,41%1,15%3,91%3,88%GennaioPsicologia

6,19%5,99%2,36%2,59%7,94%3,77%Informatica Totale

2,98%1,75%1,07%0,88%2,10%0,54%Marzo

2,64%2,69%1,07%1,39%1,87%1,25%Febbraio

0,57%1,55%0,21%0,32%3,97%1,97%GennaioInformatica

21,28%13,54%9,56%10,83%18,73%13,48%Formazione Totale

6,34%8,35%3,29%4,18%6,45%2,06%Marzo

7,02%3,70%3,65%2,79%7,14%3,79%Febbraio

7,93%1,48%2,62%3,86%5,14%7,62%GennaioFormazione

10,42%32,39%13,95%12,15%13,60%15,54%Economia Totale

2,33%13,06%3,43%4,62%3,03%7,76%Marzo

2,50%3,77%5,02%4,50%6,88%3,29%Febbraio

5,59%15,56%5,49%3,03%3,69%4,49%GennaioEconomia

21,84%30,24%35,39%45,40%10,41%27,29%Diritto Totale

6,48%9,70%15,22%19,51%2,93%5,83%Marzo

8,26%14,68%9,33%13,74%2,88%6,81%Febbraio

7,11%5,86%10,84%12,15%4,59%14,66%GennaioDiritto

FTEOutputFTEOutputFTEOutputMeseArea disc

OrdiniFascicoliAcquisizioni

DatiAttività

0

0,05

0,1

0,15

0,2

0,25

U2 U6 U8 U2 U6 U8 U2 U6 U8

Gennaio Febbraio Marzo

GdL Web / Linx

GdL Metalib/SFX

GdL Linx

GdL Aleph

Somma di FTE

Mese Sede

Attività

Dai numeri…



… alle parole (e oltre)



He uses statistics as a drunken man uses lampposts - for support rather than illumination

A. Lang




Statistics are like bikinis. What they reveal is suggestive, but what they conceal is vital

Aaron Levenstein




La valutazione nei Sistemi Bibliotecari di Ateneo (1)

• Inizio rilevazioni quantitative: seconda metà anni ’90 (MURST) e nuovo impulso 2002-2003 (GIM)

• Indagini customer satisfaction: episodiche, soprattutto negli ultimi 3-4 anni

• Approccio qualitativo: molto scarso, se si eccettuano specifici ambiti di applicazione

, Maurizio di Girolamo, Perché misuriamo? : i sistemi bibliotecari di ateneo alle prese con il monitoraggio, tra entusiasmi e frustrazioni, Convegno AIB 2007, <http://www.aib.it/aib/congr/c54/mh.htm3>




• Periodicità annuale con eccezioni sporadiche (spese, performance, carichi di lavoro)

• Controllo di gestione poco diffuso negli atenei e assente per gli SBA

• Rapporto SBA NdV problematico (con lodevoli eccezioni)




• Rapporto centro-periferia per raccolta ed elaborazione dati

• Coesistenza di dati imputati manualmente e dati derivati da sistemi informativi

• Sperimentazioni e analisi a livello decentrato (biblioteche di dipartimento)




• Il monitoraggio come adempimento burocratico

• Le resistenze dello staff

• Le resistenze dei consigli scientifici

• Le eccezioni positive




• Dati assoluti in serie storica• Benchmarking interno• Confronto con standard (GIM e non solo)• Risorse elettroniche• Indagini di customer satisfaction• Mancata correlazione fra analisi

quantitative e qualitative




• Relazioni e rapporti annuali• Condivisione con lo staff e gli stakeholder• Pubblicazione dei dati e delle analisi

(Intranet vs Internet)• Occasioni particolari (comunicazioni,

pubblicazioni, …)• Eccezione: le indagini di customer




• Atteggiamento “difensivo”– Analisi quantitative

• Atteggiamento “proattivo”– Analisi qualitative

• Comunicazione come condivisione




• Ripartizione dei finanziamenti fra le strutture• Distribuzione del personale• Definizione e monitoraggio degli obiettivi di

struttura e dei dirigenti• Valutazione di singoli servizi, forniture• Politica delle collezioni (cartacee ed elettroniche)• Monitoraggio della formazione interna/esterna




• Difficoltà di rapporto fra SBA e resto dell’Ateneo

• Mancanza di tempo/risorse da dedicare al monitoraggio

• Sottovalutazione dell’importanza della misurazione in termini di pianificazione del cambiamento



L’angolo del buon umore?



Le indagini di OCLC• L’avvento del Web e la sempre maggiore confidenza degli utenti nei

confronti della rete, stanno, in effetti, rendendo evidente il fenomeno crescente della disintermediazione, o forse – più propriamente – iperintermediazione, informativa

• I motori di ricerca sono il punto di riferimento in assoluto più utilizzato, dal quale, secondo il report del 2005, ben l’84% degli intervistati parte per le proprie ricerche, contro l’1% di quelli che si rivolgono, inizialmente, al sito web della biblioteca

• Il 90% poi si ritiene soddisfatto dell’informazione ottenuta attraverso i search engines, soprattutto rispetto alla quantità e alla qualità delle informazioni ottenute

Andrea Marchitelli, AIB Notizie, 20, 2008 <http://www.aib.it/aib/editoria/n20/0413.htm3>

Il cambiamento è una questione

di SOPRAVVIVENZA



LIBQUAL+

My perception of the quality of service delivered

The level of service that I desire (can and should be delivered)

My minimum expectation of service(what I’m willing to accept)

“Gap” Model of Measuring Service Quality

Zoneof

ToleranceServiceAdequacyGap

Brown University Library’s Experience with LibQUAL+

BLC Output Measures WorkshopMay 27, 2003Boston Public Library



Il Balanced Scorecard

Kaplan & Nortonhttp://www.balancedscorecard.org



I “Malcolm Baldridge Criteria”

<http://www.quality.nist.gov/>



Would you recommend us to a friend?

<http://www.oclc.org/nextspace/005/1.htm>



Pochi ma buoni…

• Measuring quality : performance measurement in libraries / Roswitha Poll, Peter te Boekhorst. - 2nd rev. ed. - München : K. G. Saur, 2007

• The evaluation and measurement of library services / Joseph R. Matthews. - Westport (Conn.) : Libraries Unlimited, 2007

• Measuring library performance : principles and techniques / Peter Brophy. - London : Facet, 2006

• The measure of library excellence / Despina Dapias Wilson, Theresa del Tufo and Anne E.C. Norman, Jefferson (N.C.) ; London : McFarland, c2008



Per concludere…

"Obstacles are those frightful things you see when you take your eyes off your goal”

Henry Ford

Education

Aib 2008 Mdg