Valutazione

L’applicazione dei criteri di valutazione sull’efficacia della biblioteca deriva essenzialmente dal nuovo approccio sistemico, in cui ogni attività condiziona ed è a sua volta condizionata da tutte le altre.

Valutazione

La valutazione non può essere soltanto un esercizio teorico o astratto, ma deve incidere poi sulla vita reale della biblioteca; è uno strumento informativo che deve aiutare il bibliotecario a comprendere eventuali problemi e a prendere decisioni in merito.

Valutazione

La valutazione è il processo di analisi, di verifica e di confronto fra dati e indicatori relativi ad una medesima struttura o a strutture simili. E' un processo complesso che si fonda su continue misurazioni e rilevazioni delle singole attività e servizi della biblioteca, ma in un ottica di sistema per cui si dovrà arrivare a combinare insieme più elementi e più fenomeni per avere indicazioni significative.

Valutazione

Si pone quindi un doppio problema che cosa misurare e come misurare, cioè trovare gli strumenti idonei a misurare le diverse attività, non sempre facilmente quantificabili e comparabili, ma anche stabilire gli obiettivi della valutazione, cioè valutare che cosa.

Valutazione

L’obiettivo del processo di valutazione è quello di misurare l’efficacia e la produttività (o efficienza)

Valutazione

L’efficacia esprime il grado di raggiungimento degli obiettivi e il livello di soddisfazione degli utenti. La valutazione dell’efficacia si deduce dalla misurazione di quelli che vengono definiti output (ovvero prodotti e servizi realizzato dalla biblioteca a partire dalle risorse a disposizione).

La produttività invece si riferisce al problema del controllo dei costi e del miglior utilizzo delle risorse, ha cioè a che vedere con quello che viene definito input, cioè con le risorse a disposizione della biblioteca, di ogni tipo, finanziario, umano, documentario.

Valutazione

I contenuti della valutazione:

quantità dei servizi erogati (ad esempio quanti prestiti);

qualità dei servizi (per esempio quanti quesiti posti al bibliotecario del reference hanno avuto risposta positiva? O anche a quante richieste di libri specifici la biblioteca ha risposto positivamente);

tempestività del servizio (quanto tempo intercorre tra una richiesta e la risposta?)

disponibilità del servizio; accessibilità del servizio (quanta parte delle

collezioni è direttamente accessibile? Ci sono barriere architettoniche?)

Valutazione

La valutazione è un processo costoso, sia in termini di risorse economiche, che in termini di lavoro

E’ necessario preventivamente stabilire gli obiettivi che si propone di raggiungere, per decidere il giusto grado di profondità dell’analisi.

la raccolta dei dati deve essere fatta in modo omogeneo, rispettando le indicazioni che ormai hanno raggiunto un livello di standardizzazione accettabile.

Valutazione

Metodi di indagine: analisi quantitativa ( basarsi solo su dati

oggettivi) o analisi qualitativa (basarsi ad esempio sulla percezione degli utenti di alcuni servizi)

si sceglie il punto di vista del bibliotecario o quello dell’utente;

il processo di valutazione deve essere fatto dall’interno della struttura o dall’esterno.

Valutazione

Dati = derivano della misurazione di qualcosa, risorse o attività (libri posseduti, personale in servizio, prestiti effettuati, volumi catalogati)

Misurazione = fase di raccolta delle informazioni e di elaborazione delle stesse sulla base dei parametri prescelti.

Indicatori = sono rapporti statistici che si ottengono incrociando dati disomogenei oppure elaborando un dato di partenza.

Valutazione

Misure di base Acquisti (volumi, audiovisi, Cd-Rom) Dotazione documentaria Ore di apertura settimanali Periodici correnti Personale di ruolo Prestiti Spesa complessiva ordinaria Spesa per l’acquisto di materiale bibliografico Superficie complessiva (specificando quella destinata al

pubblico Utenti attivi del prestito Utenza potenziale

Valutazione

Indicatori di base Indice di superficie (superficie al pubblico/utenza

potenziale x 10) Indice di apertura (media delle ore di apertura

settimanale) Indice della dotazione di personale (numero

personale/utenza potenziale x 2000) Indice della spesa pro capite (Spese di

funzionamento/utenza potenziale) Indice della spesa per acquisto del materiale

bibliografico (spesa/utenza potenziale)

Valutazione del servizio di reference

Non è facile mettere a punto strumenti di valutazione per questo servizio, dato l'alto grado di articolazione e di complessità, la compresenza di elementi quantitativi e qualitativi, l'incidenza del fattore umano. E’ necessario quindi utilizzare sia il metodo quantitativo che quello qualitativo, cioè di metodologie diversificate applicabili contemporaneamente o separatamente, nonché prendere in considerazione anche la soddisfazione dell’utente.

Valutazione del servizio di reference

Il servizio di reference può essere sottoposto a due diversi tipi si valutazione:

quello macrovalutativo, ovvero verificare se e quanto funziona il servizio attraverso il rilevamento di una serie di dati oggettivi

Valutazione del servizio di reference

quello microvaluativo, ovvero cercare di

stabilire come esso funziona e perché funziona in un certo modo.

Questo secondo approccio alla valutazione è teso a rilevare la ragione per cui ad esempio alcune domande sono rimaste senza risposta, o spiegare la ragione della differenza dei tempi di risposta.

Valutazione del servizio di referenceValutazione del servizio diretto

Quante e che tipo di richieste riceve il servizio informativo? Quante ricerche bibliografiche sono state effettuate e che tipo di risultati si sono ottenuti?

Gli utenti hanno ottenuto risposte complete e corrette Qual'è il livello di soddisfazione degli utenti rispetto alle

risposte ottenute?

Per ottenere le risposte a queste domande occorre progettare delle rilevazioni a campione.

Valutazione del servizio di reference Per ogni periodo di rilevazione (scelto

opportunamente) sarà utilizzato un modulo in cui verranno annotate le diverse tipologie di domande e le relative risposte.

Occorre distinguere le domande in due tipi fondamentali

informazioni direzionali (ovvero relative all'organizzazione della biblioteca e alla localizzazione dei vari servizi)

transazioni informative (ovvero vere e proprie richieste di informazioni bibliografiche)

Valutazione del servizio di reference

Le seconde saranno a loro volta suddivise, a seconda del tipo di risposta avuta, in

completate (quando si valuta che l'utente abbia avuto la l'informazione richiesta)

riorientate (quando la risposta è stata differita nel tempo o nello spazio)

non completate (quando l'utente per una serie di vari motivi non ha avuto la risposta alla sua domanda).

Valutazione del servizio di reference Ovviamente per il servizio in presenza sarà necessario

attivare la rilevazione quantitativa in modo manuale, mentre per quanto riguarda il servizio remoto si possono utilizzare le statistiche generate automaticamente grazie a specifici software.

Le stesse linee guida dell’IFLA suggeriscono di utilizzare questa opportunità per quantificare gli accessi remoti e per costruire due indicatori (accessi remoti pro-capite e soddisfazione dell’utente per i servizi ad accesso remoto).

Valutazione del servizio di reference

Attenzione! Le statistiche generate automaticamente ci possono fornire molti dati numerici, ma ci dicono poco riguardo al comportamento e alle modalità di utilizzo da parte degli utenti delle risorse disponibili sul sito. Non è facile ad esempio sapere se una certa pagina è stata solo vista, oppure stampata, o salvata.

Valutazione del servizio di reference Per rispondere al quesito relativo alla completezza e

alla correttezza delle risposte, sono stati sperimentati diversi metodi di valutazione:

autovalutazione (il bibliotecario responsabile dl servizio indica personalmente, di volta in volta, l'esito della transazione, cioè se pensa di aver risposto correttamente ed in modo esauriente alle domande)

valutazione esterna per simulazione (applicata in due diverse modalità: bibliotecario consapevole e inconsapevole)

Valutazione del servizio di reference

I dati necessari a rispondere alla terza domanda, ovvero la soddisfazione degli utenti (in altre parole il rapporto fra la qualità attesa e quella percepita dopo aver usufruito del servizio), vengono in genere acquisiti attraverso questionari.

Dopo aver raccolto i dati numerici necessari alla macrovalutazione, occorre passare alla microvalutazione, che dovrà dare indicazioni sul livello del servizio

Valutazione del servizio di reference

Dal punto di vista microvalutativo occorrerebbe fare riferimento a:

1. comportamento e competenza del bibliotecario (capacità di gestire la transazione, strategia di ricerca, esperienza e conoscenza delle raccolte)

2. risorse informative a disposizione3. tipologia di richieste4. politica della biblioteca rispetto al servizio5. domanda in se stessa.

Valutazione del servizio di reference Questi sono tutti fattori che in qualche modo

interferiscono e condizionano i risultati delle transazioni informative, in modo particolare il primo, mentre sembra da una serie di indagini condotte in contesti diversi che gli altri; pur interagendo con la qualità del servizio, abbiano comunque meno influenza.

Su questo fronte però non ci sono sufficienti sperimentazioni; soprattutto siamo ancora lontani dalla messa a punto di metodologie convincenti e attendibili per rilevare questi aspetti e procedere ad una valutazione anche in questo senso.

Valutazione del servizio indiretto

Ancora più complesso si presenta l'approccio alla valutazione di questo aspetto, anche perché l'avvento delle nuove tecnologie sta provocando cambiamenti notevoli (il transito di attività prima svolte attraverso il contatto personale con l'utente in forme, più o meno nuove di reference indiretto).

Basta pensare all'organizzazione di virtual reference desk o comunque a risorse informative messe a disposizione dalla biblioteca e interrogabili fuori dalla biblioteca.

Questo fenomeno per esempio mette in discussione il concetto di utente reale e potenziale, perché spesso la strumentazione allestita dalla biblioteca sarà utilizzata da utenti che rimangono sconosciuti e delle cui reali esigenze poco conosciamo.