Embed Size (px)
Citation preview
Valutazione del servizio di reference: anno 2015
A cura dell’Ufficio Formazione, Sviluppo e Promozione della
Biblioteca di Ateneo di Milano-Bicocca
Aprile 2016
• Premessa
• Oggetto dell’indagine
• Finalità dell’indagine
• Modalità dell’indagine
• Il questionario
• Criteri di analisi dei dati
• Campione esaminato
• Esiti dell’indagine
• Considerazioni sull’indagine
• Propositi post indagine
• Appendice
Sommario
Premessa [1]
Questa indagine sul reference riguarda le sessioni di
reference specialistico realizzate nel 2015.
Nel 2015 è stato adottato lo stesso strumento di
rilevazione degli anni 2011-14 per confrontare i risultati.
Negli anni 2008, 2009 e 2010 sono state realizzate altre
indagini sul servizio di reference, adottando però uno
strumento di rilevazione più analitico.
I rapporti di ricerca sono stati condivisi con tutti i colleghi
della biblioteca che si occupano del reference specialistico
per le varie aree disciplinari.
Premessa [2]
Con lo strumento di valutazione del reference adottato
dal 2011, la Biblioteca di Ateneo ha voluto utilizzare una
tecnica di rilevazione della customer satisfaction innovativa:
il «Net Promoter Score».
Questa tecnica, introdotta nel 2003, si basa sulla
misurazione della fedeltà dei clienti come indice
significativo della loro soddisfazione e delle probabilità di
successo di una organizzazione che eroga servizi.
La valutazione ruota intorno ad un’unica domanda
strategica, individuata dopo anni di ricerche: «Quanto è
probabile che raccomandi questa azienda (o questo servizio)
a un amico o collega su una scala da 0 a 10?».
Oggetto dell’indagine [1]
Il servizio di reference della Biblioteca di Ateneo è offerto a
tutti gli utenti interni e agli utenti di enti convenzionati e
consiste in un’attività di supporto fornita dal personale
bibliotecario per effettuare una ricerca bibliografica (su
cataloghi, banche dati, riviste elettroniche, siti internet).
Nella Sede Centrale e nella Sede di Medicina il reference
viene erogato su appuntamento e per ciascuna area
disciplinare c’è un bibliotecario di riferimento; il reference
è individuale e ha una durata compresa tra 1 e 2 ore.
Per l’area di Scienze della Formazione spesso viene effettuato il “reference collettivo”, cioè un incontro con 2 o 3 utenti, al fine di ottimizzare i tempi, a fronte dell’alto numero di richieste e della scarsa disponibilità di risorse.
Oggetto dell’indagine [2]
Ricordiamo che da aprile 2014 si è deciso di reindirizzare
sulla piattaforma di e-learning le richieste di supporto
più generiche, riservando il servizio di reference su
appuntamento a un livello di richiesta più specialistico.
Questa riorganizzazione si è realizzata compiutamente per
l’area di Medicina e in buona parte per l’area di
Psicologia, poiché il materiale didattico online è molto
ricco.
Presso la Sede di Medicina il servizio viene erogato in presenza
o a distanza per docenti, specializzandi, dottorandi, personale
tecnico-amministrativo e personale dell’Ospedale San Gerardo.
Gli studenti possono utilizzare le videoguide e i test di
autovalutazione dell’Area Medica su Biblio E-learning.
Finalità dell’indagine
• Raccogliere dagli utenti un feedback sul servizio di
reference attraverso una tecnica di rilevazione sintetica.
• Conoscere i principali motivi di soddisfazione o
insoddisfazione rispetto al servizio di reference.
• Scoprire eventuali aree di miglioramento del servizio.
• Realizzare l’indagine su tutte le aree disciplinari e
raccogliere un feedback «a caldo».
• Utilizzare la tecnica «Net Promoter Score», che si è
rivelata molto efficace.
Modalità dell’indagine
Questionario somministrato attraverso un form online,
segnalato con una email inviata a tutti gli utenti, subito
dopo la fruizione del servizio.
Indagine con metodo misto (quantitativo e qualitativo);
questionario con diversi tipi di domande:
• domande chiuse, per misurare il livello di fedeltà e
raccogliere varie informazioni
• domande aperte, per far emergere considerazioni e
suggerimenti.
Il questionario
• Il questionario raccoglie varie informazioni sugli utenti:
tipologia, corso di laurea (solo per studenti), ambito della
ricerca, mese della sessione.
• Si rileva inoltre il canale di comunicazione attraverso
cui si è venuti a conoscenza del reference.
• La domanda cruciale per misurare il livello di
fedeltà/soddisfazione in una scala 0-10 è: «Quanto è
probabile che consigli il reference a un amico o un collega?»
• Le ultime due domande del questionario rilevano i motivi
del punteggio attribuito e raccolgono suggerimenti per
migliorare il reference.
Criteri di analisi dei dati
Domande chiuse
Si riportano grafici che restituiscono i risultati emersi
dall’indagine.
Nota: in appendice si riportano i grafici relativi ai dati statistici sul
reference del 2015, per confrontarli con quelli emersi dall’indagine.
Domande aperte
Sono state individuate categorie di risposta e si riporta una
sintesi dei concetti espressi, con un linguaggio aderente ai
testi originali.
Nota: i numeri indicano le ricorsività rispetto alle categorie di risposta
individuate; alcuni non esprimono commenti e altri esprimono concetti
riconducibili a più categorie. La compilazione della risposta relativa alle
motivazioni del punteggio attribuito è stata resa obbligatoria.
Campione esaminato [1]
Destinatari del questionario: 78 utenti, che hanno
utilizzato il servizio di reference nel 2015 (v. appendice).
Rispondenti al questionario: 33 utenti, pari al 42% della
popolazione di riferimento.
Le percentuali di rispondenti rispetto agli utenti del reference
suddivisi per area disciplinare sono le seguenti:
• 15 di Scienze della Formazione: 83%
• 9 di Economia: 47%
• 4 di Sociologia: 80%
• 2 di Scienze MMFFNN: 100%
• 1 di Psicologia: 20%
• 1 di Statistica: 100%
• 1 di Medicina: 3%
Campione esaminato [2]
Rispetto al numero di valutanti, prevale l’area disciplinare di Scienze
della Formazione (15), seguita da Economia (9). Pochi sono i valutanti
per Sociologia (4), Scienze MMFFNN (2), Medicina (1), Psicologia (1) e
Statistica (1).
Esiti dell’indagine [1]
Rispetto alla tipologia di utenti, la maggioranza dei valutanti è
rappresentata da laureandi (26).
Pochi gli studenti (4), i dottorandi (2) e il personale tecnico-
amministrativo (1).
Esiti dell’indagine [2]
Il maggior numero di valutanti è costituito da iscritti a corsi di laurea
Magistrale (12). Seguono gli iscritti ai corsi di laurea Triennale (7) e a
Ciclo Unico (9). Alcuni non specificano il tipo di corso di laurea (5 di cui 3
non erano tenuti a farlo).
Esiti dell’indagine [3]
Il grafico relativo alla domanda sull’ambito della ricerca coincide con
quello relativo alla suddivisione del campione per area disciplinare,
poiché l’unico rispondente dell’area medica ha selezionato come ambito
di ricerca «ostetricia»; negli anni precedenti, invece, gli ambiti di ricerca
riconducibili all’area medica erano diversi.
Esiti dell’indagine [4]
Un solo utente aggiunge un altro ambiti della ricerca, oltre a
quello selezionato dalla domanda a risposta chiusa, poiché il
proprio tema era interdisciplinare (1): scienze MMFFNN e
antropologia.
Alcuni utenti specificano il corso di laurea (3): Scienze
della Formazione Primaria, Scienze dell’Educazione, Servizio
Sociale.
Diversi utenti specificano invece l’argomento di tesi (7):
«marketing», «turismo della memoria», «private label,
grande distribuzione», «immigrazione-shock culturale» etc.
Altri ambiti della ricerca
Esiti dell’indagine [5]
La maggioranza dei rispondenti ha usufruito del reference nei mesi di
ottobre e maggio (5). Seguono i mesi di aprile e novembre (4).
Esiti dell’indagine [6]
La maggioranza dei rispondenti al questionario è venuta a conoscenza
del reference da un amico (11), da un docente (10) o da un
bibliotecario (6).
I restanti ne sono venuti a conoscenza dal sito web della biblioteca (3) o
dai volantini sui servizi bibliotecari (1).
Alcuni lo hanno saputo attraverso altri canali (2).
Esiti dell’indagine [7]
Altri canali di comunicazione
Alla domanda che chiede di specificare eventuali altri canali
di comunicazione rispondono 5 utenti, di cui:
• uno ha risposto «altro» alla precedente domanda chiusa
(menù a tendina per selezionare un tipo di risposta)
• quattro specificano un secondo canale di comunicazione.
Le risposte sono riconducibili alle seguenti categorie:
• Volantini sui servizi bibliotecari (2)
• Bibliotecario (1)
• Amico (1)
Uno invece ha scritto una email a [email protected] (1).
Esiti dell’indagine [8]
I 33 utenti valutanti si dividono nelle seguenti categorie:
Promotori (valutazione 9-10): 28 (di cui 21 valori 10)
Passivi (valutazione 7-8): 2 (di cui 2 valori 8)
Detrattori (valutazione 0-6): 3 (collocati nei valori 6, 5 e 4 )
Nota: la media (9,2) e la mediana (10) in questa tecnica non sono significative.
«Quanto è probabile che consigli il
reference a un amico o un collega?» in una scala da 0 (del tutto improbabile)
a 10 (del tutto probabile).
Il «Net Promoter Score» (NPS) è ottenuto dalla
percentuale dei Promotori (valutazione 9-10)
meno la percentuale dei Detrattori (valutazione
0-6), escludendo i Passivi (valutazione 7-8).
Un valore NPS +50 (valori compresi tra –100 e
+100) è considerato eccellente.
Il valore NPS del reference è +76.
Esiti dell’indagine [9]
Motivi del punteggio attribuito [1]
I motivi principali del punteggio attribuito sono riconducibili
alle seguenti categorie:
• Efficacia (25): il reference è ritenuto «molto utile», «di
aiuto» (21); alcuni specificano che è indispensabile per chi
prepara la tesi di laurea o di dottorato (8), per reperire
materiale e scoprire risorse e servizi (8) o per imparare a
fare una ricerca (5); altri evidenziano il fatto che da soli non
sarebbero riusciti (2);
• Qualità del personale (16): molti hanno apprezzato il
lavoro dei bibliotecari sia sul piano emotivo, per disponibilità,
cortesia ed empatia (15), sia sul piano cognitivo, per l’alta
competenza, chiarezza ed esaustività (11).
Esiti dell’indagine [10]
Motivi del punteggio attribuito [2]
Uno esprime la propria soddisfazione: «Ritengo sia un
ottimo servizio che merita di essere usufruito anche da altri
miei colleghi studenti». Un altro apprezza la «prontezza»
con cui è stato erogato il servizio.
I tre utenti che hanno attribuito un punteggio compreso
tra 4 e 6 hanno espresso le seguenti motivazioni, che
sono negative solo in parte: «Credo sia un servizio utile
per conoscere i vari servizi che offre la biblioteca d’ateneo»;
«A mio avviso è un servizio utile per scoprire alcuni servizi
che non vengono pubblicizzati in alcun modo»; «Non è una
consulenza personalizzata».
Esiti dell’indagine [11]
Suggerimenti per migliorare il reference
I suggerimenti di miglioramento del reference (9) sono
riconducibili alle aree seguenti:
• Promozione (6): pubblicizzare di più il servizio, anche sul
sito di ateneo e sui social network;
• Efficienza (2): ridurre la durata per Psicologia; invitare gli
studenti a seguire tutorial online per Scienze della
Formazione, così da focalizzarsi su esigenze specifiche
durante l’incontro;
• Efficacia (1): fare incontri individuali per Scienze della
Formazione.
Uno sottolinea che è stato fatto «un lavoro eccezionale» (1).
Considerazioni sull’indagine [1]
La valutazione molto positiva del servizio, cresciuta
rispetto a quella del 2014 (NPS da +71 +76), si basa
principalmente su due aspetti:
• l’utilità del reference e quindi la sua efficacia;
• la qualità dello staff riconducibile sia alla dimensione
cognitiva che a quella emotiva del servizio.
Solo il 27% dei rispondenti esprime suggerimenti di
miglioramento.
Considerazioni sull’indagine [2]
Le risposte relative ai canali di comunicazione attraverso cui
si è venuti a conoscenza del reference, da una parte
confortano sull’impegno profuso dalla Biblioteca di Ateneo
nella comunicazione esterna attraverso varie modalità
scritte e orali (sito web, newsletter mensile, volantini sui
servizi, bibliotecari), dall’altra fanno riflettere
sull’importanza del passaparola tra studenti e sulla
promozione più generale della biblioteca realizzata dai
docenti.
Propositi post indagine [1]
Riflettendo sugli esiti dell’indagine e facendo i conti con
alcuni limiti strutturali, si possono individuare i seguenti
propositi di miglioramento:
• promuovere di più i seminari e collaborare di più con
docenti e ricercatori;
• valorizzare Biblio E-Learning, la piattaforma per
favorire l’autoapprendimento (attraverso tutorial,
audio/videoguide, quiz etc.) e per erogare corsi a distanza;
• confrontarsi tra le sedi per consolidare le «buone
pratiche» e ottimizzare le risorse dedicate al reference.
Propositi post indagine [2]
Come per le precedenti indagini sul reference, ci si propone
inoltre di:
• condividere con i colleghi gli esiti dell’indagine, al fine di
individuare insieme good practices e aree di miglioramento;
• diffondere il rapporto di indagine tra i vari stakeholders,
tramite sito web, mailing list, pubblicazioni etc., per
valorizzare il feedback degli utenti e per condividere
esperienze nell’ambito bibliotecario;
• realizzare un’indagine analoga per il 2016, invitando
gli utenti a comunicare un feedback subito dopo la sessione
di reference, per il benchmarking interno dei risultati.
Appendice [1]
Stando ai dati registrati dai bibliotecari, nel 2015 hanno usufruito del
reference 78 utenti, così suddivisi per area disciplinare: 29 di Medicina,
19 di Economia, 18 di Scienze della Formazione, 5 di Sociologia, 5 di
Psicologia e 2 di Scienze MMFFNN.
Appendice [2]
La quasi totalità degli utenti del reference è costituita da studenti o
laureandi (62). I restanti utenti sono docenti e ricercatori (6), dottorandi
o specializzandi (3) e utenti dell’Ospedale San Gerardo (1). Rientrano nella
categoria «altro» utenti esterni e personale amministrativo.
Appendice [3]
La maggioranza degli utenti del reference è costituita da iscritti a corsi di
laurea magistrale (26). Seguono gli iscritti a corsi di laurea triennali
(20) e gli iscritti ai cicli unici (17). Per alcuni – dottorandi, masteristi,
docenti etc. – il dato non è rilevabile (15).
Appendice [4]
Complessivamente il picco di attività di reference si è verificato nei mesi
di marzo, febbraio e maggio, mentre nei mesi estivi c’è stata una
bassa affluenza di utenti. Analizzando i dati statistici del 2015 si sono
però notate forti differenze di andamento del servizio tra la Sede di
Medicina (U8) e le altre due sedi (U6 e U2).
Appendice [5]
Nella Sede di Medicina (U8) il picco di attività di reference si è
verificato nel mese di febbraio (7 utenti).
Non è stato effettuato il reference non solo nei mesi estivi ma anche a
novembre.
Appendice [6]
Nella Sede Centrale (U6) e nella Sede di Scienze (U2) il picco di
attività di reference si è verificato nei mesi di marzo, maggio, ottobre e
novembre (7 utenti). L’affluenza di utenti è stata bassa nei mesi di
gennaio e giugno (2 utenti), escludendo agosto in cui si verifica la
chiusura estiva.
Appendice [7]
Da una lettura longitudinale dei dati statistici sul reference dal 2011 al
2015, si nota il numero di utenti è progressivamente calato, con
l’incremento dei seminari sulla ricerca bibliografica. Dal 2014, con la
riorganizzazione del servizio presso la Sede di Medicina, il numero di
utenti si è ridotto notevolmente, al fine di ottimizzare le risorse e di
potenziare l’uso della piattaforma di e-learning.
Contatti
per saperne di più…
Dott.ssa Ilaria Moroni
Ufficio Formazione, Sviluppo e Promozione
Biblioteca di Ateneo
Università degli Studi di Milano – Bicocca
Piazza dell’Ateneo Nuovo 1
20126 Milano
Tel. 02/6448.6272
E-mail: [email protected]
Sito web: www.biblio.unimib.it
