Upload
alberto-baccini
View
832
Download
0
Embed Size (px)
Citation preview
Verso la prossima VQR
Alberto Baccini Roars 3.0Camera dei Deputati, Sala del Refettorio, Palazzo di Via del Seminario 76, Roma19 giugno 2015
Alberto Baccini, Verso la prossima VQR
Indirizzo, valutazione e controllo
1. Limitati interventi ordinamentali; fiducia ai meccanismi di autoregolazione e controllo orizzontale dei pari.
Enfasi sul carattere di bene pubblico della conoscenza scientifica e dell’istruzione.
2. Regolazione diretta attraverso norme e direttive attuate da agenzie.
Rendimenti privati della ricerca e interesse privato individuale ad «investire» in capitale umano.
L’Italia ha scelto, con decenni di ritardo la seconda via.
Costruendo un sistema istituzionale sbilanciato
Alberto Baccini, Verso la prossima VQR
Governance by indicators
1. Governance by targets Individuazione di indicatori che
diventano i target delle azioni di policy
RAE/REF VQR
2. Governance by information Pubblicazione di indicatori che
modificano i comportamenti delle istituzioni
OECD-PISA University rankings
Alberto Baccini, Verso la prossima VQR
“Do not use journal-based metrics … as a surrogate measure of the quality of individual articles, to assess individual scientist’s contributions, or in hiring, promotion, or funding decisions”
“while bibliometrics may be employed as a source of additional information for quality assessment within a specific area of research, the primary manner for assessment of either scientific quality of a research project or of an individual scientist should be peer review”
Alberto Baccini, Verso la prossima VQR
Guidelines and principles for science assessment
1. Context matters2. Do not harm
Attempts to link funding allocation directly to specific indicators have the potential to lead to unintended consequences
3. Transparency is critical Indicator construction and validation; data sources;
criteria; procedures for selecting expert reviewers
4. The judgement of scientific experts remains invaluable
Alberto Baccini, Verso la prossima VQR
1. La valutazione quantitativa deve supportare il giudizio qualitativo2. Misurare le prestazioni in relazione alla missione di ricerca
dell’istituzione, del gruppo o del ricercatore3. Salvaguardare l’eccellenza nella specifica ricerca locale4. Mantenere aperto, trasparente e semplice il processo di
acquisizione dei dati e quello di analisi5. Consentire ai valutati di verificare i dati e l’analisi6. Tenere conto delle differenze tra aree disciplinari nelle pratiche di
pubblicazione e citazione7. Basare la valutazione dei singoli ricercatori su un giudizio
qualitativo del loro portafoglio scientifico 8. Evitare finta concretezza e falsa precisione9. Riconoscere gli effetti sistemici della valutazione e degli indicatori10. Verificare regolarmente la qualità degli indicatori ed aggiornarli
Alberto Baccini, Verso la prossima VQR
Una VQR leggera
Ridurre i costi della VQR In particolare i costi indiretti imposti alle
strutture oggetto di valutazione; ~300m€ (Sirilli); ~100m€ (Geuna)
Alberto Baccini, Verso la prossima VQR
Una VQR poco invasiva
Dalla governance by targets alla governance by information Per ridurre al minimo l’impatto sulle scelte in termini di
strategie di ricerca e pubblicazione Per evitare i comportamenti opportunistici e le
conseguenze non volute: Guest authorship Citation cartels IF boosting
Eliminare automatismo tradistribuzione risorse FFO erisultati VQR
Alberto Baccini, Verso la prossima VQR
Una VQR trasparente
Nelle procedure di selezione dei membri GEV di definizione delle responsabilità della
valutazione all’interno dei GEV di scelta dei referee
nomi resi pubblici al termine della valutazione con il numero dei prodotti valutati
Nella pubblicazione dei risultati
Alberto Baccini, Verso la prossima VQR
ANVUR dichiara di non fare classifiche…
Fon
te:
rap
port
o fi
nale
p.
7
Alberto Baccini, Verso la prossima VQR
Una VQR che non usa le classifiche delle riviste
“Do not use journal-based metrics … as a surrogate measure of the quality of individual articles, to assess individual scientist’s contributions, or in hiring, promotion, or funding decisions”
Alberto Baccini, Verso la prossima VQR
Una VQR molto simile al REF non è comunque esente da problemi
Alberto Baccini, Verso la prossima VQR
Come sarà la VQR 2011-2014? Sul modello della VQR 2004-2010
Nessuna «revisione di spesa» 7,5m€ a Cineca burocrazia bibliometrica stabile o in aumento
(prev.) mix revisione dei pari e bibliometria
Che non ha funzionato Con uso massiccio di ranking di riviste
opaca Procedura GEV già partita (prima del DM !) Referee anonimi Risultati sotto forma di classifiche Dati non disponibili per la comunità scientifica
(prev.)
Alberto Baccini, Verso la prossima VQR
Raccomandazione DORA per i ricercatori
“18. Mettere in dubbio le pratiche di valutazione della ricerca che fanno affidamento impropriamente su fattori di impatto delle riviste, e promuovere e insegnare le migliori pratiche centrate sul valore e l’influenza dei singoli prodotti della ricerca”