La VQR 2004‐2010: Finalità, metodologieLa VQR 2004 2010: Finalità, metodologiee risultati

Sergio BenedettoConsiglio Direttivo ANVURConsiglio Direttivo ANVURsergio.benedetto@anvur.org

Potenza, 1 ottobre 2013

Sommario

• Finalità della VQR• Finalità della VQR

• I tempi e i numeri della VQR• I  tempi e i numeri della VQR

• Metodologia di valutazione della VQR• Metodologia di valutazione della VQR

I i lt ti d ll VQR• I risultati della VQR

2

Sommario

• Finalità della VQR• Finalità della VQR

• I tempi e i numeri della VQR• I  tempi e i numeri della VQR

• Metodologia di valutazione della VQR• Metodologia di valutazione della VQR

I i lt ti d ll VQR• I risultati della VQR

3

Perché la VQR?Perché la VQR?

Per presentare al Paese una valutazione accurata rigorosa ePer presentare al Paese una valutazione accurata, rigorosa e imparziale della ricerca svolta nelle  università, negli enti di 

ricerca vigilati dal MIUR e in altri enti volontari

4

P hi l VQR?Per chi la VQR?

Gli organi di governo delle Struttureper intraprendere azioni volte a migliorare la qualità della– per intraprendere azioni volte a migliorare la qualità della ricerca nelle aree deboli rispetto al panorama nazionale e a premiare quelle che spiccano per la qualità della ricerca

I giovani ricercatori– per approfondire la propria formazione e svolgere attività di ricerca nei migliori atenei e enti di ricerca

5

Per chi la VQR?

Le famiglie e gli studenti– per orientarsi nelle difficili scelte collegate ai corsi di studio e alle università (soprattutto corsi di laurea magistrale e dottorato)dottorato)

Le industrie e gli enti pubbliciLe industrie e gli enti pubblici– per indirizzare la domanda di collaborazione alle strutture che ospitano gruppi di ricerca validi per qualità e massache ospitano gruppi di ricerca validi per qualità e massa critica

6

Perché la VQR?

Per determinare una graduatoria nazionale per area scientifica e per struttura

Per offrire una valutazione dei dipartimenti degli atenei e delle p gsottostrutture degli enti di ricerca agli organi di governo

Per consentire un confronto della qualità della ricerca nazionale con quella dei principali Paesi europei e mondiali

7

La VQR non deve essere utilizzata perLa VQR non deve essere utilizzata per 

Confrontare la qualità della ricerca tra aree scientifiche diverse

Valutare i singoli ricercatori

8

Sommario

• Finalità della VQR

• I  tempi e i numeri della VQR

• Metodologia di valutazione della VQR

• I risultati della VQR

9

I tempi della VQR  

Decreto ministeriale n.8 del 15 luglio 2011 che ha affidato all’ANVUR lo svolgimento della VQR 2004 – 2010

Bando VQR definitivo 2004 2012 (7 novembre 2011)Bando VQR definitivo 2004‐2012 (7 novembre 2011)

Conclusione della valutazione (maggio 2013)( gg )

Rapporti di area e rapporto finale ANVUR (30 giugno 2013)

Presentazione finale (Roma, 16 luglio 2013)

Il DM del 15 luglio 2011  fissava la conclusione per il 7 Agosto 2013

10

I numeri della VQRI numeri della VQR

95 università,12 enti di ricerca vigilati dal MIUR,  26 enti“volontari” (7 enti di ricerca e 19 consorzi interuniversitari)

184.878 prodotti conferiti dalle strutture, contro i  194.763 attesi

14 Gruppi di Esperti della Valutazione (GEV) costituiti da 450tiesperti

14 770 i i i i l i14.770 revisori pari coinvolti

11

I prodotti di ricerca (anno di pubblicazione)

2004 2005 2006 2007 2008 2009 2010

8 8

9,5

10,9

10 4

10,7

11,3

12 6

12,2

11,4

14 2

14,0

14,9

17 5

16,7

15,9

17 2

17,7

17,4

19 4

19,2

18,1

12

13

14

11,5

8,9

9,3

8,8

11,7

10,0

10,8

10,4

13,0

11,8

11,7

12,6

14,1

15,3

14,0

14,2

16,1

16,6

17,4

17,5

16,7

17,5

17,4

17,2

16,9

20,0

19,4

19,4

09

10

11

12

11,9

9,7

9,8

11,5

12,7

11,2

10,3

11,7

13,3

12,2

12,1

13,0

14,1

15,1

14,0

14,1

15,2

16,2

18,0

16,1

15,9

17,9

17,4

16,7

16,8

17,8

18,3

16,9

06

07

08

12,7

12,2

12,9

14,3

11,3

12,8

13,6

13,9

13,5

13,7

13,5

13,9

14,6

15,6

14,9

16,0

16,3

15,6

15,1

17,2

16,4

03

04

05

12,1

14,7

13,1

14,0

14,7

14,1

14,9

14,7

15,0

13,9

15,3

13,5

14,8

15,1

0,0 10,0 20,0 30,0 40,0 50,0 60,0 70,0 80,0 90,0 100,0

01

02

12

I prodotti di ricerca (lingua)

100%

70%

80%

90%

50%

60%

70%

30%

40%

0%

10%

20%

01 02 03 04 05 06 07 08 09 10 11 12 13 14Non indicata 1.017 7.930 1.252 1.091 1.657 3.127 955 1.083 1.380 1.285 1.208 1.170 943 346Altra lingua straniera 25 14 11 19 42 126 56 162 39 1.851 642 249 99 180Inglese 9.364 11.709 10.258 6.612 14.379 21.593 7.769 4.389 14.485 2.449 3.456 673 6.768 875Italiana 279 120 87 711 329 1 867 1 224 3 899 443 8 488 7 846 9 790 4 131 2 926

0%

13

Italiana 279 120 87 711 329 1.867 1.224 3.899 443 8.488 7.846 9.790 4.131 2.926

I prodotti di ricerca (tipologia)

Articoli su rivista Monografie, contributi in volume, Curatele

Contributi ed abstract in atti di convegno Edizioni critiche, traduzioni e commenti scientifici

13

14

Brevetti Altro

10

11

12

07

08

09

0

05

06

07

02

03

04

140% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

01

I componenti GEV

Numero di componenti %

Distribuzione dei componenti GEV per affiliazioneItaliana 360 80 Estera 90 20 Totale 450 100Totale 450 100

Distribuzione dei componenti GEV per genere Donne 106 23,6 U i i 344 76 4Uomini 344 76,4Totale 450 100

Distribuzione dei componenti GEV di affiliazione italiana fiper area geografica

Nord 163 45,3 Centro 113 31,4

Sud 84 23 3Sud 84 23,3Totale 360 100

15

Area Professore Ordinario

Professore Associato Ricercatore Totale

01 933 965 1.191 3.098% donne 18,3 39,8 41,1 33,9

02 553 784 806 2.145% donne 8,9 18,6 26,8 19,2

03 652 923 1 211 2 79003 652 923 1.211 2.790% donne 19,5 40,4 57,8 43,1

04 241 361 428 1.031% donne 15,4 30,7 31,8 27,6

05 1.175 1.312 2.161 4.661

I soggetti valutati

% donne 29,9 48,6 64,2 51,106 2.097 2.859 4.698 9.692

% donne 12,9 24,1 39,5 29,107 778 880 1.255 2.914

% donne 15 2 36 7 47 0 35 4 I soggetti valutati% donne 15,2 36,7 47,0 35,408 929 1.080 1.376 3.390

% donne 16,3 24,5 37,9 27,709 1.519 1.506 1.811 4.843

% donne 6,1 15,1 20,6 14,3, , , ,10 1.411 1.563 2.072 5.062

% donne 41,9 55,7 62,9 54,811 1.395 1.392 1.829 4.627

% donne 30,8 46,3 52,5 44,012 1 554 1 106 1 888 4 59912 1.554 1.106 1.888 4.599

% donne 20,5 35,1 47,8 35,313 1.517 1.318 1.658 4.509

% donne 19,8 35,7 45,4 34,014 413 475 707 1.599

16

14 413 475 707 1.599% donne 25,4 36,2 45,8 37,6Totale 15.167 16.524 23.091 54.960% donne 20,5 34,5 45,5 35,3

I revisori peer ( 31,2% “stranieri” )

GEV # revisori con affiliazione italiana

# revisori con affiliazione straniera

Totale straniera

1 - Scienze matematiche e informatiche 166 398 564 2 - Scienze fisiche 828 409 1.237 3 - Scienze chimiche 528 120 648 4 - Scienze della Terra 245 40 285 5 - Scienze biologiche 849 341 1.190 6 - Scienze mediche 1.374 318 1.692 7 - Scienze agrarie e veterinarie 510 145 6557 Scienze agrarie e veterinarie 510 145 655 8 - Ingegneria civile ed Architettura 544 329 873 9 - Ingegneria industriale e dell’informazione 231 1.005 1.236 10 - Scienze dell’antichità, filologico-letterarie e storico artistiche 1.763 649 2.412 storico-artistiche 11 - Scienze storiche, filosofiche, pedagogiche e psicologiche 1.076 366 1.442

12 - Scienze giuridiche 1.285 83 1.368 13 S i i h t ti ti h 344 266 61013 - Scienze economiche e statistiche 344 266 610 14 - Scienze politiche e sociali 407 151 558 Totale 10.150 4.620 14.770

17

Sommario

• Finalità della VQR

• I  tempi e i numeri della VQR

• Metodologia di valutazione della VQR

• I risultati della VQR

18

La metodologia: valutazione peer

Prodotto

Primo comp. GEV

Sec comp

Scelta Rev. 1Gruppo consenso

2 valu‐tazioni

Convalida Presid. GEV

Sec. comp. GEV Scelta Rev. 2

Approv. Finale GEV

19

La metodologia: valutazione bibliometrica

Articoli pubblicati su riviste indicizzate su ISI WoS e/o Scopusp p

Si utilizzano due indicatori:

• Una misura dell’impatto della rivista (IF o indice simile in p (Scopus) che ha pubblicato l’articolo

• Il numero di citazioni ricevuto dall’articolo dalla data di pubblicazione al 31 dicembre 2011

20

La valutazione bibliometrica: matrice di attribuzione della classe finale VQRdella classe finale VQR

Indicatore bibliometrico-IF

1 2 3 4 ni

1 E E IR IRita

zion 2 E B B L

# di

ci

3 E B A L4 IR IR A L

21

I punteggi delle 4 classi di merito

• Eccellente: peso • Buono: peso 0.8• Accettabile: peso 0.5• Limitato: peso 0• Prodotto mancante: peso  ‐0,5 • Non valutabile: peso ‐1

• In casi accertati di plagio o frode: peso ‐2

22

Gli indicatori di struttura per la qualità dei prodotti

Indicatori di qualità della Iqualità della produzione scientifica  

I

R

Graduatoria strutture 

indipendentidalla dimensione

R

X

nell’area

dimensionedi struttura

23

Gli indicatori di qualità dei prodotti

24

Gli indicatori di qualità dei prodotti

25

Gli i di t i di lità d i d ttiGli indicatori di qualità dei prodotti

Il terzo indicatore X è  dato da

''

frazione di prodotti eccellenti della struttura nell areaX

frazione di prodotti eccellenti dell area

X > 1 struttura migliore della media di areaX > 1          struttura migliore della media di area 

X < 1          struttura peggiore della media di area p gg

26

La presentazione dei risultati delle strutture

• Le graduatorie sono separate per università, enti di ricerca e g p p ,consorzi interuniversitari

• Le graduatorie sono calcolate per ognuna delle 14 (16) areeCUN e riguardano:

Le università gli enti di ricerca e i consorzi– Le università, gli enti di ricerca e i consorzi– I dipartimenti pre‐240 degli atenei– I dipartimenti post‐240 degli ateneid pa t e t post 0 deg ate e– Le sottostrutture degli enti di ricerca che lo hanno richiesto

• Sono presentate anche graduatorie per sottoinsiemi dellearee, quali SSD e sub‐GEV

27

Esempi di presentazione dei risultati: Strutture

voto medio Pos. grad. Num. Pos. grad. Num. Segm.Area Ateneo voto medio (I=v/n)

R Pos. grad. comp.

Num. Comp.

Pos. grad. Segm.

Num. segm.

Segm. Dim.

X

1 Bari 0.41 0.68 51 56 12 13 G 0.471 Bari Politec 0.55 0.92 37 56 14 21 P 0.731 Basilicata 0.52 0.87 40 56 15 22 M 0.761 Bergamo 0.73 1.23 10 56 7 21 P 0.991 Bologna 0.61 1.02 29 56 7 13 G 1.121 Bolzano 0 88 1 47 2 56 2 21 P 1 671 Bolzano 0.88 1.47 2 56 2 21 P 1.671 Brescia 0.78 1.32 6 56 5 21 P 1.251 Cagliari 0.40 0.68 52 56 21 22 M 0.601 Calabria 0.49 0.83 43 56 17 22 M 0.791 Camerino 0.44 0.74 48 56 18 21 P 0.641 Cassino 0.86 1.45 3 56 3 21 P 1.191 Catania 0.47 0.79 45 56 18 22 M 0.721 Chieti e Pes 0.55 0.92 36 56 13 21 P 0.93

28

Esempi di presentazione dei risultati: SSD

%

SSD ente graduatoria

voto medio (I=v/n)

% prodotti E

% prodotti B

% prodotti A

% prodotti L

% prodotti

penalizzati

AGR/01 Pado a 1 0 53 34 29 14 29 14 29 37 14 0 00AGR/01 Padova 1 0,53 34,29 14,29 14,29 37,14 0,00AGR/01 Parma 2 0,52 8,00 48,00 12,00 32,00 0,00AGR/01 Milano 3 0,47 19,15 21,28 21,28 38,30 0,00AGR/01 Tuscia 4 0,45 23,81 14,29 19,05 42,86 0,00, , , , , ,AGR/01 Napoli Federico II 5 0,43 2,27 31,82 34,09 29,55 2,27AGR/01 Trento 6 0,41 8,33 25,00 25,00 41,67 0,00AGR/01 Marche 7 0,41 30,00 10,00 5,00 55,00 0,00AGR/01 Firenze 8 0,39 3,70 35,19 20,37 35,19 5,56AGR/01 Sassari 9 0,38 19,05 14,29 14,29 52,38 0,00AGR/01 Milano Cattolica 10 0,35 16,13 16,13 12,90 54,84 0,00

29

Esempi di presentazione dei risultati: Dipartimenti

Area Ateneo Dip. Post-240 R Pos. grad. comp.

Num. comp. dip.

Pos. grad. segm.

Num. dip. segm.

Segm. dim.

1 Bari Matematica 0.75 85 116 38 45 G1 Bari Informatica 0.70 91 116 44 45 G

1 Bari Politec

Dipartimento di Meccanica, Matematica e

1.07 56 116 15 28 M

Management

1 BasilicataMatematica, Informatica ed Economia

0.85 76 116 32 45 G

1 Bergamo Ingegneria 1.53 4 116 3 43 PIngegneria dell’Energia Elettrica e

1 BolognaElettrica e dell’Informazione “Guglielmo Marconi”

1.65 1 116 1 43 P

1 BolognaInformatica - Scienza e Ingegneria

1.38 15 116 4 45 G

1 Bologna Matematica 0.93 72 116 31 45 G

30

g

Esempi di presentazione dei risultati: Enti di ricerca

Area Ente di Ricerca Sottostruttura Ente # prodotti attesi (n)

% E (#E/attesi)

voto medio (I=v/n)

R Grad. Comp.

Num. comp. dip.attesi (n) (#E/attesi) (I v/n) Comp. comp. dip.

7 CNR Scienze bio-agroalimentari

1.660 32,35 0,41 0,99 4 5

7 CNRScienze del sistema Terra e tecnologie 214 15,42 0,26 0,63 5 5gper l'ambiente

, , ,

7

Fondazione Edmund MACH - S. Michele

Dipartimento qualità alimentare e nutrizione

24 66,67 0,87 2,12 1 5

all'Adige (Trento)nutrizione

7

Fondazione Edmund MACH - S. Michele

Dipartimento agro-ecosistemi sostenibili e

25 68,00 0,86 2,10 2 5

all'Adige (Trento) biorisorse

7

Fondazione Edmund MACH - S. Michele ll'Adi (T t )

Dipartimento genomica e biologia delle piante da frutto

69 40,58 0,49 1,19 3 5

all'Adige (Trento)p

31

Gli indicatori del Bando VQR

• Per tale fine, il Bando elencava:Per tale fine, il Bando elencava:– Per le strutture:

• 7 indicatori quali‐quantitativi per la ricerca e 8 per le attività diterza missione

– Per i dipartimenti:( ) d l l l à d• 4 (3) indicatori quali‐quantitativi per la ricerca e 6 per le attività di

terza missione

• Tutti gli indicatori del Bando sono calcolati come percentuale sul valore complessivo dell'Area

32

Gli indicatori di qualità di area per le strutture

• L’indicatore di qualità dei prodotti (IRAS1, peso 0.5)L indicatore di qualità dei prodotti (IRAS1, peso 0.5)

• L’indicatore di attrazione risorse (IRAS2, peso 0.1)

• L’indicatore di mobilità (IRAS3, peso 0.1) 

• L’indicatore di internazionalizzazione (IRAS4, peso 0.1)

• L’indicatore di alta formazione (IRAS5 peso 0 1)• L indicatore di alta formazione (IRAS5, peso 0.1)

• L’indicatore di risorse proprie (IRAS6, peso 0.05)

• L’indicatore di miglioramento (IRAS7, peso 0.05) 

33

Gli indicatori di struttura per la qualità della ricerca

Indicatori del Bando

IRAS1

IRAS2Bando  dipendenti dalla 

IRAS3

IRAS4Indicatore finale IRFS

dimensione di struttura

IRAS5

IRAS6IRAS6

IRAS7

34

Valutazione sintetica dell’Università XIRAS 1Prodotti

IRAS 2Risorse

IRAS 3Mobilità

IRAS 4Internaz.

IRAS 5Formaz.

IRAS 6Risorse proprie

IRAS 7MiglioramentoPeso relativo

50% 10% 10% 10% 10% 5% 5%

w1

Area 1

w1

Area 01…IRFS

…

A 06

Area 6

w

UNI X

Area 06

…

…

Area 14

w6

35Area 14w14

Graduatoria delle Università con IRFS

di i l diIRFS: Indicatore Finale di Struttura

IRFSIRFS

UNIX

IRFS

UNIY

36

I pesi di area

• La definizione dei pesiw non è compito dell’ANVUR• La definizione dei pesi wj non è compito dellANVUR

• Una possibile scelta può:• Una possibile scelta può:– essere finalizzata a orientare la ricerca futura privilegiando alcune aree 

rispetto ad altre– riflettere in maniera neutra la quota dei prodotti o dei ricercatori 

delle diverse areei l ll t di fi i ti t i t– essere proporzionale alla quota di finanziamenti storicamente  

assegnati alle aree (ad esempio nei bandi PRIN e FIRB, o europei)– essere funzione della quota di prodotti pesati per il costo relativo della 

ricerca nelle diverse aree 

37

I pesi di area: la soluzione proposta nelle tabelle

• I costi per Area si ottengono utilizzando quattro criteri diversi

• Dai costi si passa ai pesi moltiplicandoli per la quota di prodotti conferiti in ogni Areap g

• Verificato che l’applicazione dei quattro insiemi di pesi fornisce indicazioni simili, si è utilizzata  la media dei costi applicata  alla determinazione dei pesi

38

Esempi dell’indicatore finale di struttura IRFS1: Strutture

Università Prodotti attesi% Prodotti attesi sul

totale ENTIIRFS1 x100

16 aree

Bari 4.593 2,98466 2,10756, ,

Catania 3.916 2,54472 1,79358

Catanzaro 568 0,36910 0,43651

Firenze 5 311 3 45123 3 67071Firenze 5.311 3,45123 3,67071

Milano 5.990 3,89247 4,35541Milano Politecnico 3.386 2,20032 2,96688Milano Bocconi 733 0,47632 0,58654Napoli Federico II 7.129 4,63262 4,05732Padova 5.740 3,73001 4,99835Pisa 4.291 2,78841 2,80840Pisa Normale 232 0 15076 0 34141Pisa Normale 232 0,15076 0,34141Pisa S.Anna 211 0,13711 0,33363Roma LUISS 223 0,14491 0,17901Roma La Sapienza 10.842 7,04543 6,10966Roma Tor Vergata 3.945 2,56357 2,53531Torino 5.332 3,46488 3,68134Torino Politecnico 2.192 1,42442 1,77817Tuscia 798 0 51856 0 62157

39

Tuscia 798 0,51856 0,62157Venezia Cà Foscari 1.358 0,88247 0,94939

Esempi dell’indicatore finale di struttura IRFD: Dipartimentip p

Università Dipartimento L.240 IRD1 x w x 100

IRD2 x w x 100

IRD3 x w x 100

% Prodotti attesi sul

totale struttura

IRFD x 100

struttura

Basilicata n.d. 1,704 0,000 0,000 2,788 2,036

Basilicata Culture Europee e del Mediterraneo: Architettura, Ambiente, Patrimoni Culturali (DICEM) 6,312 13,270 5,316 12,848 16,425

Basilicata Matematica, Informatica ed Economia 4,414 2,833 1,735 13,212 7,457 Basilicata Scienze 14,660 6,841 4,648 20,848 23,008 Basilicata Scienze Umane 4,627 4,787 0,000 11,394 7,816 Basilicata Scuola di Ingegneria (SI-UniBas) 12,880 12,504 6,746 21,455 24,590

Basilicata Scuola di Scienze Agrarie, Forestali, Alimentari ed Ambientali 9,593 9,644 5,434 17,455 18,668

40

Graduatoria politiche di reclutamento

Università Segm. Area 1 Area 2 Area 3 Area 4 Area 5 Area 6 Area 7Università dim. Area 1 Area 2 Area 3 Area 4 Area 5 Area 6 Area 7

Padova G 1,13 1,15 1,15 1,42 1,30 1,28 1,19Pavia G 1,26 1,17 1,08 1,22 1,13 1,13V G 1 15 1 22 1 10 1 05 1 20 1 23Verona G 1,15 1,22 1,10 1,05 1,20 1,23Milano G 1,08 1,04 0,99 1,47 1,13 1,12 1,14

Modena e Reggio EmiliaG 1,09 1,17 0,94 1,16 1,06 0,98 1,04

Modena e Reggio EmiliaTrento M 1,12 1,17 0,96 1,31 1,50 0,86Ferrara M 1,19 1,20 0,61 1,32 1,12 1,10Venezia Cà Foscari M 1,21 1,18 1,05 1,33 1,11 0,96Bolzano M 1,12 1,41Milano San Raffaele M 1,30 1,39Pisa Normale P 1,33 1,22 1,46

P 1 46 1 53Pisa S.Anna P 1,46 1,53Roma LUISS PLucca - IMT PNapoli Benincasa PNapoli Benincasa P

Prossimamente sugli schermi dell’ANVUR

• Tabella di confronto con e senza soggetti inattivi (prodottiattesi vs prodotti conferiti)p )

• Tabelle singole strutture con gli indicatori IRD1, IRD2 e IRD3 didipartimento per ogni area

V l i d ll d i i d d d l di• Valori della deviazione standard del voto medio per area e struttura

• Disponibilità valutazioni singole ai soggetti valutati sul sitodocente CINECA (dal 20 settembre 2013)

• Pubblicazione delle valutazioni singole depurate dei dati( )sensibili (entro ottobre 2013)

42

GRAZIE PER L’ATTENZIONE

43