Piazza Rondanini, 48 00186 Roma Tel. +39.06.684411 fax +39.06.68441399 e-mail: segreteria@crui.it

L’analisi CRUI delle citazioni delle pubblicazioni recensite dall’ISI

Elena Breno, Giovanni A. Fava, Vincenzo Guardabasso e Mario Stefanelli

Roma, 8 ottobre 2003

Sommario

• Premessa e finalità dell’analisi • Metodologia dell’analisi• Analisi dell’impatto della ricerca scientifica

nazionale in ambito internazionale • Analisi della produzione scientifica degli Atenei• Conclusioni e prospettive future

Premessa (1)(Prof. Luciano Modica)

• E‘ largamente condivisa l’opinione che si debba valutare la ricerca degli Atenei.

• E‘ molto difficile definire metodologie di valutazione “oggettiva” della “qualità” della ricerca.

• Gli appartenenti ad una comunità scientifica spesso condividono lo stesso giudizio circa la qualità dei “colleghi” e dei risultati della loro ricerca.

• Ma questi “valori” soggettivi spesso sfuggono ad analisi puramente “oggettive”.

Premessa (2)

• Un indicatore quantitativo, sia pur molto rozzo, spesso usato per valutare l’attività di ricerca di gruppi o enti è rappresentato dal numero di pubblicazioni prodotte.

• Un correttivo a questo indicatore è possibile analizzando le informazioni gestite dell’Istitute of Scientific Information (ISI) che fornisce, oltre alla rivista (più di 9.000), anche il numero di citazioni ricevute da ogni pubblicazione inserita nella banca dati.

Classi di indicatori per la valutazione della ricerca

•Acquisizione e gestione delle risorse •Produzione scientifica•Visibilità o presenza nazionale e

internazionale• Impatto sul sistema socio

economico

Finalità dell’analisi

• Contributo alla definizione di una metodologia condivisa di valutazione della ricerca utilizzando le informazioni contenute nella banca dati dell’ISI.

• Analisi della produzione scientifica di gruppi di ricerca (università, settori scientifici, dipartimenti):– produttività (numero di pubblicazioni/ numero di ricercatori)

– visibilità (numero di citazioni/numero di ricercatori)

– impatto (numero di citazioni/numero di pubblicazioni).

• Tali indicatori di performance scientifica sono stati stimati per settori scientifici il più possibile omogenei.

ISI National Science Indicators

• Il NSI mette a disposizione un insieme di indicatori per la valutazione comparativa della produzione scientifica italiana nel periodo 1981-1999 rispetto a circa cento nazioni.

• Il NSI fornisce il numero di pubblicazioni (P) e il numero di citazioni (C) ricevute da ciascuna pubblicazione.

• Il rapporto C/P permette di calcolare l’impatto internazione della ricerca di una nazione.

Paesi dell’UE classificati per Impatto Scientifico (1981-1999)

Nazione Citazioni (C) Pubblicazioni (P)

Sweden 13,63 2.733.844 200.519

Denmark 12,80 1.277.433 99.836

Netherlands 12,36 3.029.184 245.055

UK 12,08 12.035.155 995.997

Belgium 10,43 1.273.803 122.106

Finland 10,31 875.172 84.881

France 9,73 6.200.504 637.357

Germany 9,61 8.391.278 873.536

Italy 8,76 3.070.391 350.433

Austria 8,51 666.197 78.266

Ireland 7,20 213.072 29.575

Spain 6,10 1.255.011 205.742

Portugal 5,59 111.770 19.979

Greece 5,20 231.153 44.466

Impatto (C/P)

Andamento nel tempo dell’Impatto (Italia rispetto a Danimarca e Svezia)

Italy vs. Denmark and Sweden

0

1

2

3

4

5

6

81-85

82-86

83-87

84-88

85-89

86-90

87-91

88-92

89-93

90-94

91-95

92-96

93-97

94-98

95-99

5 year overlapping periods

Imp

act Italy

Denmark

Sweden

Categorie ISI

• La banca dati ISI permette di analizzare il livello di competitività del sistema della ricerca italiana in circa 100 settori di ricerca (categorie ISI) .

• Non è possibile distinguere il contributo della ricerca universitaria da quella di altri enti di ricerca pubblici e privati.

• Non è facile tener conto delle risorse, umane e materiali, impegnate nei vari settori.

• Si possono, comunque, produrre studi di settore e, soprattutto, analizzare evoluzioni nel tempo del livello di impatto.

Categorie ISI in cui l’Italia presenta un Impatto superiore al valore medio mondiale (1981-1999)

 N Categorie ISI

ImpattoItalia

(I)

Impatto globale

(W)

Differenza % Impatto

italiano rispetto al globale(I-W)/W x 100

1 Inorganic & Nuclear Chemistry 11,03 7,97 +38

2 Chemical Engineering 7,34 5,39 +36

3 General & Internal Medicine 14,32 11,78 +22

4 Metallurgy 4,72 3,96 +19

5 Geology/Petrology/Mining Engineering 1,4 1,25 +12

6 Instrumentation/Measurement 5,06 4,56 +11

7 Chemistry 10,36 10,1 +3

8 Organic Chemistry/Polymer Sciences 9,33 9,14 +2

 

ISI Italian Citation Report1981-1999

• Numero di pubblicazioni: 459.740

• Numero di citazioni: 3.209.760

• Numero di autori: 2.423.201

• Numero di affiliazioni: 1.089.252

• Numero di riviste: 9.335

Modello concettuale dei dati

Articles

Addresses

Journals

Authors

Categories Fields

Area CUN

106 24

9

Aree scientifiche CUN considerate nello studio

Area CUN Denominazione

01 Scienze matematiche e informatiche

02 Scienze fisiche03 Scienze chimiche04 Scienze della terra05 Scienze biologiche06 Scienze mediche07 Scienze agrarie e veterinarie08 Ingegneria civile e

architettura09 Ingegneria industriale e

dell’informazione

Descrittori

1. Risorse umane: numero di docenti e ricercatori di ruolo alla data del 31 Dicembre 2000 (fonte MIUR) .

2. Volume della produzione scientifica: numero di pubblicazioni scientifiche relative al quinquennio 1995-1999 (fonte ISI) .

3. Citazioni della produzione scientifica: numero di citazioni ricevute nello stesso periodo da ciascuna pubblicazione (fonte ISI) .

Indicatori

1. Produttività scientifica: rapporto tra il numero di pubblicazioni nel quinquennio e il numero di professori e ricercatori.

2. Visibilità scientifica: rapporto tra il numero di citazioni ricevute dalle pubblicazioni del periodo e il numero di professori e ricercatori.

3. Impatto scientifico: rapporto tra il numero di citazioni e il numero di pubblicazioni del periodo.

Analisi da diversi punti di vista

• Sistema nazionale universitario

• Aree scientifiche CUN

• Dipartimenti di un Ateneo

• Gruppi di ricerca

La valutazione della performance scientifica

degli Atenei

Possibili viste della performance degli Atenei

• Valutazione della performance:

– a livello complessivo

– a livello di macro aree: Scienze della vita, Scienze cliniche e Scienze tecniche

– a livello di aree più specifiche: le aree scientifico-disciplinari definite dal CUN

Il posizionamento dell’Ateneo in una specifica Area CUN

Area 01 - SCIENZE MATEMATICHE

-4

-3

-2

-1

0

1

2

3

4

-4 -3 -2 -1 0 1 2 3 4

Impatto

Pro

dutt

ivit

à

La valutazione della performance delle strutture di

ricerca di un Ateneo

Il posizionamento dei Dipartimenti di un Ateneo

• Utile per valutare la performance scientifica dei Dipartimenti di un Ateneo comparandola con quella di strutture di ricerca nazionali “omogenee”.

• Opportunità di utilizzare i risultati dello studio CRUI per una valutazione di Ateneo sfruttando le informazioni disponibili solo a livello locale.

• Necessità di tener conto del mix di produzione dei singoli Dipartimenti nelle diverse Aree CUN.

• Stima della performance media nazionale tenendo conto del mix di produzione dello Dipartimento.

Produttività scientifica dei Dipartimenti dell’Ateneo

0,00

0,50

1,00

1,50

2,00

2,50

3,00

3,50

4,00

4,50

5,00

Dipartimenti

articoli ISI altri articoli libri/cap. libro altri risultati

Area Scientifica Area Biomedica Area Tecnologica

Area umanistica Area Economico-

Giuridico- Politica

La distribuzione nelle aree CUN della produzione scientifica dei Dipartimenti di un Ateneo

1 2 3 4 5 6 7 8 9

Lavori non assegnati 0,9 3,2 4,6 0,0 15,7 70,5 0,0 0,0 5,1 434BIOCHIMICA 0,0 0,0 16,1 0,0 58,9 25,0 0,0 0,0 0,0 124BIOLOGIA ANIMALE 0,0 0,0 0,5 0,0 59,5 39,5 0,5 0,0 0,0 200CHIMICA FARMACEUTICA 0,0 0,0 27,6 0,0 66,3 4,9 0,6 0,0 0,6 163CHIMICA FISICA 0,0 47,5 50,8 0,0 1,7 0,0 0,0 0,0 0,0 120CHIMICA GENERALE 0,0 10,5 75,8 0,7 12,4 0,0 0,0 0,0 0,7 153CHIMICA ORGANICA 0,0 0,0 87,7 0,0 9,4 1,4 1,4 0,0 0,0 138CHIRURGIA 0,0 0,0 0,3 0,0 13,6 85,8 0,0 0,0 0,3 324DISCIPLINE ODONTOSTOMATOLOGICHE "S. PALAZZI" 0,0 0,0 0,0 0,0 9,1 90,9 0,0 0,0 0,0 11ECOLOGIA DEL TERRITORIO E DEGLI AMBIENTI TERRESTRI 0,0 0,0 10,0 20,0 70,0 0,0 0,0 0,0 0,0 10ELETTRONICA 0,0 39,5 4,7 0,0 0,7 0,0 0,0 0,0 55,1 301FARMACOLOGIA SPERIMENTALE E APPLICATA 0,0 0,0 5,2 0,0 65,5 27,6 0,0 0,0 1,7 58FISICA 0,0 89,0 6,4 0,0 0,0 0,6 0,0 0,0 4,1 345FISICA NUCLEARE E TEORICA 0,8 82,1 1,5 0,0 1,1 0,0 0,0 0,0 14,4 263GENETICA E MICROBIOLOGIA 'A.BUZZATI-TRAVERSO' 0,0 0,2 4,4 0,0 74,2 20,7 0,2 0,0 0,2 411INFORMATICA E SISTEMISTICA 1,0 2,1 0,0 0,0 9,4 22,9 0,0 0,0 64,6 96ING. EDILE E DEL TERRITORIO 0,0 0,0 0,0 100,0 0,0 0,0 0,0 0,0 0,0 1ING. ELETTRICA 0,0 26,8 2,4 0,0 0,0 0,0 0,0 0,0 70,7 41ING. IDRAULICA ED AMBIENTALE 0,0 9,1 36,4 9,1 9,1 0,0 0,0 9,1 27,3 11MALATTIE INFETTIVE 0,0 0,0 0,0 0,0 32,3 66,2 0,0 0,0 1,5 65MATEMATICA 'FELICE CASORATI' 60,7 10,7 1,4 0,0 1,4 0,7 0,0 2,1 22,9 140MECCANICA STRUTTURALE 2,6 2,6 0,0 2,6 0,0 0,0 0,0 28,2 64,1 39MEDICINA INTERNA E TERAPIA MEDICA 0,0 0,0 0,5 0,0 22,9 76,7 0,0 0,0 0,0 442MEDICINA LEGALE E SANITA' PUBBLICA 0,0 0,0 59,1 0,0 9,1 18,2 0,0 0,0 13,6 22MEDICINA PREVENTIVA, OCCUPAZIONALE E DI COMUNITA' 0,0 2,0 3,9 0,0 51,0 37,3 2,0 0,0 3,9 51MEDICINA SPERIMENTALE 0,0 1,9 0,0 0,0 29,6 68,5 0,0 0,0 0,0 54PATOLOGIA UMANA ED EREDITARIA 0,0 0,0 0,0 0,0 32,5 65,4 0,0 0,0 2,1 240SCI EMATOLOG., PNEUMOL. E CARDIOVASC MEDICHE E CHIRURG. 0,0 0,0 1,9 0,0 13,5 84,6 0,0 0,0 0,0 104SCI FISIOLOGICHE-FARMACOL. CELLULARI MOLECOLARI 0,0 0,0 0,0 0,0 79,0 21,0 0,0 0,0 0,0 62SCI MORFOLOGICHE EIDOLOGICHE E CLINICHE 0,0 0,0 0,0 0,0 16,4 83,6 0,0 0,0 0,0 140SCI NEUROLOGICHE 0,0 0,5 3,0 0,0 30,8 65,7 0,0 0,0 0,0 201SCI PEDIATRICHE 0,0 0,0 0,0 0,0 19,3 80,3 0,0 0,0 0,4 238SCI SANITARIE APPLICATE E PSICOCOMPORTAMENTALI 0,0 0,0 0,0 0,0 18,2 81,8 0,0 0,0 0,0 33Percentuale produzione di Ateneo 1,8 15,2 9,5 0,1 25,0 39,9 0,1 0,3 8,1Totale produzione di Ateneo 93 763 479 6 1258 2007 6 15 408 5.035

DIPARTIMENTI AREE CUN

Totale lavori

Il posizionamento dei Dipartimenti di un Ateneo

42

7

43

19

29

33

17

2738

28

20

1

34

185

3930

22

10

23

11

31

21

15

32

44

37

6 240 14

26

-5

-3

-1

1

3

5

7

9

-5 -3 -1 1 3 5 7 9

Produttività scientifica

Impa

tto

Conclusioni

• Incentivare la politica della “qualità” e del “merito”.

• Individuare aree e strutture di “eccellenza”.

• Pianificare attività e interventi.• Assicurare trasparenza al processo di

allocazione delle risorse.• Valorizzare, confrontare e motivare, sia

a livello centrale che periferico.

FuturoI. Verifica del grado di “interesse reale” per questa

ricerca da parte degli Organi di Governo e Valutazione del sistema universitario.

II. In caso affermativo, occorre: 1. acquisire gli aggiornamenti dell’Italian Citation

Report;2. realizzare un sistema di monitoraggio della

produzione scientifica degli Atenei basato su indicatori bibliometrici condivisi a livello internazionale;

3. offrire un servizio a tutti gli Atenei per favorire studi locali di valutazione della ricerca.

Area 01 - SCIENZE MATEMATICHE

-4

-3

-2

-1

0

1

2

3

4

-4 -3 -2 -1 0 1 2 3 4

Visibilità

Pro

dutt

ivit

à

Il posizionamento relativo di un Ateneo in un’area CUN

Il posizionamento dei Dipartimenti di un Ateneo

42

7

43

19

2933

17

2738

2820

1

34

18539

30

22

1023

1131 21

15

32

44

376

2 40 14

26

-5

-3

-1

1

3

5

7

9

11

13

15

-5 -3 -1 1 3 5 7 9

Produttività scientifica

Vis

ibili

tà s

cien

tific

a