Möglichkeiten und Grenzen bibliometrischer Analysen · 2 Journal A 2,345 4,69 1 Journal B 10,114 10,114 3 Journal C 5,777 17,331 1 Journal D 3,245 3,245 Kumulativer Impact-Faktor

Mitg

lied

de

r H

elm

ho

ltz-G

em

ein

sch

aft

Möglichkeiten und Grenzen bibliometrischer Analysen

Dr. Dirk Tunger | Forschungszentrum Jülich | 08. Februar 2013

Folie 2

Therefore it is suggested that a better name for this

subject [statistical bibliography] is BIBLIOMETRICS, i.e.

the application of mathematics and statistical methods to

books and other media of communication.

(Alan Pritchard, 1969)

Was ist Bibliometrie?

Folie 3

Bibliometrie ist definiert als “Anwendung mathematischer und

statistischer Methoden zur Erklärung der Prozesse von

schriftlichen Mitteilungen”

Das verwendete Instrumentarium ist die Zählung und die Analyse

der verschiedenen Aspekte von Wissenschaftskommunikation in

schriftlicher Form.

Definition von Bibliometrie nach Gorraiz

Definition von Bibliometrie

Folie 4

Definition von Bibliometrie nach Pritchard (1969)

Definition von Bibliometrie

Alan Pritchard: Statistical Bibliography or Bibliometrics?,

Journal of Documentation, Vol. 25, Nr. 4, S. 348f, 1969

„… the application of mathematics and statistical

methods to books and other media of communication.“

Folie 5

Historische Entwicklung

1927: P. L. K. Gross und E. Gross nutzten zum ersten Mal Zitate als bibliometrische Datenquelle für eine Untersuchung chemischer Zeitschriften

1934: Das Wort „bibliométrie“ wird von Paul Otlet benutzt

1903: James McKeen Cattells systematische Statistiken über Wissenschaft im Fach Psychologie

1917: Untersuchung zur Anatomie-Literatur (1550 -1860 von Francis Joseph Cole und Nellie Eales) „The history of comparative Anatomy“

Folie 6

1955: Erstes Paper zum Science Citation Index von Eugene Garfield

1963: De Solla Price´ „Little Science, Big Science“

1966: G. M. Dobrovs „Nauka Nauke“

1969: Begriff „Bibliometrics“ wird von Alan Pritchard vorgeschlagen: „[…] the application of mathematics and statistical methods to books and other media of communication“.

2004: Definition nach Juan Gorraiz: Bibliometrie ist die “Anwendung mathematischer und statistischer Methoden zur Erklärung der Prozesse von schriftlichen Mitteilungen”.

Historische Entwicklung

Folie 7

Informationen allgemein (Informetrie)

Real vorhanden (Bücher, Zeitschriften, Menschen etc.)

Virtuell vorhanden (Web, Datenbanken, etc.)

Wiss. Wissen und Informationen (Szientometrie)

Publikationen (Bibliometrie)

Patente (Patentometrie)

Webdokumente, Datenbanken (Webometrie)

Begriffsabgrenzungen

Folie 8

Grundlagen wissenschaftlicher KommunikationWarum teilt ein Wissenschaftler seine neuen Ergebnisse mit?

Reputation erlangen

Fortschritt der Disziplin

Finanzielle Verwertung

Um Rechenschaft abzulegen

Folie 9

Grundlagen wissenschaftlicher KommunikationWie teilt ein Wissenschaftler seine neuen Ergebnisse mit?

Publikation

Patent

Konferenzbeitrag

Persönliches Gespräch

Zusammenarbeit

Vortrag

Folie 10

Grundlagen wissenschaftlicher KommunikationIn welcher schriftlichen Form publiziert ein Wissenschaftler Ergebnisse?

Zeitschriftenaufsatz

Rückblick (review)

Konferenzbeitrag

Buch

…

Folie 11

Grundlagen wissenschaftlicher KommunikationWarum ergibt sich der Wunsch, Wissenschaft zu evaluieren?

Überblick über Forschung

Effizienz von Forschung

thematische Entwicklung

Feststellung der Reputation

Bestandspflege in Bibliotheken

Folie 12

Beispiele aus der Naturwissenschaft

• Steigende Anzahl wissenschaftlicher Artikel

• Steigende Zahl an Patenten

• Steigende Zahl an Zitationen

• Steigende Zahl an Versuchsergebnissen

Die Produktion von Daten nimmt ständig zu

Grundlagen wissenschaftlicher Kommunikation

Folie 13

Eine permanente Steigerung des Outputs verringert die Zeit, einzelne

Ergebnisse wahrzunehmen

Beispiele:

• Begrenzte Aufnahmekapazität von schriftlicher

Kommunikation

• Begrenzter Raum für Fussnoten

• Begrenzter Raum für die Anwendung von

Erfindungen

Grundlagen wissenschaftlicher Kommunikation

Folie 14

Wissenschaftskommunikation

(De Solla Price: Little Science –

Big Science, 1963)

Folie 15

Entwicklung von Publikationszahlen

Folie 16

Kooperation von Wissenschaftlern

Folie 17

Der Science Citation Index

Folie 18


Folie 19


Folie 20


Folie 21

Die Idee

Folie 22

Siehe hierzu

Science indicators revisited - Science citation index

versus SCOPUS: A bibliometric comparison of both

citation databases in: Information Services and Use,

Volume 26, Issue 4, 2006, Pages 293-301

ZitationsindicesScopus

Folie 23

ZitationsindicesGoogle Scholar

Folie 24

Es ist doch eigentlich alles ganz einfach ...

Im Fokus stehen Forschungsinstitutionen als Urheber

eines ständig wachsenden, multidisziplinären

wissenschaftlichen Outputs. Diese stehen im Wettbewerb,

international zu den führenden Einrichtungen ihrer Disziplin

zu gehören und dies auch durch die Wahrnehmung ihrer

Veröffentlichungen zu dokumentieren.

(Price, 1963)

Folie 25

... aber hier gehen die Probleme schon los!

… there is a need, to document the publication output and

its perception performance in the scientific community.

But: the disciplines of the institutes research are very

different and the work is often multidisciplinary.

“Citation (and publication) practices vary between fields and

over time.“

(Garfield 1989)

Folie 26

Was viele gerne hätten ...

Folie 27

STM-Publikationen weltweit im SCI

Folie 28

STM-Publikationen weltweit im SCI

(aus Craig & Ferguson, 2009, S. 163)

Folie 29

... und warum es das nicht gibt!

Es gibt keinen 'Superindikator', der die Frage nach der

Qualität wissenschaftlicher Arbeit ultimativ beantworten

würde. Die Frage nach der Qualität von Forschungs-

ergebnissen wird nicht beantwortet, sondern ersetzt

durch Informationen, die verschiedene Aspekte

wissenschaftlicher Aktivität und des 'Erfolges' dieser

Aktivität sichtbar machen.

(Hornbostel, 1997)

Folie 30

Warum Bibliometrie?

• Output nimmt ständig zu, …

• … die Aufnahmefähigkeit von Wissenschaftlernaber nicht (Bibliometrie als Ordnungsinstrument)

• Masse des Outputs macht Bibliometrie erst möglich

• Neue Möglichkeiten der Erkenntnis (Bibliometrie als Forschungs- und Prognoseinstrument)

• Bibliometrische Daten können dank der IT-Fortschritte mit anderen Methoden kombiniert werden (Bibliometrie als Mappinginstrument)

• Daten sind „objektiv“ (Bibliometrie als Bewertungsinstrument)


Folie 31

Warum Bibliometrie?

• Gewinnung belastbarer, quantifizierbarer Aussagen zu wissenschaftlichen Leistungen

• Grundlage für die Einführung von leistungsorientierter Mittelvergabe in der Forschung

• Bewältigung eines Massenproblems durch Verarbeitung großer Mengen digital verfügbarer bibliometrischer Daten


Folie 32

In der Evaluation wissenschaftlicher Arbeit mit Hilfe von Bibliometrie

sind die gestellten Leitfragen immer wieder ähnlich:

• In welchen Zeitschriften publiziert eine Einrichtung überwiegend?

• Welchen thematischen Schwerpunkt verfolgt eine Einrichtung?

• Welche Zeitschriften versprechen überdurchschnittlichen

Zitationserfolg?

• Welche Wahrnehmung erhält eine bestimmte Einrichtung im

Vergleich zu einem gewählten Benchmark auf nationaler oder

internationaler Ebene?

• Wie können unterschiedliche Einrichtungen eines

Forschungsgebietes miteinander verglichen werden?

• Wie können Einrichtungen, die auf verschiedenen

Forschungsgebieten arbeiten, miteinander verglichen werden?

• Welche Informationen erhält man aus einer veränderten oder

unveränderten Positionierung einer Einrichtung in einem Ranking

in Form eines regelmäßigen Monitoring?

(vgl.: Da Pozzo et al., 2001)


Folie 33

P: Anzahl der Veröffentlichungen

C: Anzahl der Zitationen

CPP: Zitationsrate

%P nc: Anteil nicht zitierter Veröffentlichungen

CPP/JCSm: Zitationsrate im Vergleich zum

internationalen Journal-Durchschnitt

CPP/FCSm: Zitationsrate im Feldvergleich

CPP/D-FCSm: Zitationsrate im Feldvergleich zu Deutschland

JCSm/FCSm: Vergleich Journalimpact zu Feldimpact

% sc: Anteil der Selbstzitationen

Bibliometrische Indikatoren

Folie 34

Abhängigkeit bibliometrischer Indikatoren

Die Publikationszahl P - Größe

einer Einrichtung - Fleiß

hängt ab von: - (Qualität)

- Publikationsgewohnheit

im Fachgebiet

Die Zitationszahl C - P

einer Einrichtung - Qualität

hängt ab von: - Zitationsgewohnheit

im Fachgebiet

Die Zitationsrate CPP - Qualität

hängt ab von: - Fachgebiet

soll gemessen werden

muss normalisiert werden

Folie 35

Der Hirsch-Index ist ein Indikator, der die Zitation von zu

Grunde liegenden wissenschaftlichen Artikeln beschreibt.

Im Gegensatz zur Zitationsrate ist dieser Indikator allerdings

abhängig von der Grösse der zu Grunde liegenden

Artikelzahlen. Es werden Einrichtungen oder Personen mit

einer höheren Zahl an Veröffentlichungen bevorzugt.

Der Hirsch-Index (benannt nach J. E. Hirsch (Hirsch, 2005))

bezeichnet die Anzahl der Artikel "h" einer Einrichtung oder

Person, die mindestens h-Mal zitiert wurden.

Der h-Index

Folie 36

"A scientist has index h if h of his/her Np papers have

at least h citations each, and the other (Np − h) papers

have no more than h citations each."

(Hirsch, 2005)

Publikation 1 12 Zitationen







h = 4

Der h-Index

Folie 37

Definition allgemeinEin Indikator für die Anzahl der Artikel, die ein

Journal in zwei aufeinanderfolgenden Jahren

veröffentlicht hat (Publikationsfenster) und die

Anzahl der Zitationen dieser Artikel im Folgejahr.

Impactfaktor

Folie 38

Kumulativer Impact-Faktor

Summe der Journal-Impact-Faktoren (JIF)

aller Journalpublikationen einer Einheit

Anzahl Veröffent-lichungen

Journal JIF Inkre-ment

2 Journal A 2,345 4,69

1 Journal B 10,114 10,114

3 Journal C 5,777 17,331

1 Journal D 3,245 3,245

Kumulativer Impact-Faktor 35,38

Der JIF hat nur

Aussagekraft in

Bezug auf ein

bestimmtes Journal.

Es ist nicht möglich,

eine Aussage mit

Hilfe des JIF für

einzelne Artikel

abzuleiten, die in

einem bestimmten

Journal

veröffentlicht

wurden!

Folie 39

Der J-Faktor

gesI

I

S R

I

p

Sp

Scpp

ScppRIJ

,

)(

)(

)(),(

J(I,R): J-Faktor der Institution I, in Relation zum Standard R

S: Zeitschrift

CPPI(S): durchschnittliche Zitationsrate der Publikationen von

Institution I in der Zeitschrift S

CPPB(S):durchschnittliche Zitationsrate der Publikationen von

Standard R in der Zeitschrift S

pI(S): Anzahl der Publikationen von Institution I in der Zeitschrift S

pI,ges: Gesamtanzahl der Publikationen von Institution I

Folie 40

Beispielberechnung J-FaktorBenchmark Institut Berechnung

Dok. Typ Jahr Journal P C CPP P C CPP rel. CPPGewich-

tungInkre-ment

Article 2005Journal of Applied Crystallography

130 1300 10 3 9 3 30% 14% 4%

Article 2007Journal of Crystal Growth

75 450 6 5 15 3 50% 23% 11%

Review 2008Nature Reviews Immunology

14 210 15 2 60 30 200% 9% 18%

Article 2008The Journal of Immunology

150 1500 10 10 300 30 300% 45% 136%

Letter 2005American Journal of Human Genetics

16 32 2 2 6 3 150% 9% 14%

gesamt 395 22 100 % 184 %

Rechenweg für Journal of Applied Crystallography

relative CPP: 3 / 10 = 0,3 = 30 % Gewichtung: 3 Paper / 22 Paper = 14 %Inkrement: 0,3 * 0,14 = 4 %

abschliessend Summe über alle Inkremente → J = 184 %

Folie 41

Feldnormalisiertes Ranking mit J-Faktor

Feldnormalisiertes Ranking von drei Städten

98,2

100,0

105,2

108,9

90 92 94 96 98 100 102 104 106 108 110

Köln

Deutschland

Hamburg

München

relative Zitationsrate einer Stadt im Verhältnis zum Benchmark (Deutschland)

Folie 42

Ebenen bibliometrischer Analysen

• Analyse von Regionen / Ländern

• institutionelle Analyse

• Analyse auf Ebene von Arbeitsgruppen

• Analyse von Einzelpersonen

Ab

ste

ige

nd

er G

rad

an

Sta

nd

ard

isie

run

g

Folie 43

Bibliometrische Analyse von Einrichtungen

AD=(KF* OR FZJ or Rese* C* OR 52425 OR 5170 OR Res Ctr OR Forsch* OR FZ Julich OR

FZ Juelich OR Forsch* Zentr* OR 52426 OR Kernforsch* OR Nucl* Res* OR Kern Forsch*

or Kern Forch Anlage or Kern Forsh Anlage or Fortshungszentrum OR Forshungszentrum

OR Forschungszentrun OR Forschugnszentrum OR Fordchungszentrum OR FKA OR

Forchungszentrum OR Forscungszentrum OR Festkorper* OR Helmhol* OR HGF OR HZJ OR

EURATOM or NIC or neum* or JSC or supercom* or compu* or IFF or PTJ or IKP or Bra*

Ima* C* or JARA or Ctr Neutron Sci or JCNS or Jul* Aac* Res* All* or Inst Solid

State or Inst Plasmaphys or Inst Energy Res or Dynam Geosphere Agrosphere or Inst

Bio & Nanosyst or Inst Med or Inst Festkoperforsch or Inst Neurosci & Biophys or

Inst Biotechnol or Inst Chem & Dynam Geosphere or Inst Grenzflachenforsch &

Vakuumphys or Inst Schichten & Grenzflachen or Inst Thin Films & Interfaces or ISGI

or Inst Nucl Phys or Microstruct Res Inst or Inst Stratospher Chem or ICG or Res

Sch Simul* or Dept Neurosci or Inst Thin Film or Ctr Nanoelect Syst or Inst

Schichten & Grenz* or Inst Bioengn or Res C Juelich or foschungszentrum or FZ

Julichand or Proje$ttra$ger or Inst Microstruct Res or Inst Festko$rperf* or Ctr

Neutr* Scatt* or Inst Biol Informat Processing or Inst Schicht* & Grenzfla$chen or

Inst Biol Informationsverarbeitung or Inst Biol Informat Verarbeitung or Inst Thin

Film & Ion or Inst Chem Belasteten Atmosphare or Juelich Inst Biol Strukturforsch

or INST CHEM DYNAM GEOSPHARE or INST REAKTORWERKSTOFFE JULICH or HLRZ or CENT INST

ANGEW MATH or INST NUCL MAT or INST PETR & ORGAN GEOCHEM or INST CHEM TECHNOL or

INST KERNPHYS or INST REACTOR DEV or INST CHEM TECHNOL or INST REAKTORWERKSTOFFE or

KERN SCH ANLAGE JULICH or INST KERNPHYS or ZENTRALINST ANAL CHEM or Ctr Sci Res or

Inst Atmospher Chem) and ad=(Julich OR Juelich or Yulich))

Folie 44

Bei Analysen über Personen zu beachten

• Das Alter und die Position eines Wissenschaftlers sind maßgeblich für

dessen Publikations- und Zitationsdaten verantwortlich.

• Disziplinübergreifende bibliometrische Vergleiche sind generell auf

Grund unterschiedlicher Kommunikationsgewohnheiten nicht direkt

möglich.

• Auf Ebene von Personen sind bibliometrische Analysen nur bedingt

aussagekräftig auf Grund geringer Publikationszahlen.

• Wissenschaftler sollten die Zeitschrift, in der sie bestimmte Beiträge

veröffentlichen, sehr bewusst auswählen. Hierbei kann die Frage, ob

das gewählte Medium die bestmögliche Resonanz ermöglicht, als

Leitlinie gewählt werden.

Der Journal Citation Report von ISI liefert Hinweise mit Hilfe des

Impact Faktors auf die durchschnittliche Resonanz von Beiträgen.

Eine Überprüfung gibt darüber Aufschluss, ob die eigenen Beiträge

häufiger oder seltener als das gewählte Journal zitiert werden.

• Ein Wissenschaftler sollte seine Beiträge auf möglichst wenige

Zeitschriften konzentrieren.

Folie 45

Personenanalyse

• Das Alter und die Position eines Wissenschaftlers sind maßgeblich für

dessen Publikations- und Zitationsdaten verantwortlich.

• Disziplinübergreifende bibliometrische Vergleiche sind generell auf

Grund unterschiedlicher Kommunikationsgewohnheiten nicht direkt

möglich.

• Auf Ebene von Personen sind bibliometrische Analysen nur bedingt

aussagekräftig auf Grund geringer Publikationszahlen.

• Wissenschaftler sollten die Zeitschrift, in der sie bestimmte Beiträge

veröffentlichen, sehr bewusst auswählen. Hierbei kann die Frage, ob

das gewählte Medium die bestmögliche Resonanz ermöglicht, als

Leitlinie gewählt werden.

• Der Journal Citation Report von ISI liefert Hinweise mit Hilfe des

Impact Faktors auf die durchschnittliche Resonanz von Beiträgen.

Eine Überprüfung gibt darüber Aufschluss, ob die eigenen Beiträge

häufiger oder seltener als das gewählte Journal zitiert werden.

• Ein Wissenschaftler sollte seine Beiträge auf möglichst wenige

Zeitschriften konzentrieren.

Folie 46

Beispiel „Verlorener Artikel“

Fehler in Zitationsdatenbanken

Folie 47



Folie 48



Folie 49



Folie 50

Beispiel „Schreibfehler im Namen“


Folie 51

Beispiel „Schreibfehler im Namen“


Folie 52

Dr. Dirk Tunger

Forschungszentrum Jülich

Zentralbibliothek

52425 Jülich

[email protected]

Vielen Dank!

Documents

Möglichkeiten und Grenzen bibliometrischer Analysen · 2 Journal A 2,345 4,69 1 Journal B 10,114 10,114 3 Journal C 5,777 17,331 1 Journal D 3,245 3,245 Kumulativer Impact-Faktor