Bibliometria w procedurach awansów naukowych

Bibliometria w procedurach awansów naukowych

Ewa A. RozkoszDolnośląska Szkoła Wyższa

Akademia Wychowania Fizycznego we Wrocławiu, 19 lutego 2015 r.

Plan

1. Podstawa prawna awansów naukowych.

3. Wskaźniki bibliometryczne w awansach naukowych.

2. Kryteria oceny dorobku publikacyjnego.

4. Bibliometria jako dyscyplina vs. bibliometria stosowana (w awansach naukowych).

5. Wnioski.

1 Podstawa prawna awansów naukowych

habilitacja profesura

akty prawne (mające bezpośrednie zastosowanie w awansach naukowych)

komunikaty i interpretacje CK

akty prawne określające zasady oceny jednostek naukowych

regulacje wewnętrzne jednostek

ocena jednostek naukowych

ocena czasopism

ocena pracownika jednostki naukowej

ocena kandydata do stopnia/tytułu naukowego

Ocena nauki a ocena kandydata

Ustawa z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz stopniach i tytule w zakresie sztuki (ze zm.)

Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 11 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego

Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 3 października 2014 r. w sprawie szczegółowego trybu i warunków przeprowadzania czynności w przewodach doktorskich, w postępowaniu habilitacyjnym oraz w postępowaniu o nadanie tytułu profesora

Rozporządzeniu Ministra Nauki i Szkolnictwa Wyższego z dnia 8 sierpnia 2011 r. w sprawie obszarów wiedzy, dziedzin nauki i sztuki oraz dyscyplin naukowych i artystycznych – wykaz dyscyplin

akty prawne (mające bezpośrednie zastosowanie w awansach naukowych)

Komunikat nr 4/2014 CK w sprawie formy dokumentowania wniosku o wszczęcie postępowania habilitacyjnego

Komunikat nr 2/2013 CK w sprawie wniosków o nadanie tytułu profesora (kserokopia dowodu osobistego)

Komunikat nr 3/2012 CK w sprawie sporządzania wykazu opublikowanych prac naukowych (…) oraz oświadczeń współautorów (wzór wykazu)

Komunikat nr 2/2012 CK dotyczący toku postępowania habilitacyjnego

Komunikat nr 6/2011 CK w sprawie sporządzania wniosku o przeprowadzenie postępowania habilitacyjnego oraz autoreferatu (wzór wniosku i autoreferatu)

Komunikat nr 5/2011 CK w sprawie formy dokumentowania wniosku o wszczęcie postępowania habilitacyjnego

Komunikat nr 4/2009 w sprawie analizy bibliometrycznej kandydatów do habilitacji i tytułu profesora (wzór formularza analizy)

komunikaty Centralnej Komisji ds. Stopni i Tytułów

2 Kryteria oceny dorobku publikacyjnego

Kryteria oceny w zakresie osiągnięć naukowo-badawczych w obszarze nauk przyrodniczych, nauk rolniczych, leśnych i weterynaryjnych oraz nauk medycznych, nauk o zdrowiu oraz nauk o kulturze fizycznej

Habilitacja – kryteria oceny

Kryteria oceny w zakresie osiągnięć naukowo-badawczych (wspólne dla wszystkich obszarów wiedzy)

Kryteria oceny w zakresie dorobku dydaktycznego i popularyzatorskiego oraz współpracy międzynarodowej habilitanta (wspólne dla wszystkich obszarów wiedzy)

autorstwo lub współautorstwo publikacji naukowych w czasopismach znajdujących się w bazie Journal Citation Reports;

udzielone patenty międzynarodowe lub krajowe;

wynalazki, wzory użytkowe i przemysłowe, które uzyskały ochronę i zostały wystawione na międzynarodowych lub krajowych wystawach lub targach

Rozporządzenie MNiSW z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego

Habilitacja – kryteria oceny specyficzne dla obszaru nauk

autorstwo lub współautorstwo monografii, publikacji naukowych w czasopismach międzynarodowych lub krajowych innych niż znajdujące się w bazach lub na liście, o których mowa w §3, dla danego obszaru wiedzy;

autorstwo lub współautorstwo odpowiednio dla danego obszaru: opracowań zbiorowych, katalogów, zbiorów, dokumentacji prac badawczych, ekspertyz, utworów i dzieł artystycznych;

sumaryczny impact factor publikacji naukowych według listy Journal Citation Reports (JCR), zgodnie z rokiem opublikowania;

liczbę cytowań publikacji według bazy Web of Science (WoS);

Rozporządzenie MNiSW z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego

Habilitacja – kryteria oceny wspólne dla wszystkich obszarów wiedzy

indeks Hirscha opublikowanych publikacji według bazy Web of Science (WoS);

kierowanie międzynarodowymi lub krajowymi projektami badawczymi lub udział w takich projektach;

międzynarodowe lub krajowe nagrody za działalność odpowiednio naukową albo artystyczną;

wygłoszenie referatów na międzynarodowych lub krajowych konferencjach tematycznych krajowych wystawach lub targach

Rozporządzenie MNiSW z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego

Habilitacja – kryteria oceny wspólne dla wszystkich obszarów wiedzy

Komunikat nr 3/2012 CK w sprawie sporządzania wykazu opublikowanych prac naukowych (…) oraz oświadczeń współautorów

Wykaz dorobku habilitacyjnego – nauki przyrodnicze

Habilitacja – wzór wykazu osiągnięć naukowych

Publikacje w JCR

Sumaryczny Impact Factor

Liczba cytowań

Indeks Hirscha

Profesura – kryteria oceny

Kryteria oceny w zakresie osiągnięć i dorobku naukowego dla nauk ścisłych, nauk technicznych, nauk przyrodniczych, nauk rolniczych, leśnych i weterynaryjnych, nauk medycznych i nauk o zdrowiu oraz nauki o kulturze fizycznej

Kryteria oceny w zakresie osiągnięć i dorobku naukowego (wspólne dla wszystkich obszarów nauki)

wykaz autorskich publikacji naukowych w czasopismach krajowych i międzynarodowych;

wykaz autorskich monografii;

wykaz współautorskich publikacji naukowych i udział w opracowaniach zbiorowych;

członkostwo w redakcjach naukowych.

Rozporządzenie MNiSW z dnia 14 października 2014 r. w sprawie szczegółowego trybu i warunków przeprowadzania czynności w przewodzie doktorskim, w postępowaniu habilitacyjnym oraz w postępowaniu o nadanie tytułu profesora

Profesura – kryteria oceny wspólne dla wszystkich obszarów wiedzy

dorobek technologiczny i współpraca z sektorem gospodarczym,

prawa własności przemysłowej lub prawa do ochrony wyhodowanych albo odkrytych i wyprowadzonych odmian roślin, uzyskane w kraju lub za granicą,

wdrożenia technologii, konstrukcji, procesów, rozwiązań oraz procedur,

ekspertyzy i inne opracowania wykonane na zamówienie instytucji publicznych lub przedsiębiorców,

udziały lub akcje objęte lub nabyte w spółkach w celu wdrożenia lub przygotowania do wdrożenia wyników badań

naukowych, prac rozwojowych lub know-how związanych z tymi wynikami,

udział w zespołach eksperckich i konkursowych;

Rozporządzenie MNiSW z dnia 14 października 2014 r. w sprawie szczegółowego trybu i warunków przeprowadzania czynności w przewodzie doktorskim, w postępowaniu habilitacyjnym oraz w postępowaniu o nadanie tytułu profesora

Profesura – kryteria oceny specyficzne dla obszaru nauk

A ponadto…

Habilitacja i profesura

Prezydium Centralnej Komisji, na wniosek Sekcji Nauk Medycznych, postanowiło zwrócić się do jednostek naukowych działających w dziedzinie nauk medycznych, farmaceutycznych oraz nauk o kulturze fizycznej, przeprowadzających postępowania o nadanie stopnia doktora habilitowanego albo tytułu profesora, o dołączanie do dokumentacji każdego postępowania szczegółowej analizy bibliometrycznej publikacji kandydata do habilitacji lub tytułu profesora (wg załączonego wzoru).

Komunikat nr 4/2009 w sprawie analizy bibliometrycznej kandydatów do habilitacji i tytułu profesora

Dlaczego w ankiecie jest wskaźnik Index Copernicus

Habilitacja i profesura

dot. oceny dorobku jednostek naukowych [Sic!]

Wśród pytań i odpowiedzi na stronie internetowej CK

Oświadczenie MNiSW w sprawie naruszania zasad dobrej praktyki naukowej przy stosowaniu bibliometrycznego wskaźnika impact factor do oceny dorobku jednostek naukowych:

http://www.ck.gov.pl/images/PDF/pytania/oswiadczenie.pdf

CK odsyła do oświadczenia MNiSW dot. oceny osiągnięć jednostek naukowych!

Habilitacja i profesura

(…) wiele czasopism naukowych z listy filadelfijskiej, oprócz wydawania kolejnych seryjnych numerów publikuje również suplementy zawierające in extenso materiały konferencyjne nadsyłane przez komitety organizacyjne i redakcyjne, z pełnym lub częściowym pominięciem obowiązujących w czasopiśmie rygorów peer review. W takich przypadkach stosowanie współczynnika IF czasopisma do konferencyjnego suplementu jest nieuprawnione.

(…) warunkiem koniecznym do uznawania dorobku publikowanego w takich suplementach musi być pewność, że w stosunku do niego stosowane są przez redakcje identyczne procedury peer review, jak wobec materiałów publikowanych w głównym czasopiśmie.

Oświadczenie MNiSW w sprawie naruszania zasad dobrej praktyki naukowej przy stosowaniu bibliometrycznego wskaźnika impact factor do oceny dorobku jednostek naukowych: http://www.ck.gov.pl/images/PDF/pytania/oswiadczenie.pdf

dot. oceny dorobku jednostek naukowych [Sic!]

Habilitacja i profesura

3 Wskaźniki bibliometryczne w awansach naukowych

Impact Factor

PROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA

Impact Factor

IF = Impact Factor

= współczynnik wpływu [czasopisma] = wskaźnik wpływu [czasopisma] = miara oddziaływania [czasopisma]

Wskaźnik bibliometryczny określający miarę oddziaływania czasopisma, obliczany corocznie przez Thomson Reuters (wcześniej przez: Institute of Scientific Information) na podstawie liczby cytowań odnotowanych w bazie Web of Science.

IF = y———————C + Cy-2 y-1

L + Ly-2 y-1

IF y – współczynnik wpływu czasopisma obliczony dla roku Y

C y-x– liczba cytowań wszystkich publikacji, jakie ukazały się w czasopiśmie, w latach Y-X odnotowanych w roku Y

L y-x– liczba publikacji naukowych, jakie ukazały się w czasopiśmie, w latach Y-X

Impact Factor

Uwaga

Wynik (IF) interpretowany jest w odniesieniu do wyników innych czasopism z tzw. grupy jednorodnej (dyscyplina naukowa).

Potrzeba zróżnicowania wynika z odmiennej kultury cytowań oraz tzw. czasu życia informacji (krótki czas życia informacji to szybko pojawiające się zainteresowanie artykułem wygasające po krótkim czasie, długi czas życia to często opóźniona reakcja na artykuł i dłuższa jego obecność w obiegu naukowym).

Impact Factor

IF określa miejsce

czasopisma na liście

rangowej tej samej

grupy czasopism

1 kwartyl Q1

2 kwartyl Q2

3 kwartyl Q3

4 kwartyl Q4

Najwyższy IF

Najniższy IF

Najwyższy IF w 2013 r.

PhysiologySport sciences

Physiological Reviews

IF = 29,041

Exercise Immunology Review

IF = 9,929<

Q1Q1

Impact Factor

Rehabilitation

Neurorehabilitation and Neural Repair

IF = 4,617

Q1

<

Zastosowania IF

analiza prowadzona w bibliotekach w celu selekcji do prenumeraty (coraz rzadziej, od momentu upowszechnienia się baz pełnotekstowych z pakietami czasopism)

pomoc autorom w wyborze miejsca publikowania

porównywanie czasopism z tej samej kategorii (grupy jednorodnej)

ocena dorobku autora (raczej nie na podstawie wartości IF, ale liczby artykułów w czasopismach z JCR oraz pozycji czasopisma w danej grupie jednorodnej, kwartyla)

Impact Factor

Sumaryczny Impact Factor

HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCH

PROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA

Sumaryczny Impact Factor

SIF (Sum IF, SumIF, Sum. IF) = Sumaryczny Impact Factor

Wskaźnik bibliometryczny określający jakość dorobku naukowego autora. Stanowi sumę wartości IF czasopism, w których autor opublikował artykuły naukowe (IF zgodne z rokiem publikacji).

SIF = IF + IF + … + IF

SIF – Sumaryczny Impact Factor autora

IF n – Impact Factor czasopisma, w którym opublikowano artykuł (zgodny z rokiem publikacji)

1 2 n

Sumaryczny Impact Factor. Uproszczony wzór

Sumaryczny Impact Factor

SIF odnajdujemy w publikacji Virgila Diodato: Dictionary of Bibliometrics (1994) jako jedno z podejść do obliczania Author Impact Factor.

SIF ≠ AIF (Author Impact Factor), nie jest tym samym, co tzw. nowy wskaźnik AIF, porównywany z indeksem H pod względem skuteczności w ocenie dorobku autora.

Podany wzór pochodzi z tekstu Raj Kumar Pan i Santo Fortunato: Author Impact Factor: tracking the dynamics of individual scientic impact (2014). DOI: 10.1038/srep04880

Sumaryczny Impact Factor

IF i SIF – trudne decyzje

IF publikacji nowych

Autor opublikował artykuł naukowy w 2014 r. Nie znamy IF czasopisma dla tego roku.

Rozwiązanie 1: Przyjmujemy ostatnią aktualną wartość IF (z 2013 r.)

Konsekwencje:

czasopismo może mieć dużo niższą wartość IF w kolejnym roku,

czasopismo może zostać usunięte z JCR,

negatywna ocena pracy jednostki zajmującej się dokumentacją dorobku (w momencie rejestracji pracy wpisywana jest aktualna wartość IF, która ulega zmianie w bazie wraz z pojawieniem się nowej edycji JCR).

Rozwiązanie 2: Przyjmujemy, iż brak obliczonego IF oznacza, iż IF=0

Konsekwencje:

krzywdzące dla autora, który ma znaczący, ale „świeży” dorobek.

IF a artykuły w suplementach i numerach specjalnych

Autor opublikował artykuł naukowy w suplemencie lub numerze specjalnym. Artykuł przeszedł standardową procedurę recenzowania.

Rozwiązanie 1: Uwzględniamy artykuł

Konsekwencje:

autor może zostać [niesłusznie] posądzony o nadużycie przez recenzentów / radę wydziału.

Rozwiązanie 2: Odrzucamy artykuł

Konsekwencje:

wartość dorobku autora zostaje zaniżona.

IF a artykuły w suplementach i numerach specjalnych

ale… z logiki tworzenia IF wynika, że „proceedings papers” uwzględniane w obliczaniu tego wskaźnika (indeksowane w Web of Science), są traktowane na równi z artykułami naukowymi opublikowanymi w regularnych zeszytach:

http://wokinfo.com/media/pdf/JCR_Elements2013data-2014.pdf

Wartość SIF a negatywna ocena dorobku

Sumaryczny Impact Factor autora wynosi 0.

Przyczyna 1: Autor zajmuje się tematyką w niskim stopniu reprezentowaną w czasopismach z IF.

Przyczyna 2: Dorobek autora jest lokalny.

Przyczyna 2: Autor jest humanistą.

Wartość SIF a negatywna ocena dorobku

Sumaryczny Impact Factor autora wynosi 0.

Uprzejmie informujemy, że żaden z przepisów (ani ustawowych, ani wykonawczych) nie określa progu wymaganego dla dorobku IF czy punktów MNiSW/KBN – tak więc nie można stwierdzić wprost, że brak takich punktów stanowi przesłankę do odrzucenia wniosku.

Odpowiedź Pani Marii Woźniak z Biura CK na pytanie: „Czy Sumaryczny Impact Factor = 0 dyskwalifikuje habilitanta, jako osobę niespełniającą kryteriów ujętych w Rozporządzeniu?”Korespondencja z dn. 10 czerwca 2013 r.

Co się dzieje, gdy wprowadzamy wartości progowe dla SIF w awansach naukowych (postępowanie habilitacyjne) na poziomie dziedziny…

Median IF w 2013 r.

PhysiologySport sciences

Median IF = 2,345Median IF = 1,425<

Impact Factor

Rehabilitation

Median IF = 1,412<

Sumaryczny Impact Factor

Wyobraźmy sobie, że wartość progrowa dla SIF=3, a kandydaci mają po dwie publikacje (z tego samego czasopisma):

PhysiologySport sciences

Median IF = 2,345Median IF = 1,425

Rehabilitation

Median IF = 1,412

Q1 lub Q2 (z wyższym IF) Q3

Q1 lub Q2 (z wyższym IF)

Liczba cytowań

HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCH

PROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA

Liczba cytowań

Liczba cytowań

Wskaźnik bibliometryczny określający jakość* dorobku naukowego autora. Ustalany na podstawie liczby cytowań wg bazy Web of Science.

* Pojęcie jakości odnoszę tutaj do interpretacji (jakościowej) wartości wskaźnika ilościowego.

Uwzględniane są wszystkie cytowania: artykułów, materiałów konferencyjnych, abstraktów konferencyjnych, listów do redakcji, recenzji itd.

Liczba cytowań

Liczba cytowań – Web of Science

Dane o cytowaniach na platformie Web

of Science

Dane o cytowaniach w bazie Web of Science Core

Collection

Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)

Pełne dane (uwzględnia również cytowania dla prac

niezaindeksowanych w WoS)

Podstawa obliczeń

Liczba cytowań – Web of Science

Dane o cytowaniach na platformie Web

of Science

Dane o cytowaniach w bazie Web of Science Core

Collection

Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)

Pełne dane (uwzględnia również cytowania dla prac

niezaindeksowanych w WoS)

Podstawa obliczeń

Najczęstsza interpretacja

Liczba cytowań – Web of Science

Dane o cytowaniach na platformie Web

of Science

Dane o cytowaniach w bazie Web of Science Core

Collection

Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)

Pełne dane (uwzględnia również cytowania dla prac

niezaindeksowanych w WoS)

Podstawa obliczeń

Najczęstsza interpretacja

A co z autocytowaniami?Brak rozstrzygnięć!

Indeks H

HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCH

Indeks H

Indeks H = Wskaźnik Hirscha = H-index

Wskaźnik bibliometryczny określający jakość dorobku naukowego autora. Ustalany na podstawie liczby n publikacji, z których każda była co najmniej n razy cytowana w obrębie bazy Web of Science.

Indeks H

4 x cytowane

1 x cytowane

5 x cytowane

4 x cytowane

indeks H = 3

Indeks H – Web of Science

Dane o cytowaniach na platformie Web

of Science

Dane o cytowaniach w bazie Web of Science Core

Collection

Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)

Pełne dane (uwzględnia również cytowania dla prac

niezaindeksowanych w WoS)

Podstawa obliczeń

Publikacje naukowe w czasopismach znajdujących się w bazie Journal Citation Reports (JCR)

HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCHPROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA

Publikacje naukowe w czasopismach JCR

Journal Citation Reports

Baza tworzona przez firmę Thomson Reuters (udostępniana za pośrednictwem platformy Web of Science), w której zamieszczone są listy czasopism generujących wskaźnik wpływu IF, obliczany na podstawie danych gromadzonych w bazach bibliometrycznych Sience Citation Index i Social Sciences Citation Index.

Publikacja naukowa = recenzowana?

Publikacje naukowe w czasopismach JCR – możliwe interpretacje

Artykuły naukowe publikowane w regularnych numerach czasopism z JCR

Artykuły naukowe publikowane w regularnych numerach czasopism z JCR oraz numerach specjalnych/suplementach, jeżeli redakcja potwierdziła,

że tekst został poddany standardowej procedurze oceny.

Teksty naukowe publikowane w czasopismach JCR (numerach

regularnych i specjalnych/suplementach) uwzględniane przy ustalaniu wartości

wskaźnika IF (ang. citable items). Nie uwzględniane teksty

niezaindeksowane w WoS.

Wg mnie

4 Bibliometria jako dyscyplina vs. bibliometria stosowana (w awansach naukowych)

Bibliometria – ustalenia naukowe

IF czasopisma określa jakość badań autora publikującego w nim.

SIF

IF jest miarą wpływu czasopisma, wartości IF nie powinny służyć do

oceny autorów.

Bibliometria stosowana

Wartość IF określa miejsce czasopisma na liście czasopism

o podobnym profilu.

Wartość IF porównywane są bezpośrednio.

Bibliometria – ustalenia naukowe

Niektóre uczelnie wprowadzają nienegocjowalne wartości progowe.

Indeks H

Indeks H określa jakość dorobku autora, ale należy przy tym

pamiętać, że istnieją autorzy o niskim H, z wybitnymi pracami.

Bibliometria stosowana

Istnieje związek między wielkością H a dyscypliną.

Indeks H jest miarą uniwersalną.

Bibliometria – ustalenia naukowe

Liczba cytowań zależy tylko od jakości dorobku.

Liczba cytowań

Autorzy zajmujący się gorącymi tematami (ang. hot topics) mają większe szanse na cytowania.

Bibliometria stosowana

Prace przeglądowe są statystycznie częściej cytowane niż prace

badawcze.

Przekonanie o tym, że częściej cytowane są prace wybitne.

5 Wnioski

1. Wskaźniki bibliometryczne wspomagają ocenę osiągnięć naukowych.

2. Tworzenie wartości progowych wskaźników bibliometrycznych dla całej dziedziny jest merytorycznie nieuzasadnione.

3. Tworzenie wartości progowych w obrębie dyscypliny a jeszcze lepiej subdyscypliny ma sens, o ile uwzględnia również (poprzez ocenę jakościową) odstępstwa wynikające ze specyficznego charakteru danego obszaru, którym zajmuje się kandydat (np. możliwości publikacyjne związane z historią sportu).

4. Używanie wskaźnika IF do oceny kandydata jest niezalecane przez Thomson Reuters.

5. Systemy do oceny dorobku naukowego muszą dostosowywać się do zmian w komunikacji naukowej, a nie odwrotnie.

Wnioski

W prezentacji wykorzystałam grafikę:

Mixed emotions / Søren Rajczyk. Licencja: Creative Commons Uznanie autorstwa (flickr.com)

ewa@rozkosz.info