"Vrednovanje naučnoistraživačkog rada:

između političkog projekta i iskonskog

bibliotekarstva"

Prof. dr Radovan Stojanović

UCG, Oktobar, 2016

1

Sadržaj

• Umjesto uvoda ili potreba

• Razrada ili realnost sa osvrtom na drustvene nauke

• Zaključak ili alternativa

2

Umjesto uvoda...

• Svaki čovjek po prirodi teži znanju

•Aristotel

• Svako društvo teži znanju.

• 21-vi vijek, po mnogima, je proglašen kao vijek znanja.

• Potreba da mjerimo rezultate znanja je prirorodna, kako pojedinica, tako institucije, društva...

3

Umjesto uvoda…

• “Svak je mali govorit o knjizi”. JA POGOTOVO… • Biblioteka, bibliotekarstvo su stari koliko i “riječ”, “pismo”,

“slovo”, “knjiga”, Sumer, Mesopotanija, 2600 BC • Βιβλίον + θήκη = knjige + kutija • Najveće klasične biblioteke, British library , 170 mil knji,

Library of Congress United States Washington D.C. library 164 mil +,Library and Archives Canada Canada 54 mil..+ Russian State Library RussiaMoscow, 44.4+

• Danas je najveca biblioteka Internet

http://dtc-wsuv.org/wp/dtc375-trundle/how-we-think

4

Umjesto uvoda…

• “Bez biblioteke šta imamo?. Ni prošlost ni budućnost”. Ray Bradbury

• “Biblioteke su tvradjave učenja i učenja, oslobodile su više ljudi nego svi ratovi u istoriji”, Carl. T. Rowan.

• “Biblioteka nije luksus već ljudska potreba”, Ward Beecher

• “Google ti može dati 100 000 odgovora, bibliotekar samo, 1 ali pravi”

5

Umjesto uvoda ....

• Poslednjih 50tak godina je došlo do pravog „velikog praska“ u nauci o metrici, zahvaljući , prije svega, informacionim tehnologijama (IT). Sve se mjeri i statistički analizira!.

• Uporedo se i razvila „Scientometrics“ ili „Naukometrija“, koja predstavlja nauku o mjerenju i analizi nauke.

• Bibliometrics ili „Bibliometrija“ je njena pod-disciplina koja se zasniva na statističkom istraživanju bibliografija i naučnih časopisa.

6

Umjesto uvoda... • „Bibliometrics,” “scientometrics,” “informetrics,”

“webometrics,” “netometrics,” “cybermetrics” su termini koje je teško razdvojiti.

• Iako relativno mlade, skovane od Eugena Garfielda i Alan Pričarda u 1960-tim, koliko posle 2600BC?, naukometrija i bibliometrija predstavljaju eksponencijalno rastuće discipline i „noćnu moru“ i „kontraverzu“ za naučnu zajednice šiirom svijeta.

7

Umjesto uvoda...

• Danas su bibliometrija i naukometrija pretežno kontrolisane od strane globalnih privatnih magnata, neki od njih su:

• Clarivate Analytics (prvobitno the Intellectual Property and Science business of Thomson Reuters), vlasnik je SCI-a prava. Tvorac SCI-a je u stvari David Thomson, 3rd Baron Thomson of Fleet a nastavili su Gerry Schwartz i Baring Private Equity Asia

• RELX Group u čijem je sastavu pores ostalog Elsevier

8

David Thomson Gerry Schwartz

Erik Engstrom

Umjesto uvoda…

• Postoji ogroman broj bibliometričkih baza, resoursa, tehnika, indikitara, alternativa: Scopus, Web of Knowledge (sa WoS), Urlich’s, Google Scholar, Reseachgate, SCImago Journal and Country Rank, Academia edu, Mendeley, Medline, arXiv, CiteSeerX, EMBASE, ERIC, IEEE Xplore, Index Copernicus, Inspec, JournalSeek, MathSciNet, Microsoft Academic Search, PubChem, SciELO, ScienceOpen, WestLaw, Zentralblatt MATH, VIVO, Altmetrics.org…

• Neki su multidisciplinarni, neki stručni, neki alternativni, on-line, free...

• Većina za sebe misli da je najrelevantniji i po specifičan... • Scopus (>22000 čas.) i WoS (>12000) su najuticajnije.

9

Umjesto uvoda... • Dilema 1: Da li bibliometriju treba

poistovećivati sa časopisima i naučnim publikacijama, bibliotekarstvom?.

• NE. • Nedavno je Royal Society proslavilo 350

godina prvog časopisa koji je izašao 6. marta 1665, Philosophical Transactions, publikovan pod vizionarstvom prvog RS sekretara Henry Oldenburga.

• Na svetskom nivou za skoro 350 godina broj časopisa je rastao po stopi 3.4% godišnje, što znači da se broj aktivnih časopisa duplirao svakih 20 godina.

• Časopisi i publikacije su odigrali veoma važnu ulogu u prezentiranju i popularizaciji znanja i postoji jasna korelacija izmedju najvećih naučnih otkrića i radova objavljenih u časopisima.

• Mogu se smatrati dijelom svetske kulturne baštine.

10 Naslovna strana prvog broja časopisa Philosophical Transactions iz 1665

Umjesto uvoda... • Dilema 2: Da li bibliometriju treba poistovećivati sa

ekonimijom, biznisom, neoliberalnim pristupom?

• DA.

• Dala je krila Weberovoj doktrini primijenjenoj u oblast nauke i Friedmanaovom neoliberalnom konceptu, “ne postoji besplatan ručak”.

11

Umjesto uvoda...

• Administracija i menadžment širom svijeta primenjuju i ovdje „payback“ ili „return of investment (ROI)“ princip. Logično, jer fiskalno treba zatvoriti više od 1500 miliardi dolara godišnje. „Primio si od mene novac, opravdaj ga!. Neka pokriće bude što jače i certifikovano“.

• Iako krajem 70-tih mnogo manje izražena, tu pojavu opisuju i najavljuju sociolozi nauke Bruno Latour and Steve Woolgar u knjizi „Laboratory Life: The Construction of Scientific Facts“ (1979), gdje uvode „kapital kredibilnosti“, prezentujući „ciklus kredita“, predstavljajući naučni svijet kao ekonomsko preduzeće.

12

Umjesto uvoda... • Naučnici se ponašaju kao investitori transformišući naučni

kapital u drugi. Pozicija i publikacije su garant sigurnog finansiranja. Finansiranje i ponekad pozicija obezbedjuje produkciju naučnih podataka koji osiguravaju produkciju publikacija i tako u krug...

13 Kakav je kvalitet podataka u takvom ciklusu Podaci

Publikacije

Pozicija

Finansiranje

Realnost

• Svaki čovjek po prirodi teži znanju • Aristotel

• „Čovjek je po prirodi podmukao, pun smicalica i prevara"

• Aristofan

14

Realnost...

• Pojava “Publish or perish”, „publikuj ili umri“ efekta koji prijeti da uništi nauku i istraživanje! Naročito u zemljama u razvoju.

• Rast publikovanih članaka tokom jedne decenije; od 1.3 milion u 2003. do 2.4 miliona u 2013. Broj autora, od 4.6 miliona u 2003 do 10 miliona u 2013?

• Broj istraživača na zemljinoj kugli raste po stopi mnogo većoj nego populacija?

• “Hyperauthorship”, veoma izraženo. 5000 fizičara u CERNu na jednom radu o Higgsovom bozonu; dok je rad iz oblasti genetike imao 1,014 authora?

15

Realnost...

• Da apsurd bude veći prof. Higgs je trebao da bude izbačen kao neproduktivan sa Univerziteta u Aberdinu. Neposredno pred prijem Nobelove nagrade, 2013., izjavi: „danas ja ne bih našao akademski posao, to je jednostavno tako“. „Nemoguće je zamisliti kako bih ja danas imao uopšte dovoljno mira i tišine da uradim ono što sam uradio 1964. godine“, aludirajući na stalni pritisak za publikovanjem kojem su izloženi današnji poslenici nauke.

• Sydney Brenner o svom prijatelju i dvostrukom nobelovcu Fred

Sangeru. „Fred Sanger ne bi preživio današnji svijet nauke. U procesu konstantnih izveštaja (reporta) i ocjena, neka od komisija bi konstatovala da je on publikovao nedovoljno izmedju rada o insulinu 1952. god., njegovog prvog rada o RNA (ribonukleinskoj kisjelini), 1967., sa takodje velikim razmakom do sledećeg rada o DNK 1977. god. On bi bio označen kao neproduktivan i njegova skromna pomoć bi bila ukinuta. Mi više nemamo kulture koja omogućava pojedincu da radi na duže staze, što bi se tretiralo kao krajnje rizičan projekat“.

16

Realnost...

• Charlton BG, “The cancer of bureaucracy: how it will destroy science, medicine, education; and eventually everything else. Med Hypotheses. 2010 Jun;74(6):961-5.

• Prof Braben, čija knjiga opisuje 500 najvećih otkrića 20. vijeka, "The major scientific discoveries of the 20th Century would not have happened under today's rules, they would not get funding now“.

17

Realnost

• Na mikro planu moje naučne malenkosti

• Moj najcitiraniji članak je u časopisu koji više ne izlazi i nije na listi!

18

Realnost

• „Academic publishing“ market ,predvodjen Elsevierom, imao je 2013 godine obrt od $25.2 billion. To je veći procenat profita od samog Apple-a. (http://www.relx.com/investorcentre/reports%202007/Documents/2013/reed_elsevier_ar_2013.pdf , http://images.apple.com/pr/pdf/q4fy13datasum.pdf )

• Paradoksalno, 1995. godine Forbes je predvidio da će prva žrtva internet ere biti akademski izdavači? (članak “The internet’s first victim,” John Hayes)

• Idealna biznis pozicija, proizvodjač je i kupac, a pri tom ga plaća neko drugi.

19

Realnost

• Sa periodom globalizacije, čini se da su se naučnici bili pomirili sa usvojenom metrikom. Naročito u periodu 2000-2010.

• Prvi glas se podiže sa značajnog mjesta 2007., kada editorial

časopisa Journal of Cell Biology (IF>10) (M. Rossner Heather V. Epps and E. Hill) u svom članku „Show me the data“ napada odomaćenu metriku. „We need a metric that is open and not proprietary, and that measures the citations of an individual paper and not the journal as a whole. We should also not forget that the number of citations can't be compared between different fields“.

20

• 3 godine kasnije D. Parkins, u svom članku „Do metrics matter?“, Nature, Vol 465|17 June 2010, potvrdjuje navode kolega (Journal of Cell Biology) i Lotourovu tezu (prije 30 godina) indirektno uvodeći pojam „mangupa u sopstvenim redovima“ koji izigravaju sistem metrike.

21

Realnost...

Realnost

• 150 naučnika i 30 administratora i rukovodioca značajnih svetskih univerziteta se odazvalo njihovom istraživanju (Nature) u cilju sagledavanja kako naučnici vjeruju u metriku koja se primenjuje u njihovim institucijama. Slijede neka od mišljenja i statistika.

22

• 51% of respondents said that they have changed their behaviour because of the way they are evaluated.

• “It discourages me from doing important research work that may be of null association.”

• “I am more likely to accept an article for review if I want to verify that it is citing a paper of mine that is near the cusp of being counted for my h-factor.”

• 71% of respondents said that they are concerned their colleagues can ‘game’ or ‘cheat’ the systems for evaluation in their institutions.

• “A great deal of politics are involved and a focus on numbers over quality with regard to publications.”

• “These metrics can be skewed by people if they know that their performance will be evaluated on metrics alone.”

Realnost

• “Outside letters basically trump everything,” R. Simoni, Stanford University in California.

• “Metrics are not used a great deal,” Al. Halliday, University of Oxford,. “The most important things are the letters, the interview and the CV, and our opinions of the papers published,”

• “I don’t look at impact factors” of the journals a candidate publishes in, K. Yoshikawa, Kyoto University. “These usually highlight trendy papers, boom fields and recently highlighted topics. We at Kyoto don’t want to follow boom.”

• At the Massachusetts Institute of Technology in Cambridge, C. Canizares “we pay very little attention, almost zero, to citation indices and counting numbers of publications”. But, he says, “if someone has multiple publications in a higher-impact journal, it’s like getting another set of letters — the peers

23

Realnost

• Publication Stock Exchange (PSX), Istvan Daruka in Europhysics News, Volume 48, Number 1, January-February 2017, Page(s)28 – 29 DOI https://doi.org/10.1051/epn/2017104

24

Realnost u našem okruženju (SEE)

25

Journal Publishing in Developing, Transition and Emerging Countries: Proceedings of the 5th Belgrade International Open Access Conference 2012, pages 125-137. Edited by P. Šipka

Brzi rast broja JCR-indeksiranih časopisa Turska 10 61 Rumunija 9 50 Madjarska 15 37 Hrvatska 14 46 Slovenia 4-18

Sličan rast se beleži u drugim regionima u razvoju: Kina (47-2000; 138-2010; 200%, Iran, Ghana, Kamerun, Mexico, Brazil (141-2013)....

Realnost u našem okruženju... • Problem društvenih nauka (specifičnost, politika, stereotipi,

jezik...)!

• Dobar potez susjeda u publikaciji društvenih časopisa

26 Numbers of humanitarians covered by SCOPUS, www.researchtrends.com

Prestanak euforije ili?

27

UCG Uni Beograd

Uni Zagreb Uni NS

Broj SCOPUS članaka na univerzitetima u Regionu, zaključno sa 2015

?

?

?

Zaključak-Alternativa • Šta je rešenje?

• Ti si naučnik budi u svom svijetu radi šta hoćeš i ne polaži račune nikome?

28

NE

Zaključak - alternativa

• Jedino održivi scenario

29

Publikacije Ostale vrijednost

Alternativa • Altmetrics = Alternativna metrika,

predložena 2010, http://altmetrics.org/manifesto/

• Ne zasniva se na citiranosti . • Primenjuje se na ljude, knjige,

časopise, baze podataka, prezentacije, multimediju, kodove (programe), web stranice, itd.

• Pokriva i druge uticaje nekog rada (nije uopšte nužno da je članak u časopisu).

• Sve su češći projekti koji proučavaju i predlažu alternativnu metriku.

• Lane, J. (2010), „Let's make science metrics more scientific“, Nature, 464 (7288), predlaže mnogo širu metriku koja obihvata projekte, nagrade, predavanja po pozivu itd...

• Možda je realno rešenje Altimetrika + Opipljiva Vrijednost (tangible outcomes) = holimetrika

30

Altmetrics: Using Big Data to Measure Scholarly Impact By Elaine Lasda Bergman | September 29, 2014, https://ischool.syr.edu/infospace/2014/09/29/altmetrics-using-big-data-to-measure-scholarly-impact/

+ opipljiva vrijednost

Altmetrics

Zaključak-Alternativa

• Sistem metrike je potreban u naučnoistraživačkom radu • Sadašnji sistem metrike je više politički projekat, pretežno

administrativnog karaktera • Sadrži brojne nedostatke koje treba otkloniti, posebno u dijelu

uvažavanja vizije iskonskog bibliotekarstva i vrijednosti djela • Za pojedine društvene, lingvističke i umjetničke nauke i discipline

treba napraviti sistem koji uvažava njihovu specifičnost. • Zemlje u razvoju trebaju hitno raditi na svom sistemu metrike, ako

misle da sačuvaju ono što je preostalo od njihove nauke. • Treba uvažavati faktore jezika, naroda, teritorije istorije,

književnosti.... • Ne možemo biti toliko “uski” u pogledu vrednovanja naučnih

rezultata • Na kraju, „niko ne može sve pročitati“, „niko ne može sve izmjeriti“.

31

32

33

Sa predavanja