6.9.2004 CASLIN 2004 – 5.-9.9.2004

1

------------------------------------------------------------------------------------------------------------

Význam a postavenie publikačných výstu-pov na vysokých školách a ich výkonové

hodnotenie vo svetle sivej literatúry

P r o b l é m y a p a r a d o x y

-----------------------------------------------------------------------------------------------------------

Milan Š p á l a

Univerzita Karlova – 1. lékařská fakulta

11. ročník medzinárodného seminára „CASLIN 2004. Správa pamäte: sivé zóny“ 5. – 9. 9. 2004 – Čingov, Slovenský ráj

Sekcia: Univerzity, elektronické publikovanie a sivá literatúra: zkušenosti českých a slovenských knižnícPondelok 6. 9. 2004, 15:00-16:15

Upraveno pro VOŠIS – SIS – K3 – Letní sem 2004/2005 – 8. 4. 2005

6.9.2004 CASLIN 2004 – 5.-9.9.2004

2

1 - Šedá literatura a její význam obecně.

Hlavní otázky (část 1):

2 – Role a postavení šedé literatury v akademic- kém prostředí.

3 – Odlišnosti postavení šedé literatury v různých vědních disciplinách.

4 – Principy a smysl výkonového hodnocení na vysokých školách a vědeckých institucích.

5 – Hodnocení výkonnosti podle publikačních výstupů.

6.9.2004 CASLIN 2004 – 5.-9.9.2004

3

1 - Šedá literatura a její význam obecně.

(?)

Grey literature – unpublished digital information object

6.9.2004 CASLIN 2004 – 5.-9.9.2004

4

Dokumenty, které nejsou publikovány obvyklým, standardním způsobem a nejsou proto dostupné na běžném knižním trhu.

Šedá literatura

z hlediska knihovnického (podle TDKIV):

Patří sem: diplomové a dizertační práce, výzkumné zprávy, interní dokumenty, oficiální publikace a patenty, etc.

Pro vyhledávání a distribuci šedé literatury existují specializované informační systémy (např. databáze SIGLE ).

6.9.2004 CASLIN 2004 – 5.-9.9.2004

5

2 –Role a postavení šedé literatury v akademickém, a zvláště v knihovnickém prostředí.

1 – informační společnost, digitální dokumenty,

2 - nezisková (non-profit) organizace,

3 - nároční, odborně vzdělaní klienti,

6.9.2004 CASLIN 2004 – 5.-9.9.2004

6

• předmět katalogizace, uložení a půjčování

Jak např vidí dizertaci:

• typ dokumentu – šedá literatura, e-DT, nemá ISSN ani ISBN

• předmět evidence publikačního výstupu vlastní instituce, kde VŠK a student působí

Knihovnice (VŠ):

electronic dissertation and thesis

6.9.2004 CASLIN 2004 – 5.-9.9.2004

7

6.9.2004 CASLIN 2004 – 5.-9.9.2004

8

6.9.2004 CASLIN 2004 – 5.-9.9.2004

9

at CalTech

1. 2.

4.3.

5.

6.9.2004 CASLIN 2004 – 5.-9.9.2004

10

Význam a úloha sepsání kvalifikační odborné vysokoškolské práce a tedy

jaký je význam šedé literatury:

Neoddělitelná složka vysokoškolského vzdělávání

Významný nástroj profesionální komuni- kace a prezentace

Existenční nutnost pro odbornou kariéru

Obvykle bohatá skrytá bibliografie

6.9.2004 CASLIN 2004 – 5.-9.9.2004

11

NEZAPOMEŇTE A VĚŘTE, že …

knihovny mohou být významným centrem

při přípravě a sepisování kvalifikačních prací,

tj. šedé literatury!!!

6.9.2004 CASLIN 2004 – 5.-9.9.2004

12

Tak by měl vypadat nejen vzorný školitel – „ almus pater“ –, ale tuto roli by mohl plnit i stejně tak i obětavý a vzdělný knihovník!

6.9.2004 CASLIN 2004 – 5.-9.9.2004

13

Rozdílný funkční pohled na informační prameny mezi jejich (akademickými) uživateli:

Knihovník hlavně: 1 - Jak dokument popsat? 2 - Kam ho zařadit? 3 - Jak ho opět vyhledat?

Čtenář hlavně: 1 - Co v dokumentu je? 2 - Je to, co potřebuji? 3 - Kde dokument (rychle a levně) najdu?

6.9.2004 CASLIN 2004 – 5.-9.9.2004

14

Od tohoto dvojího, svébytného a oprávněného pohledu se odvíjí také řada rozdílných postojů, jež mohou vést až i k nepříjemým konfliktům mezi knihovníkem a čtenářem.

Pokud možno snažme se nazvájem porozumět a mějme na paměti, že i ve vysokoškolském prostředí by mělo jít o názory dvou kompetentních odborníků ve svých svébytných diciplinách.

WARNING!

6.9.2004 CASLIN 2004 – 5.-9.9.2004

15

Pohled (i vysokoškolského) knihovníka spíše: strukturální, popisný, formální,

Pohled vysokoškolského čtenáře s výukovou a výzkumnou činností spíše: funkční, praktický až oportunní

Jaký je tedy pohled na dokument (nejen šedé literatury):

NEZAPOMEŇTE A VĚŘTE, že …čím déle trvá spolupráce knihovníka s jakýmkoliv pracovníkem jiné vědní discipliny, tím více se jejich pohledy prolínají!

6.9.2004 CASLIN 2004 – 5.-9.9.2004

16

Tyto „oficiálně nepublikované“ dokumenty šedé literatury bez zařazení do systémů ISSN nebo ISBN představují ve srovnávní s primárními (originálními, původními) zdroji typu odborných časopiseckých článků a vědeckých monografií svým způsobem jakousi sekundární, paralelní, alternativní literaturu.

Šedá literatura

z hlediska uživatelského, čtenářského, a zvl. vědeckého:

Jde o specifický pohled odborné komunity podmíněný systémem evaluace vědecké (odborné) výkonnosti opírající se o publikační aktivitu v dokumentech ISSN nebo ISBN.

6.9.2004 CASLIN 2004 – 5.-9.9.2004

17

3a – Odlišnosti postavení šedé literatury v různých vědních disciplinách.

Podle disciplíny:

- humanitní, narativní, - experimentální, přírodovědné, exaktní

Podle využití dokumentů pro činnost:

- výukovou, - výzkumnou, - osvětově-výchovnou

6.9.2004 CASLIN 2004 – 5.-9.9.2004

18

3b – Odlišnosti postavení šedé literatury v různých vědních disciplinách.

Spolehlivě ověřený závěr:

1 - V jednotlivých disciplinách je třeba důsledně respektovat jejich odlišnosti, dané nejen tradicí, ale způsobem práce a využívání.

2 – Tento princip interdiciplinární odlišnosti platí nejen pro šedou literaturu, ale zvláště např. pro „bibliometrickou evaluaci“ (impact factor, citace), což by měli mít knihovníci nejen trvale na paměti, ale i odvážně prosazovat (viz opakovaně E. Garfield!!!) .

6.9.2004 CASLIN 2004 – 5.-9.9.2004

19

4 – Principy a smysl výkonového hodnocení na vysokých školách a vědeckých institucích.

V úvahu přicházející systémy hodnocení:

6.9.2004 CASLIN 2004 – 5.-9.9.2004

20

1 – Systém expertní, kde s jistým minimem definic a vymezení ponecháme odbor- níkovi na volné úvaze, jak výkony ohodnotí.

2 – Systém arbitrární, opírající se spíše o empirická kritéria, kde hraje velkou roli subjektivní nebo tradicemi daný názor.

3 – Systém skórovací, více méně kvantifi- kovaný, kde na základě definovaných indikátorů případně za použití koefi- cientů se stanovuje výsledné skóre.

6.9.2004 CASLIN 2004 – 5.-9.9.2004

21

4 – Systém smíšený, kde se různým způsobem podle potřeby předchozí systémy kombinují.

1 – Pokud můžeš, vyber k hodnocení své osoby nebo svého pracoviště ten systém, který ti nejspíše zaručí optimální umístění!

WARNING!

2 – Vždy se dá najít systém, který tvého konkurenta znevýhodní!

3 – Nezapomeň, že podpora klanu (mafie) je nenahraditelná!

6.9.2004 CASLIN 2004 – 5.-9.9.2004

22

• Velmi obtížné společně porovnávat komplexní výkonnost ve dvou tak distinktních segmentech akademické činnosti jako je výuka a výzkum.

Významná specifika šedé literatura z hlediska :

1 výkonového hodnocení (performance evaluation) ve

2 vysokoškolském–badatelském prostředí

• Velmi obtížné porovnávat celkovou výkonnost pracovníků vysokých škol (výuka + výzkum) s pra-covníky jiných výzkumných institucí (jen výzkum).

• Soustavné a pravidelné hodnocení výkonu (performance, excellence) je přirozenou garancí dosažení a udržení kvality vysokoškolské práce. .

6.9.2004 CASLIN 2004 – 5.-9.9.2004

23

Závažnost a důsledky hodnocení (část 1):

1 – Hledisko účelovosti - hodnocení se nikdy neprovádí „jen tak“, vždy je cílem nějaké omezení nebo vyloučení.

2 – Hledisko srovnatelnosti - systém hodno-cení musí být srovnatelný s jinými již existu-jícími systémy.

3 – Hledisko retrospektivity – systém musí být aplikován dlouhodobě, aby umožnil i prognózování.

6.9.2004 CASLIN 2004 – 5.-9.9.2004

24

Závažnost a důsledky hodnocení (část 2):

4 – Hledisko transparence - principy hodno-cení i výsledky veřejně a trvale dostupné.

5 – Hledisko srovnatelnosti - systém hodno- cení musí být srovnatelný s jinými již existu-jícími.

6 – Hledisko tolerance - lze obtížně zajistit absolutní rozlišovatelnost hodnocení, v pří-padě ne výrazných rozdílů je třeba připustit i stejné umístění.

6.9.2004 CASLIN 2004 – 5.-9.9.2004

25

Závažnost a důsledky hodnocení (část 3):

7 – Hledisko zodpovědnosti - nikdy neopome-nout možné důsledky hodnocení. Obvykle jde o důsledky finančního rázu (od přidělení grantu až po

rozávání pracovního poměru, čili „někdy může jít i o život“)!

Mathew effect (R. Merton)

6.9.2004 CASLIN 2004 – 5.-9.9.2004

26

5 – Hodnocení výkonnosti podle publikačních výstupů.

Multikriteriální

6.9.2004 CASLIN 2004 – 5.-9.9.2004

27

1.LF UKBibliografie, citační ohlas a IF - 2000

I a primární odborné a vědecké publikace v časopisech bez impakt faktoru

581

I b primární odborné a vědecké publikace v časopisech s impakt faktorem

151

II a přehledové články, review v časopisech bez impakt faktoru

485

II b přehledové články, review v časopisech s impakt faktorem

119

III a sborníková sdělení česky 113

III b sborníková sdělení anglicky či jiným jazykem 88

IV a sjezdová abstrakta (také short article ..) v časopisech bez IF

619

IV b sjezdová abstrakta (také short article ..) v časopisech s IF

116

V a kapitoly v monografiích česky 143

V b kapitoly v monografiích anglicky či jiným jazykem 21

38

2

38

6.9.2004 CASLIN 2004 – 5.-9.9.2004

28

VI a monografie česky 38

VI b monografie anglicky či jiným jazykem 2

VII a

skripta a učebnice česky 38

VII b

skripta a učebnice anglicky či jiným jazykem 2

VIII patenty a vynálezy 1

IX varia (popularizační literatura, zprávy ze sjezdů, stáží, memoáry ap.)

129

X habilitační a disertační práce 5

XI překlady 17

Celkem publikací 2668

6.9.2004 CASLIN 2004 – 5.-9.9.2004

29

Celkem publikací 2668

Počet autorů z 1.LF UK 840

Součet IF publikací třídy I b a II b 504.56

Počet autorů z 1.LF UK publikujících v časopisech s IF 283

Počet citací v SCI 3802

Počet autorů z 1.LF UK citovaných v SCI 337

Tato statistika neobsahuje žádné duplicity, každá publikace je zastoupena pouze jednou.Stav ke dni 12.12.2001

6.9.2004 CASLIN 2004 – 5.-9.9.2004

30

Kategorie Popis kategorie Body a)

1. Ia Primární odborné a vědecké publikace v časopisech bez i.f. b) 2

2. Ib Primární odborné a vědecké publikace v časopisech s i.f. b) 7

3. IIa Přehledové články, review v časopisech bez i. f. 2

4. IIb Přehledové články, review v časopisech s i. f. 7

5. IIIa Sborníková sdělení česky/slovensky 1

6 . IIIb Sborníková sdělení anglicky či jiným světovým jazykem 2

7 . IVa Sjezdová abstrakta (také short article, letter to the editor) v časopisech bez i. f.

0,5

8 . IVb Sjezdová abstrakta (také short article, letter to the editor) v časopisech s i. f.

1,5

9. Va d) Kapitoly v monografiích česky/slovensky 5 d)

10. Vb d) Kapitoly v monografiích anglicky či jiným cizím jazykem 10 d)

11. VIa d) Monografie česky/slovensky 5 d)

12. VIb d) Monografie anglicky či jiným cizím jazykem 10 d)

Tabulka kategorií publikací pro fakultní bibliografii 2000 1. LF UK a bodové hodnoty pro evaluaci Stav ke dni 3. 9. 2001

6.9.2004 CASLIN 2004 – 5.-9.9.2004

31

13. VIa d) Učební texty (recenzované) česky/slovensky 5 d)

14. VIb d) Učební texty (recenzované) anglicky či jiným cizím jazykem

10 d)

15. VIII Patenty a vynálezy (evidence není úplná ) 7

16. IX Varia ( popularizační literatura, zprávy ze sjezdů, stáží, memoáry ap.)

0,2

17. X Habilitační a disertační práce 2

18. XI c), d) Překlady: z cizího jazyka do češtiny/z češtiny do cizího jazyka

2,5/5,0 d)

19. Impaktfaktorová hodnota publikačního zdroje = i.f.

i.f. x 3,0

20. Hodnota citačního ohlasu dle Web of Science (resp. SCI) = cit.

cit. x 2,5

6.9.2004 CASLIN 2004 – 5.-9.9.2004

32

Poznámky a vysvětlivky:a)arbitrární bodové hodnocení bibliografie pro účely evaluace jednotlivců a pracovišť, event. pro stanovení odměny za vědeckou práci;b)i. f. – „impact factor“ časopisů podle SCI Journal Citation Reports; týká se kategorií Ib, IIb a IVb;c) zařazeno od roku 1995;a)bodová hodnota kapitol, monografií, učebních textů a překladů (kategorie 9. až 14. a 18.) je vztažena na každých 50 tištěných stran příslušné publikace.

Celková výsledná bodová hodnota pro evaluaci je představována součtem následující tří hodnot: (1) za celkový počet publikací podle jejich kategorií v bibliografii, (2) za celkový součet impaktfaktorových hodnot a (3) za celkový součet citačních ohlasů:

a)Řádky pro kategorie 1. až 18. – „bibliografické“ bodové ohodnocení podle celkového počtu jednotlivých publikací v příslušných bibliografických kategoriích 1. až 18.

b)Řádek 19. – hodnota i. f. časopisu x 3,0 = „impaktfaktorová“ bodová hodnota publikace; pro evaluaci se započítává celkový součet těchto impaktfaktorových bodových hodnot (i. f. x 3,0) všech publikací uveřejněných v časopisech (seriálech) evidovaných ve Web of Science (resp Science Citation Index); hodnota i. f. je uveřejňována v příslušném ročníku Journal Citation Reports, zvlášť pro daný rok časopisu.

(3) Řádek 20. – počet citačních ohlasů x 2,5 = „citační“ bodové hodnota podle počtu citačních ohlasů (cit. x 2,5) zjiš-ťovaných ve Web of Science (resp. Science Citation Index).

Sestavilo Oddělení pro vědeckou činnost a zahraniční styky (J. Buczková) a Bibliograficko-informační oddělení (Doc. MUDr. M. Špála).---------------------------[ Tato informace byla součástí dopisu pro přednosty ústavů a klinik při jejich poradě konané 4. 9. 2001 ]

6.9.2004 CASLIN 2004 – 5.-9.9.2004

33

6.9.2004 CASLIN 2004 – 5.-9.9.2004

34

6.9.2004 CASLIN 2004 – 5.-9.9.2004

35

6.9.2004 CASLIN 2004 – 5.-9.9.2004

36

6 – Problémy

Šedá literatura není v součas-nosti v podstatě zohledněna při evaluaci

6.9.2004 CASLIN 2004 – 5.-9.9.2004

37

7 – Paradoxy

Vysoké školy jako dominantní produecent šedé literatury dosud uspokojivě nevyřešil její dostupné zveřejnění a tím posun do literatury bíle.

6.9.2004 CASLIN 2004 – 5.-9.9.2004

38

„Finis coronat opus“

6.9.2004 CASLIN 2004 – 5.-9.9.2004

39

Přišli před ním a neuspěli

Z ramen tohoto velikána nyní uvidí další dále, než on sám

‚ If I have seen further it is by standing on the shoulders of giants '

Used by, although probably not originated by, Sir Isaac Newton (1642 - 1727), in a letter to his rival Robert Hooke, in 1676 - cited in The Oxford Dictionary of Quotations (2003)

Nezapomínej ve vědě na pokoru!

Buďte vděčni svým předchůd-cům!

Aspoň je citujte!

6.9.2004 CASLIN 2004 – 5.-9.9.2004

40

Děkuji za pozornost!

6.9.2004 CASLIN 2004 – 5.-9.9.2004

41

Kontakt:

Doc. MUDr. Milan Š p á l a, CSc.,

Univerzita Karlova, 1. lékařská fakulta, Kateřinská 32, 121 08 P r a h a 2

732 145 471

@-mail spala.m@seznam.cz

6.9.2004 CASLIN 2004 – 5.-9.9.2004

42

Ω