prof. Ing. Jiří Málek, DrSc. - Financování české vědy, Metodika hodnocení výsledků

Financování české v ědy,Metodika hodnocení výsledk ů

Jiří MálekRVVI, KHV

18.4.2013

FINANCOVÁNÍ

� Stručný nástin historie� Struktura státního rozpočtu� Financování projektů� Financování institucí� Aplikovaný vs. základní výzkum� Vývoj proporcí mezi AV a univerzitami� Souvislosti s metodikou hodnocení

3

Stručný vývoj od roku 1992

� Vznik GAČR� První RVV (15.říjen 1992 )� První VaV rozpočet 1993 (~ 1,5 mld. Kč)� Po rozdělení ČSR hodnocení AVČR - redukce� Další formy projektového financování

� IGA MZd, GAAV, program na podporu mladých týmů na VŠ, atd.

� Výzkumné záměry 1999-2003, 2005 – 2009 ...11� výhody a nevýhody� odlišný přístup v rámci VŠ a AVČR

� Zákon 130/2002 Sb.� zakotvení institucionálních výdajů

� Nespecifikovaný a specifický výzkum od roku 1997� zajímavý vývoj nejen z hlediska pojmosloví

Státní rozpočet VaVaI 2013

Rozpo čet 2013

13,02313,094

Účelové

Institucionální

Financování projektů 2013Účelové výdaje 2013

25%

19%

16%13%

9%

6%4% 3% 3% 2%

GAČR

TAČR

MPO

MŠMT

MŠMT_VŠ

MZ

MV

MK

MZe

MO

AVČR

Institucionální financování

Institucionální výdaje 2013

71%

10%

19%

RVO+VZ

Nákl. činnost

Ostatní

AVCR: 1,130 mld.GACR: 0,110 mld.TACR: 0,099 mld.Govt.: 0,033 mld.

Rovoj výzkumných organizací

Výdaje na RVO+VZ 2013

48%

32%

11%1%4%

MŠMT

AVČR

AVČR_nč

MZ

MPO

MZe

MO

MK

MV

Struktura RVO

11%

12%

15%

15%5%5%5%

17%

15%

Medical & Health Sci.

Biological Sci.

Chemical Sci.

Physics

Mathematics

Earth Sci.

Agri. Sci.

Technical Sci. & IT

Social Sci. & Humanities

Vývoj financování AV a univerzit2006 - 2013

2006 2008 2010 2012 2014

2,5

3,0

3,5

4,0

4,5

5,0

5,5

RV

O +

VZ

(m

ld. Kč)

Univerzity AVČR (včetně NČ )

rok

Celostátní vývoj po čtu publikacív impaktovaných časopisech

1980 1984 1988 1992 1996 2000 2004 2008 20122000

4000

6000

8000

10000

12000

14000

16000

18000

bodování

zákon130/2002

S lovensko ČR Č eskos lovensko

Pub

likac

e

rok

Vývoj v rámci institucí1980 - 2010

1980 1985 1990 1995 2000 2005 2010

2000

4000

6000

8000

10000

12000

14000

Impa

ktov

ané

publ

ikac

e

rok

CR & U niv Country CR & Acad Sci

Vývoj po čtu citací1980 - 2010

1 9 8 0 1 9 8 5 1 9 9 0 1 9 9 5 2 0 0 0 2 0 0 5 2 0 1 0

2 0 0 0 0

4 0 0 0 0

6 0 0 0 0

8 0 0 0 0

1 0 0 0 0 0 C o u n try C R & U n iv C R & A c a d S c i

ro k

Poč

et c

itací

Essential Science Indicators(THOMSON REUTERS)

� Kategorizuje citace na 9 mil. publikací zveřejněných za posledních 10 let v rámci časopisů indexovaných na Web of Science

� Tyto práce jsou rozděleny na 22 oborů (FIELDS) podle časopisů, kde jsou uveřejněny

� Jsou vybrány pouze nejvíce citované práce, jejichž autoři a instituce jsou seřazeny podle počtu získaných citací(ALL FIELDS)

Instituce v ČR (2000 – 2010)

# Institution Citation /paper

h-index

214 Acad. Sci.. 9,19 -

402 Charles Univ. 11,29 -

938 Masaryk Univ. 7,15 57

1446 Palacky Univ. 6,98 50

1590 Univ. S. Bohemia 7,68 46

1689 Inst. Chem. Technol. 5,82 44

1838 Czech. Tech. Univ. 4,40 50

2075 Univ. Pardubice 6,56 36

3601 Univ. W. Bohemia 4,60 25

HODNOCENÍ

� Lze hodnotit vědu ? Jak se hodnotí ve světě ?� Můžeme hodnotit produktivitu institucí ?� Legislativní rámec� Minulost a současnost Metodiky hodnocení� Proč potřebujeme změnu ?� V čem změna spočívá ?

16

Lze hodnotit v ědu ?

� Opravdovou vědu jen velmi obtížně� hodnotné výsledky se často ztrácejí v balastu� často nevyhovují zavedeným kategoriím� kvalita lidí se obvykle pozná až začnou chybět� rutina versus originalita

� Pokud však chceme alespoň trochu spravedlivě rozdělit peníze, tak hodnotit prostě musíme

17

Jak se hodnotí v ěda ve sv ětě

� Lesk a stíny světových žebříčků univerzit(US News &World Report, THES, Shanghai Jiao Tong)

� Lze podle těchto žebříčků financovat ?

� Britský „Research Assessment Excercise“

� Lombardiho projekt měření univerzitní výkonnosti v USA (výdaje, ocenění, PhD, PostD, SAT)

� Nesrovnatelnost měřítek a zvyklostí …

18

Publika ční produktivita institucí *

0 100 200 300 4000

5

10

15

20

25

AVCR

MIT

Harvard

Princeton

UK

Stanford

Duke

UCLA

ColumbiaYale

TUM

Oxford

Cornell

CSIC

2001 - 2005P

ublik

ace

/ AP

Roční dotace VaV / AP (tis. USD)

ČR

České okénko

0 2 0 0 4 0 0 6 0 0 8 0 0 1 0 0 0 1 2 0 00 ,0

0 ,5

1 ,0

1 ,5

2 ,0

2 ,5

3 ,0

3 ,5

U K

M U

V S C H T

U P

J C UU P A

C V U TM Z L U

V U T

C Z U

V S B -T U

V F U

Z C U

S U

U J E PU H KU T BT U L

A V C R

2 0 0 1 - 2 0 0 5

publ

ikac

e / A

P

D o ta c e V a V / A P ( tis . K č )

Technické VŠ

Šířeji zaměřené VŠ

Legislativní rámec (zákon 130/2002 Sb.)

� Zákon jasně říká, že návrh výdajů na institucionální podporu je členěn podle VO §5a (odst. 1, písm. a)

� Institucionální podporu poskytne následně poskytovatel výzkumné organizaci na základě zhodnocení jí dosažených výsledků

� Postup tohoto zhodnocení výsledků je pro výzkumnou organizaci zcela konkrétně předepsán dle §6 (odst. 2, písm. c)

Metodika hodnocení výsledků VO(prováděcí předpis vyplývající ze Zákona)

� Přípravu Metodiky a její předložení vládě zabezpečuje RVVI (§35, odst 2, písm. c)

� RVVI následně provádí též hodnocení výsledkůvýzkumných organizací podle platné Metodiky (§35, odst 2, písm. d)

� RVVI následně promítá výsledky hodnocení do návrhu výdajů státního rozpočtu na výzkum a vývoj a to konkrétně do výše institucionální podpory VO dle §5a, §6 (odst. 2, písm. c) a §7 (odst. 6)

Jak probíhalo hodnocení výsledk ů výzkumných organizací ?

� Od roku 2004 jsou ročně publikována bodová hodnocení VO na základě RIV dle postupu definovaného v Metodice hodnocení výsledků VO …

� V letech 2010 - 2011 probíhal v souladu se zákonem přechod ze systému výzkumných záměrů na systém každoročního průběžného hodnocení na základě Metodiky (vždy za 5 let)

� Rok 2012 byl již plně financován podle nového systému na základě Metodiky

� Rozpočet na letošní rok na úrovni poskytovatelů přihlíží pouze z 20% k Metodice. V příštím roce se zřejmě bude postupovat obdobně

K čemu slouží Metodika ?

� Metodika je vhodná pro rozdělení institucionální podpory mezi poskytovatele

� Už méně se hodí pro rozdělení podpory mezi VO v rámci poskytovatelů

� Je zcela nevhodná pro hodnocení malých výzkumných skupin a jednotlivců

Proč nová Metodika ?

� Je třeba respektovat Zákon a naplnit povinnosti RVVI dané §35

� Současná Metodika (2010-2012) je oprávněně kritizována pro některé zřejmé nedostatky

� Zřejmě nelze čekat na výsledky projektu IPN Metodika, které budou v implementovatelné podobě k dispozici nejdříve v roce 2016 (spíše však později)

� Je tedy asi vhodné připravit upravenou podobu současné Metodiky (M13), která bude platit po dobu přechodného období

Východiska

� Národní politika VaVaI (opatření A 3-1)

� IPN Audit VaVaI (závěrečná zpráva, bod 7)

� Dlouhodobé principy hodnocení VO (strategický materiál RVVI z roku 2010)

� Princip 1: Předpokládá se vznik velkého hodnocení, které bude výsledkem projektu IPN …„Do doby, než vznikne bude fungovat malé hodnocení, probíhající každoročně na základě sběru dat v IS VVI“

Základní principy M13

� Peer-review hodnocení výsledků ve společenských a humanitnich vědách

� Hodnocení kvality výsledků, které VO vyberou jako své nejlepší

� Aplikační výzkum bude hodnocen podle patentů a podílu VO na zdrojích získaných v grantových soutěžích

Pilíř I� Kombinace stávajícího systému hodnocení podle numerických

indikátorů s prvky peer-review

� Numerickými indikátory se budou hodnotit obory, ve kterých je tento způsob obecně uznávaný

� Peer-review bude hrát významnější roli v oborech (SHV), kde jako výsledky převažují knihy nebo časopisy, které nejsou zahrnuty ve světově akceptovaných databázích (subpilíř I)

� Bodová hodnota patentů se sníží: 100-50-20

� Pro vybrané obory je navrženo zařazení časopisů z databáze SCOPUS

� Metodika bude oddělena od přípravy SR

� Hodnocení bude probíhat v rámci oborových skupin, tak jako doposud

Oborové skupiny

1.Společenské a humanitní vědy A, B, C2.Technické vědy a informatika3.Matematické vědy4.Fyzikální vědy5.Chemické vědy6.Vědy o zemi7.Biologické vědy8.Zemědělské vědy A, B9.Lékařské vědy

Subpilíř I� Verifikace a hodnocení všech uplatněných výsledků v kategoriích

B, C a JREC ve struktuře panelů oborových skupin pro společenské, humanitní a umělecké vědy

� Splnění základních kritérií bude hodnoceno 5 (2), nesplnění -20 (-8) body

� Každý výsledek hodnotí 3 hodnotitelé v rámci odborných hodnotících a verifikačních panelů a rozřadí do 3 kategorií, číselná vyjádření se sčítají (3 – 9)

� Bodová hodnota se pohybuje v intervalu 5 (2) – 180 (40)

� Výsledné bodové hodnocení a slovní zdůvodnění se zveřejní v RIV

� Při ustavování (sub)panelů se bude přísně dbát na (i) vyloučení konfliktu zájmů, (ii) vysokou odbornost hodnotitelů v daném oboru, (iii) posouzení každého výsledku několika hodnotiteli, (iv) koordinaci uplatňování kritérií napříč (sub)panely, (v) transparentnost.

� Hodnocení bude rozložedno do 2 let. Logistika a procesy verifikací a hodnocení budou předem ověřeny (na již uplatněných výsledcích)

Pilíř II� Každá VO (univerzity po fakultách) vybere určitý počet libovolných

výsledků v RIV, které sama považuje za kvalitní (včetně oborové skupiny kde má být výsledek posuzován)

� Oborové skupiny budou stejné jako v pilíři I

� Bude určena kvóta pro počet výsledků vybraných danou VO k expertnímu posouzení, (např. jeden výsledek na každých 10 MKč instit. podpory)

� K danému výsledku VO dodá zdůvodnění, proč jej považuje za kvalitní (citace, komercionalizace, výrazné ovlivnění oboru, atd.).

� Výsledky budou posouzeny expertními panely v rámci oborových skupin napříč všemi VO a v každé skupině bude vybráno 20% nejlepších výsledků

� Budou stanovena pravidla pro míru příspěvku dané VO k danému výsledku (pokud půjde o výsledek více institucí)

� Tomuto indikátoru bude alokováno 10% z celkového počtu bodů, které se budou mezi VO přerozdělovat na základě expertního posouzení výsledků

� Určitý počet bodů bude přiznán VO, jejíž pracovníci v uplynulém pětiletém období uspěli v získání ERC grantu

Pilíř III� V rámci tohoto pilí ře je navržen postup ve dvou krocích. Nejprve budou

zohledn ěna bodová ohodnocení patent ů v rámci pilí ře I, které byly vykázány jednotlivými VO v daném roce

� V dalším kroku se množství bod ů přidělené patent ům odečte od celkového počtu bod ů alokované na výsledky aplikovaného VaV (15%) a tato z bylá část bodů se rozpo čítá mezi jednotlivé VO v pom ěru neinvesti čních náklad ů vyplacených VO na realizaci aplikovaného výzkumu z p rojekt ů TAČR, MPO, 7RP atd.

� Pro tento typ hodnocení nebude možné uplatnit fina nční náklady vyplývající z výzkumných zám ěrů, rozvojových projekt ů MŠMT, rozvojových projekt ů z fond ů EU (např. OPVK, VaVpI), nebo z infrastrukturních projekt ů výzkumu a vývoje

� Zavedení Pilí ře III. si vyžádá novelizaci na řízení vlády č. 397/2009 Sb., o informa čním systému VaVaI

� Zahrnutí smluvního výzkumu bude odloženo

Garanti jednotlivých pilířů (KHV)

� prof. Zdeněk Němeček, MFF UK (pilíř I.)

� prof. Tomáš Opatrný, PřF UP (pilíř II.)

� prof. Josef Psutka, FAV ZČU (pilíř III.)

Průběžné informování odborné ve řejnosti

� Česká konference rektor ů

� Předsednictvo Rady vysokých škol, komise� Děkani p řírodov ědeckých fakult� Děkani chemických fakult� Děkani filozofických fakult� Resorty: MŠMT, MPO (ostatní)� Vědecká rada GA ČR� Výzkumná rada TA ČR� Rekto ři um ěleckých vysokých škol� Vědecká rada AV ČR� Akademické fórum

Stanoviska k návrhu

� Podpora děkanů přírodovědeckých, technických a lékařských fakult

� Doporučení projektového týmu IPN Metodika nezavádět jiné změny než peer-review knih

� Záporné stanovisko Vědecké rady AVČR

� "... ČKR podporuje pokračování prací na přípravě metodiky hodnocení výsledků výzkumu, vývoje a inovací pro účely financování výzkumných institucí v přechodném období do případné aplikace výstupů IPN projektu Metodika„

� „Rada VŠ podporuje další práce na metodice hodnocení výsledků výzkumu 2013 a vyjadřuje přesvědčení, že tyto práce míří správným směrem„

Jak dál v p říštích 4 - 5 letech ?

� Podaří se přijmout navrženou M13 a odstranit nejvíce kritizované nedostatky současného systému hodnocení VO ?

� Nebo v přechodném období bude platit dále současná Metodika, která je prodlužována od roku 2010 ?