„Dezvoltarea Capacității Administrative a MCI de implementare a unor acțiuni stabilite în Strategia Națională de Cercetare, Dezvoltare Tehnologică și Inovare

2014-2020„ Cod: SIPOCA 27,

Programului Operațional Capacitate Administrativă, Axa prioritară 1

Evaluaresimonitorizare–principiigenerale.Contextulnațional(R1)

DrMarianaChioncel

ExpertcoordonatorR1(UEFISCDI)

Outline • Monitorizarea–deceestenevoiedemonitorizare?•  Evaluare.Evaluaredeimpact;Riscurileevaluariiinovarii•  EvaluareaincontextulUE• Romaniasiexperientainevaluare•  Sistemulna<onaldeinovare:provocarispecificeinmonitorizaresievaluare

Monitorizare. Selectarea indicatorilor de rezultat Indicatoriiderezultattrebuiesăîndeplineascăanumitecriteriii:•  A)safiestrânslegaEdeintervenții.Eiartrebuisăsurprindăesențaunuirezultatconformunuiargumentrezonabilcuprivirelacaracteris<cilepecarelepotreprezenta;

•  B)saaibeinterpretareclară:trebuiesăexisteunacordcăomodificareîntr-oanumitădirecțieesteunrezultatfavorabilsaunefavorabil;

•  C)safierobust:fiabil,validatsta<s<c;•  D)sapermitacolectareaînEmpuEladatelor:

Fiecareindicatorderezultatnecesităovaloaredereferință(baseline).

De ce monitorizare ? Ø Funcții interne

§  Se observa dacă si cum instrumentele sunt implementate;

§  Montorizează modificările indicatorilor de rezultat (monitorizarea politicilor);

§  Permite răspunsuri rapide la un mediu în schimbare

Ø Functii externe §  Sprijina procesul de descoperire antreprenoriala si

implicarea tuturor actorilor RDI; §  Promoveaza transparenta, responsabilitatea,

increderea si dialogul intre actorii CDI

Invatare si reactie

Incredere Transparenta si responsabilitate

Rolul monitorizarii

Monitorizarea este un instrument de management in Strategia CDI •  Nu este doar o lista de indicatori •  Nu este doar un set de proceduri de colectare de date, rapoarte

Dar •  O reprezentare concisa si completa a logicii interventiei

Ce este evaluarea ? Evaluarea=unprocescareurmăreștesăsedetermineînmodsistemaEcșiobiecEv,relevanța,eficiențașiefectuluneiacEvitățiîntermenideobiec<ve•  Includeanalizaimplementăriișiges<onăriiadministra<ve,domeniuldeaplicare;

• Diferăînfuncțiedeîntrebărilecaretrebuieabordateșidecaracterulpoli<cii/măsura

• Potfievaluăriretrospec<ve(ex-post),actualesauprospec<ve(ex-ante)

Evaluarea de impact •  Impact = Diferența de rezultat între ceea ce s-a observat in urmainterven<eișiceeacearfifostobservatînabsențainterven<ei;

•  EVALUARE DE IMPACT răspunde la întrebarea: cum s-ar schimbarezultatele dacă intervenția nu ar fi fost întreprinsă - ‘analizăcontrafactuală’;

•  Evaluează schimbările intenEonate si neintenEonate care pot fiatribuiteuneianumiteintervenții(proiect,programsaupoli<că);

Instrumente si metode de evaluare Prac<ciledeevaluarenusuntuniforme/transferabile.DarcatevalecEicomune….•  Estenevoiedeocombinațiedeabordăricomplementare(can<ta<veșicalita<ve);

• Programeleaudiferitegradedematuritate/varietateainstrumenteleu<lizate;diferiteinstrumenteèdiferitemetode

•  Trebuiesase<nacontdedesign-ulins<tu<onal,specificulna<onal/regional!METODOLOGIILEnusunttransferabile;

•  IDEALMECANIMSULdeevaluareTREBUIEinclusînprocesuldeelaborareapoli<cilor!èseasiguracolectareașifurnizareadatelornecesare,acceptareaprocedurilorșicriteriilordeevaluaredecatreins<tuțiileimplicate.

Instrumente si metode de evaluare •  Trebuiesaexisteobliga<aformalăacelorresponsabilideelaborareapoli<cilordeareacționalarezultateleevaluărilor;

• Rezultateleevaluărilortrebuieexpuseindezbaterepublică;•  Evaluăriletrebuiesăfieorientatesprebeneficiari;•  Evaluareatrebuieintegrataintr-unsistemmailargdecolectareșipregă<reainformațiilor,prognozătehnologică;

•  Evaluareapoatesprijinideciziileinformate,darNUinlocuiesteprocesulpoli<cdeluareadeciziilor.

• Poli<cieni=intereslimitatprivindimpactuldupăpropriulmandat;necesitateauneistrategiidelungadurata;

•  Impactulestedificildecuan<ficatșicuîntârzieriîndelungatede<mpînaintedeaputeafimăsurat.

PROVOCARILE evaluarii inovarii Inovareaprinnaturaeisedesfasoaraîntr-odinamicăexpusamultorfactoriexogeni.Esteriscanta,Imprevizibila-implicăîncurajareagenerăriideidei§ IMPACTULinovariigreumasurabil-"succesulprovinedin"eșec"(HargadonșiSu[on(2000),Al-Dabal(1998),Peters(1988),Zider(1998))

• Emelag–intreinvesEEesiimpact:rareoripoatefievaluatcorespunzătorimpactulpetermenscurt;

•  Indicatorii(sau"scorecard-uriledeinovare")potfiu<lilanivelmacroèconstruireaunuiconsenscuprivirelanecesitateaunoracțiunipoli<ceînsprijinulcercetării.

•  Raportarea freceventa a "rezultatelor" în termeni indicatorican<ta<vi = factor puternic de descurajare în ceea ce priveșterealizareaoricăreiinovații

•  Efectele macroeconomice ale unei intervenții sunt mai dificil deevaluat:legăturadintrevariabileleanalizatedevinemaiambiguă

•  Efecte secundare (necuanEficate). Rezultatul măsurabil alintervențieipubliceestemaimultdecâtcelcuan<ficatprinindicatori(produsinova<v,costurileredusedeprocesproduc<vitateacrescutăamuncii).

•  Firmele pot câș<ga noi parteneri, pot implementa schimbăriorganizaționale,inves<<iriscante

•  Sensibilizarea <nerilor cu privire la carieră în domeniul ș<inței,tehnologieișiinovării

PROVOCARILE evaluarii inovarii

PROVOCARILE EVALUARII DE IMPACT

•  Efectuareaanalizeideimpactnecesităanalizadatelorcolectatelamomentulpotrivit,adeseau<lizândmetodesta<s<ceaparentsofis<cate

•  FOARTEDIFICILDEAPLICATatuncicandimpactulestedatoratuneigamelargideintervenții

Deci, de ce avem nevoie? • Policymix(obiec<veșiinstrumenteadecvate);•  Foaiadeparcurs(necesitateaunorobiec<vepetermenscurtșipetermenmediu);

•  Indicatori(măsurareaprogresuluiînregistratîna<ngereaobiec<velorstrategice);

• Mecanismuldemonitorizare(proceseledemonitorizareșiproduseleacestora);

•  Structuraguvernării(cineceface,responsabilita<complementare)

De unde incepem ? §  Monitorizarea, ideal, ar trebuie Integrata in design-ul strategiei ! §  Logica interventiei trebuie sa stabileasca o relatie clara de cauzalitatee intre interventie si indicatori; §  Ideal specialistii care au facut design-ul strategiei ar

trebui sa construiasca sistemul de monitorizare

Evaluarea in contextul European EuropeanResearchArea-MoreeffecEvenaEonalresearchsystems(ERApriority1)Compe&&alanivelnaționalestecrucialăpentruaobțineovaloaremaximădinbaniipubliciinves&țiîncercetare.•  Alocareafondurilorprincompe<<i,evaluatedegrupurideexperțiinternaționaliindependenți(experțiexterni)

•  EvaluareaperformanteiactorilorCDIPoliEcidecoeziune2013-2020/ex-antecondiEonalitaE•  EC–”Necesitateaunuimecanismdemonitorizare,evaluare,roadmapRI”RegionalSmartSpecialisaEonStrategy!Responsabilitatesitransparentainfolosireabanilorpublici!

CountrygroupERApriority1-MoreeffecEvenaEonalresearchsystems.Countrygrouping

ing

16

GBAORD 0.5 – 5 billion Euro, GERD per capita > EU average.

GBAORD in the range 0 - 500 MillionEuro,lowtoverylowGERDpercapita(25-400Euro).

GBAORD10-30billionEuro,GERDpercapita~EUaverage

GBAORD 1-10 billion Euro, GERD per capita: 200-350 Euro.

GBAORDintherange2-3.5billionEuro,GERDpercapita>EUaverage

UK, FR, DE

IT, ES, CZ, PT

SE, DK, FI NL, IE, AT, BE

LV, BG, EE, SI, LT, HU, SK, HR, RO, PL, EL

ComplexRDIsystem,GERDpercapita~EUaverage,systemsorientedtowardsexcellence,alloca<onofRDIfundsbasedonevalua<onmechanisms,efficientlyandregularlyimplemented.FR–changesintheRDIgovernanceanfundingpa[erns:ANR,theEvalua<onAgencyforResearchandHE

Fragmenta<onoftheRDIlandscape,insufficientR&Ipolicycoordina<on,.Increasingcompe<<veshare.Limitedadvancementinevalua<onprac<ces.Posi<veside-effectsofRDIbudgetcuts:lessfundingfragmenta<on(IT),HEreforms(IT,CZ).

Fundingfocusedonexcellence.Recentpolicyandsystemreforms.HighR&Dinputandoutput.Swedishparadox–realconcern?

AT:compe<<vefunding≈1/3.FundingofHEIs–performanceagreementNL:HEIs-performanceagreements.ShimfromR&DdirecttoindirectfundingIE-smallandyoungRDIsystem.Peerreviewandevalua<on-customarycultureBE:HighinternalR&Dpolicyheterogeneity.Lackofmonitoringatfederallevel

Revisionoflegisla<ontowardsaccountability.Goodpolicyinten<ons,indeedopera<onalefficiency???EUSF:leveragingeffectsèincreasedcompe<<veshare/improvedevalua<onandmonitoringprac<ces.Methodologyconcerns.Corereviewprinciplesincreasinglyapplied.Mismatchsupply/demand?

SmallR&Isystem,compe<<vefundingisnotrealis<c/effec<ve

LU, MT, CY

COUNTRY GROUPING

SHARE IN EU GBAORD: 55.41%

SHARE IN EU GBAORD: 11.63 %

SHARE IN EU GBAORD: 11.22 %

SHARE IN EU GBAORD: 20.71 %

SHARE IN EU GBAORD: 2.2 %

0.34 %

78%contribuEontoEUGBAORD.HighproporEonoftheEUpublicfundsisfocusedonexcellenceandefficiency

LipsăcronicăderesursepublicepentruCDI;structurăins<tuționalăpublicăsupradimensionată;ContribuțiatotalălaUEGBAORDfoartescăzută(aprox,2,18%,2011);Creștereafondurilorstructuraleaavutefectedeinfluențareasupraeforturilornaționaleèalocarecompe<<va,îmbunătățireaprac<cilordeevaluareșimonitorizare;Prac<cadeevaluareesteinstadiiincipiente;Evaluărileins<tuționaleperiodiceșialocareafondurilorpebazarezultatelorperformanțeinuaufostefec<vpuseînaplicare;ComunitateaCDIadeseafrustrata,presatasădemonstrezeexcelențainternaționala,încondi<icarenucorespund

GBAORD0-500demilioanedeeuro,GERDscăzutpecapdelocuitor(25-400Euro).RO,PL,HR,SK,HU,LI,SL,EE,BG,LV,TR,RS.EL

CADRULDEMONITORIZAREIUS

RO: experienta SNCDI 2007-2013 •  CadruldereglementareNP2,POSDRU,POSCCEaasiguratînteoriemecanismedemonitorizareșievaluaretransparentă.

•  DARevaluareaNP2afostabandonatăavândînvederecăobiec<veleaufostcorelatecuunbugetdetreiorimaimaredecâtcelalocat

•  Pentrualteinstrumente(Nucleu,AcademiaRomână)informațiilenusuntdisponibileîntr-unformatcomplet(Zuleanetal,2015).

•  Lipsaunuicadrustandardizatșiocapacitatesistemicăscăzutăpentruevaluareafezabilitățiifinanciareșiaanalizeicost-beneficiuaugeneratevaluărisubiec<ve(Curaj,2015)

•  Proceduriledemonitorizareauimpusbirocrațieigreleșicomplicatepentrubeneficiari(Curaj,2015).

Evaluarea intermediarăaNSRDI2007-2013 și PN2007-2013evidențiază faptul că,deși afostu&lizatăo"gamăcompletădeelementedeelaborareapoli&cilor",sevorbeștepuțindespre actorii care ar trebui să angajeze și să implementeze aceste instrumente și, înspecial,calificareașidisponibilitateaacestora"(Technopolis,2012)ÎnPOSDRU2007-2013,informa<eestevalabilaprivindnumărulbeneficiarilor,domeniile,diplomaacordată,DARimpactulșirelevanțaformăriioferiterămâneneclar(MinistrulFE)Înansamblu,existăonevoieclarădecreștereaeficiențeișieficacitățiiinvesEțiilorpubliceșideîmbunătățireamecanismelordeevaluareșimonitorizarelatoatenivelurile:proiecte,programe,insEtuții,profesionișE.

RO: experienta SNCDI 2007-2013

CONTEXTUL ACTUAL NATIONAL În2015,cheltuielileinternebrutealeROpentruC&Daucrescutla0,49%dinPIBdela0,38%în2014,darrămânpepenul<mullocdinUE.•  SprijinulguvernamentalpentruCDI-ușoarăcreștereîn2015,(0,26%compara<vcu0,21%dinPIBîn2014).În2016,alocărilebugetarepentruCDIaucrescutcu30%compara<vcu2015.

•  Inves<țiileînC&Dînsectoruldeafaceri(BERD)aucrescutdela0,16%în2014la0,21%dinPIBîn2015,

DefalcareacontribuțiilorsectorialelafinanțareatotalăaCDI(Sursadatelor:Eurostat,noiembrie2016).

Romania(EUROSTATNoiembrie2016)INDICATORICDIsidecontext 2009 2015 GDP per capita (euro per capita) 5900 8100 GDP growth rate (% change) -7,1 3,7 Value added of services (% of total) 56,32 60,34

Value added of manufacturing (% of total) 21,56

Value added of High and Medium-High Tech manufacturing (% of total) 7,22 Share of Foreign controlled enterprises in the total nr of enterprises (% of total) 5,22 Labour productivity (Index, 2010=100) 100,1 123,3 New doctorate graduates (ISCED 6) per 1000 population aged 25-34 1,05 Summary Innovation Index (rank) 30 36 Venture capital investment as % of GDP (seed, start-up and later stage) 0 0,001 GERD (as % of GDP) 0,46 0,49 GBAORD (as % of GDP) 0,3 0,26 R&D funded by GOV (% of GDP) 0,25 0,2 BERD (% of GDP) 0,19 0,21 Public-private co-publications per million population 7,04 World Share of PCT applications 0,03

Top 10 Romanian institutions with highest patent activity 2011-2014

Organisation

Number of patent APPLICATIONS

1 UNIV SUCEAVA STEFAN CEL MARE 328 2 UNIV BRASOV TRANSILVANIA 141

3 INST NAT CERC DEZVOLTARE ELECTROCHIMIE 111 4 CONTINENTAL TEVES & CO OHG AG 111

5 UNIV IASI TEHNICA ASACHI GHEORGHE 110

6 INST NAT CERC DEZVOLTARE MASINI INSTALAT 107

7 UNIV CLUJ-NAPOCA TEHNICA 100 8 UNIV POLITEHNICA DIN BUCURESTI 90

9 INST NAT CERC DEZVOLTARE FIZICA TEHNICA 92 10 INST NAT CERC DEZVOLTARE CHIM FARM 88

Source: Thomson Reuters IP Analytics, (2015)

Top 10 Romanian institutions with the highest publication volume, 2005 - 2014

Rank Institution City Number of

papers 1 Polytechnic University of Bucharest Bucharest 7,115 2 University of Bucharest Bucharest 6,605 3 Babes Bolyai University from Cluj Cluj-Napoca 6,440 4 Romanian Academy of Sciences Bucharest 5,195 5 Alexandru Ioan Cuza University Iasi 3,943 6 GH Asachi Technical University Iasi 3,119

7 Horia Hulubei National Institute of Physics & Nuclear Engineering

Magurele 2,990

8 Iuliu Hatieganu University of Medicine & Pharmacy

Cluj-Napoca 2,593

9 Carol Davila University of Medicine & Pharmacy

Bucharest 2,451

10 Grigore T Popa University of Medicine & Pharmacy

Iasi 2,310

DISTRIBUTIACONTRIBUTIEFP7INTREREGINI

PlanulNaționalpentruCDI2015-2020(aprox3300

milioanedeeuro)

ProgramuluiOperaționalCompe<<vitateAP1CDIpentru

susținereacompe<<vitățiieconomiceșidezvoltareaafacerilor

((952,57milEUR)

ProgramulOperaționalRegionalDezvoltare

2014-2020,AP1"Transferuldetehnologie”(206,5mil)

UEFISCDI(celerelevanteS2),MCI,ROSA OI–MCI,AMMFE

MinisterulDezvoltăriiRegionaleșialAdministrației

Publice

MySMISsistempropriudecolectaredate

bioenonomie

PROGRAMfinantare

Ins<tu<eresponsabila

Sistemcolectaredate

Domeniispecializareinteligenta

TIC, spațiu și securitate

Eco-nano-tehnologii și materiale avansate

Energie, mediu și schimbări climatice

Sanatate

InstrumenteCDIcare

explicitauca<ntatoatedomeniileS2

Instrumentedecare

implicitpotbeneficiasiS2

PROVOCARI SPECIFICE SISTEMULUI NATIONAL

•  Diferiteins<tu<isuntresponsabilepentrudiferiteprogrameèmecansimuldecolectarededatenuesteunitar/componentademonitorizareMySMISnuesteincafunc<onala;

•  Ogamălargădeintervențiièdificildeizolatefectuluneiinterven<i;•  Domeniilargidespecializareinteligenta;•  RIS3vaaveacapriorita<nisedindomeniilena<onaledespecializareinteligenta;•  MecanismuldemonitorizaresievaluarenuafostconceputodatacuSNCDI;•  Nuexistainstrumentespecificefiecaruidomeniusiindicatorirelevan<(dificildeurmaritlogicainterven<ei)

•  Sistemuldeguvernare•  SistemulCDIsubfinantat:efectesemnfica<vepesteunanumitpragdefinantare

PALIERE DE MONITORIZARE/ANALIZA

Monitorizareaimplementarii

Monitorizareasistemguvernare

MonitorizareaeficacitaEiinstrumentelor

MonitorizareaaltorfactoricarepotinfluentasistemulCDI

MonitorizarelegislaEe

Monitorizareaefectelorinstrumentelor

Monitorizareamodificarilorinstructuraeconomiei;specializarii

Monitorizareaintegrariiinlantulvaloric

Analizaimplementarii Metodafolosita

Analizaprogresuluiînimplementarea § Careesteprogresulefectivînimplementare?§ Careesteprogresulrealizatinimplementareaprogramuluicomparativcuobiectivele/țintelestabiliteinițialşicareesteratadeprogres

anualăprevizionată?

§ Rataactualădeprogrespoatecontribuilaîndeplinireaobiectivelorprogramate?Ratadecontractare;Ratadeaprobareacererilorde

finantare;Ratadeincheiereacontractelordefinantare;Ratade

aplicatii;RatarambursareCE(laPOC)

Analizabirou

Interviu

Sondajpe

bazade

chestionar

Analizafactorilorcareauafectatimplementarea

§ Factorii,externişiinterni,careauinfluenţatprogresulimplementăriiprogramului

§ Finantareaafostcorespunzatoaretintelorstabilite?§ Ghidurileaufostclare,deschideriledeaplicatiianuntatedintimp,sipromovatecorespunzator,conditiiledeeligibilitatecorespunzatoare?

§ Procesuldeevaluaresidefinantares-audesfasuratintimp?§ Activităţiledepromovareşicomunicareaufosteficiente

Interviu

Sondajpe

bazade

chestionar

focusgrup

Analizasistemuluideguvernare/management § Eficienta,profesionalismulinstitutiilordeguvernare§ Relevantaactivităţilorsiadocumentațieisuportpentruredactareaproiectelor?

§ Cumpoatefiîmbunătățităcalitateaşieficienţasistemuldemanagement?

Interviu;Sondajpebazadechestionar

Evaluaretransparenta,obiectiva

§ Esteevaluareatransparenta,obiectiva,etica?§ Criteriiledeeligibilitate/evaluaresuntcorespunzatoare?

Interviu;Sondajpebazadechestionar

Analizaeficacitatiiinstrumentelor Analizacapacitățiibeneficiarilor

§ Aufostprimitesuficientecereridefinanțarelaapelurilelansate?Dacănu,dece?

§ Caresuntprincipalelemotivepentrurespingereaproiectelor?§ Cefactoriauinfluenţatcalitateaproiectelor?§ Încemăsurăcapacitatearedusăabeneficiariloraafectatplanificarea

şiimplementareaproiectelorfinanţate?

InterviuSondajpebazadechestionarDeskresearch

Analizatipurilordeintervenții § Suntrelevanteinterventiilepentruobiectiveleasumate?§ SuntrelevanteinterventiilepentrudomeniulspecificdeS2siauatasati

indicatoricorespunzatori?§ Caredintreintervențiileaucontribuitcelmaimultlaîndeplinireaobiectivelor

specificealeacestuia?§ StrategiaCDIestecompatibilacualtestrategiinationale/legislatiirelevante

pentrudomeniileS2?§ Existătipurideintervențiicareaufostinsuficientaccesate/promovate?Factorii

careauafectatrataredusadeaccesare:

InterviuSondajpebazadechestionarDeskresearch

Cemăsurisuplimentarearputeacontribuipeviitorlacreștereaperformanțeipentruunprogramdedezvoltareacapacitățiiadministrative?

Analizaindicatorilor Încemăsurăținteleindicatorilordeprogramaufostrealisteșicaresuntcauzelepotențialeidiscrepanțeînregistrateîntrevalorileindicatorilorderezultatșiținte?

Analizadate

Analizaefectelor

Caresuntefecteleintervențiilordinperspectivaindicatorilorderezultataiprogramului?Analizadate;Metodecantitative

AnalizaEficacității/Analizagrupurilorțintă Caresuntefecteleintervențiilorprogramuluiasupragrupurilorțintădinsectorbioeconomie?

Cateva CONCLUZII Preliminare •  Estenevoiede<mpinprocesuldeinvatare;•  RIS3estelainceputinmultetariUE;EC“invatamimpreuna”•  Importantamontorizareasianalizatransparenta:evidentasucceselorsiesecurilor!

• Primpas:unsistemcoerentsiunitardecolectaredeindicatoriCDI• Metodeledeevaluarevorfitestate!Anuuitacaseevalueazacercetarea&inovare(riscanta,<melag)

•  SistemCDIsubfinantat:estenevoiede<mp,inves<<econsecventesieficientapentruobservareaimpactului

Progres rezultat R1 ü  Catalogul de indicatori ü  Design metodologii de evaluare • Testare metode de evaluare • Revizuire metodologii • Review de catre experti nationali/internationali -> Integrare

comentarii • Prezentare publica a metodologiilor • Evaluare 2018, diseminare rezultate

MULTUMESCPENTRUATENTIE!!