EVALUAREA – ROL ŞI METODE ABORDATE ÎN ANALIZA ŞI

83

Evaluation – Role and Methods Usedin Analyzing and Programing Structural Funds

AbstractRegional Cohesion Policy is one of the most

visible EU policies, visibility gained by setting targets for reducing economic disparities and promoting economic competitiveness and employment in the 271 regions. Planning and implementation of all EU policies should take into account the impact on eco-nomic, social and territorial cohesion. Regardless of the territorial dimension more or less clear, the impact of these policies cannot be denied, but it is quite difficult to measure and quantify, especially because of the interdependent effects of different policies.

This article presents the main directions of the assessment in the use of Structural Funds, em-phasizing the role of this process in the context of preparing the programming period 2014 to 2020. Romania cannot afford to ignore this first experience as a beneficiary of Structural Funds; on the contrary, we must use it in order that the next National Strate-gic Reference Framework to be in compliance with the national socio-economic context and based on our own expertise in accessing European funds.

Keywords: evaluation, Structural Funds, Regi-onal Cohesion Policy, multiannual financial frame-work 2014-2020.

EVALUAREA – ROL ŞI METODE ABORDATE ÎN ANALIZAŞI PROGRAMAREA UTILIZĂRII FONDURILOR STRUCTURALE

Ramona PAVEL

Ramona PAVELDoctorand, Facultatea de Sociologie şi Asistenţă Socială,Universitatea din Bucureşti, București, RomâniaTel.: 0040-745-206.561E-mail: [email protected]

Revista Transilvanăde Ştiinţe Administrative1(32)/2013, pp. 83-105

84

1. Tipuri de evaluare în Politica Regională de Coeziune

Potrivit celui de-al cincilea Raport de coeziune economică, socială şi teritorială în-tocmit de Comisia Europeană (2010), îmbunătăţirile infrastructurii regionale nu sunt urmate, neapărat, de o dezvoltare economică mai mare, putând, chiar, determina redu-ceri ale activităţii economice în regiunile mai puţin dezvoltate „pierderi prin legătură” (Comisia Europeană, 2010, p. xx). Tot astfel, inovaţia, chiar dacă este concentrată spa-ţial, beneficiile acesteia nu pot fi cuantificate prin raportarea la spaţiul de referinţă al finanţării. De aceea UE încearcă o corelare între investiţiile în infrastructură, cercetare şi dezvoltare, şi investiţiile în capitalul uman, pentru a maximiza efectele sectoriale şi a le valorifica în procesul de dezvoltare. În acest context, pentru o bună gestionare a fondurilor şi a politicilor UE este necesară o evaluare solidă şi bine structurată atât la nivelul UE, dar şi la nivelul statelor membre, al regiunilor de dezvoltare sau la nivel local.

Potrivit lui Scriven (2011, p. 2) funcţiile majore ale evaluării, din care rezultă şi principalele tipuri de evaluare sunt următoarele:„(i) să identifice potenţialul de îmbu-nătăţire pentru obiectul evaluat (evaluare formativă), (ii) să sprĳine deciziile cu privire la program (evaluare sumativă) şi (iii) să extindă sau să rafineze cunoştinţele despre evaluare (evaluarea de tip ascriptiv, un fel de exemple de bune practici sau evaluări ale istoricilor)”.

Anderson şi Ball apud Worthen (1990) descriau capacităţile de evaluare ale unui program în termeni de scopuri principale, astfel:

– să contribuie la deciziile cu privire la demararea şi implementare programului; – să contribuie la deciziile cu privire la continuarea programului, extindere sau re-

cunoaştere; – să contribuie la deciziile cu privire la modificarea programului; – să furnizeze dovezi care să atragă sprĳin pentru sau opoziţie faţă de program; și – să contribuie la înţelegerea mecanismelor şi proceselor.

Acestea sunt funcţii perfect aplicabile în procesul de evaluare a programelor opera-ţionale sectoriale, cele mai multe dintre punctele mai sus menţionate fiind în corelaţie cu principiile de programare, implementare şi evaluare ale instrumentelor structurale. În domeniul utilizării fondurilor comunitare, este important a se delimita ce anume se evaluează şi la ce nivel se face evaluarea, pentru ca apoi să se analizeze opţiunile metodologice, orizontul temporal şi ariile de responsabilitate şi aplicabilitate ale eva-luării. Simplificând cadrul complex de intervenţie al fondurilor structurale, se poate spune că evaluarea în acest domeniu poate fi centrată fie pe absorbţie, fie pe impact. Astfel, putem delimita evaluări la nivel de politică, la nivelul perioadei de programare, la nivel de program operaţional și la nivel de proiect. La fiecare dintre aceste niveluri, evaluarea poate fi realizată de mai multe categorii de entităţi, prin diferite metode, în funcţie de scop şi de aria de extindere a intervenţiei evaluate.

Evaluarea sumativă reprezintă o formă de evaluare a impactului, prin măsurarea rezultatelor finale ale unui program, de către evaluatori externi (Cojocaru, 2010).

85

Tabe

lul 1

: Sch

ema d

e eva

luare

în fu

ncţie

de ni

velul

insti

tuţion

al

Nive

l De

ce?

(sco

p şi/

sau

utilit

ate)

Cum

?(m

etod

e)

Când

?(p

rogr

amar

e te

mpo

rală)

Cine

?Un

de?

(arie

geo

grafi

că)

UE

Polit

ica R

egio

nală

de C

oeziu

ne E

cono

mică

şi So

cială

Prog

rama

re

Evalu

are d

e nev

oiEx

-ante

Stat

memb

ru/re

giune

State

mem

bre

Regiu

ni de

dezv

oltar

e (NU

TS II)

Abso

rbţie

Evalu

are c

ontin

uuă

Evalu

ări in

terme

diare

Evalu

are fi

nală

CE

UE Stat

memb

ru

Rezu

ltate

Mode

lizar

e Ev

aluăr

i int

erme

diare

Evalu

ări e

x-pos

t

CE, G

uver

n, Au

torita

tede

Man

agem

ent (

AM)

NUTS

II şi

III

Impa

ct CE

UE, N

UTS

II

National şi regional

Cadr

ul S

trate

gic N

aţio

nal

de R

efer

inţă

2007

-201

3An

ticipa

re, P

redic

ţie şi

Pl

anifi c

are

Anali

za co

st-be

nefi c

iuEx

-ante

Stat

memb

ru pr

inins

tituţiil

e guv

erna

menta

leLa

nive

l naţi

onal şi

regio

nal

(NUT

S II ş

i III)

Prog

ram

e Ope

raţio

nale

Pentr

u ver

ifi car

ea at

inger

ii ob

iectiv

elor;

Asigu

rare

a înd

eplin

irii cr

iteriil

or

de efi

cienţă,

relev

anţă

etc.

Mode

lizar

eMe

tode e

cono

metric

eEv

aluar

i int

erme

diare

Polit

ica A

grico

lă Co

mun

ăEv

aluar

e de i

mpac

tAn

aliză

intră

ri-ieş

iriMe

taeva

luare

Ex

-pos

t

Individual/Local

Orga

nism

e Int

erm

ediar

e Re

gion

ale

Scop

form

ativ (

planifi

care

şi alo

care

de re

surse

)An

aliza

de ne

voi

Ex-a

nteAM AC

ISMi

nister

ul de

reso

rtGu

vern

Nive

l insti

tuţion

alMă

sura

re pe

rform

anţă

institu

ţiona

lă

Anali

za m

ulticr

iteria

lă St

udii d

e caz

Evalu

area

baza

tăpe

obiec

tive

Inter

media

ră

şi Ex

-pos

t

Proi

ect/b

enefi

ciar

Identi

fi car

ea ne

voii d

e fi na

nţare

Anali

za de

nevo

iÎna

inte d

e scri

erea

ce

rerii

de fi n

anţar

eBe

nefi c

iar sa

u prin

co

nsult

ant e

xtern

În fun

cţie d

e aria

de cu

prind

ere

a ins

tituţie

i

Verifi

care

a atin

gerii

obiec

tivelo

r int

erme

diare

Rapo

rtare

către

man

agem

entul

su

perio

r

Evalu

are i

nternă

sau e

xternă

Evalu

are d

e im

pleme

ntare

Anali

za in

trări-

ieşiri

Inter

media

ră

Finală

Echip

a de m

anag

emen

t a p

roiec

tului;

evalu

ator a

l or

ganiz

aţiei,

dar d

in afa

ra

echip

ei de

proie

ct;sa

u eva

luator

exter

n.

La ni

velul

ariei

de im

pleme

ntare

86

Evaluarea formativă este o evaluare intermediară, de obicei internă, ce are ca scop îmbunătăţirea programului pe durata desfăşurării acestuia, astfel încât procesele şi obiectivele programului să se realizeze la standarde de calitate. Preskill şi Russ-Eft (2005, p. 12) afirmau că „evaluarea formativă este realizată, de regulă, cu scopul de a rafina sau de a îmbunătăţi un program şi este adesea efectuată de către evaluatori interni”.

Evaluare ascriptivă este o formă particulară de relatare şi înregistrare a cazurilor, situaţiilor şi modelelor din domeniul evaluării pentru a extinde şi a îmbunătăţi corpul de cunoştinţe şi pentru a evidenţia cele mai bune practici de evaluare. Potrivit lui Scri-ven (2011, p. 5): „evaluarea formativă are rolul de a identifica zonele dintr-un program ce pot fi îmbunătăţite, se face în principal pentru a susţine deciziile cu privire la pro-gram (refinanţare, încetarea finanţării sau replicarea programului), şi evaluarea de tip „ascriptiv” se face pur şi simplu pentru înregistrare, pentru istorie, pentru beneficiul domeniului respectiv”.

Evaluarea internă este mai degrabă formativă şi constă în „sistematizarea informa-ţiilor, clarificare şi stimulare a schimbării din interiorul organizaţiei şi de integrare a evaluării în managementul organizaţional” (Clifford şi Sherman apud Cojocaru, 2010, p. 47), iar evaluarea externă este forma clasică de evaluare, însemnând că evaluatorii sunt din afara membrilor echipei ce au implementat programul. Deşi ca regulă generală evaluarea externă este sumativă, iar evaluarea internă este formativă, ambele pot fi efectuate în ambele scopuri (sumativ şi formativ). De exemplu, în aplicarea evaluării externe, diferenţa între sumativ şi formativ este dată de entitatea către care se rapor-tează rezultatele evaluării.

Evaluările ex-ante şi ex-post sunt tipuri de evaluare clasificate în funcţie de mo-mentul în care se aplică o anumită metodă. Principalele considerente pentru utilizarea evaluării ex-ante sunt prezentate de Todd şi Wolpin (2007) astfel: a) face posibilă pro-iectarea unui program optim care să atingă rezultatele dorite la un cost minim sau să maximizeze impactul pentru un cost dat; b) poate ajuta la evitarea implementării de proiecte la costuri foarte ridicate a căror ineficienţă va fi constatată ulterior; c) poate oferi informaţii referitoare la tipul de impact aşteptat în urma implementării unui pro-gram, ceea ce ajută la proiectarea evaluării ex-post; d) în cazurile în care există deja un program în derulare, metodele de evaluare ex-ante pot fi folosite pentru a analiza şi previziona modul în care schimbarea anumitor parametri ar modifica impactul scontat.

În domeniul utilizării fondurilor structurale evaluările ex-ante se efectuează sub supravegherea autorităţii însărcinate cu întocmirea documentelor de programare şi au ca scop „optimizarea alocării resurselor bugetare în temeiul programelor operaţionale şi îmbunătăţirea calităţii programării” (Regulamentul CE1083/2006, art. 48(2)).

Prin intermediul evaluărilor ex-ante sunt identificate şi evaluate disparităţile regio-nale, lacunele şi potenţialul de dezvoltare, în vederea stabilirii obiectivelor şi a strate-giilor specifice fiecărei regiuni de dezvoltare, a procedurilor de aplicare, monitorizare, evaluare şi de gestiune financiară (Regulamentul CE1083/2006, art. 48 (2)).

Evaluarea ex-post se realizează după finalizarea implementării unui program, pe baza rezultatelor evaluărilor deja disponibile pentru a aduce informaţii despre utilizare resurselor, eficacitatea şi eficienţa asistenţei şi a impactului acesteia. Evaluarea ex-post

87

este un instrument esenţial pentru dezvoltarea şi reorganizarea politicilor publice de-oarece permite evidenţierea aspectelor ce contribuie la succesul sau eşecul proiectelor sau programelor, a realizărilor şi a rezultatelor, inclusiv durabilitatea acestora.

Evaluarea de impact are ca sferă de analiză efectele pe termen lung, directe şi indirec-te pe care un program le produce. Măsurarea impactului asupra indivizilor este adesea problematic, date fiind caracterul înalt subiectiv şi multitudinea variabilelor de luat în considerare, deoarece în agregarea datelor de analiză, multe dintre particularităţile cazurilor individuale se vor pierde. De aceea, crearea scalelor de măsurare trebuie să ţină cont de faptul că o intervenţie socială poate avea efecte imediate (cum ar fi: creşterea veniturilor sau accesibilitatea serviciilor de sănătate), dar pot exista şi efecte pe termen lung (creşterea stimei de sine a indivizilor, creşterea nivelului de educaţie, dezvoltarea capitalului social etc.) impact ce poate fi evaluat după mai mulţi ani.

Evaluarea de implementare, cunoscută şi sub denumirea de evaluare de proces, vizează procesele, procedurile şi metodele prin care programul se desfăşoară. Cojocaru a descris evaluarea de implementare, ca mĳloc de înţelegere a „practicilor dezvoltate în cadrul programului şi de clarificare a mecanismelor prin care acestea produc rezultatele scontate” (Cojocaru, 2010, p. 58).

Evaluarea bazată pe obiective analizează măsura în care au fost îndeplinite obiecti-vele asumate în cadrul programelor sociale. Dat fiind faptul că se impune cunoaşterea obiectivelor programului, acest tip de evaluare este utilizată cu preponderenţă la nivel intern, însă abordarea de tip extern nu este exclusă. Aplicabilitatea acestui tip de eva-luare este condiţionată de structurarea iniţială a obiectivelor, fiind axiomatice criteriile SMART de formulare a obiectivelor propuse în 1981 de George T. Doran: S – specifice, M – măsurabile, A – de atins, realizabile, R – relevante, T – încadrate în timp (Doran apud Ghosh și Thorstensen, 2011).

Evaluarea fără obiective (goal free evaluation) presupune ignorarea scopurilor de către evaluatori, pentru a afla ce anume face un program, fără a fi influenţat de ceea ce se aşteaptă ca programul să facă. Potrivit lui Scriven (1991), dacă programul produce efectele pentru care a fost dezvoltat atunci realizările acestuia sunt scoase la iveală prin procesul de evaluare, chiar dacă evaluatorul nu ştie scopul programului. Acest tip de evaluare este explicat pe larg de Cojocaru (2010, p. 106), care accentuează că „lipsa obiectivelor nu se referă la inexistenţa unor obiective ale evaluării ci la independenţa faţă de obiectivele programului”. Dată fiind necesitatea necunoaşterii obiectivelor pro-gramului evaluat, acest tip de evaluare nu poate fi decât externă.

Evaluarea comparativă sau mai bine spus evaluările comparative analizează aceleaşi tipuri de intervenţie în diverse contexte sau locaţii (analiză orizontală) sau în diferite perioade de timp (analiză pe verticală). Termenul de evaluare comparativă a fost in-trodus de Sinacore şi Turpin în anul 1991 pentru a analiza aceleaşi criterii de evaluare a programelor în zone geografice diferite şi are ca particularităţi: multidudinea aspec-telor analizate şi organizarea activităţii de evaluare prin încrucişarea diferitelor faţete (Sinacore şi Turpin apud Straw și Herrell, 2002).

Evaluarea apreciativă porneşte de la filosofia că „orice organizaţie are ceva ce func-ţionează bine şi aceste puncte forte pot constitui punctul de plecare pentru o schimbare

88

în bine” (Cooperrider, Whitney și Stavros, 2008, p. 3). În linii mari, aplicarea evaluării apreciative la domeniul utilizării fondurilor comunitare nu presupune altceva decât un transfer de bune practici şi un schimb de experienţă între instituţii, organizaţii sau persoane, al cărui scop principal vizează analiza, problematizarea şi învăţarea ca procese ale schimbării. Fără a apărea sub această denumire, o bună parte din studiile de caz prezentate drept modele de bune practici în domeniul Politicii Regionale de Coeziune constituie de fapt o formă de evaluare apreciativă, având scopul de a aduce în prim plan rezultatele cele mai bune obţinute prin accesarea fondurilor structurale, pentru a sublinia potenţialul acestui tip de capital.

Metaevaluarea, termen introdus de Scriven (1969) cu referire la evaluarea unui plan de evaluare a produselor educaţionale, se referă la orice evaluare a unei evaluări, sistem de evaluare sau instrument de evaluare.

Stufflebeam operaţionalizează conceptul de metaevaluare definind-o ca „proces de delimitare, obţinere şi aplicare de informaţii descriptive şi de judecată – în legătură cu utilitatea, fezabilitatea, corectitudinea şi precizia unei evaluări, cu natura sistemică a acesteia, conduita competentă, integritatea/onestitatea, respectul şi responsabilitate socială – pentru a ghida evaluarea şi/sau pentru a raporta punctele sale forte şi punctele slabe” (Stufflebeam, 2001, p. 185).

Pentru că o evaluare bună este aceea care furnizează răspunsuri valide şi consis-tente la întrebările formulate, în timp util, cu mĳloacele şi resursele disponibile într-un context dat, alegerea celei mai bune metode de evaluare este de cele mai multe ori o provocare şi un proces în sine. De aceea, orice sistem de evaluare, se construieşte în jurul a două axe de referinţă: obiectivele evaluării şi metodologia de evaluare. În procesul de evaluare a dezvoltării convergenţei socio-economice (concept structural, constând într-un cumul de procese de corelare, compatibilizare şi armonizare a principalelor domenii naţionale cu cele europene), Institutul Tavistok, GHK şi IRS (2003) au elaborat un cadru logic de evaluare, din care rezultă principalele tipuri de evaluare, în funcţie de câmpurile de acţiune ale celor două axe:

Management/ Performan�

Formativ

Alocativ / Economic

METODOLOG I E

Alocarea resurselor

Standarde i obiective

Îmbun t ire/ schimbare

Explica ie

Evolutiv participativ

Înt rirea capacit ii

institu ionale

Produc ie bazat pe

cunoa tere

Implementare Responsa-bilizare

Planificare Eficien

Cauzal / Experimental

Participativ

OBIECTIVE

Sursa: Institutul Tavistok, GHK şi IRS (2003, p. 25)Figura 1: Principalele tipuri de evaluare în domeniul utilizării instrumentelor structurale

89

2. Modele de evaluare a politicii fondurilor structurale

2.1. Evaluarea impacturilor contrare

Evaluarea impacturilor contrare este un tip de evaluare ce pleacă de la ideea re-constituirii sau mai bine spus considerării a ceea ce s-ar fi întâmplat dacă intervenţia supusă evaluării nu ar fi avut loc. În acest sens, la nivelul UE, au fost dezvoltate mai multe metode „care se bucură de o mare popularitate şi de un înalt grad de acceptare în ştiinţele naturale şi sociale, dar care nu au fost folosite, pe scară largă pentru evaluarea programelor FEDR” (Comisia Europeană, 2010, p. 18).

2.1.1. Diferenţa în cadrul diferenţelor – metodă de evaluare a programelor dezvoltată de Ashenfelter (1978), care „interesat fiind de măsurarea eficienţei programelor de for-mare subvenţionate, a introdus diferenţa în cadrul diferenţei, ca metodă de evaluare, larg utilizată, acum, în toate domeniile de microeconomie empirică” (Card şi Farber, 2005, p. 332). Această metodă presupune observarea diferenţelor între anumiţi indicatori pentru fiecare două grupuri, în două perioade de timp, astfel: unul dintre grupuri este expus la tratament doar în cea de-a doua perioadă, iar al doilea grup nu este expus la tratament în niciuna dintre cele două perioade de timp. În situaţia în care aceleaşi unităţi (indicatori) sunt analizate pentru ambele grupuri în fiecare perioadă de timp, creşterea medie în cel de-al doilea grup (de control) este scăzută din câştigul mediu din primul grup (căruia i-a fost aplicat tratamentul). Aceasta permite ca în cea de-a doua perioadă, să se înlăture bias-ul rezultat din diferenţele permanente între aceste grupuri şi care poate afecta comparaţia între grupul de tratament şi grupul de control (Imbens şi Wooldridge, 2009).

În cazul evaluării Politicii Regionale a UE, grupurile de analiză sunt de fapt arii geografice: state, regiuni de dezvoltare, unităţi administrative, iar perioadele de refe-rinţă pot fi perioade de programare diferite sau perioade (ani calendaristici) din cadrul aceleiaşi perioade de programare. Acest tip de evaluare poate să arate dacă un anumit program/măsură produce efectele scontate.

Potrivit Institutului Suedez pentru Studierea Politicilor de Creştere „metoda dife-renţei din cadrul diferenţelor compară căi de creştere” (Swedish Institute for Growth Policy Studies, 2004, p. 18). Cele mai multe evaluări se referă la creşterea medie anuală (în timp şi pe arii geografice/unităţi adminstrative expuse versus non-expuse) a indica-torilor de tipul venitului pe cap de locuitor, şomajului, ratei de ocupare, IMM-uri nou create, număr de persoane calificate etc.

2.1.2. Modelul discontinuu îşi are originea în disciplinele academice, fiind proiectat în psihologie de către Donald Campbell (1984) şi preluat apoi în statistică, biostatistică, şi în economie. Potrivit lui Cook (2008, p. 1) „designul regresiei discontinue se aplică atunci când expunerea la un anumit tip de tratament depinde în mod determinist, de un scor măsurabil al variabilelor continuu atribuite”. Acest model încearcă să evalueze impactul unei intervenţii, separând efectul determinat cauzal, de intervenţia în sine și de posibilele efectele produse de alţi factori (Battistin și Rettore, 2008, p. 715). Pentru

90

evaluarea impactului pe care asistenţa financiară îl are asupra beneficiarilor finanţării, metoda regresiei discontinue se aplică pentru a compara beneficiarii şi non-beneficiarii în funcţie de criterii de eligibilitate ce impun poziţionarea peste/sub anumite praguri situate pe o variabilă continuă. De exemplu, impunerea pragului de vârstă maximă pentru indivizi, criterii de venit minim pentru gospodării, numărul de salariaţi minim/maxim pentru agenţi economici etc.

2.1.3. Metodele de corelare au ca principiu selectarea/construirea unui grup de non-beneficiari care să aibă aceleaşi caracteristici cu grupul de beneficiari, grupuri pe care să le diferenţieze doar intervenţia programului de finanţare.

Potrivit lui Caliendo şi Kopeinig (2008, p. 33) „impactul unui tratament asupra re-zultatelor unui subiect, implică speculaţii cu privire la modul în care acest subiect s-ar fi comportat dacă nu ar fi primit respectivul tratament”. Corelarea, ca şi regresia sunt metode statistice ce arată „măsura în care două variabile continue variază împreună” (Briggs, Petersone și Smits, 2006, p. 55). Ambele metode permit măsurarea relaţiei în două moduri diferite, dar care au puncte comune. Corelarea se foloseşte atunci când ambele variabile sunt aleatorii, iar scopul este acela de a găsi un număr care să exprime relaţia dintre variabile. Nu se face o diferenţiere între variabila dependentă şi variabila independentă în analiza pentru corelare, iar cauzalitatea nu se ia în considerare. Regresia se foloseşte atunci când una dintre variabile este o variabilă fixă, iar scopul este acela de a măsura relaţia dintre două moduri pentru a estima valori ale variabilei aleatorii pe baza valorilor variabilei fixe. Regresia urmăreşte stabilirea relaţiei de cauzalitate (Briggs, Petersone și Smits, 2006).

Această tehnică de evaluare a fost utilizată frecvent pentru evaluarea impactului subvenţiilor asupra componentei de cercetare-dezvoltare din cadrul firmelor private, în state sau regiuni ca Flandra (Belgia), Franţa, Trento (Italia), Germania, Spania.

Pentru o bună ilustrare a acestei tehnici de evaluare, voi prezenta pe scurt, în cele ce urmează, un studiu realizat în Spania cu scopul de a evalua impactul subvenţiilor publice asupra creşterii performanţelor firmelor. Potrivit autorilor studiului „metoda este extrem de potrivită, deoarece ne permite atât controlul distribuţiei subvenţiilor publice, reducând unele probleme metodologice asociate cu evaluarea politicilor, şi, în al doilea rând, utilizând coeficientul de predicţie, corelăm fiecare întreprindere be-neficiară cu cea mai asemănătoare din grupul de control” (Duch-Brown, Montolio și Mediavilla, 2007, pp. 3-4). Cei trei autori au folosit metoda corelaţiei pentru a evalua impactul subvenţiilor publice prin compararea rezultatelor înregistrate de firmele care beneficiază de sprĳin public, cu rezultatele firmelor ce nu au beneficiat de sprĳin. Pen-tru a compara rezultatele între două grupuri de companii: cele care primesc subvenţii publice (expuse la intervenţie) şi cele care nu primesc subvenţii publice (non-expuse), se construieşte un grup de control care înainte de expunerea la tratament (ex-ante) avea aceeaşi probabilitate să primească o subvenţie publică, în aşa fel încât, atât companiile expuse cât şi cele non-expuse pot fi considerate ca fiind repartizate aleatoriu. După stabilirea efectului aşteptat de la populaţia expusă, efect ce urmează a fi evaluat, se calculează coeficientul de predicţie (probabilitatea de a primi tratamentul, date fiind

91

caracteristicile dinainte de expunerea la tratament cum ar fi: veniturile anuale, nivelul vânzărilor – coeficienţi de corelaţie). Pe bază acestor coeficienţi de corelaţie are loc etapa a doua, şi anume corelarea firmelor expuse cu cele non-expuse, după care, prin tehnici de regresie, este calculat impactul subvenţiilor publice asupra competitivităţii firmelor. Rezultatele analizei, evidenţiate prin scorurile de predicţie obţinute, au arătat că variabile cum ar fi vechimea, sectorul de activitate, structura de proprietate şi expor-tul influenţează pozitiv probabilitatea unei firme de a primi o subvenţie publică. Mai departe, efectul atragerii şi utilizării subvenţiilor a constat în înregistrarea de creşteri mai mari ale valorii adăugate în anii de după intervenţie (Duch-Brown, Montolio și Mediavilla, 2007).

2.2. Modelul ca metodă de evaluare

Dezvoltarea de modele de evaluare presupune crearea de sisteme mai simple sau mai complexe de măsurare, alcătuite pe baza unor metode și tehnici organizate într-un design specific ce permit experimentarea și ajustarea/prioritizarea importanţei acorda-te criteriilor de evaluare cum ar fi: imparţialitate, precizie, obiectivitate și validitatea informaţiilor generate etc. Cele mai multe modele de evaluare sunt construite în sistem informatic, având avantajul utilizării pe scară largă, dar cu riscul manipulării/pervertirii rezultatelor dacă nu sunt utilizate de către specialiști.

În funcţie de scopul în care sunt utilizate, modelele de evaluare pot fi: modele ex-perimental-proiective, modele sistemice, modele calitative sau antropologice, modele explicative, modele orientate pe participare, modele orientate pe teorie.

În domeniul evaluării rezultatelor și impactului programelor operaţionale sectoriale și al utilizării fondurilor structurale, următoarele categorii de modele sunt sau pot fi utilizate cu succes.

2.2.1. Modelele macroeconomice de evaluare sunt instrumente dezvoltate şi utilizate pentru a asigura o imagine de ansamblu a funcţionării principalelor sectoare ale eco-nomiei şi a interacţiunii dintre acestea. Principala funcţie a unui model macroeconomic este de a reproduce mecanismele de bază ale unui întreg sistem economic. Termenul model desemnează „un mod de reprezentare a realităţii prin care se efectuează o serie de ipoteze simplificatoare despre fenomenele şi procesele reale studiate şi prin care se descrie modul în care se înţelege fenomenul sau procesul respectiv” (Ţigănescu și Roman, 2005, p. 20).

Potrivit economistului român Liviu Albu (2007) construirea modelelor macroeco-nomice a pornit de la relaţiile de tip agregat, ce se stabilesc la nivelul economiilor naţionale între PIB sau PNB şi alţi factori exogeni, iar în timp s-a înregistrat o creştere a numărului de modele aplicate dar şi o creştere a numărului de variabile analizate.

Dezvoltarea pe scară largă a acestei metode de evaluare a fost influenţată major de răspândirea noilor tehnologii informaţionale şi de comunicaţii (TIC) ce au permis îmbu-nătăţirea capacităţii şi a vitezei de prelucrare a datelor, dar şi perfecţionarea tehnicilor de măsurare a variabilelor economice şi sociale. La nivelul UE, instituţiile responsabile de gestionarea fondurilor structurale au dezvoltat modele macroeconomice de evaluare

92

ce au la bază sisteme informatice pentru a putea corela în mod sistematic şi relevant informaţii privind politicile de dezvoltare de la nivel naţional şi comunitar. Principa-lele modele de evaluare utilizate la nivelul UE pentru analiza impactului politicii de coeziune sunt: modelele HERMIN, QUEST şi E3ME.

Modelul HERMIN a fost dezvoltat la sfârşitul anilor 1980 pentru a analiza impactul programelor irlandeze din cadrul Politicii de Coeziune şi a fost extins în ultimele două decenii la toate ţările participante la Politica Regională de Coeziune, inclusiv la unele regiuni NUTS II (Brandsma et al., 2011). Modelul HERMIN este conceput ca un model macro-econometric multisectorial ce include: industria prelucrătoare, piaţa de servicii, agricultura şi serviciile guvernamentale (sau non-piaţă), şi care permite analiza caracte-risticilor structurale cheie ale economiilor rămase în urmă, cu privire la aspecte precum: a) deschiderea economică, expunerea la comerţul exterior şi mondial, şi ca răspuns la şocurilor interne şi externe; b) dimensiunile şi caracteristicile sectoarelor tranzacţionate şi non-tranzacţionate şi dezvoltarea lor, producţia tehnologică şi schimbările structurale; c) mecanismele de determinare a salariilor şi preţurilor; d) funcţionarea şi flexibilitatea pieţelor forţei de muncă, şi rolul migraţiei internaţionale şi interregionale pentru muncă; e) rolul sectorului public şi a datoriei publice, precum şi interacţiunile dintre sectorul public şi sectorul privat în politicile publice (Bradley et al., 2004).

În prezent, evaluarea Politicii de Coeziune a UE este realizată prin utilizarea a două modele de evaluare, informatizate: sistemul QUEST, operat de către Directoratul Gene-ral pe Probleme Economice şi Financiare (DG ECFIN) din cadrul Comisiei Europene, şi sistemul HERMIN utilizat în cadrul Directoratului General pentru Politica Regională (DG-REGIO) în multe dintre statele membre, înclusiv în România.

Modelul HERMIN a fost preluat în România în 1998 şi a fost ulterior adaptat ca modelul HEROM, fiind compus „la fel ca toate modelele HERMIN, din trei blocuri principale: latura ofertei, care este tratată distinct pentru fiecare din cele patru sectoa-re, blocul absorbţiei şi componenta de distribuţie a venitului” (Comisia Naţională de Prognoză, p. 2).

Avantajele utilizării modelului HEROM pentru sprĳinirea procesului de construcţie bugetară şi de evaluare a impactului fondurilor structurale în economia românească, sunt prezentate în studiul menţionat mai sus, astfel: „permite evaluarea impactului po-liticilor economice asupra sectoarelor individuale şi punerea în evidenţă a schimbărilor sectoriale; este construit pe structura standard a unei economii de piaţă (...) evaluarea ecuaţiilor se bazează pe date istorice ale Romaniei, percepând astfel caracteristicile dezvoltării specifice; este acceptat de Comisia Europeană ca un standard pentru noii membri din etapa de pre-aderare şi post-aderare” (Comisia Naţională de Prognoză, pp. 9-10).

Modelul E3ME este un model econometric multi-sectorial, regionalizat şi dinamic, dezvoltat de Comisia Europeană, pentru a evalua situaţiile şi politicile de energie-me-diu-economie din UE, adică cei trei parametrii „E”: economici, energetici şi de mediu (environment în limba engleză) (Comisia Europeană, 2009, p. 5). Pentru o mai bună ilustrare a legăturilor şi interacţiunilor analizate prin acest model, în Figura 2 sunt

93

prezentate cele trei dimensiuni ale modelului (ce au propriile unităţi de cont şi surse de date, construite de către birouri statistice pentru a se asigura reconcilierea sisteme-lor contabile din statele membre) şi factorii exogeni care provin din afara cadrului de modelare.

MEDIU (Environment) Politicile

de mediu

Taxe de mediu

Pre urile la energie Consumul de energie

Activitate Pre urile

EONOMIE

Politicile economice

Emisiile – mii de tone de carbon

ENERGIE

Activitatea i pre urile din

statele non-UE

Politica energetic

Preţul petrolului la nivel mondial

Schema de reducere a emisiilor

Sursa: Cambridge Econometrics, E3ME Manual

Figura 2: Modelul E3ME de evaluare

Dat fiind faptul că modelul de evaluare E3ME este configurat în sistem informatic, acesta permite generarea mai multor indicatori economici de energie şi de mediu la nivelul UE. Printre cei mai relevanţi şi mai frecvent utilizaţi indicatori se numără:

– PIB-ul agregat şi componentele sale, ca: cheltuielile per gospodărie, investiţiile, cheltuielile publice, comerţul internaţional etc.;

– preţurile de consum şi cheltuielile, precum şi efectele acestora asupra distribuţiei per gospodărie;

– ocuparea forţei de muncă, şomajul şi ratele salariale pe ramuri ale economiei; – cererea de energie în funcţie de sectorul economic, de combustibil şi preţurile la

energie; – emisiile de CO2 în funcţie de sectorul de activitate şi de combustibilul folosit şi

alte emisii din aer; și – cererea de materie primă (Cambridge Econometrics).

Un model sectorial, modelul TRANS-TOOLS (TOOLS for TRansport Forecasting ANd Scenario Testing), este un sistem de reţea europeană de transport utilizat ca mo-del de analiză a politicilor şi în evaluări de impact pentru măsurile şi politicile privind transportul. În contextul schimbărilor de mediu şi al globalizării (creşterea mobilităţii persoanelor şi a mărfurilor, a tehnologii de comunicare) importanţa economiei bazate pe cunoaştere este tot mai mare. Astfel, scenariile de transport produse prin modele de evaluare a impactului propunerilor de politici vor trebui să ia în considerare toate aceste tendinţe emergente.

94

Noul model TRANS-TOOLS, dezvoltat de Institutul pentru Studii Tehnologice Pro-spective (IPTS) şi DG TREN, în cadrul unui proiect finanţat de către Comisia Europeană, este caracterizat de următoarele specificaţii: structură de cerere/ofertă, intermodalitate pentru transportul de pasageri/marfă, existenţa fluxurilor intercontinentale (în principal pentru transportul de marfă), acoperirea completă a Europei Centrale şi de Est (ţările în curs de aderare şi ţările de la frontierele din UE extinsă), integrarea noilor state membre la un nivel similar cu cele din UE-15, dezvoltarea unui sistem de feedback privind dezvoltarea infrastructurii (dată fiind importanţa pe care efectele indirecte în economie şi la nivel de reţea le au, în special în cazul investiţiilor substanţiale – cum este cazul ţărilor candidate la aderare), includerea explicită a datelor logistice/lanţului de transport de marfă, metoda de cuplare cu traficul local, în scopul de a acţiona asupra congestionării traficului pe distanţe lungi.

2.2.2. Analiza intrărilor şi a ieşirilor este o metodă de analiză macroeconomică a legăturilor dintre ramuri (industrii) în termeni monetari. Metoda a fost dezvoltată de către Wassily Leontief1 care „a modelat cunoştinţele noastre despre cum şi în ce mă-sură elementele constitutive, sau ramurile unei economii interacţionează (…) pentru a dezvălui ce combinaţie de resurse (materii prime, forţă de muncă sau alte tipuri de capital) – numite intrări – sunt necesare pentru atingerea obiectivelor de producţie dorite – numite ieşiri” (Leontief apud Garfield, 1986, p. 272). Ulterior, acest model de analiză a fost adaptat şi preluat în diferite domenii fiind astăzi o metodă utilizată pe scară largă în politicile şi programele de dezvoltare din diferite domenii, având un rol important atât în stadiul de planificare, evaluare a impactului, dar şi în predicţie.

În domeniul utilizării fondurilor structurale, analiza intrărilor şi ieşirilor este frecvent utilizată pentru a evalua impactul politicilor UE asupra diverselor sectoare eligibile de investiţii, de la infrastructura fizică, capitalul uman, mediu şi energie, până la sprĳinirea competitivităţii şi investiţiile în cercetare şi dezvoltare. Pentru aceasta, UE a dezvoltat o matrice standard (tabele cadru) de analiză a intrărilor şi ieşirilor la nivel naţional şi la nivelul UE. De exemplu, tabelele naţionale referitoare la resurse şi utilizări (supply and use tables), oferă o imagine detaliată a ofertei de bunuri şi de servicii din producţia internă şi importuri, precum şi utilizarea de bunuri şi servicii pentru consumul intermediar şi consumul final.

Tabelele de resurse şi utilizări sunt parte integrantă a Sistemului European de Con-turi (SEC 1995). SEC 1995 este în deplină concordanţă cu Sistemul mondial al Conturilor Naţionale (SCN 1993), dar SEC se concentrează mai mult pe condiţiile şi datele necesare în Uniunea Europeană. Ca element cheie al conturilor naţionale, tabelele de resurse şi utilizări dezvoltate pe baza metodei de analiză a intrărilor şi ieşirilor, reprezintă cel mai bun cadru pentru calcularea PIB-ului curent şi raportat la puterea de cumpărare,

1 În 1973 lui Leontief Wassily i-a fost acordat Premiul Sveriges Riksbank în Ştiinţe Economice în memoria lui Alfred Nobel „pentru dezvoltarea metodei de analiză bazată pe intrări-ieşire şi pentru aplicarea acesteia la problemele economice importante”.

95

şi asigură compatibilitatea sistemelor de contabilitate pe plan internaţional (Comisia Europeană, 2008).

Această matrice este un instrument alcătuit „ca o prezentare a conturilor SEC în cadrul unei matrice care expune într-un mod detaliat raporturile dintre un tabel de resurse şi de utilizări şi conturile sectoriale” (Pop, 2005, p. 271).

Dacă la începuturi matricea de contabilitate socială folosea tabele de intrări-ieşiri pentru a ilustra în termeni monetari fluxurile de bunuri şi servicii între conturile unui sistem, dar şi între acestea şi toate celelalte conturi combinate, în prezent, aceasta este utilizată „ca o matrice de contabilitate naţională ce descrie în special conexiunile din-tre fluxurile de venituri şi transferuri între diferitele unităţi instituţionale” (Stahmer, 2002, p. 2).

Pe lângă datele referitoare la interdependenţa dintre diferitele sectoare economice, matricea de contabilitate socială poate furniza şi informaţii despre ocuparea forţei de muncă, gospodării şi alte grupuri socio-economice. Structura clasică a unei matrice de contabilitate socială este în tabelul 2.

2.3. Evaluarea teoretică

Evaluarea teoretică corelează şi analizează rezultatele şi impactul scontat prin im-plementarea unui program cu rezultatele imediate obţinute, cu scopul de a explica cum şi de ce funcţionează un program.

Potrivit lui Pawson şi Tilley (2004, pp. 2-3) metodele de evaluare teoretică abordează programele sociale ca „produse ale imaginaţiei umane”, ca „ipoteze pentru îmbunătăţi-rea socială”, ceea ce înseamnă că „programele sunt teorii întrupate” ce pornesc de la idei de politică socială, și sunt preluate de implementatori şi îi afectează pe beneficiarii finali.

Sondajele reprezintă cea mai utilizată formă de analiză a percepţiilor şi opiniilor, preferinţelor și aşteptărilor exprimate de un număr reprezentativ de subiecţi asupra unei teme de interes general, mai mult sau mai puţin cunoscută sau valorizată de subiecţi. Specificul sondajelor de opinie este dat de modul interogativ de culegere a datelor şi de eşantionare, ca metodă de restrângere a ariei de aplicare. Din punct de vedere metodologic, sondajul are la bază tehnica chestionarului standardizat şi ca tehnică alternativă sau mai degrabă complementară, interviul structurat sau semistructurat, ambele aplicate la un eşantion de subiecţi.

Chestionarul este definit de Chelcea (2004) ca tehnică şi instrument de cercetare, administrat de către operatori de anchetă, sau autoadministrat, alcătuit dintr-un „an-samblu de întrebări scrise şi, eventual, imagini grafice, ordonate logic şi psihologic, care (…) determină din partea persoanelor anchetate răspunsuri ce urmează a fi înregistrate în scris” (Chelcea, 2004, p. 105).

Interviul, ca tehnică2 de colectare a datelor pentru sondaj presupune o întâlnire3 între un operator de interviu, care adresează întrebări, şi subiectul cercetării (respondent).

2 Tehnica interviului are ca instrument de cercetare ghidul de interviu.3 Întâlnirea poate fi faţă în faţă, la telefon sau prin mĳloacele de comunicare facilitate de cone-

xiunea la internet (webcam, chat etc.).

96

Tabe

lul 2

: Matr

ice de

conta

bilita

te so

cială

Chelt

uieli

→1.

Mărfu

ri2.

Activ

ităţi

3.Fa

ctor

i4.

Inst

ituţii

5.Co

ntur

i de

capi

tal

6. Re

stul

lum

ii7. Tota

lVe

nitu

ri ↓

Munc

aCa

pita

lGo

spod

ării

Firm

eGu

vern

are

1. Mă

rfuri

Intră

ri int

erme

diare

Cons

um ca

snic

Cons

um pe

ntru

guve

rnar

eInv

estiţi

iEx

portu

riCe

rere

totală

2. Ac

tivităţi

Prod

ucţie

casn

icăPr

oducţie

3. Fa

ctori

Mun

ca

Salar

ii

Cap

ital

Profi

tşi

dobâ

nzi

4. Ins

tituţii

Gos

podă

rii Ve

nitdin

mun

căPr

ofi t

distrib

uitTr

ansfe

ruri

între

gosp

odăr

iiTr

ansfe

ruri

Firm

e Pr

ofi t

nedis

tribuit

Tran

sferu

riTr

ansfe

ruri

Guv

erna

re

Tarife

, TVA

,Ta

xe de

expo

rt,Ta

xe de

vânz

are

Taxe

de pr

oducţie

Asigu

rări

naţio

nale

Profi

t dist

ribuit

Ta

xe pe

profi

tTa

xe di

recte

Taxe

dire

cte

5. Co

nturi

de

capit

alEc

onom

iiale

popu

laţiei

Econ

omii

ale fi r

melor

Econ

omii

ale gu

vern

ului

Tran

sferu

ride

capit

alTo

talec

onom

ii

6. Re

stul lu

mii

Impo

rturi (

cif)

Facto

ride

plăţi

Tran

sferu

ri ex

terne

cure

nteIm

portu

ri

7. To

tal

Prod

ucţie

Chelt

uieli p

er

gosp

odăr

iiCh

eltuie

lipe

fi rme

Surs

a: M

cDon

ald, 2

007,

p. 7

97

Potrivit lui Chelcea, specificul interviului este dat de comunicarea verbală, elemenul fundamental în tehnica interviului fiind convorbirea, facilitată sau nu de întrevedere. Printre avantajele şi limitările în utilizarea tehnicii interviului sunt enumerate de Bayley apud Chelcea (2004) astfel:

Avantajele utilizării tehnicii interviului: Limitări ale utilizării tehnicii interviului:– fl exibilitate (răspunsuri specifi ce la fi ecare întrebare);– rata de răspuns mai ridicată comparativ

cu chestionarul;– observarea comportamentelor nonverbale

(plus de informaţii);– asigurarea standardizării condiţiilor de răspuns;– control asupra succesiunii întrebărilor;– colectarea unor răspunsuri spontane;– asigurarea unor răspunsuri personale;– asigurarea răspunsului la toate întrebările;– înregistrarea datei şi locului convorbirii, fapt ce

permite comparabilitatea; şi– permite studierea unor probleme mai complexe.

– timp mai îndelungat pentru colectarea informaţiilor prin interviu;

– erori datorate operatorilor de interviu(efectul de operator);

– imposibilitatea consultării unor documenteîn vederea formulării unor răspunsuri precise;

– neasigurarea anonimatului;– lipsa de standardizare în formularea întrebărilor;– costul ridicat; şi– inconveniente date de dispoziţia fi zică şi psihică

a respondentului în momentul interviului, moment asupra căruia nu are control.

Studiul de caz este una dintre metodele de cercetare cu grad redus de standardizare, ca o consecinţă a multiplelor surse de date (mai mult sau mai puţin valide) ce fac dificil de stabilit a priori teoriile sau ipotezele de urmat. Într-un demers de definire a studiului de caz, Gillham (2000, p. 1) a operaţionalizat mai întâi conceptul de caz caracterizându-l astfel: „unitate a activităţii umane încorporată în lumea reală; ce nu poate fi studiată sau înţeleasă decât prin raportarea la context; a cărei existenţă se plasează aici şi acum; şi care nu se poate delimita clar de context”.

Astfel, cazul studiat poate fi reprezentat de un individ, un grup, o instituţie, o co-munitate, iar un studiu poate viza investigarea unuia sau mai multor cazuri, pentru a răspunde unor întrebări de cercetare specifice prin studierea diverselor tipuri de probe colectate la faţa locului şi abstractizate ulterior astfel încât să răspundă întrebărilor de cercetare (Gillham, 2000).

În domeniul utilizării fondurilor structurale, metoda studiului de caz este frecvent utilizată pentru prezentarea modelelor de bune practici şi pentru întărirea capacităţii de absorbţie a fondurilor structurale. Acesta permite analiza detaliată şi comunicarea eficientă a proceselor şi rezultatelor investiţiilor reprezentate de fondurile structurale, cazul investigat putând fi un proiect, un sector de activitate sau un întreg program operaţional.

După cum se poate observa, fiecare dintre tehnicile de colectare a datelor de evaluare prezentate mai sus, au avantaje şi dezavantaje, fiind mai mult sau mai puţin adecvate în funcţie de context şi de scopul evaluării. De aceea, pentru situaţiile în care o singu-ră metodă nu poate asigura colectarea de informaţii consistente, este de preferat a se aplica principiul triangulării4.

4 Mixarea metodelor (calitative şi cantitative) de cercetare în cadrul aceluiaşi studiu a fost pro-movată începând cu anii 1960 de către Donald T. Campbell în măsurarea trăsăturilor psihice prin aboradarea multimetodă-multitrăsătură.

98

Evaluarea de tip realist este un tip de evaluare explicativă, al cărei principal scop este de a îmbunătăţi programele sociale identificând „ce” şi „cum” funcţionează pentru anumite grupuri sociale „în ce fel de circumstanţe” şi „în ce privinţe” (Pawson şi Tilley, 2004, p. 2). Pornind de la premisa că schimbările produse de intervenţiile sociale îşi au resorturile în motivaţia şi potenţialul celor afectaţi de program, pentru promotorii evaluării realiste, politicile publice nu se pot concretiza decât prin intermediul unor programe active dedicate unor subiecţi activi. În locul unei definiţii pentru evaluarea realistă Pawson şi Tilley (2004) au propus patru concepte definitorii pentru explicarea şi evaluarea programelor, astfel: 1) mecanismul - modalitatea prin care un program produce efecte; 2) contextul - caracteristicile relevante ale condiţiilor în care programele sunt aplicate; 3) algoritmul rezultatelor - consecinţele dorite şi nedorite ale programului, rezultate din activarea unor mecanisme diferite în diferite contexte; și 4) configurarea algoritmului context-mecanism rezultate, adică acele modele ce arată cum şi în ce condiţii sunt activate mecanismele, pentru a produce modificări în regularităţile com-portamentale, organizaţionale sau statale. În ceea ce priveşte aplicabilitatea evaluării de tip realist, cei doi autori menţionau că aceasta poate fi utilizată atât prospectiv, în evaluări formative, cât şi sumativ, metodelele de evaluare fiind dintre cele mai diverse, în funcţie de abordarea cantitativă sau calitativă şi în funcţie de centrarea pe procesele sau pe rezultatele programului.

Evaluare participativă a apărut şi s-a extins ca o consecinţă firească a creşterii fon-durilor alocate pentru programe de dezvoltare socială. Tot mai mulţi finanţatori, fie că sunt agenţii guvernamentale, fie că sunt filantropi sau investitori privaţi ce şi-au îndreptat atenţia către domeniul social, s-au arătat interesaţi să ia parte la procesul de evaluare sau au desemnat alţi actori recunoscuţi în domeniu pentru a participa la procesul de evaluare. Acest tip de evaluare presupune implicarea stakeholderilor în proiectarea evaluării, definirea rezultatelor şi în selectarea tipului de intervenţie (Lawrenz şi Huffman, 2003). Participarea finanţatorilor sau a altor actori relevanţi la procesul de evaluare nu este o exigenţă apărută unidirecţional de la finanţatori, aceas-ta reprezentând şi o modalitate a implementatorilor de programe, de a trage capital financiar, prin creşterea credibilităţii în interiorul breslei.

2.4. Evaluarea alternativelor

2.4.1. Analiza cost-beneficiu „presupune comparaţia costurilor şi beneficiilor, eva-luarea riscurilor şi analiza senzitivităţii” (Briggs, Petersone și Smits, 2006, p. 101) şi este poate cea mai utilizată metodă de evaluare la nivelul proiectelor şi programelor finanţate din fonduri structurale. Răspândirea pe scară largă a acestei metode, este o consecinţă a accesibilităţii şi rapidităţii în aplicare, şi o urmare firească a implementării unuia dintre principiile de bază ale utilizării fondurilor structurale – principiul utilizării eficiente a fondurilor.

Scopul analizei cost-beneficiu este de a realiza o alocare raţională a resurselor, ară-tând în ce măsură un proiect sau program sau un tip de politică publică asigură be-neficii maxime cu un minim de investiţii/costuri. Analiza este oarecum reducţionistă,

99

limitându-se la cuantificarea beneficiilor în termeni monetari, fără a considera anumite elemente ale impactului social produs de anumite măsuri. Totuşi, metoda a cunos-cut de-a lungul timpului mai multe abordări rezultate din combinaţia instrumentelor specifice analizei cost-beneficiu cu instrumente de analiză financiară, care, raportate la dimensiuni şi registre sociale au produs informaţii importante referitoare la distri-buirea beneficiilor unei anumite politici publice în funcţie de vârstă, sex, naţionalitate sau poziţie geografică.

Conform Fischer apud Miroiu (2001), principalele etape ce alcătuiesc analiza cost-beneficiu sunt:

a) Stabilirea resurselor şi entităţilor implicate în proiect/program/politică şi trecerea în revistă a rezultatelor şi impactului preconizate – cine plăteşte şi cine beneficiază (grup ţintă) de intervenţia analizată;

b) Atribuirea unei valori monetare pentru toate resursele (materiale, umane, consuma-bile, administrative, de timp etc.) şi pentru toate rezultatele politicii – monetizarea rezultatelor indirecte;

c) Cea de-a treia etapă constă în determinarea şi delimitarea impactului, problema cea mai delicată în acest punct este dată de dificultatea estimării costurilor şi be-neficiilor peste timp. O tendinţă frecventă, deşi destul de dăunătoare este aceea de a nu lua în considerare anumite efecte indirecte, greu de monetizat, situaţii în care se recomandă realizarea de analize de sensibilitate; și

d) Ultima etapă constă în calcularea raportului dintre cost şi beneficiu. Rezultatul este o singură valoare numerică ce reflectă relaţia dintre costuri şi beneficii.

Este important de reluat aici că analiza cost-beneficiu vizează în mod tradiţional eficienţa economică, dar nu poate reda alte dimensiuni ale unei politici/program/proiect, cum ar fi solidaritatea, altruismul, etica sau alte valori sociale. De aceea, în procesul de alocare bugetară şi de evaluare – mai ales în domeniu social – este necesar a se corobora analiza cost-beneficiu cu alte tipuri de evaluare.

2.4.2. Analiza randamentului costurilor (cunoscută şi ca analiza cost-eficienţă sau ana-liza cost-eficacitate) are ca scop utilizarea eficientă a resurselor de investiţii în sectoare în care beneficiile sunt dificil de cuantificat, fiind un bun instrument de selecţie între proiecte, programe sau politici cu aceleaşi obiective. Dat fiind că diferite alternative sunt asociate cu diferite costuri, evaluarea acestora poate conduce la identificarea şi alegerea alternativei cu cel mai mic cost pentru un anumit rezultat, rezultând de aici o mai bună utilizare a resurselor. Hitch şi McKean apud Levin (1995, p. 328) menţionau că „metoda a fost dezvoltată în anii 1950 de către Departamentul de Apărare al SUA, ca un sistem de evaluare a solicitărilor diferitelor ramuri ale forţelor armate pentru achiziţionarea de sisteme de armament din ce în ce mai costisitoare, cu niveluri diferite de performanţă pentru misiuni care se suprapuneau”.

Începând cu anii 1960 analiza randamentului costurilor a căpătat o largă aplicabilitate în analizarea eficienţei programelor guvernamentale, pentru ca din 1990 metoda să fie utilizată pe scară largă în SUA pentru alocarea resurselor din sistemul educaţional. Dacă analizăm semnificaţia conceptelor ce denumesc această tehnică, eficacitatea se

100

referă la impactul sau rezultatele produse de un program/proiect asupra societăţii, cost-eficacitatea măsoară raportul dintre costurile producerii unor rezultate specifice, prin mĳloace alternative. Indicatorul utilizat în analiza cost-eficacitate constă în raportul dintre costurile totale şi efectele obţinute:

RCE = Suma costurilor Suma efectelor benefi ce

Metoda randamentului costurilor vizează activităţi, obiective şi rezultate, eludând impactul pe termen lung, acest fapt recomandând-o ca foarte utilă pentru evaluarea de proiecte şi programe ale căror obiective ţintesc rezultate imediate şi cuantificabile.

Toate cele trei modele de analiză mai sus prezentate au acelaşi principiu de funcţi-onare (raportarea rezultatelor la costuri) şi aceleaşi tehnici de identificare şi actualizare a factorilor, dar se deosebesc prin criteriile aplicate în analiza rezultatelor, astfel: mo-delul cost-eficienţă este centrat pe productivitate, comparând rezultatele obţinute cu cheltuielile implicate; în modelul cost-eficacitate criteriul de performanţă raportează efectele obţinute la resursele implicate; iar modelul cost-beneficiu are ca principal scop măsurarea utilităţii raportat la costuri (Gârboan, 2006, p. 108).

2.4.3. Analiza multicriterială reprezintă un instrument de luare a deciziilor pe baza evaluării eficienţei alternativelor ţinând cont de diferiţi factori, fiecare având propria pondere. De obicei, modelul include un număr infinit de alternative şi prin urmare trebuie utilizată o procedură de agregare pentru a identifica cea mai bună alternativă (Evans apud Martel, 1999). Analiza multicriterială se realizează după următorii paşi: a) stabilirea alternativelor şi a criteriilor; b) stabilirea ponderilor asociate criteriilor, în funcţie de importanţa şi relevanţa criteriului pentru analiză, astfel încât valoarea ponderată totală să fie 1; c) evaluarea şi punctarea performanţei în funcţie de criteriile stabilite (Briggs, Petersone și Smits, 2006, p. 78).

Putem utiliza, de exemplu, analiza multicriterială pentru a analiza impactul dife-ritelor programe operaţionale, în ceea ce priveşte îndeplinirea obiectivelor orizontale stabilite prin PND 2007-2013.

Tabel 3: Exemplu de analiză multicriterială utilizată în evaluarea fondurilor structurale

Program Operaţional Criterii ↓ Puncte * Pondere Impact

POSDRU

Egalitate de şanse 4 0,2 0,8Dezvoltare durabilă 2 0,6 1,2Inovare şi TIC 1 0,2 0,2

Total = 2,2 – impact mediu 2,2

POSCCE


Total = 2,8 – impact semnifi cativ 2,8

POR


Total = 3 – impact semnifi cativ 3* 0 - nici un impact; 1 – impact redus; 2 - impact mediu; 3 - impact semnificativ; 4 - impact mare.

101

În tabelul de mai sus, am ales pentru exemplificare trei programe operaţionale şi le-am analizat pentru a evalua în ce măsură fiecare dintre acestea contribuie la îndepli-nirea obiectivelor orizontale asumate prin PND 2007-2013. După selectarea programelor operaţionale şi enumerarea criteriilor de analiză (obiectivele orizontale), fiecărui criteriu i-a fost atribuită o pondere în funcţie de importanţa în procesul de dezvoltare socială a ţării noastre. În acest exemplu am atribuit o pondere mai mare dezvoltării durabile şi ponderi egale criteriilor referitoare la egalitate de şanse şi inovare şi TIC. Odată stabilit cadrul de analiza, fiecare program operaţional a fost evaluat şi punctat în funcţie de importanţa pe care o acordă fiecărui obiectiv orizontal. Rezultatele obţinute reprezintă media ponderată a punctajelor, astfel că în urma analizei multicriteriale ce acordă o importanţă majoră dezvoltării durabile, POR este programul cu cel mai mare impact pentru îndeplinirea obiectivelor orizontale asumate prin PND 2007-2013.

Această metodă este un bun instrument în evaluarea ex-ante a proiectelor de infra-structură, de mediu, dezvoltare rurală etc., dacă se realizează cu expertiza specialiştilor din sectoarele analizate, altfel, atât criteriile stabilite cât şi punctajele pot fi manipulate, pentru a conduce la rezultate inconsistente. Pentru aceasta, prioritizarea în materie de politici publice se face utilizând analiza multicriterială „în combinaţie cu alte metode precum analiza cost-beneficiu sau cost-eficacitate” (Briggs, Petersone și Smits, 2006, p. 78).

3. Rolul evaluării în contextul stabilirii cadrului financiar multianual 2014-2020

Fără a avea pretenţia de a fi trecut în revistă toate tipurile şi metodele de evaluare aplicabile politicii de asistenţă financiară prin instrumente structurale, închei această incursiune în domeniul vast al evaluării subliniind, încă o dată, rolul formativ, pri-mordial al acestui proces. În acest sens aş prelua, ca relevantă, afirmaţia lui Vladimír Kváča (2012): „evaluarea ar trebui în final să contribuie la proiectarea şi la punerea în aplicare de politici mai bune”.

Afirmaţia de mai sus este cu atât mai importantă în acest moment, când se aşează bazele cadrului financiar multianual 2014-2020 şi când atenţia decidenţilor ar trebui să se focalizeze mai mult asupra evaluării activităţilor, proceselor, performanţelor institu-ţionale şi a rezultatelor obţinute de România în perioada 2007-2013. Această evaluare ar putea construi un cadru strategic de intervenţie adaptat la contextul social, economic şi natural autohton, care să reflecte mai bine schimbările structurale care au caracterizat evoluţia statului. Întreg discursul public actual este construit în jurul alocării bugetare ce îi revine României în următorii şapte ani şi prea puţină atenţie este acordată definirii obiectivelor strategice şi priorităţilor de acţiune pentru care vor fi utilizaţi banii. Fără a nega faptul că dezvoltarea economică şi bunăstarea sunt direct influenţate de resursele economice (aici veniturile alocate), totuşi pentru o analiză satisfăcătoare a performanţei economice şi a standardelor de viaţă este importantă depăşirea măsurării în termeni exclusiv monetari.

Capacitatea de a elabora şi pregăti proiecte cu finanţare europeană, dar şi capaci-tatea de a le implementa depind în primul rând de resursele umane alocate în cadrul

102

autorităţilor, de gradul lor de pregătire şi de fluxul informaţional utilizat. În general, fondurile europene sunt relativ greu de accesat, dar şi mai greu de utilizat odată ce au fost obţinute, dat fiind procesul birocratic de management. Mobilizarea resurselor comunitare şi naţionale poate fi facilitată prin simplificarea sau măcar prin clarificarea procesului de accesare a fondurilor, înţelegând prin aceasta reguli şi proceduri unitare şi coerente, predictibilitate şi garanţia respectării legii (fie că vorbim de respectarea contractelor între beneficiari şi autorităţile de management – legea părţilor, fie de re-gulamentele şi instrucţiunile emise de către autorităţile de management, care sunt de multe ori abuzive sau în contradicţie cu legislaţia). Toate acestea au crescut nivelul de incertitudine şi scepticismul beneficiarilor şi potenţialilor beneficiari faţă de fondurile structurale, în pofida faptului că aceste fonduri au reprezentat o sursă alternativă de capital financiar disponibil pentru actorii de pe piaţa liberă în plină criză economică.

Rolul evaluării în redefinirea cadrului de utilizare a fondurilor structurale este ma-jor în contextul pregătirii perioadei de programare 2014 – 2020, pentru că experienţa actuală trebuie valorificată astfel încât următorul Cadru Strategic Naţional de Referinţă să fie fundamentat pe contextul socio-economic naţional şi pe experienţele proprii în procesul de accesare a banilor europeni.

Prezentul context economico-social mondial, caracterizat de comprimarea şi instabi-litatea pieţei muncii, impune identificarea de soluţii creativ-inovative care să răspundă complexităţii nevoilor şi problemelor sociale apărute din cauza crizei economice. Şi prin prisma acestor nevoi, Politica Regională de Coeziune Economică şi Socială a UE trebuie să se recalibreze şi să confirme prin acţiuni concrete cele patru priorităţi promovate prin strategiile sale de dezvoltare (Agenda Lisabona şi Strategia Europa 2020) şi anu-me: grĳa pentru cetăţeni, grĳa pentru mediul înconjurător, creşterea competitivităţii, și cercetarea şi inovarea.

Bibliografie:

1. Albu, L.L., „Modelarea şi evaluarea impactului investiţiilor directe, naţionale şi in-ternaţionale asupra pieţei muncii şi evoluţiei macroeconomice din România. Modele macroeconomice”, 2007, [Online] disponibil la adresa http://www.ipe.ro/RePEc/Wor-kingPapers/cs1516-1.pdf, accesat la data de 20 ianuarie 2012.

2. Battistin, E. și Rettore, E.‚ „Ineligibles and Eligible Non-participants as a Double Com-parison Group in Regression-Discontinuity Designs”, 2008, Journal of Econometrics, vol. 142, nr. 2, pp. 715-730.

3. Bradley, J., Morgenroth, E., Gács, J. și Untiedt, G., „A Study of the Macro-Economic Impact of the Reform of EU Cohesion Policy”, 2004, [Online] disponibil la adresa http://ec.europa.eu/regional_policy/sources/docgener/studies/pdf/3cr/macro_impact.pdf, ac-cesat la data de 11 octombrie 2011.

4. Brandsma, A., Gardiner, B., Ivanova, O. şi Kancs, A.‚ „RHOMOLO: A Dynamic General Equilibrium Modelling Approach to the Evaluation of the EU's Regional Policies”, 2011, [Online] disponibil la adresa http://www.regional-studies-assoc.ac.uk/events/2011/mar-slovenia/papers/Brandsma.pdf, accesat la data de 15 ianuarie 2012.

103

5. Briggs, S., Petersone, B. și Smits, K., Manual de metode folosite în planificarea politicilor publi-ce şi evaluarea impactului, Secretariatul General al Guvernului României, București, 2006.

6. Caliendo, M. și Kopeinig, S., „Some Practical Guidance for the Implementation of Pro-pensity Score Matching”, 2008, Journal of Economic Surveys, vol. 22, nr. 1, pp. 31-72.

7. Cambridge Econometrics, „E3ME: An Economy-Energy-Environment Model of Europe Technical Manual, Version 5.5”, [Online] disponibil la adresa http://www.camecon.com/Libraries/Downloadable_Files/E3ME_Manual.sflb.ashx, accesat la data de 23 ianuarie 2012.

8. Card, D. şi Farber, H.S., „Introduction: Festschrift Articles Honoring Orley Ashenfelter”, 2005, Industrial & Labor Relations Review, vol. 58, nr. 3, pp. 331-334.

9. Chelcea, S., Iniţiere în cercetarea sociologică, Bucureşti: Comunicare.ro, 2004.10. Cojocaru, Ş., Evaluarea programelor de asistenţă socială, Iaşi: Polirom, 2010.11. Comisia Europeană, „Al cincilea Raport de coeziune economică, socială şi teritorială”,

2010, [Online] disponibil la adresa http://ec.europa.eu/regional_policy/sources/docoffic/official/reports/cohesion5/pdf/5cr_ro.pdf, accesat la data de 1 februarie 2012.

12. Comisia Europeană, „Eurostat Manual of Supply, Use and Input-Output Tables”, 2008, [Online] disponibil la adresa http://epp.eurostat.ec.europa.eu/cache/ITY_OFFPUB/KS-RA-07-013/EN/KS-RA-07-013-EN.PDF, accesat la data de 21 ianuarie 2012.

13. Comisia Europeană, „Evalsed: The Resource for the Evaluation of Socio-Economic De-velopment”, [Online] disponibil la adresa http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/index_en.htm, accesat la data de 11 februarie 2012.

14. Comisia Europeană, „Evaluating Socio-Economic Development, Sourcebook 2: Me-thods & Techniques Macroeconomic Models”, 2009, [Online] disponibil la adresa http://ec.europa.eu/regional_policy/sources/docgener/evaluation/evalsed/sourcebooks/me-thod_techniques/modelling/macroeconomic_models/index_en.htm, accesat la data de 16 ianuarie 2012.

15. Comisia Europeană, „TRANS-TOOLS” [Online] disponibil la adresa http://energy.jrc.ec.europa.eu/transtools/index.html, accesat la data de 23 martie 2012.

16. Comisia Europeană‚ „Evaluarea Politicii Regionale”, Panorama Inforegio, nr. 33, 2010, [Online] disponibil la adresa http://ec.europa.eu/regional_policy/sources/docgener/panorama/pdf/mag33/mag33_ro.pdf, accesat la data de 1 decembrie 2011.

17. Comisia Naţională de Prognoză, „Impactul fondurilor structurale în România. Evaluare cu ajutorul modelului HEROM”, [Online] disponibil la adresa http://www.cnp.ro /user/repository/bf097831fce71ce023a4.pdf, accesat la data de 20 ianuarie 2012.

18. Cook, D.T.‚ „Waiting for Life to Arrive: A History of the Regression-Discontinuity Design in Psychology, Statistics and Economics”, 2008, Journal of Econometrics, vol. 142, nr. 2, pp. 636-654.

19. Cooperrider, D.L., Whitney, D. și Stavros, J.M., Appreciative Inquiry Handbook: For Leaders of Change, ediţia a 2-a, Brunswick, Ohio: Crown Custom Publishing, 2008.

20. Duch-Brown, N., Montolio, D. și Mediavilla, M., „Evaluating the Impact of Public Sub-sidies on a Firm’s Performance: A Quasi-Experimental Approach”, Working Paper, 2007, [Online] disponibil la adresa http://ssrn.com/abstract=1847600, accesat la data de 25 ianuarie 2012.

104

21. Garfield, E.‚ „Wassily Leontief: Pioneer of Input-Output Analysis” 1986, Essays of an Information Scientist, vol. 9, nr. 37, pp. 272-281.

22. Gârboan, R., Metode utilizate în evaluarea programelor: Analiza impactului social, Cluj-Na-poca: Accent, 2006.

23. Ghosh, A.S. și Thorstensen, L., „High Performing Economic Development Organi-zations”, 2011, [Online] disponibil la adresa http://www.huttoedc.com/wp-content/uploads/2013/08/4-29-11-economical.pdf, accesat la data de 12 februarie 2012.

24. Gillham, B., Case Study Research Methods, London: Continuum International Publishing Group, 2000.

25. Imbens, W.G. şi Wooldridge, J.M., „Recent Developments in the Econometrics of Pro-gram Evaluation”, 2009, Journal of Economic Literature, vol. 47, nr. 1, pp. 5-86.

26. Institutul Tavistok, GHK şi IRS, „Manualul pentru Evaluarea Dezvoltării Socio-Eco-nomice”, 2003, [Online] disponibil la adresa www.fonduri-ue.ro/res/filepicker_users/cd25a597fd-62/Documente_Suport/Studii/0_Studii_Instrumente_Structurale/Pag.2_Eva-luare/2_Manual_Evaluare_Dezv_Ec_Soc.pdf, accesat la data de 15 ianuarie 2012.

27. Kváča, V., „Evaluability: A Wider Perspective and Key Aspects”, lucrare prezentată la Conferinţa Internaţională „Evaluarea: Constatări şi Experienţe pentru Perioada 2014-2020”, Bucureşti, 26-27 Aprilie 2012.

28. Lawrenz, F. şi Huffman, D.‚ „How Can Multi-Site Evaluations be Participatory?”, 2003, American Journal of Evaluation, vol. 24, nr. 4, pp. 471-482.

29. Levin, H.M., „Cost-Effectiveness Analysis”, în Carnoy, M. (ed.), International Encyclo-pedia of Economics of Education, ediţia a 2-a, Cambridge: Cambridge University Press, 1995, pp. 381-386.

30. Martel, J.M.‚ „Multicriterion Decision Aid: Methods and Applications”, lucrare pre-zentată la Conferinţa Anuală CORS-SCRO, 7-9 iunie 1999, Windsor, Ontario, [Online] disponibil la adresa http://www.cors.ca/bulletin/v33n1_1e.pdf, accesat la data de 4 feb-ruarie 2012.

31. McDonald, S.‚ „Prices, Social Accounts and Economic Models”, lucrare prezentată la 10th Global Economic Analysis Conference „Assessing the Foundations of Global Eco-nomic Analysis”, Iunie 2007, Indiana, SUA, [Online] disponibil la adresa http://ae761-s.agecon.purdue.edu/resources/download/3208.pdf, accesat la data de 1 februarie 2012.

32. Miroiu, A., Introducere în analiza politicilor publice, Bucureşti: Editura Punct, 2001.33. Pawson, R. şi Tilley, N., „Realist Evaluation”, 2004, [Online] disponibil la adresa http://

www.communitymatters.com.au/RE_chapter.pdf, accesat la data de 15 ianuarie 2012.34. Pop, V.‚ „Contabilitatea socială și contabilitatea naţională”, 2005, Analele Universităţii

din Oradea, Știinţe Economice, tom XIV, pp. 270-272.35. Preskill, H. şi Russ-Eft, D., Building Evaluation Capacity: 72 Activities for Teaching and

Training, Thousand Oaks: Sage Publications, 2005.36. Regulamentul (CE) nr. 1083/2006 al Consiliului din 11 iulie 2006 de stabilire a pre-

vederilor generale privind Fondul European de Dezvoltare Regională, Fondul Social European şi Fondul de Coeziune şi de abrogare a Regulamentului (CE) nr. 1260/1999, [Online] disponibil la adresa http://www.fsesudest.ro/legislatie/070307r1083RO.pdf, accesat la data de 2 septembrie 2012.

105

37. Scriven, M., „An Introduction to Meta-Evaluation”, 1969, Educational Product Report, vol. 2, nr. 5, pp. 36-38.

38. Scriven, M., „Key Evaluation Checklist (KEC)”, 2011, [Online] disponibil la adresa http://michaelscriven.info/images/KEC_4.18.2011.pdf, accesat la data de 5 septembrie 2012.

39. Scriven, M., „Minimalist Theory: The Least Theory that Practice Requires”, 1998, Ame-rican Journal of Evaluation, vol. 19, nr. 1, pp. 57-70.

40. Scriven, M., „Prose and Cons about Goal-Free Evaluation”, 1991, American Journal of Evaluation, vol. 12, nr. 1, pp. 55-76.

41. Stahmer, C., „Social Accounting Matrices and Extended Input-Output Tables”, 2002, [Online] disponibil la adresa http://www.carsten-stahmer.de/downloads/HP.2002-07.%20Social_Accounting_Matrices_and_Extended_Input-Output%20Tables.pdf, ac-cesat la data de 10 octombrie 2012.

42. Straw, R.B. şi Herrell, J.M.‚ „A Framework for Understanding and Improving Multisite Evaluations”, 2002, New Directions for Evaluation, vol. 2002, nr. 94, pp. 5-16.

43. Stufflebeam, L.D.‚ „The Metaevaluation Imperative”, 2001, American Journal of Evalua-tion, vol. 22, nr. 2, pp. 183-209.

44. Swedish Institute for Growth Policy Studies, „The EC Regional Structural Funds Impact in Sweden 1995–1999”, 2004, [Online] disponibil la adresa http://www.innovation.lv/ino2/publications/A2004_028.pdf, accesat la data de 16 ianuarie 2012.

45. The Official Web Site of the Nobel Prize, [Online] disponibil la adresa http://www.no-belprize.org/nobel_prizes/economics/laureates/1973, accesat la data de 6 februarie 2012.

46. Todd, E.P. şi Wolpin, I.K.‚ „Ex Ante Evaluation of Social Programs”, 2007, [Online] disponibil la adresa http://athena.sas.upenn.edu/~petra/papers/exante.pdf, accesat la data de 11 februarie 2012.

47. Ţigănescu, I.E. și Roman, M.D., Macroeconomie. O abordare cantitativă, Bucureşti: Editura Economică, 2005.

48. Worthen, B.R., „Program Evaluation”, în Walberg, H. și Haertel, G. (editori), The In-ternational Encyclopedia of Educational Evaluation, Toronto: Pergammon Press, 1990, pp. 42-47, [Online] disponibil la adresa http://legacy.oise.utoronto.ca/research/field-centres/ross/ctl1014/Worthen1990.pdf, accesat la data de 5 martie 2012.

Documents

EVALUAREA – ROL ŞI METODE ABORDATE ÎN ANALIZA ŞI