Prirucnik Za Monitoring i Evaluaciju

Fond za socijalne inovacije

2002-2004

Prirunik za monitoring i evaluaciju

Subotica

Ba ka Topola

Senta

Novi Kneevac

Kikinda

Be ej Novi Be ej

Nova Crnja

Mal i I o

Kula

VrbasOdaci

Apatin

Ba ki Petrovac

Ba

Novi Sadabal j

Ti tel

Zrenjanin

Sremska Mitrovica Ruma

Ini ja

Peinci

Stara Pazova

abac

Loznica2

Val jevo

Ub

Obrenovac

Zemun

Grocka

Vrac

Bela Crkva

Al ibunar

Kovin

Pan evo

VelikoGradite

GolubacPoarevacSmederevo

Ku evo

Petrovac

Svilajnjac

JagodinaKragujevac

Topola

Kraljevo

Gornj i Mi lanovac

Novi Pazar

Tutin

Vladimirci

KrupanjMaliZvornikOsecina

U ice

Aril je

IvanjicaNova Varo

Prijepolje

Sjenica

Priboj

Cajetina

Bajina Bata

Mladenovac

Barajevo

Sopo t

Aranjelovac

Ljig

S.Palanka

Malo Crnice

Plandite

Kruevac

Lu ani

Poega

Ljubovija

itite

oka

Kanj ia

Temerin

id

Bogati

Opovo

Pal ilula

Koceljevo

LajkovacLazarevac

Mionica

Kosjeri

Kni

Bato inaRaa

V. Planaabari

uprija

Raka Brus

Bosilegrad

Irig

AleksinacAleksandrovac

Meroina

Svrl jig

P irot

VlasotinceLeskovac

Lebane

Bojnik

Kurumli ja

Vranje

PreevoTrgovite

Blace

Raanj

Beo in

Kova ica

12

2

4

3

2

2

2

3

4

2

3

3

2

2

2

3

2

Fond za socijalne inovacije Prirunik za praenje i evaluaciju

FOND ZA SOCIJALNE INOVACIJE

- PRIRUNIK ZA MONITORING I EVALUACIJU -

mart 2003

1. UVOD Svrha monitoringa i evaluacije je merenje i procena postignutog kako bi se efektivnije upravljalo krajnjim rezultatima i postignuima. Monitoring treba da obezbedi indikacije onima koji direktno upravljaju i onima koji su zainteresovani indikacije o napretku u postizanju rezultata ili o nedostatku istog. Evaluacija treba sistematski i objektivno da proceni napredovanje ka ostvarenju krajnjih rezultata. Monitoring i evaluacija se mahom sagledavaju kao proces tokom koga se ui, a ne kao spoljanja funkcija nadziranja s vrha na dole. Oni bi se trebali sagledavati kao proces koji pomae ljudima da naue kako da uspenije deluju. Monitoring i evaluacija se odvijaju na dva razliita, ali tesno povezana nivoa:

Nivo krajnjih posignua specifini produkti i sistemi usluga koji su oformljeni tokom projekta.

Nivo krajnjih proizvoda - promene u uslovima, koje SIF eli da postigne kroz svoje projekte. U krajnje proizvode inkorporirana su i krajnja postignua, ali i specifini doprinosi partnera i drugih strana (drugih aktera, drugih projekata, itd).

(UNDP, Prirunik za monitoring i evaluaciju)

RESURSI Eksperti Oprema Sredstva

KRAJNJA POSTIGNUA Finalizirana

obuka Obueni

uesnici

KRAJNJI PROIZVODI Porast prihoda Otvorena nova

radna mesta

UKUPAN EFEKAT Poboljanje

zdravstvenih uslova

Poveanje Vea dugovenost

LANAC REZULTATA

3


Povratna informacija je proces cirkulacije znanja i informacija, koja slui za procenu sveukupnog napredovanja u ostvarivanju rezultata ili da bi potvrdila postizanje rezultata. Povratna informacija moe sadrati nalaze, zakljuke, preporuke ili iz iskustva nauene lekcije. Nauene lekcije predstavljaju instruktivne primere zasnovane na iskustvu, koji je mogue primeniti u optim uslovima, a ne samo u posebnim okolnostima. To je nain da uimo iz svog ili iskustva drugih.

2. UPRAVLJANJE PROJEKTIMA I MONITORING I EVALUACIJA Vodei principi monitoringa i evaluacije, koje i monitoring i evaluacija sutinski promoviu, izuzetno su slini. U sutini, to su sledei principi:

1. Princip da se projekat razvija onda kada imamo temeljno znanje o stanju u kome planiramo intervencije.

2. Princip ukljuivanja relevantnih zainteresovanih strana u participativan proces kreiranja i

evaluacije projekta. 3. Princip da se razvijaju oni skupovi jasnih logikih ciljeva koji je realno mogue postii u okviru

odreenog vremenskog perioda i dodeljenih sredstava. 4. Princip ekspliciranja odnosa uzroka i posledice (sredstvo - cilj) i spoljanjih faktora koji imaju

uticaj na projekat, koji moraju biti valjani da bi vodili do eljenih krajnjih proizvoda i ka eljenom ukupnom efektu.

5. Princip uspostavljanja sistema monitoringa i evaluacije, koji ukljuuje indikatore koji e

pokazati da li su ciljevi postignuti i pruiti informacija koja doprinosi efikasnom upravljanje i uenju.

Monitoring i evaluacija su kljune funkcije dobrog upravljanja. Vano je integrisati ih u sve aspekte upravljanja projektima.

2.1. Upravljanje projektima Planiranje projekta poinje situacijom kada grupa uesnika eli da proizvede nekakav rezultat ili napredak. To je razlog projekta. Ova situacija je u odreenoj meri definisana problemima i vizijom uesnika. Zajednike percepcije o tome ta su problemi ili ta zapravo treba da konstituie poboljanje, nekad postoje a nekad ne, zbog ega su naroito znaajni participativni pristupi planiranju. Razvoj detaljne i holistike situacione analize je kritian aspekt planiranja projekta. Razumevanje situacije vodi planu projekta. Plan projekta ukljuuje:

UINAK ILI CILJ emu projekat tei na due staze SVEOBUHVATAN REZULTAT ILI SVRHA ta projekat treba da postigne s obzirom na svoj

vremenski okvir i sredstva SPECIFINI REZULTATI osnovne stvari koje se moraju postii kako bi projekat doveo do

sveobuhvatnog rezultata (ostvario svoju svrhu). Moe postojati nekoliko nivoa specifinih rezultata. Specifini rezultati su specifini proizvodi ili usluge pruene projektom.

AKTIVNOSTI ono to se zapravo mora uraditi kako bi se ostvarili sveobuhvatni rezultati RESURSI resursi potrebni za sprovoenje aktivnosti

4


Projekat se zatim sprovodi prema planu. Naravno, projekti se retko odvijaju tano po planu i postoji potreba za stalnim ciklusima planiranja, delovanja, monitoringa, evaluacije, ponovnog planiranja itd.

2.2. Osnovne pretpostavke Planiranje projekta bi trebalo da ukljui odnos uzroka i posledice izmeu viih i niih ciljeva. Aktivnosti/ciljevi nieg nivoa predstavljaju sredstvo za postizanje svrhe ciljeva vieg nivoa. Uvek e postojati pretpostavke o uzrono - posledinom (sredstvo cilj) odnosu u hijerarhiji ciljeva i ove pretpostavke treba uiniti eksplicitnim tokom planiranja projekta. Postoje dve vrste pretpostavki. Prva vrsta pretpostavki vezana je za internu logiku projekta. Na primer, planiranje projekta se moe zasnivati na prepostavci da se korisnici socijalne pomoi (MOP) nalaze u takvom poloaju jer im nedostaju vetine za ulazak na trite, i prema tome se donosi odluka da se iniciraju programi edukacije u preduzetnikim vetinama, obuka za traenje posla ili za osnivanje sopstvenog biznisa. Ovo moe biti ispravna ili neispravna pretpostavka, s obzirom da razlozi za zavisnost od socijalne pomoi mogu biti i socijalna pozadina ili nedostatak socijalnog kapitala. Druga vrsta pretpostavki vezana je za spoljanje faktore ili spoljanju sredinu koja mora postojati da bi projekat bio uspean. Na primer, u sluaju programa za osnivanje sopstvenog biznisa moe se pretpostaviti da e se privatizacija, liberalizacija ili ekonomske reforme nastaviti u kontinuitetu. U sluaju bilo kog projekta, pretpostavie se da e postojati dovoljna politika stabilnost za njegovo uspeno odvijanje. Za bilo koju vrstu pretpostavki, esto je od pomoi da se identifikuje ono na ta se referira kao na kljune pretpostavke. Ovo su pretpostavke od ijeg uspeha zavisi uspeh projekta ukoliko nisu validne, projekat nee uspeti.

3. MONITORING SPECIFINIH I SVEOBUHVATNIH REZULTATA Projekt menaderi sprovode monitoring specifinih rezultata i implementacije oni proveravaju plan rada i porede ga sa stvarnim tokom implementacije. Plan rada je rezime zadataka, vremenskog okvira, i zaduenja. Koristi se kao instrument za monitoring kako bi se obezbedilo postizanje specifinih rezultata i napredak prema sveobuhvatnim rezultatima. Planovi rada opisuju aktivnosti koje treba sprovesti, kao i oekivane specifine i sveobuhvatne rezultate. Tim za upravljanje programom Fonda za socijalne inovacije sprovodi monitoring sveobuhvatnih rezultata/svrha. Tim locira specifine rezultate i meri njihov doprinos u ostvarenju sveobuhvatnih rezultata ili svrha procenjujui promenu u odnosu na polazne uslove. Da bi sproveli efektivno monitoring sveobuhvatnih rezultata ili svrha, lanovi tima Fonda treba da definiu polazne podatke, odaberu indikatore za merenje progresa ka sveobuhvatnim rezultatima, i osmisle mehanizme koji ukljuuju planirane akcije kao to su terenske posete, sastanci uesnika i sistematske analize ili izvetaji.

Upravljanje zasnovano na rezultatima (UZR) je strategija ili pristup upravljanja putem koje organizacija obezbeuje da njeni procesi,

proizvodi i usluge doprinose ostvarenju jasno postavljenih rezultata.

5


(adopted from UNDP, Monitoring and Evaluation Handbook)

3.1. Plan monitoringa Planiranje projekta treba da ukljui planove za monitoring, i po potrebi, prikupljanje polaznih podataka kao i obezbeivanje odgovarajuih sredstava za finansiranje ovih planova. Planovi treba da identifikuju kako e informacije o uinku u aktivnostima monitoringa i evaluacije biti koriene za usmeravanje upravljanja projektom ka postizanju predvienih ciljeva. Planovi monitoringa ukljuuju definiciju svakog indikatora procesa i jedinice merenja, opis izvora podataka za dati indikator; polazne podatke i metode za prikupljanje i obradu podataka, uestalost ili raspored prikupljanja podataka, kao i identifikovanje pojedinaca odgovornih za osiguranje raspoloivosti podataka. Indikatore procesa treba odabrati tako da budu direktni, objektivni, i praktini, u smislu da e veina podataka biti dostupna u intervalima konzistentnim sa potrebama upravljanja. Poeljni su kvantitativni indikatori. Meutim, ukoliko se koriste kvalitativni indikatori, oni moraju biti definisani tako da omogue redovnu, sistematsku, i relativno objektivnu procenu u pogledu promene vrednosti ili statusa indikatora kako bi se olakale procene onog prethodnog i kasnijeg, i onog to se nalazi unutar ili izvan projektne situacije.

Fokusirati se na rezultate pre nego na implementaciju. Razjasniti oekivanja u pogledu zadatak u implementaciji, postavljanje glavnih

repera i zatim sprovoenje. Planirati od poetka kako, ta i kada treba pratiti i evaluirati. Razviti i koristiti indikatore u programima. Analizirati situaciju, monitoringm promena i njihovih implikacija. Predloiti u izvetaju akcije za donoenje odluka. Aktivno uiti iz greaka i uspeha. Bolje saraivati sa spoljnim partnerima. Saraivati sa osobljem na projektu radi objanjenja veze sa sveobuhvatnim

rezultatima ili svrhama.

KAO MENADER PROGRAMA, TA TREBA DA URADIM?

Primeri razliitih postavki praenja:

Ukoliko se prati sveobuhvatni razultat kao to je hraniteljstvo ili briga o deci sa invaliditetom, moe postojati potreba za pristupom koji je u veoj meri participativan, kao i za kvantitativnom analizom;

Ukoliko sveobuhvatni rezultat ukljuuje vei stepen zastupanja, od praenja se

moe zahtevati da zahvati promene u percepciji (koje se registruju anketama korisnika ili fokus grupama) pre nego fizike promene (koje se zahvataju terenskim posetama projektnih lokacija).

6


3.2. Dobar monitoring Kredibilitet nalaza i procena u velikoj meri zavisi od naina na koji se sprovodi monitoring i evaluacija. Principi dobrog monitoringa su sledei:

Dobar monitoring se fokusira na rezultate i pratee akcije. On trai ono to se dobro odvija i ono oko ega nema progresa u smislu napredovanja prema nameravanim rezultatima. To se zatim belei u izvetajima, da bi se dale preporuke i predlozi odluka i akcija koje treba da uslede.

Dobar monitoring zavisi od dobrog planiranja. Ukoliko je projekat loe zamiljen ili poiva

na pogrenim pretpostavkama, ak ni najbolje monitoring ne moe da obezbedi uspeh. Naroito je vano planiranje realistinog lanca sveobuhvatnih i specifinih rezultata i aktivnosti. Menaderi projekta treba da izbegavaju korienje monitoringa za ispravljanje stalno iskrsavajuih problema za koje je potrebno nai trajna reenja.

Dobar monitoring zahteva redovno pohaanje sastanaka FSI i/ili drugih partnera i uesnika

koji imaju za cilj procenu napretka, posmatranje ire slike i analiziranje problemskih oblasti.

Redovna proizvodnja i analiza izvetaja je drugi minimalni standard dobrog monitoringa. Takvi izvetaji, pripremljeni od strane menadera projekata, slue kao osnova za analizu od strane menadera programa FSI.

Monitoring se takoe unapreuje korienjem mehanizama participativnog monitoringa

kako bi se osigurala posveenost, vlasnitvo, pratee akcije i povratni odgovor o uinku. Ovo je nezaobilazno za monitoring sveobuhvatnih rezultata gde se napredak ne moe proceniti bez nekog znanja o tome ta partneri rade. Participativni mehanizmi ukljuuju grupe za sveobuhvatne rezultate, sastanke uesnika i upravnih odbora, i intervjue fokus grupa.

4. INSTRUMENI I MEHANIZMI MONITORINGA Neki od najadekvatnijih instrumenata i mehanizama za monitoring su: terenske posete, projektni izvetaji, grupni pregledi i analize, godinji pregledi i kvantitativna i kvalitativna istraivanja. Forme i pristupi mogu se prilagoditi potrebama projekta, pod uslovom da se odrazi minimum sadrajanaime napredak prema sveobuhvatnim i specifinim rezultatima, kao i partnerstvo.

4.1. Terenske posete Dobar pristup upravljanju podrazumeva sprovoenje redovnih terenskih poseta. Treba obratiti panju na vremensku dinamiku poseta, njihovu svrhu i na to ta se trai kako bi se merio napredak. Politika FSI: Predstavnici Tima za upravljanje projektom FSI treba da posete svaki projekat koji doprinosi stratekim rezultatima FSI i Ministarstva za rad, zapoljavanje i socijalnu politiku bar jednom godinje. Budui da svaki ciklus tendera/finansiranja FSI ukljuuje veliki broj projekata, Tim za upravljanje projektom FSI e doneti odluku o tome koji projekti su od naroitog znaaja i koje prema tome treba posetiti. Vremenska dinamika: Terenska poseta moe da bude planirana u bilo koje vreme tokom godine.

7


Svrha: Svrha terenske posete je procena. Putem njih se procenjuju rezultati o kojima izvetavaju menaderi projekta, naroito u sluaju irih, kljunih projekata koji su sutinskog znaaja za sveobuhvatne rezultate FSI. Fokus: Naglasak terenskih poseta je na posmatranju progresa u postizanju rezultata (sveobuhvatnih i specifinih) koji doprinose ciljevima FSI. Menader projekta treba takoe da razmotri doprinos ekspertize FSI i razvoj stratekih partnerstava i da proceni progres u postizanju sveobuvatnih i specifinih rezultata. Vano je naglasiti da detalji vezani za implementaciju nisu fokus terenskih poseta.

4.2. Izvetaj o projektu Politika FSI: Izvetaj o projektu slui kao osnova za procenu sprovoenja projekata u smislu njihovog doprinosa postizanju nameravanih sveobuhvatnih rezultata kroz specifine rezultate i partnerski rad. To je izvetaj samoprocene koji uprava projekta podnosi Timu za upravljanje programom FSI. Vremenska dinamika: Period izvetavanja je fleksibilan jer se procena sprovoenja projekta moe obaviti bilo kad tokom godine. Najidealnije bi bilo da se izvetaji o projektu pripremaju svakih 6 meseci, pri emu bi se zahvaeni period podudarao sa fiskalnom godinom FSI (januar-decembar). Svrha: Izvetaj o projektu obezbeuje samoprocenu od strane uprave projekta i deo je monitoringa sprovoenja projekta od strane program menadera. Izvetaj o projektu treba da prui taan uvid u rezultate projekta, da identifikuje osnovna ogranienja, i da predloi smernice za ubudue. On pomae upravi projekta kako u partnerskoj organizaciji tako i u Timu za upravljanje programom FSI da ue iz iskustva i da poboljaju uinak. Priprema: Izvetaj o projektu priprema uprava projekta oni koji su nadleni za svakodnevno upravljanje projektom. Tim FSI se povezuje sa upravom projekta i ukazuje na kljuna pitanja za izvetaja. Sadraj i forma Izvetaja o projektu: Izvetaj o projektu je vrlo koncizan i sadri osnovne minimalne elemente potrebne za procenu rezultata, osnovne probleme i predloene akcije. Ovi elementi ukljuuju:

Analizu sprovoenja projekta tokom perioda o kome se izvetava, ukljuujui specifine rezultate koji su ostvareni i, ukoliko je mogue, informacije o statusu sveobuhvatnih rezultata;

Po mogustvu, analizu rashoda i trokova specifinih rezultata po korisniku; Ogranienja u napredovanju prema rezultatima, i razloge tih ogranienja; (Najvie) tri osnovna ogranienja pri postizanju rezultata; Pouke; Jasne preporuke za budui pristup u bavljenju osnovnim problemima koji dovode do zastoja.

Pored minimalnog sadraja, mogu se ukljuiti i dodatni elementi ukoliko to zahteva Tim za upravljanje programom FSI, uprava projekta, ili drugi partneri. Izvetaj moe da sadri pitanja vezana za upravljanje, na primer povodom problema u implementaciji (npr. kako funkcionie organizacija uprave), za adekvatnost pristupa i strategija u implementaciji, za relevantne spoljanje faktore, kao i pitanja vezana za osoblje i timski rad.

8


4.3. Grupni pregledi i analize Drugi vaan nain monitoringa jeste upotreba koordinacionih mehanizama koji ujedinjuju partnere u diskusiji i analizi. Ove grupe za diskusiju nazvaemo Grupni pregledi i analize. Politika FSI: Grupni pregledi i analize fokusiraju se na monitoring sveobuhvatnih rezultata i na doprinos specifinih rezultata u njihovom postizanju. Oni takoe mogu da se bave razmenom optih informacija ili detaljnih informacija o projektu izmeu partnera ukljuenih u sline projekte. Ukoliko ne postoje redovni mehanizmi, Tim za upravljanje programom FSI moe da povee kljune partnere na periodinim sastancima. Projekti treba da budu ukljueni u Grupne preglede i analize jer moraju imati priliku da razmene iskustva i viziju sveobuhvatnih rezultata kojima njihovi specifini rezultati u krajnjoj liniji doprinose. Svrha: Grupni pregledi i analize osiguravaju kontinuiranu razmenu iskustava i procenu sveobuhvatnih rezultata. Oni takoe promoviu partnerstvo. Povezivanje razliitih projekata koji su usmereni na jedinstveni zajedniki sveobuhvatni rezultat moe pomoi da se osigura zbirni efekat i pojaa zajednika strategija za postizanje rezultata izmeu partnera FSI. Participacija: Meu uesnike u Grupnom pregledu i analizi spadaju lanovi tima FSI i menaderi partnerskih projekata, kao i predstavnici Vlade, NVO, lokalnih vlasti i drugi akteri. Fokus: Grupni pregledi i analize procenjuju status projekata; podstiu razmenu informacija i iskustava u bavljenju specifinim preprekama, i pripremaju partnerstvo na buduim projektima. Organizacija: Tim za upravljanje programom FSI organizuje Grupne preglede i analize.

4.4. Godinji pregled

Plitika FSI: Godinji pregled povezuje izvetavanje, povratni odgovor, evaluaciju, i uenje u cilju procene rada FSI. Godinji pregled se sprovodi krajem godine (od oktobra do decembra) kako bi obezbedio informacije za Godinji izvetaj FSI. Svrha: Godinji pregled je menaderski dijalog na nivou Tima za upravljanja programom FSI, Ministarstva rada, zapoljavanja i socijalne politike i donatora koji ima za cilj procenu progresa u postizanju rezultata (sveobuhvatnih i specifinih). Participacija: Celokupan tim za upravljanje programom FSI, predstavnici donatora i Jedinice za socijalnu politiku Ministarstva rada, zapoljavanja i socijalne politike u odreenoj meri su ukljueni u pregled. Takoe su ukljueni i kljuni lokalni i meunarodni partneri. Dokumentacija: Nema formalne dokumentacije koja se zahteva za Godinji pregled, s obzirom da se mogu koristiti razliiti pristupi. Pripremni rad se zasniva na internim diskusijama Tima za upravljanje programom FSI kako bi se izvrio pregled rada, pitanja upravljanja, evaluacije, i drugih relevantnih informacija o toku projekta i napretku u postizanju rezultata. Organizacija: Tim za upravljanje programom FSI organizuje Godinje preglede i sastanke. Zaposleni u Timu za upravljanje projektom FSI piu izvetaj, a rad koordiniraju rukovodilac programa i programski koordinator FSI.

9


5. EVALUACIJA Evaluaciju moe da sprovodi Tim za upravljanje programom FSI, oranizacija zaduena za implementaciju ili nezavisni spoljanji evaluatori (konsultanti). Priprema za evaluaciju zahteva vreme i promiljanje. Neka od pitanja na koja treba obratiti panju u pripremnoj fazi su vremenska dinamika, uesnici, svrha, itd.

5.1. Uvod Svrha evaluacije definie njenu vremensku dinamiku i obim. Ukoliko se, na primer, oekuje da evaluacija specifinih rezultata projekta doprinese uenju i promeni tipa specifinih rezultata u partnerskoj strategiji, nju treba obaviti u ranoj fazi, kako bi se omoguila ova programska promena. Kljuni partneri (predstavnici vlade, meunarodne organizacije, lokalne i meunarodne NVO, donatori, privatni sektor i akademske institucije) treba da budu ukljueni u evaluaciju, kao i uesnici na koje evaluacija utie, ak i ako nisu direktno ukljueni u projekat ili sveobuhvatni rezultat/svrhu. Uesnici mogu biti ukljueni, na primer, kroz sastanke uesnika radi diskutovanja inicijalnih nalaza evaluacionog tima. Evaluacija znaajno utie na razvoj kapaciteta i dimenzije uenja. Prema tome, odluke o tome ko je i u kolikoj meri ukljuen imae efekte na rezultate. Uopteno govorei, to je vei nivo ukljuenosti to je vea verovatnoa da e evaluativno znanje biti korieno i vii e biti stepen vlasnitva nad rezultatima evaluacije i nivo odrivosti (iako vea participacija partnera i uesnika esto implicira vee trokove i ponekad moe voditi smanjenju efikasnosti).

Sugestije za ukljuivanje partnera i uesnika u celokupan proces evaluacije:

Izvriti preliminarnu selekciju partnera i uesnika koji e biti kontaktirani u ranim fazama planiranja evaluacije (npr. pri odabiru sveobuhvatne svrhe/rezultata, definisanju obima, odluivanju o vremenskoj dinamici itd);

Informisati o opisu posla (TOR) i biografijama (CV) odgovarajuih kandidata za evaluacioni tim i obezbediti povratni odgovor od uesnika i partnera, koji mogu da odigraju vanu ulogu u definisanju obima evaluacije sveobuhvatnog rezultata/svrhe;

Upoznati lanove tima sa partnerima i uesnicima; Pozvati partnere i uesnike na radionice sa evaluacionim timom (npr. kada sastavljaju

pitanja za evaluaciju, predstavljaju evaluacioni izvetaj, itd.); Organizovati sa partnerima zajedniku analizu dokumentacije relevantne za evaluaciju i

obezbediti raspoloivost analize za budua ispitivanja evaluacionog tima; Kada je to potrebno, organizovati zajednike terenske misije sa partnerima; Organizovati sastanak sa partnerima i uesnicima nakon pripreme prvog nacrta

evaluacionog izvetaja kako bi se prodiskutovali nalazi; Organizovati pratee aktivnosti sa partnerima i uesnicima i time osigurati interiorizaciju

pouka i preporuka evaluacije.

10


5.2. Kategorije evaluacije Opseg evaluacije sveobuhvatne svrhe/rezultata treba da ukljui najmanje sledee etiri kategorije analize, bilo delimino ili u potpunosti. Kategorije analize:

1. Status sveobuhvatnog rezultata ili svrhe: Da li je sveobuhvatni rezultat ostvaren ili nije i, ukoliko nije, da li ima napretka u njegovom ostvarivanju?

2. Pozadinski faktori: Analiza pozadinskih faktora koji su izvan kontrole organizacije zaduene za

implementaciju (partnerske organizacije FSI) koji utiu na sveobuhvatni rezultat; 3. Doprinos partnera: Da li se specifini rezultati projekta i druge intervencije mogu verodostojno

povezati sa ostvarivanjem sveobuhvatnog rezultata? 4. Strategija partnerstva: Da li je strategija partnerstva (usvojena od strane FSI i organizacije

zaduene za implementaciju) bila adekvatna i efektivna? Opis zadatka u sluaju svih evaluacija, bez obzira na obim, svrhu, vremensku dinamiku, i status evaluatora, mora da sadri sledee informacije:

Uvod: Kratak opis onog to se evaluira (sveobuhvatni rezultat, program, projekat, serije intervencija od strane nekoliko partnera, itd.);

Ciljevi: Zato se evaluacija sprovodi i lista glavnih uesnika i partnera; Opseg: Koja pitanja, teme, oblasti i vremenski period pokriva evaluacija; Proizvodi koji se oekuju od evaluacije: Koje proizvode evaluacija treba da generie (npr.

nalaze, preporuke, pouke, procenu uinka, listu akcionih stavki); Metodoloki ili evlauacioni pristup: Metodologija predloena evaluacionom timu; Evaluacioni tim: Sastav i oblast ekspertize; Postavka implementacije: Ko e voditi evaluaciju i kako e ona biti organizovana.

PRIMERI EVALUCIJE SVEOBUHVATNI REZULTAT

ILI SVRHA KVANTITATIVNA ANALIZA KVALITATIVNA ANALIZA

Unapreenje hraniteljstva Podaci o broju hraniteljskih porodica i dece, geografskoj i socio-ekonomskoj distribuciji, procena trokova po korisniku itd.

Analiza socijalne ukljuenosti, priprema za nezavistan ivot, psiholoko stanje dece i roditelja, nivo prioriteta u zajednici, percepcija korisnika, itd.

Socijalno ukljuivanje Roma Podaci o broju korisnika, socijalnim, ekonomskim i geografskim karakteristikama, vrsti edukacije/treninga, podaci o broju uenika koji su upisani u redovne kole, broj novootvorenih radnih mesta, itd.

Analiza projekata u smislu perecepcije prioriteta od strane korisnika, analiza kvaliteta i efekta edukacije/treninga, kvalitet dobijenih radnih mesta, itd.

11


6. METODOLOGIJA

6.1. Zajedniki sistem ocenjivanja SIF je usvojio UNDP i DFID metodologiju za monitoring i evaluaciju. to se tie sveobuhvatnih rezultata, sistem ocenjivanja sadri tri take: pozitivna promena, negativna promena i nepromenjeno (bez promene). Tri ocene odraavaju napredak u pogledu sveobuhvatnih rezultata, ne pripisujui progres nijednom partneru. Ove ocene treba da odraze stepen napretka u ostvarivanju sveobuhvatnog rezultata ili stepen udaljavanja od njega. Metodologija u sluaju sve tri ocene podrazumeva uporeivanje, mereno indikatorima sveobuhvatnih rezultata, evidencije o pomeranju sa polaznog nivoa ka cilju koji su postavili organizacija za implementaciju i FSI ili o udaljavanju od ovog cilja.

Pozitivna promenapozitivno pomeranje od poetnog nivoa ka cilju; Negativna promenaobratno kretanje ka nivou ispod polaznog; Bez promenenema opaljive promene izmeu polaznog nivoa i cilja.

Za specifine rezultate, sistem ocenjivanja takoe sadri pet taaka:

U potpunosti ostvareno ili e verovatno biti ostvareno do kraja projekta Velikim delom ostvareno ili e verovatno u znaajnoj meri biti ostvareno do kraja projekta Delimino ostvareno ili e verovatno biti delimino ostvareno do kraja projekta Ostvareno u veoma ogranienom obimu ili e verovatno biti ostvareno u veoma ogranienom

obimu do kraja projekta Nije ostvareno ili verovatno nee biti ostvareno do kraja projekta

Ovih pet ocena odraava stepen ostvarenosti specifinih rezultata. One slue kao priblina procena toga koliko je organizacija koja sprovodi implementaciju bila uspena u ostvarivanju specifinih rezultata. Ocene treba da odraze stepen ostvarenosti rezultata poreenjem polaznog nivoa (nepostojanje specifinog rezultata) sa ciljem (ostvarenost specifinog rezultata).

6.2. Kljuni koraci pri odabiru indikatora Definisanje polaznih podataka i cilja Indikator sveobuhvatnog rezultata ima dve komponente: polaznu i ciljnu. Polazna komponenta je situacija pre poetka projekta; to je polazna taka za praenje rezultata. Cilj je situacija koja se oekuje na kraju projekta. (Indikatori specifinih rezultata retko zahtevaju polaznu komponentu budui da se specifini rezultati tek proizvode i polazna situacija se sastoji u tome da oni ne postoje.) Kljuni reperi Moe postojati nekoliko kljunih repera, izmeu polazne i cilljne situacije, koji odgovaraju oekivanom uinku u periodinim intervalima. ta se radi kada nije identifikovana polazna komponenta? Polazna komponenta moe da postoji ak i ako nije specifikovana u vreme formulisanja projekta. U nekim sluajevima, mogue je proceniti koji je priblino bio poetni nivo kada je projekat iniciran.

12


Ponekad nije mogue utvrditi promenu u bilo kom smislu. U tom sluaju, preporuuje se merenje trenutne situacije kako bi se promena mogla proceniti u budunosti. Podaci Preporuuje se upotreba disagregiranih podataka. Dobri indikatori se zasnivaju na osnovnim dizagregiranim podacima koji specifikuju lokaciju, rod, nivo prihoda, i socijalnu grupaciju. Ukljuivanje uesnika Uee treba podsticati pri selekciji kako indikatora sveobuhvatnih tako i specifinih rezultata. Uee tei da promovie vlasnitvo i odgovornost za planirane rezultate, kao i saglasnost oko njihovog ostvarivanja. Preliminarna lista odabranih indikatora specifinih rezultata treba da bude definisana u fazi formulacije projekta, uz direktnu ukljuenost institucije zaduene za voenje projekta i drugih uesnika. Razlikovanje kvantitativnih i kvalitativnih indikatora I kvantitativni i kvalitativni indikatori treba da budu odabrani na osnovu prirode konkretnih aspekata nameravanog rezultata. Efikasnost se, na primer, lako zahvata kvantitativnim indikatorima. Nasuprot tome, za merenje odrivosti neophodne su neke kvalitativne procene stavova i ponaanja budui da ukljuuje prilagodljivost ljudi na promene sredine. Nastojanje da se ogranii broj indikatora Pokazalo se da je veliki broj indikatora kontraproduktivan. Na osnovu raspoloivih informacija, treba razviti nekoliko verodostojnih i dobro analiziranih indikatora koji sutinski zahvataju pozitivne promene u razvoju situacije Bie teko da se indikatori razumeju ili analiziraju ukoliko su suvie kompleksni. Pri planiranju prikupljanja podataka i analize pomou indikatora, menaderi projekta mogu da dou do saznanja da podaci nisu neposredno dostupni. U takvim sluajevima, menaderi projekta bi trebalo da planiraju prikupljanje podataka pomou alternativnih instrumenata i/ili pristupa, kao to su:

Ankete i upitnici o nivou obavetenosti/stavu; Ekspertske panel diskusije; Intervjui sa kljunim ispitanicima; Fokus grupe; Tehnike mapiranja.

13


INDIKATORI I MONITORING

TIP REZULTATA TA SE MERI INDIKATORI NIVO

SPECIFINI REZULTAT

Aktivnost, roba i usluga koje projekat generie.

Implementacija aktivnosti. Uprava projekta i Tim za upravljanje programom FSI

SVEOBUHVATAN REZULTAT ILI SVRHA

Efikasnost ili rezultati u smislu pristupa, iskorienja i satisfakcije uesnika robom i uslugama koje projekat generie

Korienje specifinih rezultata i odriva proizvodnja koristi.

Tim za upravljanje programom FSI

UINAK ILI CILJ

Efikasnost ili rezultati u smislu efekta kombinacije aktivnosti u pravcu sveobuhvatnih rezultata koje dovode do poboljanja uslova na nacionalnom nivou

Korienje sveobuhvatnih rezultata i kontinuirana reforma.

Tim za upravljanje programom FSI i Ministarstvo za rad, zapoljavanje i socijalnu politiku.

7. BIBLIOGRAFIJA

1. Dingle, J. (1997), Project Management: Orientation for Decision Makers, London: Arnold 2. GEF (2002), Monitoring and Evaluation Policies and Procedures, GEF 3. IUCN (2000), Planning, Monitoring and Evaluation Programmes and Projects, IUCN 4. Lefevre P. et al. (2001), Comprehensive Participatory Planning Evaluation, IFAD/Belgian Survival

Fund 5. Lock, D. (1996), Project Management, London: Gower 6. UNDP (1998), Monitoring and Evaluation Handbook, New York: UNDP 7. WB (2002), Poverty Reduction Strategy Source Book, New York, The World Bank

(http://www.worldbank.org/poverty/strategies/sourcons.htm)

14


SADRAJ

1. UVOD 2

2. VOENJE PROJEKTA I PRAENJE I EVALUACIJA 3

2.1. UPRAVLJANJE PROJEKTIMA 3 2.2. OSNOVNE PRETPOSTAVKE 4

3. PRAENJE SPECIFINIH I SVEOBUHVATNIH REZULTATA 4

3.1. PLAN PRAENJA 5 3.2. DOBRO PRAENJE 6

4. INSTRUMENI I MEHANIZMI PRAENJA 6

4.1. TERENSKE POSETE 6 4.2. IZVETAJ O PROJEKTU 7 4.3. GRUPNI PREGLEDI I ANALIZE 8 4.4. GODINJI PREGLED 8

5. EVALUACIJA 9

5.1. UVOD 9 5.2. KATEGORIJE EVALUACIJE 10

6. METODOLOGIJA 11

6.1. ZAJEDNIKI SISTEM OCENJIVANJA 11 6.2. KLJUNI KORACI PRI ODABIRU INDIKATORA 11

7. BIBLIOGRAFIJA 13

Documents

Prirucnik Za Monitoring i Evaluaciju