252009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

25

SantraukaPagrindinis visuomenės sveikatos programų tikslas yra susirgimų ir mirčių prevencija ir (ar) kontrolė. Visuomenės

sveikatos programos orientuojamos į svarbiausių problemų priežasčių šalinimą, dalyvaujant dideliam bendruomenės narių ir organizacijų skaičiui. Planuojant, vykdant ir įgyvendinus visuomenės sveikatos programas vertinamas jų efektyvumas. Programos vertinimas gali būti apibrėžiamas kaip sisteminis ir objektyvus jos kokybės ar vertės nustatymas, metodiškai renkant, analizuojant ir interpretuojant informaciją. Vertinimu ne tik nustatoma programos vertė, bet ir sukuriamas grįžta-masis ryšys, nusprendžiant, kad kažkas joje yra gerai ar blogai, teisinga ar neteisinga. Platesniu aspektu vertinimas nusako programos poveikį, vertę ir kokybę jos efektyvumo didinimo, tobulinimo ir vykdymo atžvilgiu. Gerai atliktas vertinimas suteikia patikimos ir naudingos informacijos, kuri leidžia priimti sprendimus ir užtikrinti nuolatinį programų vykdymo tobulinimą. Straipsnyje apžvelgiami pagrindiniai programų vertinimo tipai, principai, modeliai ir metodai, kuriuos reikia žinoti planuojant visuomenės sveikatos programų vertinimus.

Raktažodžiai: visuomenės sveikata, programų vertinimas, formuojamasis vertinimas, apibendrinamasis vertinimas, vertinimo principai, vertinimo tipai ir modeliai.

Visuomenės sVeikatos pRogRamų VeRtinimas

Rasa Povilanskienė, Vytautas JurkuvėnasHigienos institutas

ĮvadasSiekiant, kad visuomenės sveikatos programų

vertinimas (programų vertinimas) taptų tradicija ir poreikiu, būtina suprasti, jog neefektyvios visuome-nės sveikatos intervencijos kainuoja didžiulius pini-gus, kuriuos galima investuoti į efektyvesnes visuo-menės sveikatos programas. Valdžios institucijoms būtina geriau suprasti potencialią vertinimo naudą ir tai, kaip vertinimo rezultatai gali teigiamai prisidėti prie politikos formavimo ir programų įgyvendinimo tobulinimo, o vertinantiems specialistams būtina ir toliau siekti pažangos vertinimo srityje [1].

Pagrindinis visuomenės sveikatos programų tiks-las yra susirgimų ir mirčių prevencija arba kontrolė. Visuomenės sveikatos programos orientuojamos į svarbiausių problemų priežasčių šalinimą, dalyvau-jant dideliam bendruomenės narių ir organizacijų skaičiui. Šalia tradicinių visuomenės sveikatos pro-blemų sprendimo būdų (vakcinacijos ir sanitarinių sistemų keitimo) dabar vykdomos sudėtingos visuo-menės požiūrio ir elgesio pokyčių siekiančios pro-gramos, reikalaujančios sudėtingesnių sprendimų. Kartais programos, kurios gerai funkcionuoja vienoje vietoje, kitoje patiria nesėkmę ir yra neveiksmingos

dėl skirtingų ekonominių, socialinių, demografinių, kultūrinių, organizacinių ir kitų sąlygų. Siekiant nu-statyti programų sėkmės ar nepasisekimo priežastis būtina atlikti jų vertinimą [2].

Programos vertinimas gali būti apibrėžiamas kaip sisteminis ir objektyvus jos kokybės ar vertės nustaty-mas, metodiškai renkant, analizuojant ir interpretuojant informaciją. Vertinimu ne tik nustatoma programos vertė, bet ir sukuriamas grįžtamasis ryšys, nuspren-džiant, kad kažkas joje yra gerai ar blogai, teisinga ar neteisinga [3, 4]. Platesniu aspektu vertinimas nusako programos poveikį, vertę ir kokybę jos efektyvumo di-dinimo, tobulinimo ir vykdymo atžvilgiu. Vertinimas turi suteikti patikimos ir naudingos informacijos, kuri leistų priimti sprendimus ir užtikrintų nuolatinį pro-gramų vykdymo tobulinimą [2, 5, 6].

Programų vertinimas ne tik skatina pokyčius, bet ir prisideda prie atskaitomybės kokybės gerinimo. Žvelgiant į praeitį, vertinimas padeda suprasti pro-gramų pasekmes ir atsiskaityti už lėšų panaudojimą, o žiūrint į ateitį, padeda susisteminti sukauptą patirtį, naudingą gerinant įgyvendinamas ir būsimas progra-mas [7, 8, 9].

Programų vertinimas naudoja nemažai tradicinių socialinių tyrimų metodologijos. Maža to, progra-mos vertinamos atsižvelgiant į politinį ir institucinį kontekstą, nagrinėjami gebėjimo valdyti ir vado-vauti, politinių gabumų, jautrumo, įžvalgumo ir kiti įgūdžiai, kuriais socialiniai tyrimai ne visuomet pa-sitiki [2, 4].

Adresas susirašinėti: Rasa Povilanskienė,Higienos institutas,Didžioji g. 22, 01128 Vilnius.El. p. rasa@hi.lt

26 2009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

26

Vertinant programas dalyvauja trys pagrindiniai dalyviai: a) institucijos, atsakingos už vertinimo pla-navimą, užsakymą, valdymą, kokybės kontrolę ir rezultatų panaudojimą; b) vertintojai, atsakingi už vertinimo darbų vykdymą; c) suinteresuoti dalyviai, įskaitant politikos formuotojus ir sprendimų priėmė-jus, bendradarbiaujančias organizacijas, susijusias su programos įgyvendinimu, galutinius naudos gavėjus ir kitus subjektus, suinteresuotus programos pasekmėmis [7].

Programų vertinimo tiPaiLiteratūroje dažniausiai išskiriami formuoja-

masis ir apibendrinamasis programų vertinimai, kurie savotiškai klasifikuoja programų vertinimo tipų įvairovę. Formuojamasis vertinimas orientuo-jasi į produkto ir tam naudojamų resursų ir veiklų vertinimą, o apibendrinamasis vertinimas – į gautus rezultatus, jų sąsajas su produktu, nevertindamas veiklos, kuri sąlygojo tuos rezultatus (1 pav.). Ver-tinimo teoretikas Robert‘as Stakes‘as yra pasakęs: „Kai virėjas ragauja sriubą – tai formuojamasis ver-tinimas. Kai svečiai ragauja sriubą – tai apibendri-namasis vertinimas“ [10, 12, 13].

Formuojamasis vertinimas taikomas planuo-jant veiklą ar ją vykdant, norint sužinoti, ką reikia patobulinti. Šis vertinimas rodo, ar visi progra-mos elementai yra reikalingi, suprantami ir tin-kami numatomai populiacijai. Jis taip pat leidžia įvertinti programos pateikimą, įgyvendinimo ko-kybę, programos vykdytojus, veikimo metodus, išteklius bei daryti įvairias modifikacijas pla-nuojant ar vykdant pačią programą. Šitaip padi-dinama tikimybė, jog programa bus sėkmingai įvykdyta. Pagrindiniai formuojamojo vertinimo privalumai yra greitas grįžtamosios informacijos, paremtos dokumentais, pateikimas vykdytojams.

Informacijos rinkimas ir analizavimas padeda atskleisti, kaip įgyvendinama programa. Įvykių pagrindimas dokumentais rodo, kokie metodai faktiškai naudojami, o tai padeda geriau suformu-luoti netikėtas problemas ir aiškiai įvardyti, kas yra padaryta pradinėse ir ankstyvose programos vykdymo stadijose [12, 14].

Formuojamasis vertinimas apima ir planavimą, nes programos įgyvendinimo palyginimas su planu gali sąlygoti planų, programos tikslų, uždavinių ir priemo-nių peržiūrėjimą. Tokiu būdu formuojamasis vertini-mas prisideda prie tolesnio programos planavimo ir įgyvendinimo tobulinimo [15, 16].

Formuojamasis vertinimas gali būti skaidomas į smulkesnes dalis: poreikių, proceso (arba įgyvendini-mo) ir vertinimo vertinimą (1 lentelė) [3, 4, 12, 14]. • Poreikių vertinimas padeda nustatyti, kam reika-

linga programa, ar yra jos poreikis ir kas galėtų patenkinti tą poreikį.

• Proceso (įgyvendinimo) vertinimas fokusuotas į programos turinį, įgyvendinamumą, pasekmes, programos įgyvendinimo tikslumą, metodų pri-taikymą, tačiau jis gali būti sutelktas išimtinai tik į proceso vertinimą, neatsižvelgiant į programos rezultatus.

• Vertinimo vertinimas nustato, ar pats programos vertinimas yra įmanomas ir įvykdomas ir kaip su-interesuoti dalyviai gali padėti vertinimą padaryti kuo naudingesnį [17, 18, 19, 20]. Apibendrinamasis vertinimas atliekamas no-

rint nustatyti bendrą programos kokybę arba vertę. Šį vertinimą galima vadinti atsiskaitomuoju, nes jis dažnai atliekamas veiklą reguliuojančių institucijų užsakymu, kurioms reikia atsiskaityti už pasiektus galutinius rezultatus [21, 22]. Apibendrinamasis ver-tinimas naudojamas ir pasibaigus kokiai nors veiklai,

1 pav. pagrindiniai vertinimo tipai [11]

272009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

27

pasiekus rezultatus, kai siekiama išsiaiškinti, ar jie to-kie, kokių tikėtasi, ar programa pasiekė lauktą efektą, pasekmes [15, 20]. Keletas konkrečių pavyzdžių, kai reikalingas bendros programos vertės (kokybės) nu-statymas (įvertinimas) [3]:• atsiskaitant programos finansuotojams, vado-

vams, vykdytojams, partneriams, rėmėjams, t. y. „investicijų grąžinimas“;

• priimant tolesnius sprendimus, t. y. sprendžiant, ar konkreti intervencija, paslauga, priemonė ir pan. yra verta įgyvendinti, tęsti, pirkti ir t. t.;

• pasirenkant tarp alternatyvų: kokias intervenci-jas įgyvendinti, kokias programas tęsti ir pan.;

• atliekant konkurencinę analizę: programos produk-tų, paslaugų ar praktikos palyginimą su konkuren-tais, siekiant nustatyti jų kokybę, kiekybę, paklausą;

• naudojant kaip rinkodaros įrankį: programos, jos rezultatų, intervencijų poveikio dokumentavimas, vėliau naudojamas kaip programos ar intervenci-jos kokybės įrodymas. Apibendrinamasis vertinimas, kaip ir formuoja-

masis, gali būti skaidomas į smulkesnes dalis: rezul-tatų vertinimą, poveikio vertinimą ir ekonominį ver-tinimą (1 lentelė) [4, 11, 23]. • Rezultatų vertinimas tiria, ar programa pasiekė iškel-

tų tikslų rezultatus, planuotus efektus ir pasekmes.

1 lentelė. programų vertinimo tipai ir jų pritaikymas [23]

Vertinimo tipas Kada naudojamas? Ką parodo? Kodėl naudingas?

Formuojamasis vertinimas

Poreikių vertinimas

• Planuojant programą ir vykdant programą

• Kai programa yra mo-difikuojama arba taiko-ma naujai populiacijai

• Ar siūlomi programos ele-mentai yra reikalingi, supran-tami ir priimtini numatomai populiacijai

• Ar yra programos poreikis ir kas patenkintų tą poreikį

• Leidžia modifikuoti programos planavimą• Didina programos sėkmės tikimybę• Padeda nustatyti ir patenkinti visuome-

nės lūkesčius, norus ir poreikius• Leidžia įvertinti programos pateikimą,

kokybę, veikimo metodus, išteklius

Proceso vertinimas

• Įgyvendinant programą

• Kaip įgyvendinama programa • Ar programa vykdoma pagal

planą • Ar programa yra prieinama ir

priimtina tikslinei populiacijai

• Numato, įspėja arba nustato tikėtinas problemas

Vertinimo vertinimas

• Planuojant bet kurios programos dalies vertinimą

• Kiek įmanomas ir įvykdomas vertinimas remiantis tikslais ir uždaviniais

• Didina programos sėkmės tikimybę• Leidžia modifikuoti programą ir

vertinimą

Apibendrinamasis vertinimas

Rezultatų vertinimas

• Kai programa palietė bent vieną asmenį ar grupę iš tikslinės populiacijos

• Pasibaigus programai

• Laipsnį, iki kurio programa gali pakeisti numatomos populiacijos elgesį

• Ar programa pasiekė pla-nuotus rezultatus, efektus, pasekmes

• Parodo, ar programa efektyvi, atsi-žvelgiant į joje numatytus tikslus ir uždavinius

Poveikio vertinimas

• Programos vykdymo metu atitinkamais intervalais

• Programos pabaigoje

• Galutinio tikslo įgyvendinimo laipsnį (pvz., kiek programa sumažino sergamumą)

• Suteikia įrodymų, panaudojamų poli-tikoje ir (ar) priimant sprendimus dėl finansavimo

Ekonominis vertinimas

• Programos pradžioje ir pabaigoje

• Kokie resursai bus naudojami įgyvendinant programą ir jų efektyvumas, naudingumas (tiesioginis ir netiesioginis) lyginant su rezultatais

• Įtraukia programos vadovus ir rėmėjus lyginant kainą ir resursus su rezultatais

28 2009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

28

• Poveikio vertinimas yra platesnis nei rezultatų ir vertina programą kaip visumą – planuotą ir nepla-nuotą programos poveikį.

• Ekonominis vertinimas apima kainų analizę, kai-nų ir efektyvumo vertinimą, kainų ir naudingumo analizę ir pan. Jis nustato efektyvumą standarti-zuojant programos rezultatus ir išreiškiant juos pinigine išraiška [18, 19, 23, 24]. Ne visuose šaltiniuose minimas formuojamasis ir

apibendrinamasis programų vertinimas, nors autoriai aprašo ir išskiria panašius vertinimo tipus [11, 24, 25, 26]. Amerikos ligų kontrolės ir prevencijos centras išskiria tik formuojamąjį vertinimą, o apibendrina-masis vertinimas, kaip atskiras vertinimo tipas, neiš-skiriamas [11]. Neretai tiesiogiai naudojami proceso, įgyvendinimo, poveikio, rezultatų, efektyvumo ir kiti vertinimo terminai. Dėl pasitaikančio vartojamų ter-minų painiojimo vertintojai raginami vartoti nuose-klią kalbą, kad vertinimo rezultatai būtų suprantami ir interpretuojami teisingai [4, 16, 20, 27].

Laiko požiūriu galima išskirti tris vertinimo tipus: išankstinį, tarpinį ir galutinį programos vertinimus. Išankstinis programos vertinimas atliekamas iki jos įgyvendinimo pradžios. Jo tikslas – išanalizavus turi-mą ar papildomai surinktą informaciją, įvertinti, kaip programos tikslas atitinka strateginiuose planuose iš-keltus tikslus, nustatyti jos tinkamumą ir efektyvumą, naudingumą ir suderinamumą su kitomis programo-mis. Jo metu taip pat turi būti nustatyta, kiek asignavi-mų, žmogiškųjų išteklių reikės programai vykdyti, ar reikės institucijų struktūrinių pakeitimų, ar programos įgyvendinimo sąnaudos neviršys planuojamos naudos ir kas, kaip ir kada įgyvendins programą [7, 28].

Tarpinis programos vertinimas paprastai atliekamas rengiant programos įgyvendinimo ataskaitas pasibai-gus biudžetiniams metams, kai vertinami programos vykdymo rezultatai. Šio vertinimo tikslas – atsižvel-giant į įgyvendinimo eigą, nustatyti, kokių pokyčių reikia, kad būtų užtikrintas programos vykdymo efek-tyvumas, rezultatyvumas ir naudingumas, taip pat atsi-žvelgiant į vertinimo išvadas spręsti dėl tolesnio atitin-kamos programos vykdymo, jos patikslinimo [6].

Galutinis programos vertinimas atliekamas įgy-vendinus programą, praėjus tam tikram laikotarpiui (terminai priklauso nuo programos svarbos, pasi-rinktų vertintojų, galimybių surinkti informaciją ir įvertinti galutinį programos poveikį). Vertinimo tiks-las – nustatyti, ar (ir kokiu mastu) vykdant programą pasiekti numatyti tikslai, kokia nauda ir koks galimas ilgalaikis poveikis. Jo metu lyginami planuoti ir gauti rezultatai, vertinamas pasiekimo laipsnis, prireikus

analizuojamos planuotų rezultatų neįgyvendinimo priežastys, lėšų panaudojimo efektyvumas. Galuti-niame programos vertinime analizuojama, kas būtų, jei programa būtų neįgyvendinta, sprendžiama, kaip būtų galima pagerinti panašių būsimų programų efek-tyvumą ir rezultatyvumą [2, 6, 28].

Jeigu pagrindinis vertinimo tikslas – atskaitingu-mas, svarbu, kad vertinimas būtų nepriklausomas, t. y. tarp vertintojų neturėtų būti gerais ar blogais re-zultatais suinteresuotų asmenų. Tačiau kai tikslas yra organizacijos noras tobulėti, mokytis iš savo sėkmių ir nepasisekimų, tai nepriklausomas vertinimas nėra esminis dalykas – vertinime gali dalyvauti ir progra-mos dalyviai, ir suinteresuoti asmenys [3].

Atsižvelgiant į tai, kas vertins programą, svarbu api-brėžti, ar bus atliekamas vidinis ar išorinis vertinimas. Vidinis vertinimas, kitaip dar vadinamas savianalize arba savęs vertinimu, tai vertinimas, kurį atlieka progra-mą įgyvendinančios institucijos darbuotojai (programos rengėjai, koordinatoriai, darbo grupė ir pan.). Tai pačios institucijos iniciatyvos ir motyvacijos rezultatas. Išorinį vertinimą atlieka asmenys, nepriklausantys programą įgyvendinančiai institucijai (nepriklausomi ekspertai, kita institucija ir pan.) [2, 6, 29].

vertinimo metodai ir modeliai Nėra geriausio vertinimo metodo, modelio ar me-

todologijos, nes jų taikymas priklauso nuo vertintojo ir konteksto specifikos, vertinamų aspektų ir priorite-tų, vertinimui skirtų išteklių, laiko ir kt. Vertinant pro-gramą svarbu taikyti mišrius vertinimo metodus (lo-ginius, kiekybinius, kokybinius), pasirinkti tinkamą vertinimo modelį, apgalvotai suformuluoti vertinimo klausimus ir nustatyti vertinimo kriterijus [3, 27, 34]. 2 lentelėje pateikiami pagrindiniai literatūroje siūlo-mi vertinimo metodai ir jų taikymas atsižvelgiant į vertinimo tipą.

2 lentelė. Vertinimo tipai ir naudojami metodai [7, 30, 31]

Vertinimo tipas Dažniausiai taikomas metodas

Išankstinis vertinimas

Gairių naudojimas (benchmarking), ekspertų nuomonė / pasitarimai, stiprybių, silpnybių, galimybių, grėsmių analizė (SSGG)

Tarpinis vertinimas

Antrinių duomenų, dokumentų analizė, apklausos, interviu, fokus grupės, atvejų analizė (case studies)

Galutinis vertinimas

Statistinių duomenų analizė, gairių naudojimas, apklausos

292009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

29

Pasirinkus vertinimo modelį, svarbiausiu klausi-mu tampa informacijos rinkimas. Tik turint patikimus ir kokybiškus duomenis gali būti tinkamai įvertintas ryšys tarp programos priemonių ir jos pasekmių. Pirmiausia siūloma įvertinti oficialios statistikos, anksčiau atliktų vertinimų ar studijų rezultatų panau-dojimo galimybę ir tik vėliau svarstyti papildomų kiekybinių ir kokybinių duomenų rinkimo būtinybę, naudojantis vienu ar keliais žemiau pateiktais duo-menų rinkimo metodais [2, 7].• Apklausos (Questionnaire surveys) metodas. Ap-

klausa leidžia gauti atsakomąją reakciją iš insti-tucijų ir galutinių naudos gavėjų, tačiau imtis turi būti reprezentatyvi visos tikslinės grupės atžvil-giu. Todėl šis metodas reikalauja kompetencijos sudarant gerą klausimyną, parenkant tinkamus klausimus, apklausos formą ir pan. Tik tinkamai parengus anketą ir pasirinkus geriausią apklausos metodą galima užtikrinti reikiamą dalyvavimą.

• Interviu. Šis metodas tinka beveik visuose verti-nimo etapuose tiek retrospektyviniams, tiek pros-pektyviniams duomenims rinkti. Pokalbiai daž-niausiai vykdomi su suinteresuotais asmenimis. Interviu ypač naudingas renkant detalią infor-maciją apie programos procesą, t. y. kaip viskas vyksta ir kodėl.

• Atvejų analizė (case studies). Metodas dažniau-siai taikomas duomenims apibendrinti ir analizei apie konkretų objektą (pvz., instituciją, priemonę, įvykį ir pan.). Panaudojant duomenis, surinktus skirtingais būdais ir iš įvairių informacijos šalti-nių (trianguliaciją) bei atliekant analizę iš skirtin-gų teorinių perspektyvų, gerokai padidėja vertini-mo patikimumas.

• Ekspertų nuomonė (expert panel). Pasirenkami ekspertai pagal tam tikrus kriterijus, pvz., kvali-fikaciją, žinias, patirtį ir pan., ir fiksuojamos jų nuomonės apie duomenis, kaip duomenų šaltinis gali būti naudingas vertinant.

• Fokus grupės (focus groups). Čia remiamasi ne-didelių grupių diskusija. Metodas gali būti nau-dojamas kaip priemonė duomenims apie egzistuo-jančius arba įvykusius procesus, efektus arba apie galimus numatomus įvykius ar situacijas rinkti. Šie duomenys gali sąlygoti įgyvendinamos pro-gramos pasekmes. Taip pat šis metodas gali būti naudojamas rengiant kitus duomenų rinkimo įran-kius (pvz., anketas ar klausimynus) [29, 32].Kad ir kokie duomenų rinkimo metodai būtų

pasirinkti, svarbiausia, kad duomenys būtų patiki-mi ir pagrįsti.

Kokybinių duomenų analizė efektyviausia, kai ji vyk-doma struktūriškai, aiškiai ir panaudojant įvairius duome-nų rūšiavimo ir grupavimo metodus, tarp jų [2, 13, 29]:• kodavimą ir grupavimą (coding and abstraction),

apimantį sąvokų kategorijų, kurios naudojamos duomenims koduoti, identifikavimą, taip pat duo-menų kategorijų grupavimą bendroms išvadoms formuluoti;

• duomenų matricų (data matrices) sudarymą, api-mantį pagrindinių temų (objektų) identifikavimą ir duomenų rūšiavimą;

• dažnių skaičiavimą (frequency count), nustačius pagrindines temas ir suskaičiavus, kiek kartų tema paminėta duomenyse;

• kokybinę duomenų laiko eilutės analizę (time-series qualitative data analysis), chronologinį duomenų tvarkymą ir išdėstymą, kuris suteikia vertingos informacijos apie programos vykdymą, įvykius ir padeda rasti priežastinius ryšius. Kiekybiniai duomenys gali būti analizuojami pa-

naudojant įvairias technikas, kurios gali apimti dau-giau nei pirminę duomenų apžvalgą (aprašomąją sta-tistiką), kartu ir ekonometrinį modeliavimą ir pan. [1, 2]. Analizuojant duomenis ne visada būtina rinktis sudėtingą statistinę analizę, kuri gali įnešti painiavos ir nepateikti reikiamų atsakymų. Kartais geriau apsi-riboti paprasta, bet nuodugnia statistine analize, tin-kančia programos pokyčiams vertinti [29, 30, 33].

Specifinės visuomenės sveikatos programos turi tos srities specialistų parengtas programų vertinimo rekomendacijas, įvardinančias svarbiausius nagrinė-tinus klausimus, vertinimo kriterijus ir net vertinimų organizavimą [23, 50, 51, 52]. Platesne, metodolo-gine, prasme labiausiai pripažinti yra Amerikos ligų kontrolės ir prevencijos centro (CDC) ir M. Scriven‘o KEC modeliai.

CDC modelis Jau 1999 m. CDC publikavo visuomenės sveika-

tos programų vertinimo modelį ir su juo susijusias rekomendacijas [36]. Modelis sudarytas iš šešių eta-pų ir keturių principų, remiasi logika, kad geras ver-tinimas ne apsiriboja tik tikslių įrodymų rinkimu ir svarių išvadų pateikimu, bet teikia ir kitų reikšmingų rezultatų (2 pav.) [11, 27, 35].

pritraukti dalyvius, suinteresuotus asmenis1. Svarbu pasiekti, kad vertinime dalyvautų ar nuo-

monę išsakytų tie, kurie suinteresuoti vertinama pro-grama, konkrečiai tie asmenys, kuriuos programa veikia tiesiogiai. Tai užtikrina vertinimo naudingumą

30 2009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

30

ir patikimumą. Taip tampa aiškesni vaidmenys, pareigos ir atsakomybės, išvengiama realių ar bręstančių interesų konfliktų. Taigi sėkmingam vertinimui reikia įtraukti suinteresuotus dalyvius planuojant, įgyvendi-nant ir interpretuojant vertinimą bei jo rezultatus.

aprašyti programą2. Detalus vertinamos programos aprašymas ir ty-

rinėjimas, įskaitant tikslus, uždavinius, pokyčių teorijas, planuojamus efektus ir sėkmės rodiklius, yra esminis ir būtinas vertinimo elementas. Šioje dalyje gali būti sudarytas loginis programos modelis, kuris padėtų užtikrinti nešališkumą ir tikslumą, palengvin-tų supratimą, kaip programa ar jos dalys siejasi su platesniu institucijos, bendruomenės ir kitų panašių programų kontekstu.

susitelkti ties vertinimo planu3. Ši dalis reikalauja bendradarbiavimo su suintere-

suotais dalyviais, siekiant geriau suprasti tikslą, nu-matomų rezultatų panaudojimą ir naudos gavėjus bei gauti atsakymus į specifinius klausimus. Svarbu nu-statyti praktinius dalyvių atrankos, duomenų rinkimo, analizės ir interpretacijos metodus. Tai padeda garan-tuoti duomenų kokybę ir vertinimo įgyvendinimą.

surinkti patikimus duomenis4. Patikimų ir tinkamų duomenų rinkimas reikalin-

gas siekiant užtikrinti, jog vertinimo rezultatai yra

naudingi suinteresuotiems asme-nims. Svarbu įsitikinti, jog asme-nys, atsakingi už duomenų rinki-mą, analizę ir interpretavimą, yra kompetentingi ir tinkamai apmoky-ti dirbti su reikiamais tyrimo meto-dais. Visame vertinimo procese, o ypač šioje dalyje, turi būti aptarti etiniai aspektai. Būtinas vertinimo dalyvių informuotas sutikimas ar (ir) pasižadėjimas išsaugoti kon-fidencialumą prieš įsitraukiant į vertinimo procesą (pavyzdžiui, in-terviu ir pan.), kad būtų apsaugotos dalyvių teisės.

pagrįsti išvadas ir reko5. men dacijas

Tai apima gautos programos in-formacijos kritinę analizę ir sintezę. Svarbu aptarti visas svarbiausias alternatyvias duomenų ir rezultatų

interpretacijas ir suformuluoti aiškias veiksmų ir pa-keitimų rekomendacijas, kurios susijusios su gautais vertinimo rezultatais.

užtikrinti naudą ir pasidalyti patyrimais6. Kadangi baigus vertinimą būtina suinteresuotus

dalyvius informuoti apie vertinimo procedūras ir re-zultatus, apie rezultatų įtaką ir panaudojimą naujiems sprendimams ir tolesniems programos veiksmams ir pokyčiams, vėl sugrįžtama į pirmąją modelio ciklo dalį – pritraukti suinteresuotus dalyvius [11, 17, 35].

CDC modelio etapai pagrįsti principais (vadina-maisiais standartais): naudingumu, įgyvendinamumu, tinkamumu, tikslumu. Šie principai ne nurodo verti-nimo seką, o sumažina pasirinkimą iš daug galimų variantų kiekviename vertinimo etape. Pavyzdžiui, etape „pritraukti suinteresuotus dalyvius“ principai gali praplėsti mąstymo lauką sprendžiant, kas bus programos suinteresuotasis dalyvis, kartu gali jį ir su-mažinti, keliant principais pagrįstus klausimus: Kas panaudos gautus rezultatus? (Naudingumas); Kiek laiko ir pastangų gali būti skirta suinteresuotam da-lyviui pritraukti? (Įgyvendinamumas); Atsižvelgiant į etiką, su kuriais suinteresuotais dalyviais turi būti konsultuojamasi: ar tais, kurie dirbo su programa, ar bendruomene, kurioje programa veikė? (Tinka-mumas); Kaip plačiai reikia pritraukti suinteresuotus dalyvius, kad būtų galima tiksliai ir išsamiai įvertinti programą? (Tikslumas).

2 pav. amerikos ligų kontrolės ir prevencijos centro visuomenės sveikatos programų vertinimo modelis (CDC, 1999) [36]

312009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

31

Taigi CDC modelis remiasi fundamentaliu požiū-riu, kad nėra vienintelio programos vertinimo, kurį galima būtų pavadinti teisingu per programos gyva-vimo laikotarpį. Bet koks įvertinimas gali būti tinka-mas ir tai priklauso nuo situacijos. Šis modelis yra gana informatyvus, padeda planuoti ir konkretizuoti vertinimą, išskirti pagrindinius elementus ir visapu-siškai įvertinti programą.

Literatūroje aprašomi panašūs į CDC, bet šiek tiek modifikuoti modeliai, besiremiantys tais pa-čiais pagrindiniais principais ir etapais, tačiau jie praplečiami, papildomi ar suskirstomi į smulkes-nius etapus [27, 37]. Tai rodo, jog CDC modelis yra plačiai paplitęs, daugeliui žinomas ir dažnai naudojamas kaip kitų vertinimo modelių pagrindas [15, 23, 27, 38].

3 pav. M. scriven‘o KeC vertinimo modelis (Key evaluation checklist, 2007) [3]

Parengiamosios priemonės (bazinė informacija apie vertinimo objektą)A.

I. Santrauka Keli puslapiai apie programą ir rezultatus.

II. Įžanga Kas suinteresuotas vertinimu ir kodėl?Kokie yra pagrindiniai vertinimo klausimai (kriterijai)? Kam skirtas vertinimas?

III. Metodologija Koks yra bendras vertinimo metodas (pvz., pusiau eksperimentas, dalyvaujant programos dalyviams, ir t. t.?)

PB. agrindai (informacija apie programą, kam ji skirta, ir vertės, kurias taikysime jai vertinti)

1. Pagrindimas ir situacijaKodėl ši programa atsirado (pirmoje vietoje)?

2. Vertinimo objektas ir apibrėžimaiDetalus programos apra-šymas, kad kiekvienas galėtų suprasti, kas tai ir ką ji daro.

3. Programos naudos gavėjai Kas yra tikrieji ar po-tencialūs programos recipientai (pvz., demo-grafiniai duomenys)?

4. Ištekliai Kokie ištekliai yra (buvo) galimi sukurti, palaikyti ir padėti programai pasisekti?

5. VertėsKuo remiantis bus nustatyta, ar pro-grama yra aukštos kokybės, vertinga ir pan.?

DC. alinis vertinimas (vertinami atskiri elementai)

6. Proceso vertinimas Ar geras, vertin-gas, efektyvus yra programos turinys, modelis ir įgyvendinimas?

7. Rezultatų vertinimas Ar geras ir vertingas yra poveikis (planuo-tas ir neplanuotas) tiesioginiams reci-pientams ir kt.?

8 ir 9. Kainų palyginimasKą ši programa reiškia vartotojams, finansuo-tojams, personalui ir pan.? Galimų alterna-tyvų, naudojant tuos pačius resursus, paly-ginimas – ar galima pasiekti panašios vertės ar didesnių rezultatų? Ar išlaidos per didelės, priimtinos ar labai pateisinamos?

10. Tinkamumas eksportui Kokie programos ele-mentai ją daro vertingą ar reikšmingą kitiems?

Išvados ir reikšmėsD.

11. Bendra reikšmė (sintezė). Kokios yra pagrindinės sritys, kuriose programa gerai veikia ir kuriose dar nepakan-kamai? Ar tai efektyviausias resursų naudojimas, tenkinant reikalingus poreikius be per didelio neigiamo poveikio?

12. Rekomendacijos ir paaiškinimai Gilesnė analizė: kodėl ir kaip viskas vyko (gerai / blogai, įtraukiant tobulini-mo rekomendacijas).

13. Įsipareigojimai Gilesnė analizė: kas buvo atsakingas už gerus / blogus rezultatus.

14. Pranešimai ir tolesnės priemonės Kas gaus vertinimo kopijas ir kokios formos (pvz., raštu, žodžiu, detalizuota versija, santrauka).

15. Metavertinimas Kritinis stiprybių, silpnybių paties vertinimo vertinimas (pvz., ar tin-kamai užpildyti visi KEC punktai?) ir išvados apie bendrą vertinimo nau-dingumą, tinkamumą, teisingumą.

keC modelis Pastaraisiais metais išpopuliarėjo M. Scriven‘o KEC

modelis (Key evaluation checklist – bazinio vertinimo kontrolinis sąrašas, 2003, 2007) (3 pav.), kuris yra nuo-lat atnaujinamas ir pritaikomas atsižvelgiant į vertinimo kultūros ir įvairių programų pokyčius [3, 39].

M. Scriven‘o modelis gali būti naudojamas ne tik kaip kontrolinis būtinų sudėtinių dalių sąrašas vien-tisam vertinimui atlikti, bet ir kaip pagrindas planuo-jant ir pristatant vertinimą. Jį turi gerai išmanyti ver-tinimo komandos nariai, kad užtikrintų visapusišką ir patikimą vertinimą [3, 40].

KEC modelis (3 pav.) prasideda parengiamosio-mis priemonėmis, trimis pradiniais elementais, kurie turi būti aprašyti vertinimo pradžioje. Šioje dalyje pateikiama vertinimo priežastis ir metodai [3, 39].

32 2009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

32

a. parengiamosios priemonės (i–iii)

I. SantraukaTai kelių puslapių programos apžvalga su pagrin-

dinėmis įžvalgomis: pagrindimas, bendras programos kontekstas, vertinimo motyvai ir pan.

II. ĮžangaŠioje dalyje pateikiamas ir aptariamas bendras

vertinimo kontekstas: pradinis vertinimo tikslas, ver-tinimo motyvai, pagrindiniai vertinimo klausimai, pagrindiniai vertinimu suinteresuoti asmenys ir pan.

III. MetodologijaAprašoma, koks bendras vertinimo modelis bus

taikomas vertinant programą, jo pasirinkimo mo-tyvai. Svarbu aprašyti, kaip bus identifikuojamos, konkretizuojamos, patvirtinamos ir įtraukiamos vi-sos tinkamos ir patikimos programos vertės, taikomi standartai, nes kiekvienas iš jų yra svarbūs bendrai vertinimo išvadai sudaryti.

B. pagrindai (1–5)Ši dalis – tai tyrimų komplektas, kuris leidžia

praplėsti programos kontekstą ir jos prigimtį tam, kad būtų pradėtas specifinis darbas jau kituose pro-gramos vertės nustatymo aspektuose. Šioje dalyje konkrečiau aptariama informacija apie programą, jos paskirtis, vertės, kurios bus taikomos jai vertin-ti. Aprašomi terminai, vartojamos sąvokos, tikrieji ir potencialūs naudos gavėjai. Taip pat svarbu paminėti ir programai įgyvendinti skirtus resursus, galimybes, kad būtų tinkamai įvertinti ir interpretuoti programos pasiekimai, rezultatai ir nesėkmės. Vertinant reikia atsižvelgti ir į programos vertes, t. y. identifikuoti bendrą programos vertę, atsižvelgiant į kontekstą ir aplinkybes, pavyzdžiui, jeigu tai sveikatos programa, tai vertės kriterijai apims efekto poveikio dydį (apim-tį). Taip pat reikėtų nustatyti konkrečius standartus, matuojančius vertinimo kokybės lygį. Visos vertės turi būti įtraukiamos į vertinimą, net ir tokios, kaip pašaliniai efektai, o ne tik planuoti efektai.

C. Dalinis vertinimas (6–10)Dalinis vertinimas daugiau orientuotas į išvadas

ir atskirų vertinimo elementų apibendrinimą, t. y. konkretesnį vertinimą. Čia visi faktai sujungiami ir vertinami, pavyzdžiui, „rezultatai (poveikiai, efektai) buvo išmatuoti, nes ...“ keičiama į „rezultatai (efektai, poveikiai) buvo nepaprastai naudingi, nes....“ arba „nereikšmingi šiame kontekste, nes...“ ir pan. Į dalinį

vertinimą įeinantis proceso ir rezultatų vertinimas remiasi jau anksčiau aprašytomis vertėmis ir apima daugiausiai jų „tikrosios“ vertės programai nustaty-mą. Kainų palyginimas ir programos tinkamumas „eksportui“ yra itin tinkami jos vertei ir patikimumui apibūdinti.

D. išvados ir reikšmės (11–15)Šioje dalyje visi dalinio vertinimo punktai yra

sujungiami bendrai išvadai apie vertinamą progra-mą parengti. Taip pat čia turėtų būti įtrauktos reko-mendacijos, sėkmių ir nesėkmių priežasčių analizė, atsakomybės dėl jų priskyrimas, įvairios ataskaitos detalės ir paties vertinimo vertinimas (kritika arba metavertinimas) [39].

KEC modelis gali būti koreguojamas ir taikomas pagal poreikius, tačiau Scriven‘as teigia, jog visapu-siškas vertinimas turi būti atliekamas pagal visus mo-delio punktus (išskyrus 12 ir 13, kurie yra laisvai pa-sirenkami), kad būtų galima formuoti patikimas, sva-rias išvadas. Tačiau tai dar nereiškia, jog visi punktai visada turi būti įtraukti į vertinimą. Tai reiškia, kad sprendimai praleisti tam tikrus punktus turi būti gerai pasverti ir apgalvoti [3, 40].

Kompleksiškai vertinant programas, esminės įtakos gali turėti ir technologinė vertinimo seka. Pavyzdžiui, pradedant nuo programos aprašymo ir jos tinkamumo įvertinimo jau pagal pradines vertinimo reikšmes gali-ma nustatyti programos parengimo spragas, o tai gali paskatinti nedelsiant tobulinti programą arba atitinka-mai koreguoti ir tobulinti tolesnį vertinimą.

vertinimo PrinciPaiTarptautinėje praktikoje kokybiškas ir visapu-

siškas vertinimas grindžiamas pripažintais vertini-mo reikalavimais, dar vadinamais principais arba standartais [37]. Šie principai taikomi su vertinimo modeliais vertinimo kokybei užtikrinti. Vertinimo principai susiformavo skirtingų kultūrų kontekste, todėl natūralu, kad jie varijuoja. Europos vertinimo draugija, EVD, (European Evaluation Society, EES) pateikia pagrindinius atskirų Europos šalių naudoja-mus vertinimo principus [37, 41].• Prancūzijoje vadovaujamasi pliuralizmo (angl.

pluralism), įvairių suinteresuotų dalyvių įtrau-kimo, nepriklausomumo (angl. independence), vertinimo laisvės (nepriklausomybės) nuo pro-gramos valdymo ir sprendimų priėmimo proce-sų, kompetencijos (angl. competence), pripažin-tų metodų naudojimo, pagarbos (angl. respect) t. y. vertinimo proceso dalyvių pagarbos kitiems,

332009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

33

konfidencialumo (angl. confidence), skaidrumo (angl. transparency), t. y. vertinimo duomenys ir išvados turi būti vieši, atsakomybės (angl. respon-sibility) (kiekvienas turi būti atsakingas už verti-nimo procesą) principais [42].

• Vokietijoje remiamasi pagrindiniais keturiais ben-draisiais principais: naudingumo (angl. utility), įgy-vendinamumo (angl. feasibility), tinkamumo (angl. propriety), tikslumo (angl. accuracy) [37, 43].Europoje Prancūzija ir Vokietija laikomos senas

tradicijas ir aukštą programų vertinimo kultūrą turin-čiomis šalimis. Prie jų taip pat priskiriamos Jungtinė Karalystė, Olandija ir Švedija. Neturinčios tradicijų, bet pasižyminčios aukšta programų vertinimo kultūra yra Austrija, Airija ir Italija. Šalys, neturinčios tra-dicijų ir pasižyminčios neištobulinta programų ver-tinimo kultūra, yra Graikija, Ispanija ir Portugalija. Pereinamosios stadijos yra Baltijos šalys, Lenkija, Čekija, Vengrija, Slovakija ir Slovėnija [37, 41].

Nors atskiros šalys laikosi savų standartų, dauge-lis autorių dažniausiai išskiria keturis pagrindinius bendrus vertinimo principus: naudingumą, įgyvendi-namumą, tinkamumą ir tikslumą [11, 27, 44, 45, 46]. Bendrieji vertinimo principai [11, 17, 47]:

Naudingumas (angl. utility). Vertinimui būdinga tai, kad:

suinteresuotiems dalyviams ir susijusiems asme-•nims tinkama informacija pateikiama laiku;gautais rezultatais pasinaudoja tam tikros asmenų •grupės;vertinimas apima asmenis, kurių poreikiai turi •būti tenkinami;aiškiai išdėstytos nuostatos, procedūros ir faktų •interpretavimo principai, aiškus sprendimų vertės pagrindas;vertinimo ataskaitoje aiškiai aprašyta programa, •jos kontekstas, vertinimo tikslas, procedūros ir pan., pateikta informacija suprantama;iš anksto suplanuotas vertinimas, jo rezultatai pa-•skelbti taip, kad būtų įtrauktos suinteresuotos gru-pės ir padidėtų tikimybė, jog vertinimo išvadomis bus pasinaudota.Vertinimo naudingumui užtikrinti naudojami iš-

ankstiniai kontroliniai klausimai: Kas suinteresuotas vertinimo rezultatais? Ar vertinimas laiku pateiks ak-tualios informacijos?

Įgyvendinamumas (angl. feasibility). Vertinimui būdinga tai, kad:

vertinimo procedūros suplanuotos / atliktos atsi-•žvelgiant į turimus išteklius, ekspertizės ir laiko apribojimus;

numatytos priemonės (ar veiksmai), užtikrinan-•čios įvairių interesų grupių bendradarbiavimą ir (ar) užkertančios kelią, jei kas nors iš šių grupių stengtųsi nutraukti vertinimą, nuteikti vertintojus ar piktnaudžiauti rezultatais;vertinimas yra efektyvus ir teikia gana vertin-•gos informacijos, pateisinančios panaudotus išteklius;vertinimo procedūros yra praktiškos, renkant in-•formaciją mažai trukdomi su programa susiję asmenys.Vertinimo įgyvendinamumui užtikrinti naudojami

išankstiniai kontroliniai klausimai: Ar suplanuotam vertinimui skirta užtektinai laiko ir resursų?

Tinkamumas (angl. propriety). Vertinimui būdin-ga tai, kad:

jis orientuotas į vartotoją siekiant padėti efekty-•viai patenkinti visus suinteresuotus asmenis;oficialios vertinime dalyvaujančios šalys stengia-•si užtikrinti, jog vertinant nustatytų faktų visuma (išvados) su tam tikrais apribojimais bus prieina-ma žmonėms, kurie susiję su vertinimo rezulta-tais, taip pat kitiems, teisėtai įgaliotiems sužinoti rezultatus, asmenims;interesų konfliktai sprendžiami viešai ir sąžinin-•gai, netrukdant vertinimo procesui ir nedarant įta-kos vertinimo rezultatams;apsaugotos dalyvių teisės, gerovė ir informacija, •kuri gali turėti įtakos programai;vertinimas atliekamas teisėtai, laikantis etikos •normų, atsižvelgiant į susijusių žmonių interesus;vertinimui reikalingų resursų paskirstymas ir nau-•dojimas yra pagrįstas logiškomis apskaitos proce-dūromis, etiškumu, visos išlaidos yra tinkamos ir racionalios.Vertinimo tinkamumui užtikrinti naudojami iš-

ankstiniai kontroliniai klausimai: Ar vertinant sau-gomos (dalyvaujančių) įtrauktų asmenų teisės ir gerovė? Ar vertinimas įtraukia labiausiai tiesiogiai programos paveiktus ir programos pakeitimus, tokius kaip dalyviai ar bendruomenė?

Tikslumas (angl. accuracy). Vertinimui būdinga tai, kad:

užtikrintas pastebėjimų ir išvadų tikslumas;•vertinimas atliekamas laikantis tikslų ir procedū-•rų, naudojantis tinkamais informacijos šaltiniais, renkant patikimą informaciją, formuluojant tei-singas ir nešališkas išvadas;vykdomas aiškus ir kruopštus dokumentavimas, tiks-•lai ir procedūros kruopščiai aprašomos ir kontroliuo-jamos, kad būtų galima jas identifikuoti ir įvertinti;

34 2009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

34

informacijos rinkimo procedūros parinktos, sukur-•tos ir taikomos tokiu būdu, kad būtų užtikrinama surinktos informacijos vertė ir atitiktis paskirčiai;pateikta informacija sistemingai peržiūrima, •išsiaiškinamos ir, jei reikia, ištaisomos rastos klaidos;vertinimo išvados pagrindžiamos taip, kad suinte-•resuoti asmenys galėtų tai apgalvoti;ataskaitos rengimo procedūros prižiūrimos, kad •nė viena ataskaitos dalis nebūtų iškraipyta dėl šališkų įsitikinimų, o ataskaitoje nurodyti faktai būtų tikslūs.Vertinimo tikslumui užtikrinti naudojami išanks-

tiniai kontroliniai klausimai: Ar vertinimas pateikia pagrįstus ir patikimus rezultatus bei duomenis, atsi-žvelgiant į poreikius tų, kurie panaudos tuos rezulta-tus ir duomenis?

Be išvardytų bendrųjų vertinimo principų, H. Si-mons svarbiomis kokybiško programų vertinimo sąlygomis laiko komandinį darbą, žmogiškuosius iš-teklius ir vertinimo laiką, analizės pagrįstumą, išsa-mumą ir tobulėjimo siekimą. Dirbant grupėje reikia sukurti tokią bendradarbiavimo kultūrą, kad kiekvienas komandos narys palaikytų šį procesą, neliktų izoliuotas ir prisiimtų bendrą atsakomybę. Visi turėtų siekti tam tikro indėlio į šį procesą – jį organizuoda-mi, įgyvendindami, išsakydami savo nuomonę, pasi-naudodami vertinimo rezultatais ir pan. Jei siekiama, jog vertinimas taptų nuolatiniu procesu, jį reikia pla-nuoti iš anksto, kad jis nepareikalautų per daug laiko sąnaudų, neatitrauktų vertinamųjų nuo pagrindinės veiklos. Vertinimui reikalingi asmenys, gebantys jį atlikti, t. y. išanalizuoti rezultatus ir paskleisti gautas išvadas tiems, kurie jomis pasinaudotų. Net ir atli-kus visapusius tyrimus ir išsiaiškinus programų vertę ir kokybę pagal įvairias dimensijas, gali likti neiš-aiškintos kai kurios programos aplinkybės. Tokiais atvejais reikia atlikti papildomą (detalesnį) atskirų dimensijų vertinimą, visų pirma tų, kurių būklė at-rodo prasčiausiai. Asmenys, atliekantys vertinimą, privalėtų kaskart vis geriau atlikti savo darbą. Tie, kurie dalyvauja vertinime išsakydami savo nuomonę ir kuriems paskleidžiami vertinimo rezultatai, turė-tų gerinti savo supratimą apie vertinimą ir programų kokybę, ateityje jie galėtų tapti reiklesni programų kokybei ir prisidėti prie jų gerinimo [48].

Amerikos vertinimo asociacija (American Evalu-ation Association) yra suformulavusi principus, skir-tus asmeniškai programų vertintojams. Šie pricipai nėra nurodymas, kaip elgtis vienoje ar kitoje situaci-joje, tai daugiau rekomendacijos, aktyviai vedančios

kasdieninio profesionalaus tobulėjimo link. Išskiria-mi penki principai, kurių kiekvieną paaiškina kele-tas teiginių. Kartais principai gali prieštarauti vienas kitam, tačiau pats vertintojas turi pasirinkti atsi-žvelgdamas į savo vertybes, žinias arba konsultuotis su kitais vertintojais apie tai, kaip spręsti problemą dar prieš pradedant veikti. Amerikiečių vertintojams rekomenduojama:

Vykdant sisteminius, duomenimis pagrįstus ver-A. tinimus, laikytis aukščiausių techninių standartų, taikomų jų naudojamiems metodams, ir pateikti detalią informaciją apie tyrimuose naudojamus metodus ir požiūrį, kad leistų kitiems suprasti, in-terpretuoti ir kritikuoti jų darbą. VertintojaiB. privalo būti kompetentingi, t. y. išsilavi-nę, įgiję tinkamų gebėjimų, įgūdžių, patirties, kad galėtų imtis vertinimo užduočių. Jie turi užtikrinti, kad vertinimo komandos nariai būtų supratingi ir tolerantiški kitokiai suinteresuotų dalyvių bei kitų asmenų pasaulėžiūrai, mokėtų taikyti skirtingas vertinimo strategijas; vertintojai turi dėti daug pa-stangų, kad įgytų reikiamos kompetencijos, todėl turėtų praktikuotis pagal savo profesionalumą ir nevertinti to, kas viršija jų galimybių ribas. Vertintojai privalo būti sąžiningi: C. turi stengtis ga-rantuoti sąžiningą vertinimo procesą, tai patvir-tinti savo elgesiu, tardamiesi su suinteresuotais asmenimis ir iš anksto viską sąžiningai suderinda-mi, atskleisdami numatomus vertinimo metodus, pranešdami apie bet kokius planų pakeitimus, paaiškindami jų priežastis ir informuodami apie tikėtiną pakeitimų poveikį. Vertintojai neturi tei-sės iškreipti savo vertinimo procedūrų, duomenų ar rezultatų.Vertintojai turi D. gerbti vertinamų programų da-lyvių, respondentų ir kitų suinteresuotų asmenų orumą, saugumą ir vertę. Taip pat jie turi laikytis profesinės etikos, standartų ir nuostatų, susijusių su rizika, žala, kuri galima vertinimo procese; turi numatyti, jog tam tikri vertinimo rezultatai gali neigiamai paveikti dalį suinteresuotų dalyvių, to-dėl rezultatai turi būti pranešti taip, kad neįžeistų suinteresuotų asmenų orumo bei vertės; jie turi suprasti ir gerbti skirtumus tarp dalyvių, t. y. jų kultūros, religijos, lyties, amžiaus ir t. t., kad ga-lėtų paaiškinti šių skirtumų reikšmę planuojant, vykdant, analizuojant vertinimą. Vertintojai yra E. atsakingi už bendrą ir viešą gero-vę, todėl turi atsižvelgti į bendrų ir visuomeninių interesų bei vertybių įvairovę, kuri gali sietis su vertinimu. Planuodami vertinimą ir rengdami

352009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

35

vertinimo ataskaitas, vertintojai turi įtraukti suin-teresuotų dalyvių plataus spektro perspektyvas bei interesus, svarstyti ne tik tiesioginius vertinimo rezultatus bei procedūras, bet ir kitas prielaidas, reikšmes ar šalutinius poveikius, rezultatus, pagal galimybes turi siekti aiškiai ir paprastai pateikti esamą informaciją suinteresuotiems dalyviams ir kitiems asmenims [49].Visi šie principai yra dalis profesinio tobulėjimo

proceso, tačiau turi būti reguliariai peržiūrimi ir ko-reguojami pagal poreikius.

aPibendrinimasVisuomenės sveikatos programos yra būtinos

gyventojų sveikatos stiprinimui, ligų prevencijai ir dažniausiai yra finansuojamos iš valstybės biudžeto, todėl svarbu, kad jos būtų nuolat vertinamos. Rei-kėtų atsiminti, kad vertinimas iš dalies yra politi-nė veikla, nes kartais jis atliekamas siekiant palai-kyti programos vientisumą ir įtikinti politikus bei

suinteresuotus asmenis skirti reikalingus papildo-mus resursus.

Lietuva programų vertinimo srityje yra pereinamo-je stadijoje, todėl svarbu dėti visas pastangas formuo-jant teisingus vertinimo įgūdžius ir gerinant vertinimo bei pačių programų kokybę. Vyriausybės programoje numatyta tobulinti projektų poveikio vertinimą ir ver-tinti planuojamų didelio masto valstybės investicijų efektyvumą, tačiau konkrečiai apie programų vertini-mą užsimenama tik LR Vyriausybės projekte „Valdy-mo, orientuoto į rezultatus, tobulinimas“. Projekto įgy-vendinimas prisidės prie Vyriausybės ir jai pavaldžių institucijų veiklos efektyvumo stiprinimo, bus tobuli-namas biudžeto programų vertinimas, taip pat spren-dimų poveikio vertinimo sistema. Belieka tikėtis, kad Vyriausybės iškelti prioritetai bus įgyvendinti laiku ir pasiekti planuoti rezultatai, priešingu atveju geriau šiurkšti tiesa nei abejingumas ir ignoravimas.

Straipsnis gautas 2009-11-17, priimtas 2009-12-15

LiteratūraBendrasis programavimo dokumentas. ES programų Lietuvoje 1. vertinimo gairės. 2007. European Commission. Evaluating EU Activities. A Practical Guide 2. for the Commission Services. 2004. Davidson E Jane. Evaluation Methodology Basics: the nuts and 3. bolts of sound evaluation. Sage Publications, Thousand Oaks, Lon-don, 2005;263. William MK. Trochim. Introduction to Evaluation. Research Met-4. hods Knowledge Base, 2006. Shackman G. What is Program Evaluation? A Beginners Guide. The 5. Global Social Change Research Project, 2008.Lietuvos Respublikos Vyriausybės nutarimas „Dėl strateginio pla-6. navimo metodikos patvirtinimo“. Žin., 2002, Nr. 57-2312; Žin., 2007, Nr. 23-879, Žin., 2009, Nr. 6-167.European Commission. Ex Ante Evaluation. A practical Guide for 7. preparing proposals for expenditure programmes. 2001. Development Assistance Committee (DAC). Principles for Evalu-8. ation of Development Assistance. 1991. Taylor-Powell E, Steele S, Douglah M. Planning a Program Evalu-9. ation. University of Wisconsin-Extension, 1996. Puett R. Program Evaluation 101. (Prieiga per internetą 10. http://www.musc.edu/vawprevention/research/programeval.shtml)CDC. Introduction to Program Evaluation for Public Health Pro-11. grams: a Self-Study Guide. 2005.Allen Nan S. Formative Evaluation. Beyond Intractability, 2003. 12. Frechtling Westat J. The 2002 User Friendly Handbook for Project 13. Evaluation. Division of Research, Evaluation and Communication National Science Foundation. 2002;84. Wholey Joseph S, Hatry Harry P, Newcomer Kathryn E. Hanbook of 14. Practical Program Evaluation, Second Edition. 2004. Jossey-Bass. A Wiley Imprint. USA. 720. Bodkin A. Evaluation at a Glance. 2008. Heart Health Resource Cen-15. ter. Ontario Public Health Association (OPHA). Quinn Patton M. Overview: Language Matters. 2004. New Directions 16. for Evaluation. American Evaluation Association. 2000;86:5-16. Farell K, Kratzmann M, McWilliam S, Robinson N, Saunders S, Tic-17. knor J. Evaluation Made Very Easy Accessible and Logical (EVAL). 2002. Atlantic Centre of Excellence for Women’s Health.

Canadian Evaluation Society Project in Support of Advocacy and 18. Professional Development. Final Consultation: Feedback About Evaluation Benefits, Outputs and Knowledge Elements. 2002. Muraskin Lana D. Understanding Evaluation: the Way to Better Pre-19. vention Programs. USA. Department of Education, 1993.Bond SL, Boyd SE, Rapp KA. Taking Stock: A Practical Guide to Eva-20. luating Your Own Programs. Horizon Research. American Associa-tion for the Advancement of Science (AAAS), 1997.Milstein B, Wtterhall S. CDC Evaluation working group. Health Pro-21. motion Practice. 2002;1(3):221-228. Oortwijn WJ, Mathijssen J, Cave J, Scoggins A, Ligtvoet A, Horlings 22. E, Ling T, Frinking E. Interim Evaluation of the Public Health Pro-gramme 2003-2008. Inception report. 2006. Centers for Disease Control and Prevention (CDC). Program Opera-23. tions. Guidelines for STD Prevention. Program Evaluation.Health Canada. Community Action Resources for Inuit, Metis and 24. First Nations: Evaluating. 1998. Thomas R, Gustafson DH, Henderson J, Jimison H, Patrick K. Intro-25. duction to Evaluation of Interactive Health Communication Applica-tions. American Journal of Preventive Medicine. 1999;16(1):10-15. McNamara C. A Basic Guide to Program Evaluation. 2002. Free 26. Management Library. (Prieiga per internetą http://www.manage-menthelp.org/evaluatn/fnl_eval.htm)Debra J Holden, Marc A Zimmerman. Practical Guide to Program 27. Evaluation Planning, Sage Publications, Thousand Oaks, Los Ange-les, London, 2009;170. European Commission. Indicative Guidelines on Evaluation met-28. hods: Monitoring and Evaluation Indicators. 2006;2. Kellogg WK. Foundation Evaluation Handbook. W. K. Kellogg Foun-29. dation. 1998;110. Olney CA, Barnes S. Collecting and Analyzing Evaluation Data (Bo-30. oklet 3). National Library of Medicine. Outreach Evaluation Resour-ce Center, 2008.Oortwijn WJ, Ling T, Mathijssen J, Lankhuizen M, Scoggins A, Chris-31. tian van Stolk, Cave J. Interim Evaluation of the Public Health Pro-gramme 2003-2008. Final report. 2007. Amnesty International. Evaluation. A Beginners Guide. Internatio-32. nal Secretariat. United Kingdom, 1999.

36 2009/4(47)

„Visuomenės sveikata” Literatūros apžVaLga

36

USA Department of Education. Evaluation Primer. 1998. 33. Išoraitė M. Loginio programų modelio panaudojimas įgyvendinant 34. veiklos auditą. Viešoji politika ir administravimas. 2004;7:102-111. CDC Evaluation Working Group. Steps in Program Evaluation. 2004. 35. (Prieiga per internetą http://www.cdc.gov/eval/steps.htm)CDC. Framework for Program Evaluation in Public Health. Morbidi-36. ty and Mortality Weekly Report. 1999;48(RR-11),1-40.European Evaluation Society (EES)37. http://www.europeanevaluati-on.org/?page=762049 Baker QE, Davis DA, Gallerani R, Sanchez V, Viadro C. An Evaluation 38. Framework for Community Health Programs. The Center for the Advancement of Community Based Public Health, 2000.Scriven M. Key Evaluation Checklist. 2007.39. Scriven M. The Logic and Methodology of Checklists. Western Mi-40. chigan University Evaluation Center, 2007.Olejniczak K. Evaluation practice in the European Union Experien-41. ces & Prospects. 2007. Societe Francaise de l’Evaluation. Charter of evaluation guiding 42. principles for public policies and programmes. 2003. German Evaluation Society. Summary of Evaluation Standards. 2001. 43. Ramlow ME. The Program Evaluation Standards. Joint Committee 44. for Educational Evaluation.

CDC Evaluation Working Group. Standards for Effective Program 45. Evaluation. 2004. (Prieiga per internetą http://www.cdc.gov/eval/standard.htm)Olney CA, Barnes S. Including Evaluation in Outreach Project Plan-46. ning (Booklet 2). National Library of Medicine. Outreach Resource Evaluation Center, 2006. Improvement, Introduction and Harmonisation of Occupational 47. Standards in the NEU. European Qualifications in Fashions&Beauty Sector. Kokybės užtikrinimo vadovas, 2006. Simons H. School Self-Evaluation in a Democracy/ School-Based 48. Evaluation: an International Perspective. Advances in Program Evaluation. 2002;8:17-34.American Evaluation Association. Guiding Principles for Evalua-49. tors, 2004.EMCDDA 2004 selected issue. Evaluation of ‘national drug strate-50. gies’ in Europe. In EMCDDA 2004 Annual report on the state of the drugs problem in the European Union and Norway. Joint United Nations Programme on HIV/AIDS (UNAIDS). National 51. AIDS programmes. A Guide to Monitoring and Evaluation, 2000. Joint United Nations Programme on HIV/AIDS (UNAIDS). A Frame-52. work for Monitoring and Evaluating HIV Prevention Programmes for Most-At-Risk Populations, 2008.

summaryThe leading aim of public health programs is preven-

tion and/or control of diseases and deaths. Public health programs focus on the elimination of causes of most im-portant problems in the presence of large number commu-nity members and number of organizations. Public health programs should be evaluated during their early planning, after the program has started and after their implementati-on. Program evaluation can be defined as systematic and objective determination of the quality or value of the pro-gram by gathering, analyzing and interpreting information. Evaluation assesses not only value of the program, but also provides useful feedback by deciding that there is somet-hing good or bad, true or false. Broader, by assessing the impact, value and quality of the program, program’s effi-ciency is enhancing and it’s implementation is improving. Wellconducted assessment provides reliable and useful information that enables decisionmaking and ensures

continuous improvement of program implementation. The article reviews the main types of program evaluation, principles, models and methods, which need to be known when planning public health programs evaluation.

keywords: public health, program evaluation, forma-tive evaluation, summative evaluation, evaluation stan-dards, types, models.

Correspondence to Rasa Povilanskienė, Institute of Hygiene,

Didžioji 22, LT-01128 Vilnius, Lithuania. E-mail: rasa@hi.lt

Received 17 November 2009, accepted 15 December 2009

evaluation of public health programsRasa Povilanskienė, Vytautas Jurkuvėnasinstitute of Hygiene