Ewaluacja jako narzędzie monitorowania

procesu zmiany

Ewaluacja to opis wartości.

Czy wszystkie wartości generowane przez projekt rozwojowy da się zmierzyć lub nawet przewidzieć?

Oto fractal – wykres obrazujący procesy, które stale wracają do punktu wyjścia, zachodzące w świecie współzależności. Życie!

Ocena skuteczności danego działania powinna odnosić się bardziej do stanu społeczności, do całego systemu, a nie do zrealizowania wybranego wskaźnika.

Projekty społeczne i organizacyjne to działania w określonych systemach.

Czy budowa studni podnosi jakość życia mieszkańców Afryki ?

O tym, jakie wartości mają wynikać z projektu, decyduje wybór celów. Czasami jednak jesteśmy tak bardzo przywiązani do raz wybranego celu, że zapominamy o tym, po co rozpoczęliśmy działania.

Tak, pod warunkiem, że mieszkańcy chcą z niej korzystać! Odmówią, jeśli korzystanie ze studni będzie godzić w ich wartości.

Niekiedy ewaluacja skłania nas do widzenia celów ogólnych i szczegółowych projektu jako wartości samej w sobie. Wówczas możemy stracić z oczu najistotniejsze, lecz trudno mierzalne wartości. Ewaluacja powinna pomagać w monitorowaniu naszych działań pod względem ich sensu ogólnego.

Kiedy wspinamy się po drabinie, czasami boimy się rozglądać dookoła, a szczególnie patrzeć w dół. Ale co zrobimy, jeśli drabina przystawiona jest nie do tej ściany?

Koncentracja się na określonym celu sprzyja zadaniowości, ale również traceniu z pola widzenia podstawowego faktu: uruchamiając działanie, w rzeczywistości uruchamiamy sieć powiązanych procesów. Wchodzimy w świat współzależności i sprzężeń zwrotnych.

Wszystkie ulice miasta stanowią system – są ze sobą połączone. Płynność jazdy w tym systemie zależy od czasami zaskakujących dla kierowców czynników.

Efekt działań służących realizacji danego celu jest zależny od tego, jakie procesy zachodzą aktualnie w danym systemie społecznym, oraz od tego, jak nasze działanie na nie wpływa. Miejmy świadomość, że lawinę różnych reakcji. Ostateczny wynik jest efektem złożonej, wielokierunkowej interakcji.

Jak najlepiej dojechać z jednego końca miasta na drugi w godzinach szczytu? Czy najkrótsza droga jest zawsze najlepsza ?

Działania uruchamiają procesy w systemie, wszystko idzie dobrze… ale sprawy korkują się z trudno zrozumiałych przyczyn.

W przypadku procesów społecznych próba „krótkiego załatwienia sprawy” często prowadzi do wzmocnienia problemu lub pojawienia się innych, nowych problemów.

Choć wszyscy chcą zmiany na lepsze, to przecież pociąga ona za sobą także niepożądane i nieprzewidziane konsekwencje.A to budzi opór!

Gdzie jest wyjście?

Rozwiązanie problemu jest zwykle „z innego porządku” niż sam problem. Opór może być na przykład pokonany „oddolnie” poprzez samą społeczność lub grupę osób drogą wypracowaną, „odkrytą” w trakcie projektu. Właśnie odkrywaniu tych metod służy ewaluacja procesowo- jakościowa.

Odpowiedzią na problem korków może być ruch społeczny na rzecz ścieżek rowerowych oraz korzystania z komunikacji miejskiej, który wzmocni rozwiązania administracyjne.

Proponowany sposób formułowania celu:Celem projektu jest uruchomienie procesu …• Udrażniania komunikacyjnego miasta• Dostosowywania zasobów wodnych do potrzeb

ludzi i przyrody• Wprowadzenie zmiany w organizacji życia

społeczności w związku z pogarszającym się dostępem do wody…

Celem projektu społecznego jest uruchomienie lub wzmocnienie procesu…• aktywizacji osób trwale bezrobotnych….• budowania spójności społecznej i współpracy różnych środowisk oraz ugrupowań w społeczności lokalnej…• budowania płaszczyzny dialogu i wymiany informacji pomiędzy instytucjami pośredniczącymi a beneficjentami projektów….

To cel, a jaka droga?Potrzebna jest wizja tego, jakie działania mogą służyć celowi głównemu, poparta weryfikowalnym modelem zmiany.

Model zmiany powinien zawierać opis mechanizmów, które prawdopodobnie zostaną uruchomione poprzez określone działania (procesy wspierające) oraz weryfikowalne założenia, co do ich związku z celem ogólnym.

Przykład :Celem projektu jest aktywizacja osób trwale bezrobotnych poprzez zaangażowanie ich do organizacji festynu na rzecz zwiększenia liczby miejsc pracy i poprawy jakości życia w gminie.

Modele zmiany dotyczące przykładu:

1. Osoby trwale bezrobotne mają wiele niewykorzystanych potencjałów. Jeśli zastosują część ze swoich „uśpionych” kompetencji w praktycznym działaniu oraz odniosą sukces (choćby częściowy), to będą dalej dążyli do samorealizacji.2. Osoby trwale bezrobotne mają ubogie kontakty społeczne, więc trzeba pomóc im w poszerzeniu środowiska, co ułatwi im zorientowanie się w możliwościach zawodowych na rynku lokalnym.

Modele zmiany dotyczące przykładu:

3. Osoby trwale bezrobotne potrzebują doświadczyć własnej skuteczności w rozwijaniu przedsiębiorczości, ale również w pomaganiu innym w tym procesie.4. Osoby trwale bezrobotne potrzebują doświadczyć własnej skuteczności w rozwijaniu przedsiębiorczości osobistej, ale również w pomaganiu innym. Pomaganie innym często bardziej motywuje do aktywności niż koncentracja na własnych potrzebach.

Modele zmiany dotyczące przykładu:

5. Osoby trwale bezrobotne aktywizują się, gdy pracują samodzielnie, ale nie samotnie – pomocne będzie doświadczenie wspólnoty zespołowej.6. Osoby trwale bezrobotne aktywizują się, gdy doceniają ich inni oraz gdy oni mogą docenić innych.

Typologia celów:

1. Cel główny (proces, który chcemy uruchomić lub wzmocnić)

2. Cele wspierające (te, których realizacja warunkuje pracę nad celem głównym)

3. Meta – cele (cele związane z ewaluacją)

Cele wspierające dotyczące przykładu:

1. Uruchomienie procesu identyfikacji przez beneficjentów własnych potencjałów i odbudowywania wiary w siebie na skutek odnoszenia realnego sukcesu.2. Uruchomienie procesu podnoszenia kompetencji społecznych związanych z pracą w projektach.3. Uruchomienie procesu tworzenia rzeczywistego zespołu z indywidualnych ochotników.

Cele wspierające dotyczące przykładu:

4. Uruchomienie procesu budowania szerszego środowiska społecznego dla osób trwale bezrobotnych. 5. Uruchomienie procesu tworzenia klimatu akceptacji społecznej dla osób trwale bezrobotnych.6. Poprawa warunków dla przedsiębiorczości w gminie7. Meta - cel: Rozwinięcie metodologii pracy z osobami trwale bezrobotnymi.

Ewaluacji podlegają:• Założenia modelu• Procesy i zjawiska wywołane dążeniem do realizacji celów wspierających• Procesy i zjawiska wywołane dążeniem do realizacji celu głównego• Sposób realizacji założeń programu

Poziomy wyznaczania celów

PoziomIndywidualny

Meta-Poziom

Ewaluacja

-Ewaluacji

Poziom Diady

Poziom Zespołu

PoziomOrganizac

ji

Poziom Środowisk

a

Założenia ewaluacyjne dotyczą następujących kwestii

1. Co może świadczyć o tym, że procesy opisane w celach głównych, celach wspierających i metacelach dzieją się rzeczywiście?2. Jak można zorganizować sytuacje, w których uwidoczni się interesujący nas proces? (np. tzw. rundka na warsztacie, ankieta, rozmowy z ewaluatorem)3. W jaki sposób będziemy opracowywać dane i wyciągać wnioski?4. Kto bierze udział w procesie ewaluacji i jaka jest rola ewaluatora?

Ewaluacja odpowiada na pytania:

1. Co stało się w trakcie realizacji programu?2. Jakie procesy zostały wywołane? Jak się przejawiają? 3. Czy i w jaki sposób zrealizowane zostały cele wspierające?4. Czy i w jaki sposób zrealizowany został cel główny?5. Czy założenie ewaluacyjne były słuszne?

Ewaluacja służy odpowiada na pytanie: Co zrobiono i co to wywołało?

w przeciwieństwie do modelu tradycyjnego, funkcją ewaluacji nie jest wyłącznie ocena

pracy realizatorów

Ewaluacja jest procesem monitorowania zmian. Ma charakter ciągły i dostarcza danych do modyfikowania programu w ramach możliwości. Ewaluacja jest narzędziem edukacyjnym zarówno dla realizatorów, jak też beneficjentów.

Danych do procesu ewaluacji dostarcza wiele zaangażowanych w projekt osób. Specjalista do spraw ewaluacji musi zorganizować ich ewaluacyjną aktywność:omówić wskaźniki, sposób zbierania i zapisu danych, sposób bieżącego wykorzystywania danych z ewaluacji w projekcie.

Ewaluacja oparta jest

na dialogu z beneficjentami oraz realizatorami!

Ewaluacja ma charakter ilościowy,

jak też jakościowy.Dane ilościowe są wartościową wskazówką, ale nie dominują

nad danymi jakościowymi.

Ewaluacja tradycyjna Ewaluacja jakościowo - procesowa

Zakłada, że zmiana/ rozwój jest kontrolowalny i przewidywalny

Zakłada, ze modele stojące u podstaw projektu są do weryfikacji, a sama zmiana ma w sobie elementy nieprzewidywalne

Jej funkcją jest ocena, w jakim stopniu stało się to, co było założone

Odpowiada na pytanie: co się stało, jakie procesy zaszły?

Podsumowuje projekt Monitoruje projekt

Odnosi się do jednego lub dwóch poziomów celów np. indywidualny i /lub środowiskowy

Może odnosić się do sześciu poziomów celów

Cele są sprowadzane do celów szczegółowych i to one są przedmiotem obserwacji i oceny

Cele są obudowywane celami wspierającymi na podstawie zidentyfikowanych , lecz hipotetycznych modeli

Ewaluacja tradycyjna Ewaluacja jakościowo - procesowa

Przyjmuje „z góry” określone wskaźniki Pozwala określić lub zmodyfikować wskaźniki w trakcie badania

Określa przyrost danego wskaźnika Opisuje zjawiska, zmiany w określonych obszarach

Dominują narzędzia ilościowe, choć są elementy jakościowych

Dominują narzędzia jakościowe, choć są elementy ilościowych

Ewaluator jest obiektywny i zdystansowany

Osób uczestniczących w procesie ewaluacji jest wiele i są zaangażowani w działanie, a ewaluator organizuje ich aktywność i przepływ informacji

Język ewaluacji jest stworzony przez ewaluatora

Język ewaluacji buduje się w dialogu z beneficjentami i realizatorami

Ewaluacja tradycyjna Ewaluacja jakościowo- procesowa

Koncentruje się na konstatacji występowania oddzielonych faktów

Przyczynia się do budowy modeli, ponieważ dużo mówi o związkach pomiędzy zjawiskami

Przyjmuje jako pewnik założenie o wpływie realizacji celów szczegółowych na ogólne

Weryfikuje założony związek pomiędzy celami głównymi i wspierającymi

Zakłada pewną liniowość procesu społecznego

Zakłada nieliniowość procesu społecznego, zjawiska systemowe, zaskakującą dynamikę procesu społecznego w czasie

Myślowo związana jest z takimi nurtami jak empiryzm, pozytywizm , strukturalizm.

Łączy podejście systemowe nowej generacji, konstruktywizm , interpretatywizm, teorią ugruntowaną

Nie ewaluuje samej siebie Ewaluuje samą siebie

Dziękuję za uwagę