Catatan Penting Jaring Pengaman Sosial

2006 No. 14

Bank Dunia

Dampak Evaluasi Program Sosial: Sebuah Perspektif Kebijakan

John Blomquist berdasarkan tuliasannya yang akan diterbitkan, Social Safety Nets Primer Paper, “Impact Evaluation of Social Programs: A Policy

Perspective”.

Pemerintah dan organisasi donor mulai menyadari evaluasiyang menyeluruh dari intervensi publik harus menjadibagian dari proses pembuatan keputusan untuk kebijakansosial. Namun, masih terdapat kekosongan antarakebutuhan akan informasi atas efektivitas dari programdan pengertian akan potensi dan kelemahan dari perangkat-perangkat evaluasi. Tulisan ini mengulas beberapa elemendasar dari evaluasi yang efektif, mengidentifikasi beberapaaspek ekonomi politik yang mempengaruhinya danmenggali lebih dalam usaha-usaha yang dapat dilakukanuntuk mendorong kegiatan tersebut.

Bagian-Bagian dari Evaluasi

Program evaluasi bertujuan untk menganalisa dampakterhadap partisipan yang bersumber dari keikutsertaanmereka di dalam program. Hal ini tidak dapat disamakandengan jenis lain penilaian kebijakan atau programpengawasan. Evaluasi yang baik tidak hanya terdiri darianalisa kuantitatif dari dampak program, tapi jugabertujuan untuk menjelaskan mengapa hal tersebut terjadi(atau tidak terjadi), dan apa saja implikasi kebijakan yangmungkin muncul. Program evaluasi yang menyeluruh telahberevolusi dan memasukkan beberapa komponen: a) studiproses, dimana operasi dari program dan prosesnya dikaji;b) studi dampak, inti teknis dari evaluasi; dan c) penilaianbiaya-manfaat, yang membandingkan biaya menjalankanprogram dengan manfaat yang diterima oleh partisipan.

Keberhasilan evaluasi dampak membutuhkan perencanaanawal. Ada lima pertimbangan utama.

Memilih evaluator yang terspesialisasi, yang beradadi luar pemerintah dan lembaga pelaksana. Ini padaumumnya lebih baik untuk menjamin objektivitas danindependensi. Sebagai tambahan, evaluasi dampakkuantitatif membutuhkan keahlian khusus.

Pemilihan metode kuantifikasi untuk memperkirakandampak program harus memperhatikan dua hal. Estimasieksperimental membandingkan hasil yang dicapai partisipandengan kelompok pembanding yang secara acak dipilihyang dari segi kategori serupa dengan partisipan tapi tidakmenerima program bantuan tersebut. Desain eksperimentallebih dipilih berdasarkan dasar metodologi karenameminimalkan dampak dari perbedaan-perbedaan yang

sebelumnya telah ada antara partisipan dan kelompokpembanding yang dapat tertukar dengan dampak daripartisipasi dalam program (bias seleksi).

Jika penunjukkan secara acak dihilangkan, masihdimungkinkan untuk mengestimasi dampak denganmengunakan pendekatan non-eksperimental. Regresimultivariat, metode matched-comparison, double-difference danmetode variabel instrumental dapat digunakan untuk secarastatistik mengendalikan sumber dari bias seleksi. Evaluasidampak ini di negara-negara berkembang mengandalkanmetode non-eksperimental karena masalah biaya danketersediaan data.

Metode qualitatif dapat memperkaya informasi danmembuat analisa menjadi lebih mendalam. Metode inimemberikan pengertian yang mendalam dari prosesprogram, kondisi eksternal, serta perilaku individu. Metodeini bersifat terbuka, dengan mengandalkan wawancara semi-terstruktur dalam lingkup individu atau kelompok danpengamatan pewawancara.

Komponen Kunci dari Evaluasi yang Baik

Untuk menghasilkan manfaat yang maksimal, evaluasiharus memiliki:

· Tujuan yang jelas. Pertanyaan evaluasi harus dapat ditentukan lebihawal, secara sederhana dan mudah diukur.

· Evaluator yang kredibel. Evaluator harus berada diluarpemerintah atau lembaga yang programnya akan dievaluasi.

· Metodologi yang tepat. Estimasi eksperimental adalah yangpaling ideal tapi kelompok pembanding yang dipilih secara tepatdapat dijadikan alternatif.

· Jumlah sampel yang sesuai. Jumlah sampel harus cukup besaruntuk mendeteksi dampak program. Sebagai tambahan, jumlahitu harus memungkinkan dibuatnya penilaian dampak programterhadap sub-kelompok dari target populasi. Efek deteksi yangminimum harus ditentukan sebelum pelaksanaan evaluasi.

· Data Pembanding. Harus menetapkan kelompok pembandingyang tepat dan untuk mengendalikan seleksi kriteria program yangdapat diamati.

· Tindak lanjut yang mencukupi. Menindaklanjuti datasebaiknya dilakukan setelah beberapa waktu, agar dapatmendeteksi dampak dan dapat mengukur besaran relevan yangmungkin muncul.

· Komponen-komponen evaluasi berulang. Evaluasi dampaksebaiknya tidak hanya sekedar mendeteksi dampak program—harus juga dapat meneliti proses program, penjelasan temuan yangada, dan efektif dari segi biaya.

Sumber: Blomquist (2003), Ezemanari et al . (1999).

Ketersedian dan kualitas data adalah faktor terpentingyang mempengaruhi kualitas dari analisa. Sering kali, surveibaru harus dilakukan untk mendapatkan informasi yangmemadai dari peserta program, temasuk survei awal dansurvei lanjutan. Sebagai contoh, lebih dari 30 negaramemiliki versi berbeda dari Survei Pengukuran StandarKebutuhan (SPSK). Banyak dari mereka yang memilki hasilsurvei dalam berbagai tahun.

Ada variasi yang sangat beragam dalam biaya dari analisadampak dari jaring pengaman sosial dan program-programsosial lainnya. Biaya tersebut berkisar dari US$200.000hingga melebihi US$1.000.000, dengan rata-rata biaya yangdibutuhkan untuk melakukan evaluasi yang mendalamsebesar antara US$300.000-400.000. Hal-hal yangmempengaruhi total biaya adalah jumlah dan tipepertanyaan kebijakan yang hendak diketahui, metodologiyang digunakan, serta sejauh mana pengumpulan data,ukuran dan ruang lingkup program yang dievaluasi, dankemampuan lokal.

Ekonomi Politik dari Proses Evaluasi

Politik dan ekonomi politik berperan penting dalamkeputusan untuk melaksanakan evaluasi program. Isu iniberasal dari masalah principal-agent, dimana stake holder—termasuk pemerintah atau lembaga penyandang dana,lembaga pelaksana, dan pemberi dana—tidak memilikiinsentif yang konsisten untuk mendukung evaluasi.

Salah satu alasan penolakan berasal dari kesalahpahamanterhadap apa yang dapat dihasilkan oleh evaluasi.Khususnya, hasil tidak dapat tersedia untuk pembuatankeputusan jangka pendek dan dapat terlihat tidak jelas dansulit untuk diterjemahkan ke dalam kebijakan. Faktamenunjukkan bahwa evaluasi berbeda yang diterapkanterhadap program yang sama, dapat memberikan hasilyang berbeda tergantung dari sumber data dan metodologiyang digunakan. Pada awalnya, ini mungkin kelihatannyamembatasi nilai kebijakan dari evaluasi. Misalnya, duaevaluasi berbeda yang dilakukan terhadap Dana Sosial milikPeru, diselesaikan berjarak satu tahun antara evaluasi yangsatu dengan yang lainnya dan menggunakan metode dandata yang berbeda, dan memiliki kesimpulan yang berbeda.Namun, hal ini dan kejadian-kejadian serupa memperkuatpentingnya evaluasi. Evaluasi terbaik menggunakan metodeeksperimental atau menggunakan berbagai metode untukmengestimasi dampak, sehingga memberikan tanda akanadanya hasil yang meyakinkan.

Faktor kedua yang menghambat penggunaan evaluasi for-mal adalah pertimbangan politis dari pelaksanaanya danreaksi yang mungkin timbul terhadap hasil evaluasi tersebut.Evaluasi dianggap berbiaya tinggi, terutama jika

dihubungkan dengan langkanya sumber daya yang tersediauntuk program-program sosial. Temuan yang bersifatnegatif berpotensi untuk merusak karir politik. Bagi pembuatkebijakan, kelihatannya lebih mudah dan aman untukmenyembunyikan kelemahan mereka dari lawan-lawanpolitiknya.

Namun, kebutuhan politis terkadang juga sejalan denganevaluasi. Salah satu alasan evaluasi atas dampak programharus dilakukan, adalah untuk mendapatkan dukunganpolitis bagi sebuah program. Hal ini benar adanya untukprogram-program yang secara strategis penting bagikebijakan nasional, atau untuk program-program yangmemperkenalkan pendekatan baru. Pemerintah Mexicomembayar evaluasi untuk Progresa sebagian dikarenakanmodel transfer tunai relatif baru dan dipandang sebagaicalon pengganti yang potensial untuk beberapa programsubsidi.

Evaluasi dapat memberikan pengetahuan yang lebih baikakan jenis-jenis program, namun, serupa dengan barangpublik, seringkali tidak ada insentif yang cukup bagi seorangpembuat kebijakan atau pemerintah untuk melakukanevaluasi. Donor asing dan lembaga donor mungkin sajamempertimbangkan untuk menyediakan sumber daya yangdibutuhkan untuk evaluasi program atau menciptakaninsentif bagi evaluasi dan penilaian program.

Membangun budaya evaluasi

Pengalaman internasional menyarankan banyak hal yangdapat dilakukan untuk menumbuhkembangkan budayaevaluasi. Terdapat beberapa kemungkinan.

‘Entrepeneur kebijakan’ bisa membantu dalam pendidikandan jangkauan, meyakinkan stake holder denganmemperlihatkan dampak dari melakukan evaluasi. Lembagapendanaan dapat membuat evaluasi menjadi kewajiban.Beberapa pemerintah telah menganut strategi ini,menerapkan evaluasi dari tingkat otoritas yang tidak dapatditentang oleh pendukung program, seperti di Cili danAmerika Serikat.

Menyertakan stake holder di dalam proses evaluasi dandiseminasi dari temuan sangat penting untuk menjamintransparansi dan komunikasi. Ini akan membantumenciptakan dukungan dan menjamin temuan digunakandalam perumusan kebijakan.

Banyak negara dimana evaluasi telah mengakar, adalahnegara yang telah memprioritaskan pembangunankemampuan institusional, seperti Cili pada awal 1990-an. Donor dapat membuat dukungan terhadap evaluasisebagai bagian dari proyek utama untuk meningkatkankemampuan lokal.

Bank Dunia, Jaring Pengembangan ManusiaPerlindungan Sosial, Jaring Pengaman Sosialhttp://www.worldbank.org/safetynets

Institut Bank Duniamemberikan pengetahuan dan mendambakan dunia yang lebih baik

Seri Catatan Penting Jaring Pengaman Sosial Bank Dunia bertujuan untuk memberikan informasi praktis bagi mereka yang terlibat dalam rancangan dan pelaksanaan program jaring pengaman di seluruhdunia. Pembaca akan mendapatkan informasi teladan (good practice) tentang jenis intervensi, latar belakang negara, tema dan kelompok-kelompok sasaran, serta pemikiran terkini tentang peran jaringpengaman sosial dalam agenda pembangunan yang lebih luas