ACCESS Australian Community Development and Civil Society Strengthening Scheme Sebuah proyek Pemerintah Australia yang didanai melalui AusAID Milestone 10 Kerangka Kerja Monitoring dan Evaluasi yang Direvisi Diajukan pada 6 Februari 2003 INTERNATIONAL DEVELOPMENT SUPPORT SERVICES PTY LTD Ground Floor East, 32 Lincoln Square North, Carlton Victoria Australia 3053 Tel: +61 3 9341 7222 • Fax: +61 3 9348 2155 • Web: www.idss.com.au
Daftar Isi 1 PENDAHULUAN .............................................................................................1
1.1 LATAR BELAKANG PERSIAPAN DAN REVISI KERANGKA KERJA M&E ........1 1.1.1 Definisi dari Peristilahan ...............................................................1
1.2 MAKSUD DARI KERANGKA KERJA M&E .......................................................2 1.3 RINGKASAN PROYEK .....................................................................................3
1.3.1 Paparan Proyek ................................................................................3 1.3.2 Logframe Proyek..............................................................................3
2 STRATEGI M&E .............................................................................................5
2.1 DEFINISI KONSEPTUAL ACCESS................................................................5 2.1.1 Monitoring ..........................................................................................6 2.1.2 Evaluasi ...............................................................................................7
2.2 PRINSIP-PRINSIP PANDUAN .........................................................................8
3 ISU-ISU METODOLOGIS KUNCI ..........................................................9
3.1 PENDEKATAN PARTISIPATIF..........................................................................9 3.2 PEMILAHAN DATA........................................................................................10 3.3 AKUNTABILITAS PROYEK DAN MITRA ........................................................10 3.4 MANAJEMEN RESIKO ...................................................................................10 3.5 KRITERIA UNTUK INDIKATOR-INDIKATOR M&E .......................................11 3.6 MONITORING DARI FAKTOR EKSTERNAL ...................................................11
4 ALAT-ALAT M&E .........................................................................................12
4.1 MATRIK MONITORING PERKEMBANGAN PROYEK ......................................14 4.2 ALAT MONITORING DAN EVALUASI UNTUK PROYEK-PROYEK INDIVIDU ..14 4.3 ALAT-ALAT M&E – TINGKAT TUJUAN PROYEK .........................................15 4.4 ALAT M&E BAGI MITRA DAN MASYARAKAT ..............................................15
4.4.1 Indikator Pemberdayaan Masyarakat....................................15 4.4.2 Indikator Penguatan Keorganisasian.....................................16
5 METODE PENGUMPULAN DAN PELAPORAN INFORMASI ...17
5.1 ALAT-ALAT PELAPORAN ..............................................................................17 5.1.1 Laporan Tahunan...........................................................................18 5.1.2 Laporan Perkembangan Triwulanan.......................................18 5.1.3 Laporan Bulanan............................................................................18 5.1.4 Laporan Perkembangan Dewan Penasehat.........................18 5.1.5 Laporan Keuangan ........................................................................19 5.1.6 Laporan Penyelesaian bagi tiap Proyek ................................19 5.1.7 Laporan Pelatihan .........................................................................19 5.1.8 Penilaian Kapasitas Keorganisasian/Kelembagaan ..........19 5.1.9 Review ...............................................................................................19 5.1.10 Laporan Penyelesaian Kegiatan...............................................20 5.1.11 Evaluasi Akhir .................................................................................20
Daftar Lampiran Lampiran 1: Matrik Monitoring Perkembangan ............................................................1 Lampiran 2: Monitoring Bagi Proyek-Proyek Dana Hibah Individu ..........................29 Daftar Tabel Tabel 1: Logframe dan indikator ...................................................................................2 Tabel 2: Konsep dan Definisi Strategi M&E ACCESS.................................................5 Daftar Gambar Gambar 1: Logframe Logis............................................................................................1 Gambar 2: Skema Logframe ACCESS..........................................................................4 Gambar 3: M:E dan Alat-alat Pelaporan .....................................................................13
Akronim/Singkatan ACFOA Dewan Australia untuk Bantuan Luar Negeri AMC Australian Managing Contractor/Kontraktor Pengelola Australia ATL Australian Team Leader/Ketua Tim Australia AusGUIDE Manual bagi manajemen yang efektif dari program bantuan luar negeri
Pemerintah Australia CBA Konsultan Pengembangan Kapasitas CDCLA Konsultan Pengembangan Masyarakat/Pembelajaran yang Berkelanjutan CDCSP Proyek Pengembangan Masyarakat & Masyarakat Sipil Australia-Indonesia CDST Alat Snapshot Pengembangan Masyarakat CLAPP Proses Penilaian dan Perencanaan yang Dipimpin oleh Masyarakat CSI Indeks Masyarakat Sipil CSO Organisasi Masyarakat Sipil CSOSP Program Penguatan Keorganisasian Masyarakat Sipil DPRD Dewan Perwakilan Rakyat Daerah DTL Deputy Team Leader/Wakil Ketua Tim DTL/GA Wakil Ketua Tim/Administrator Dana Hibah ERSULA Sistem Tanggapan atas Pertanyaan untuk layanan ACCESS GADC Persetujuan Umum tentang Kerjasama Pengembangan Australia-Indonesia GOA Pemerintah Australia GOI Pemerintah Indonesia GPI Penyertaan Gender dan Kemiskinan GPMA Konsultan Pengarus-utamaan Gender dan Kemiskinan (short term) IASAS Program Kegiatan Kecil Indonesia Australia IDSS International Development Support Services Pty Ltd Kabupaten Distrik KAP Rencana Tindakan Kabupaten KBO Operator Key Board MIS Sistem Manajemen Informasi MISA Konsultan Sistem Manajemen Informasi MOHA Departemen Dalam Negeri MOU Nota kepemahaman NGO Lembaga Swadaya Masyarakat NTB Nusatenggara Barat NTT Nusatenggara Timur OCA Penilaian Kapasitas Keorganisasian ODST Alat Snapshot Pengembangan Keorganisasian PCR Laporan Penyelesaian Proyek PDD Dokumen Rancangan Proyek PGA Persetujuan Dana Hibah Proyek
Q Tiga bulanan QPR Laporan Perkembangan Tiga bulanan Sulsel Sulawesi Selatan Sultra Sulewasi Tenggara TOR Terms of Reference TSP Tim Sumberdaya Provinsi UNDP United Nations Development Programme
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI i
Ringkasan Keseluruhan Kerangka kerja Monitoring dan Evaluasi (M&E) yang asli untuk Australian Community Development and Civil Society Strengthening Scheme (ACCESS) telah diajukan dan disetujui oleh AusAID pada April 2002. Revisi ini dihasilkan dari perubahan-perubahan yang muncul dari rancangan ulang program ACCESS dan dukungan matrik kerangka kerja logis yang menggabungkan pengembangan-pengembangan baru didalam program pengembangan kapasitas dan kegiatan-kegiatan bantuan masyarakat sipil yang baru. Pendekatan secara keseluruhan dalam kerangka kerja monitoring dan evaluasi (M&E) yang telah direvisi ini tetap sama seperti kerangka kerja M&E yang asli. Tujuan dari Kerangka kerja M&E adalah untuk mencatat perkembangan dari Proyek guna mengukur dan menyempurnakan strategi Proyek. Hal tersebut terfokus pada indikator-indikator seperti yang terdapat pada Kerangka kerja Logis ACCESS (Logframe), logframe proyek individu, profil masyarakat dan profil keorganisasian. Didalam Kerangka kerja M&E yang telah direvisi ini, kami sekali lagi menyempurnakan istilah-istilah dan konsep-konsep, serta prinsip-prinsip pemandu, untuk pendekatan M&E. Isu-isu kunci metodologis telah diklarifikasi khususnya yang berkaitan dengan pendekatan partisipatif dari pelaksanaan M&E, memfokuskan pada dampak Proyek pada proses pemberdayaan masyarakat dan fasilitator LSM sebagai bagian dari, dan sumbangan pada, pengentasan kemiskinan dalam arti luas. Kerangka kerja M&E dipertahankan untuk tetap sederhana dan mudah untuk dikelola, dengan dua fokus tentang pengukuran hasil dan dampak baik Proyek ACCESS secara keseluruhan maupun proyek dana hibah individu1. Tujuan kunci dari monitoring adalah untuk memungkinkan para stakeholder untuk belajar tentang hasil dan dampak daripada terfokus hanya semata-mata pada kegiatan-kegiatan yang sedang dilaksanakan. Kriteria bagi indikator-indikator telah dibuat sedemikian rupa dan dimasukkan kedalam unsur-unsur laporan kuantitatif dan kualitatif. Hasil dan dampak dari Proyek tergantung pada sebuah perluasan yang luas pada prestasi dari LSM dan para mitra masyarakat didalam proyek-proyek individual dibawah program dana hibah dan kontribusi mereka terhadap pencapaian Tujuan Proyek. Kontribusi ini akan diukur melalui logframe individual (dan indikator-indikator) yang akan dikembangkan bagi tiap proyek dana hibah individu. Melalui ini, ACCESS memastikan penggunaan alat-alat secara konsisten ditingkat yang berbeda dari Proyek, yakni:
Pada tingkat Proyek, hal ini berarti tindak lanjut dari indikator seperti yang disebutkan didalam Logframe AusAID khususnya berkaitan dengan penilaian dari pendekatan yang digunakan dan efektifitasnya dalam arti sumbangan terhadap Tujuan Proyek;
Pada tingkat proyek mitra individu, ini berarti tindak lanjut dari indikator
logframe individu seperti yang telah dikembangkan oleh masyarakat dan/atau organisasi ditiap proyek dana hibah.
1 Untuk memungkinkan pembaca untuk membedakan antara ACCESS sebagai sebuah proyek dan proyek-proyek dana hibah individu, sepanjang dokumen ini ACCESS akan disebut sebagai Proyek dengan huruf besar “P” dan proyek-proyek dana hibah akan memiliki awalan kata huruf “p”.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI ii
Keterlibatan masyarakat didalam pengukuran dampak proyek pada kehidupan mereka dan penilaian terhadap hubungan diantara mitra LSM dan masyarakat akan memberi indikasi kualitatif tambahan dari bantuan proyek dana hibah terhadap proses pemberdayaan yang kurang bermanfaat. Alat-alat M&E terkait dengan sebuah Sistem Manajemen Informasi (MIS) yang akan menyediakan informasi ditingkat kegiatan dari dana hibah dan database pengembangan kapasitas (ERSULA) database Penyedia Layanan Pengembangan Kapasitas dan sistem tanggapan atas pertanyaan. Bila perlu, semua data dipisahkan oleh gender. Sistem ini akan memastikan bahwa data yang lengkap tersedia untuk memberitahu Dewan Penasehat dan untuk membantu pembuatan keputusan didalam Manajemen Proyek.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 1
1 PENDAHULUAN
1.1 Latar Belakang Persiapan dan Revisi Kerangka Kerja M&E
Persiapan dari Kerangka Kerja Monitoring dan Evaluasi (M&E) yang telah direvisi ini untuk AusAID Community Development & Civil Society Strengthening Scheme (ACCESS) terkait dengan komponen 4 ‘Koordinasi dan Review’, Capaian 4.5 “Sebuah sistem untuk monitoring dan evaluasi terbentuk dan diterapkan”.
1.1.1 Definisi dari Peristilahan Sesuai dengan AusGUIDE, monitoring “menyertakan proses pengumpulan, penganalisaan, pencatatan, pelaporan dan penggunaan informasi manajemen tentang perkembangan fisik dan keuangan dari sebuah proyek. Fokusnya ada pada kegiatan dan tingkat capaian dari tingkatan Kerangka Kerja Logis dari tujuan. Monitoring berkaitan dengan penilaian terhadap pelaksanaan perkembangan dari sebuah proyek atau kegiatan dan pengidentifikasian tindakan untuk memperbaiki permasalahan disaat terjadi”. Dalam Gambar 1 tampak hubungan diantara urutan yang berbeda.
Gambar 1: Logframe Logis
Tujuan utama dari monitoring diantaranya: Menyediakan informasi yang relevan dan tepat waktu pada pelaksanaan proyek yang akan membantu pembuatan keputusan manajemen yang efektif oleh seluruh stakeholder kunci;
Mendorong diskusi mengenai perkembangan proyek bersama para stakeholder lainnya, dan merencanakan berbagai tindakan yang diperlukan;
Menyumbang pada akuntabilitas. Manager proyek AusAID perlu mengetahui bahwa kegiatan-kegiatan sedang dilaksanakan sesuai dengan nota kepemahaman, dokumen proyek dan kontrak, dan sedang mencapai tujuan yang ditentukan;
Menyediakan sumber informasi prestasi utama bagi manajemen internal dan persyaratan pelaporan eksternal; dan
Mempengaruhi kebijakan. Lembaga donor perlu mengetahui seberapa baik kebijakan dan
prosedur mengatur program kerjasama pengembangan berjalan dengan baik dan apakah perubahan diinginkan atau perlu.
Urutan Obyektif Masukan Kegiatan Capaian Hasil
Dampak
Manfaat
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 2
Evaluasi, dilain sisi, adalah “penilaian dari waktu-kewaktu yang secara obyektif dan sistematis menilai relevansi, prestasi dan kesuksesan/efektifitas dari program dan proyek yang sedang berjalan dan telah selesai”2. Definisi konsep akan didiskusikan dalam bab 2.1.
1.2 Maksud dari Kerangka kerja M&E
Maksud dari kerangka kerja M&E adalah untuk menyediakan sebuah basis konseptual dan metodologi bagi M&E melalui selama masa Proyek, dan untuk menjelaskan alat-alat tertentu yang akan digunakan untuk memfasilitasi pengumpulan informasi dan pelaporan. Oleh karena itu, kerangka kerja M&E utamanya diharapkan dapat bermanfaat bagi AMC ACCESS guna manajemen yang efektif, tetapi juga memberitahu AusAID dan Pemerintah Indonesia (GOI) tentang perkembangan Proyek. Kerangka kerja M&E terfokus pada penilaian hasil dan dampak. Menekankan pada hasil, efektifitas dan kesuksesan dari Proyek dan rancangannya, serta prestasi AMC dalam hal efektifitas pengelolaan Proyek. Kerangka kerja M&E menyelidiki hubungan diantara perkembangan Proyek, efisiensi, efektifitas, hasil dan dampak. Kerangka kerja dengan jelas mengartikulasikan pengukuran dari kesuksesan, serta menunjukkan sebuah pemahaman yang lebih jelas mengenai rancangan yang menjadi sifat strategi dan rasional Proyek. Kerangka kerja itu menunjukkan indikator-indikator prestasi terhadap maksud , seperti yang dapat dilihat didalam Tabel 1.
Tabel 1: Logframe dan indikator Urutan dari Sebab
dan Dampak Indikator fokus M&E Metode (kuantitatif dan
kualitatif) yang diperlukan untuk jenis indikator
Tujuan akhir Dampak – tingkat kesuksesan Data Eksternal Maksud Hasil – tingkat kesuksesan Survey, metode validasi
eksternal Obyektif komponen Hasil langsung – tingkat prestasi proyek Pelaporan dan verifikasi
internal Keluaran Perkembangan periodik Pelaporan pada keluaran;
observasi, kunjungan lapangan, penilaian kapasitas dsb.
Kegiatan Perkembangan yang terus-menerus Pelaporan tentang masukan, kunjungan staf dengan menggunakan alat-alat profil masyarakat, dsb.
2 Dari ‘Studi Pengembangan Kapasitas Monitoring dan Evaluasi’ (AusAID – 1998)
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 3
1.3 Ringkasan Proyek
Kerangka kerja M&E yang telah direvisi ini disusun berdasarkan pada paparan Proyek dari Dokumen Rancangan Proyek (PDD) yang telah direvisi dan Logframe yang diturunkan dari PDD yang telah direvisi.
1.3.1 Paparan Proyek Yang mendasari tujuan ACCESS adalah untuk menyumbang terhadap Strategi Negara AusAID baru tentang membantu Indonesia “untuk mengurangi kemiskinan dan mencapai pembangunan yang berkelanjutan”. Tujuan akhir ACCESS, seperti yang telah dijelaskan didalam PDD yang telah direvisi, adalah “Untuk menyumbang pada pengentasan kemiskinan dan menguatkan masyarakat sipil didalam fokus sektoral dan geografis dari program kerjasama pengembangan Australia dengan Indonesia”. Proyek menanggapi sasaran strategi negara dengan cara mengakui peran kunci dari organisasi-organisasi lembaga swadaya masyarakat di Indonesia. ACCESS akan membantu sasaran ini melalui penyediaan pengembangan kapasitas dan program dana hibah kepada organisasi yang menjadi target yang menunjukkan sebuah komitmen terhadap pendekatan partisipatif dan yang bekerja didalam sektor-sektor kunci AusAID dan wilayah-wilayah sasaran3.
1.3.2 Logframe Proyek Logframe ACCESS telah direvisi pada bulan Juni 2003. Seperti yang disarankan AusAID selama proses perancangan ulang, Logframe baru itu tetap sedekat mungkin dengan Logframe yang asli. Gambar 2 dibawah menggambarkan tujuan akhir, maksud, komponen dan tujuan komponen dari Proyek. Indikator-indikator yang disusun untuk Logframe dimonitor dan dilaporkan secara rutin melalui laporan perkembangan tiga bulanan. Sebuah contoh dari “matrik monitoring perkembangan” digunakan didalam laporan tiga bulanan disertakan didalam lampiran 1.
3 Wilayah geografis sasaran kunci berupa kelompok kabupaten seperti yang diidentifikasi didalam laporan penilaian wilayah pertama (lihat milestone 4)
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 4
Gambar 2: Skema Logframe ACCESS
Tujuan akhir, maksud, komponen dan tujuan komponen daaari ACCESS yang telah direvisi digambarkan dibawah ini:
Tujuan akhir
Untuk menyumbang pada pengentasan kemiskinan dan menguatkan masyarakat sipil didalam fokus sektoral dan geografis dari program kerjasama pengembangan Australia dengan Indonesia.
Maksud
Untuk mengembangkan dan menerapkan sebuah pendekatan yang efektif terhadap pengembangan yang dipimpin oleh masyarakat yang adil dan berkelanjutan
Komponen 1: Persiapan dan Perencanaan
Tujuan: Untuk merencana dan mengelola sebuah program bantuan masyarakat sipil dan pengembangan masyarakat yang efektif.
Komponen 2: Pengembangan Kapasitas bagi Penguatan Keorganisasian
Tujuan: Meningkatkan kapasitas keorganisasian dari LSM/CSO untuk membantu pengentasan kemiskinan di kabupaten mereka.
Komponen 3: Manajemen dan Perencanaan Masyarakat
Tujuan : Meningkatkan kapasitas masyarakat didalam perencanaan dan manajemen partisipatif dari kegiatan-kegiatan pengembangan yang berkelanjutan yang diinisiasi secara lokal.
Komponen 4: Koordinasi & Review
Tujuan: Sebuah sistem bagi peningkatan kualitas dan partisipasi tingkat tinggi stakeholder.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 5
2 STRATEGI M&E
2.1 Definisi Konseptual ACCESS
Konsisten dengan komitmennya terhadap prinsip-prinsip pengembangan partisipatif pengembangan masyarakat, AMC bermaksud untuk mengembangkan dan menerapkan metode partisipatif M&E bagi ACCESS. Dalam istilah umum, M&E partisipatif adalah sebuah proses dimana para penerima manfaat dan para mitra mengidentifikasi indikator-indikator dan mengukur indikator yang mana yanga akan memberi mereka informasi yang ingin mereka ketahui apakah kegiatan-kegiatan proyek mencapai tujuan yang telah mereka tentukan. Pendekatan juga melibatkan partisipasi aktif dan langsung oleh para mitra dan penerima manfaat didalam pengumpulan data untuk mengukur dan memverifikasi capaian-capaian. Pendekatan ini relatif baru dan merupakan sebuah tantangan terhadap pendekatan tradisional dimana indikator dan kerangka kerja M&E dipersiapkan untuk lembaga donor sebagai arti untuk memverifikasi capaian-capaian dalam sebagian besar istilah-istilah kuantitatif. Tabel 2 memaparkan tentang konsep-konsep yang akan digunakan bersama ACCESS.
Tabel 2: Konsep dan Definisi Strategi M&E ACCESS
Konsep Definisi Dampak Perubahan jangka panjang didalam sikap, sifat, keahlian dan kapabilitas
dari kelompok sasaran yang dicapai melalui serangkaian efek-efek hasil dari kegiatan-kegiatan yang berbeda yang diinisiasi oleh sebuah proyek. Dengan menggunakan Logframe ACCESS, dampak yang terkait dengan tujuan pengembangan dan maksud dari Poryek.
Hasil Diakhir Proyek, AMC akuntabel untuk perubahan-perubahan tertentu, efek-efek atau disebut juga hasil. Secara prinsip, kegiatan yang dirancang dengan baik mengarah pada ‘capaian’ yang diantisipasi dimana mengarah pada ‘hasil’ yang diantisipasi. ‘Maksud’ atau ‘tujuan dekat Proyek’ adalah untuk mencapai hasil tertentu yang telah ditentukan diakhir Proyek. Menggunakan Logframe ACCESS, hasil yang berkaitan dengan tujuan komponen.
Capaian Produk atau layanan yang dihasilkan dan disampaikan oleh Proyek untuk mencapai hasil-hasil Proyek. Menggunakan Logframe ACCESS tingkat capaian mencerminkan konsep ini.
Kegiatan Sebuah intervensi dimana Proyek secara langsung bertanggung jawab untuk mengadakan, melaksanakan atau pencapaian. Menggunakan Logframe ACCESS; tingkat Masukan dan Kegiatan mencerminkan konsep ini..
Masukan Sumber daya (manusia, keuangan, lainnya) yang digunakan dalam kegiatan-kegiatan dan tugas-tugas untuk menghasilkan capaian Proyek. Sebuah masukan ke kegiatan Proyek mungkin juga menjadi sebuah capaian dari kegiatan Proyek yang lebih awal. Sebagai contoh capaian dari sebuah program pelatihan atau lebih membuat staf menjadi berkualitas, staf yang berkualitas mungkin berubah menjadi masukan bagi sebuah program penyampaian layanan.
Proses Saat dimana kegiatan-kegiatan itu dilaksanakan.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 6
Konsep Definisi Proses termasuk diantaranya:
• dimana sesuatunya diselesaikan: tugas sehari-hari, yang dimonitor melalui pengumpulan data dan pelaporan, dan melalui pertemuan dan diskusi rutin staf;
• strategi atau pendekatan yang menjelaskan mengapa sesuatunya selesai dengan cara seperti itu, yang akan dievaluasi melalui review secara periodik.
Dalam Kerangka kerja ini, kami mengelompokkan konsep-konsep sebagai berikut: Dimonitor: Kegiatan, Proses dan Masukan Dievaluasi: Dampak, Hasil, Capaian dan Proses Dari literatur yang telah ada4, kami menemukan bahwa terdapat beberapa definisi untuk monitoring dan evaluasi tetapi dalam hal ACCESS kami akan menggunakan hal berikut:
2.1.1 Monitoring Monitoring prestasi adalah “sebuah fungsi terus-menerus yang bertujuan utamanya untuk menyediakan manajemen program atau proyek dan para stakeholder utama dari sebuah program atau proyek yang sedang berjalan dengan indikasi awal dari perkembangan atau kekurangan daripadanya didalam pencapaian masukan program/proyek dan tujuan-tujuan capaian”5 Monitoring sebagian besar terdiri dari monitoring masukan, monitoring proses/kegiatan dan monitoring capaian dari proyek-proyek dana hibah, yang dipahami sebagai berikut: Monitoring masukan: mengukur berbagai cara atau sumber daya yang digunakan
dalam pelaksanaan proyek Monitoring proses/kegiatan: mengukur tingkat terhadap kegiatan yang telah
direncanakan, proses dari perubahan masukan kedalam capaian yang diinginkan telah tercapai
Monitoring capaian: mengukur tingkat terhadap produk dan layanan yang diharapkan oleh proyek untuk dihasilkan telah tercapai.
Sebuah sistem yang baik tentang monitoring prestasi menyediakan kebutuhan informasi bagi monitoring dampak. Didalam Logframe, dampak berkaitan dengan maksud dan tujuan proyek dan dijelaskan sebagai: Pemanfaatan barang dan layanan (atau hasil) oleh kelompok-kelompok sasaran
yang disediakan oleh proyek dan adopsi dari praktek-praktek yang telah meningkat (yakni, pencapaian dari maksud proyek)
Keuntungan masyarakat sasaran yang didapat dari pemanfaatan hasil-hasil proyek (yakni sumbangan terhadap tujuan akhir proyek).
4 Evaluasi di Komisi Eropa (2001); Dalam “Striking a Balance”, Alan Fowler (1997); Monitoring Proyek (GTZ – 1998) dan “The Monitoring and Evaluation Guidebook”, Macro TAT untuk USAID (1999) 5 UNDP (1997) Hasil-hasil Monitoring dan Evaluasi yang Terorientasi
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 7
Monitoring dampak memeriksa perubahan, baik yang diharapkan atau tidak, positif maupun negatif, jangka panjang, menengah maupun pendek dan langsung maupun tidak langsung ditingkat masyarakat pada tingkat akar rumput, ditingkat kelompok-kelompok yang terpengaruhi, pada tingkat lembaga dan ditingkat lingkungan dalam kaitannya dengan situasi proyek sebelum ada dana hibah, melihat pada indikator-indikator untuk maksud dan tujuan pengembangan. Baik monitoring prestasi dan monitoring dampak termasuk pula monitoring dari kondisi seperti yang digambarkan didalam asumsi-asumsi, seperti yang ditemukan didalam Logframe, dikarenakan hal ini mempengaruhi kemungkinan pencapaian capaian, maksud dan/atau tujuan akhir. Alat tambahan untuk mengukur dampak, dan siapa yang sebenarnya mendapat manfaat, berupa Snapshot/Profil Masyarakat. Difasilitasi oleh staf ACCESS dan LSM, snapshot ini akan fokus pada monitoring dan pengukuran dampak khususnya mengenai kaum miskin dan perempuan. Sebuah salinan dari snapshot disertakan sebagai Lampiran 4. Pada khususnya, analisa dibawah ini telah dilakukan:
1. Analisa Manajemen Organisasi – analisa tentang bagaimana kegiatan dilaksanakan ditingkat masyarakat
2. Analisa Pembuatan Keputusan – untuk menentukan siapakah (laki-laki/perempuan/kaya/miskin) yang terlibat didalam pembuatan keputusan mengenai apa, dan bagaimana hal ini telah berubah dari waktu-kewaktu (matrik pembuatan keputusan)
3. Analisa Partisipasi – untuk menentukan siapakah yang berpartisipasi di kegiatan mana dan bagaimana hal ini berubah dari waktu-kewaktu (matrik partisipasi)
4. Analisa Keorganisasian – untuk menganalisa dampak dalam hal hubungan dengan organisasi lainnya dan bagaimana hal ini berubah dari waktu-kewaktu (diagram venn untuk laki-laki/perempuan/kaya/miskin)
5. Analisa Mengisi Kesenjangan – hasil analisa hasil dari alat-alat sebelumnya untuk menentukan apa isu-isunya, dimana hambatannya, dan untuk mengembangkan sebuah strategi baru untuk mengatasinya.
2.1.2 Evaluasi Berbagai jenis evaluasi akan digunakan oleh berbagai stakeholder. Pada tingkat proyek individu/mikro, organisasi yang menerima dana hibah akan menyiapkan sebuah laporan evaluasi/penyelesaian dimana memuat capaian-capaian secara rinci dari kegiatan dihadapkan pada tujuan-tujuan yang sebenarnya. Ditingkat makro, ACCESS akan menggunakan evaluasi di tahapan yang berbeda dari siklus proyek sebagai berikut: Manajer proyek melaksanakan evaluasi sementara selama masa pelaksanaan
sebagai sebuah review perkembangan pertama, sebuah perkiraan dari akibat proyek, dan sebagai cara untuk mengidentifikasi perubahan yang diperlukan didalam rancangan proyek.
Review masa pertengahan (Mid-term) dari proyek yang sedang berjalan merupakan alat manajemen lain yang secara luas diterima dalam komunitas lembaga donor.
Evaluasi akhir, dilaksanakan pada akhir masa proyek, diperlukan untuk laporan penyelesaian proyek. Diantaranya termasuk sebuah penilaian atas akibat dari adanya proyek dan kemungkinannya untuk berkelanjutan.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 8
Evaluasi Paska proyek, 12 bulan setelah tanggal selesainya proyek, sebuah evaluasi dilaksanakan untuk menilai manfaat /keberlanjutan jangka panjang pada masyarakat/penerima manfaat.
2.2 Prinsip-prinsip Panduan
Didalam penyusunan Kerangka kerja, prinsip-prinsip panduan dibawah ini menyokong pendekatan Proyek terhadap M&E: Kesederhanaan dan Kemudahan dalam Penggunaannya
Alat-alat yang sederhana dan jelas dirancang sehingga cocok untuk berbagai jenis audien dan dapat pula, sebanyak mungkin, digunakan oleh staf LSM/CSO serta organisasi masyarakat setempat untuk memonitor dan mengevaluasi proyek-proyek individu. Kepemilikan oleh Masyarakat
Pendekatan partisipatif didalam perencanaan proyek dan partisipasi masyarakat didalam menentukan indikator-indikator serta keterlibatan mereka didalam monitoring hasil dari proyek tertentu memastikan kepemilikan dari proyek tersebut, dimana pada gilirannya membantu keberlanjutan dari proyek itu. Pemilahan Gender
Fokus khusus ditujukan pada monitoring hasil dan akibat dari proyek dalam kaitannya dengan keperbedaan gender. Hal ini akan memungkinkan Proyek untuk mengembangkan, mereview dan merubah strateginya. Pengembangan Kapasitas
Bila perlu, monitoring dan evaluasi menjadi sebuah proses pembelajaran bagi seluruh mitra yang terlibat. Tekanan akan ditujukan pada M&E sebagai sebuah alat untuk belajar dan meningkatkan kegiatan daripada hanya sekedar sebuah fungsi “pengawasan”. Proses Review Internal Kualitatif
Staf Proyek Indonesia dan khususnya organisasi mitra dan stafnya mungkin merasakan bahwa monitoring/evaluasi sebagai percampuran Proyek di dalam negeri atau sebagai penilaian atas prestasi mereka oleh pihak luar. ACCESS akan berusaha untuk memastikan bahwa mitra kami memahami rencana untuk M&E dan kami akan menekankan kebutuhan bagi diskusi informasl rutin dan refleksi pada perkembangan dan hal-hal yang dipelajari. ACCESS akan memastikan bahwa refleksi ini merupakan bagian dari proses pembelajaran yang diimpikan oleh Proyek ini yaitu menghasilkan organisasi-organisasi lokal yang lebih kuat yang dapat menyumbang pada pengentasan kemiskinan. Validitas dan Kemungkinan dapat Dikerjakan dari Indikator-indikator
Validitas dari indikator akan dicapai dengan cara mengumpulkan informasi melalui berbagi metode dan dari berbagai perspektif yang melibatkan seluruh stakeholder yakni, LSM-LSM lokal, Organisasi setempat dan masyarakat. Dengan menggunakan data dasar dari penilaian wilayah awal, penilaian OCA dari masing-masing LSM, serta melalui penggunaan indikator seperti yang ditentukan oleh masyarakat, ACCESS akan memastikan kemungkinan untuk dapat dikerjakan dari pengukuran indikator-indikator untuk M&E. Kejelasan dari Akuntabilitas Proyek
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 9
Hasil dari Proyek dalam hal pengentasan kemiskinan dan pengembangan kapasitas ditingkat masyarakat tergantung pada, tingkat yang besar pada organisasi lokal (dimana memiliki kapasitas yang terbatas) melaksanakan proyek individu. Memang penting untuk jelas indikator-indikator mana tim ACCESS secara langsung bertanggung jawab yakni, indikator yang berkaitan dengan pelaksanaan kegiatan-kegiatan ACCESS terkait dengan Logframe AusAID (dan indikatornya). Dilain sisi, Proyek juga akan memantau LSM-LSM atau lembaga-lembaga yang bertugas menjalankan pengembangan kapasitas bagi mitra-mitra ACCESS sebagai bagian dari upaya untuk meningkatkan kapasitas dari mitra-mitra pelaksanaan serta monitoring terhadap proyek-proyek individu dan prestasi keuangan dari LSM-LSM. Fleksibilitas
Kami telah menentukan indikator-indikator untuk pengukuran prestasi proyek tetapi kita harus jelas bahwa perubahan-perubahan mungkin harus dilakukan dan mempertimbangkan perubahan lingkungan saat ini di Indonesia. Kami juga mengasumsikan bahwa konteks politik Indonesia akan memungkinkan sektor LSM untuk tumbuh dan membantu terhadap pembangunan Indonesia yang lebih demokratis. • Sesuai dan Dapat Diterima secara Budaya Kehati-hatian akan dipakai guna memastikan bahwa metodologi yang dihasilkan untuk M&E tidak mengancam orang, dan secara budaya dapat diterima sehingga orang tidak “kehilangan muka”. Seperti disebutkan diatas, metodologi yang telah dihasilkan bagaimana caranya justru menjadi sebuah alat pembelajaran daripada sekedar sebuah alat penilaian. Contoh dari hal ini adalah monitoring “lintas dan pertukaran” dimana LSM-LSM di wilayah yang sama saling mengunjungi antara satu dengan yang lain untuk keperluan monitoring. Hal ini akan memberi kesempatan kepada LSM-LSM untuk belajar dari pengalaman LSM yang dikunjungi, tetapi juga memberi mereka kesempatan untuk menambahkan pengalaman mereka sendiri terhadap proses pembelajaran. Efektifitas Biaya
Alat-alat yang dirancang dan indikator-indikator yang disetujui membuat mungkin dimana proses monitoring adalah sebuah latihan terfokus yang memerlukan waktu terbatas dan tidak membebani staf LSM dan staf Proyek. Kenyataannya bahwa, indikator-indikator diukur pada jarak tertentu membuat prosesnya lebih sistematis dan efektif dalam hal biayanya.
3 ISU-ISU METODOLOGIS KUNCI
Dibawah ini merupakan isu-isu utama metodologi bagi kerangka kerja M&E:
3.1 Pendekatan Partisipatif
Isu metodologi kunci yang dilaksanakan berupa pendekatan partisipatif Proyek dalam hal monitoring prestasi dan perkembangan. Kebalikan dari pendekatan yang biasanya, (dimana akibat dan hasil sebagian besar diukur oleh dan/atau untuk lembaga donor) penilaian kesuksesan atas kegiatan-kegiatan diserahkan sepenuhnya kepada masyarakat dan organisasi mitranya yang menerima dana hibah melalui ACCESS. Hal ini memastikan bahwa indikator yang diukur merupakan indikator dari kepentingan orang (baik laki-laki maupun perempuan) yang dituju dan bukan (hanya) bagi Proyek.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 10
Pendekatan ini memiliki beberapa tantangan utama seperti halnya: Lemahnya pengalaman/kapasitas dari LSM-LSM untuk memonitor dengan cara
partisipatif Sebuah kepercayaan umum bahwa M&E adalah untuk lembaga donor, bukan
untuk manfaat dari LSM atau masyarakat Penilaian yang subyektif Kualitas data (lemahnya bahan-bahan data dasar yang rinci) Budaya yang berlaku berupa tidak mengikutsertakan kelompok-kelompok lemah
(perempuan, kaum miskin) disaat menyediakan tanggapan balik. Pelatihan pengembangan kapasitas akan dirancang untuk meningkatkan kemampuan monitoring dan evaluasi baik staf ACCESS, mitra LSM dan wakil-wakil masyarakat, dan hal itu akan membantu memecahkan sebagian permasalahan yang potensial.
3.2 Pemilahan Data
Program pemilahan tingkat orang berdasarkan gender, tingkat pendapatan, lokasi dan dimensi tertentu secara lokal lainnya penting dari sebuah pandangan manajemen dan pelaporan untuk sensitif terhadap perbedaan didalam kelompok-kelompok sasaran. Proyek akan memilahkan data sebanyak mungkin untuk memungkinkan Proyek untuk melihat pada efek Proyek pada berbagai kelompok stakeholder, khususnya yang secara tradisional terpinggirkan, dan variasi dampak didalam kelompok-kelompok yang berbeda.
3.3 Akuntabilitas Proyek dan Mitra
Upaya-upaya M&E harus mampu mengukur kesuksesan di dua tingkat, yaitu: Monitoring terhadap capaian Proyek, dimana sebagian besar berkaitan dengan
kemampuan Proyek untuk menjalankan sesuai dengan standar yang disetujui Monitoring terhadap hasil Proyek dimana sebagian besar melihat pada efektifitas
program dalam hal peningkatan kapasitas LSM-LSM/CSO-CSO, pemberdayaan masyarakat dan utamanya kontribusi terhadap pengentasan kemiskinan.
Dikarenakan LSM setempat/ penyedia layanan pengembangan kapasitas bertanggung jawab atas pelaksanaan dari proyek-proyek individu maka, perlu untuk membedakan upaya-upaya para mitra ini dan upaya-upaya Proyek.
3.4 Manajemen Resiko
Manajemen resiko terus menjadi prioritas didalam iklim politik dan ekonomi saat ini di Indonesia. Didalam ‘Matrik Manajemen Resiko yang Diperbaharui’, yang disertakan didalam PDD yang telah direvisi, dimana, hal itu berasal dari konteks politk dan budaya tetapi juga dari masyarakat, LSM-LSM serta dari AMC dan AusAID. AMC akan tetap mencatat perubahan-perubahan didalam lingkungan saat ini dan penilaian akan dilakukan untuk menghindari resiko yang berasal pilihan-pilihan dari para mitra di Proyek. Informasi dari penilaian wilayah, pemahaman yang baik mengenai situasi dan kondisi lokal oleh tim AMC, dan pembaruan dari matrik resiko secara terus-menerus akan membantu memecahkan ketidaktentuan ini. Informasi yang relevan akan diperbaharui dalam pelaporan Proyek secara rutin, termasuk Laporan Bulanan yang telah disusun akhir-akhir ini, yang menyediakan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 11
kepada AusAID dan mitra pemerintah dengan informasi yang diperbaharui secara rutin tentang organisasi-organisasi yang tertarik dalam program dana hibah (data dari bulan sebelumnya yang dihasilkan dari sistem tanggapan atas pertanyaan) dan/atau bekerja dengan ACCESS (data dihasilkan dari database).
3.5 Kriteria untuk Indikator-indikator M&E
Indikator-indikator perlu dan dengan jelas membedakan antara perkembangan proyek, efektifitas dan dampak dan menjelaskan tentang kualitas, kuantitas dan waktu dari urutan tujuan dengan rujukan pada sifat proyek dan standar yang diterima secara eksternal maupun internasional. Untuk mengukur perubahan secara obyektif, akan menjadi penting untuk menetapkan indikator seccara setepat mungkin, termasuk bila perlu baik unsur kualitatif dan kuantitatif. Karakteristik indikator yang diinginkan dapat diringkas sebagai berikut:
Tidak membingungkan: Indikator harus dengan tepat ditetapkan sehingga pengukuran dan penafsirannya tidak membingungkan.
Konsisten: Indikator harus memberi data yang obyektif bukan subyektif, dimana, indikator tersebut harus independen dari orang yang bertugas mengumpulkan data.
Spesifik: Indikator harus mencerminkan hal-hal yang ingin dirubah oleh proyek, menghindari pengukuran yang sebagian besar merupakan subyek terhadap pengaruh eksternal.
Sensitifitas: Indikator seharusnya sensitif terhadap perubahan-perubahan disebabkan oleh proyek.
Dapat dipercaya: Kenyataan bahwa kualitas data yang cukup dapat dipercaya dapat didapatkan untuk membantu pembuatan keputusan.
Memadai: Diambil sebagai sebuah kelompok, sebuah indikator prestasi dan indikator-indikator yang menyertainya harus cukup memadai mengukur hasil didalam pertanyaan.
Pemilahan: Bila perlu, indikator seharusnya dipilahkan berdasarkan gender, tingkat pendapatan, lokasi, atau dimensi lainnya untuk menunjuk pada dampak atau manfaat yang berbeda didalam masyarakat.
Praktis dan Mudah untuk pengumpulannya: Indikator yang dipilih harus memungkinkan untuk dilaksanakan dan relatif tidak mahal dalam kerangka waktu yang masuk akal pula.
Sesuai dengan prinsip-prinsip panduan dan definisinya, kami menentukan kriteria untuk mengkategorikan indikator dari Logframe sebagai ‘indikator monitoring’ ataukah ’indikator evaluasi’.. Indikator-indikator telah dipilih dimana sesuai untuk tiap tingkatan monitoring. Ditingkat kegiatan, maksud dari indikator adalah untuk menunjukkan bahwa kegiatan/masukan sedang dilaksanakan. Isu tentang efek kegiatan gabungan dan hasil yakni, hasil ditujukan dalam indikator untuk tingkat itu. Hal ini akan dikombinasikan dengan indikator bagi proyek-proyek individu dimana akan berdasarkan pada matrik individu dengan tiap indikator yang dihasilkan dan disetujui oleh seluruh mitra.
3.6 Monitoring dari Faktor Eksternal
Monitoring dari faktor eksternal akan dijalankan melalui laporan tiga bulanan dan laporan tahunan.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 12
Beberapa faktor eksternal yang harus dimonitor oleh AMC termasuk diantaranya: Dampak tindakan dan kebijakan Pemerintah Indonesia yang lebih luas mengenai
pembangunan sektor LSM dan pada kemampuan mereka untuk menjawab kebutuhan masyarakat.
Dampak tindakan dan kebijakan Pemerintah Indonesia yang lebih luas
pelaksanaan dan revisi terhadap undang-undang otonomi daerah, dan kebijakan dalam kaitannya dengan proses perencanaan masyarakat.
Manajemen Resiko pada khususnya keamanan tetapi juga memeriksa pada
Resiko Proyek yang akan dikerjakan oleh Proyek dan akan dipertimbangkan selama masa pelaksanaan. Pembaruan rutin dari matrik resiko akan dilakukan secara rutin dan disertakan didalam laporan.
Koordinasi dengan pemerintah dan lembaga donor lainnya untuk memastikan
bahwa Proyek terfokus pada isu-isu yang kurang tertangani oleh pelaku-pelaku lainnya. Koordinasi dengan lembaga lainnya akan menghindarkan tumpang-tindih dalam hal bantuan dan akan memungkinkan adanya sebuah pertukaran informasi dan hal-hal yang telah dipelajari.
Manajemen dari efektifitas dan efisiensi, termasuk penilaian atas prestasi
personil, bantuan tehnis dan responsifitas AMC, penelusuran atas pembayaran milestone, hubungan dengan AusAID, pembuatan keputusan untuk fleksibilitas, manajemen keuangan dan akuntabilitas.
Proses pendelegasian didalam manajemen AusAID dari Canberra ke Jakarta.
4 ALAT-ALAT M&E
Kerangka kerja M&E Proyek menyertakan sejumlah alat yang akan diperbaharui secara rutin guna memungkinkan tindak lanjut dari perkembangan pencapaian capaian Proyek seperti yang telah ditetapkan melalui indikator-indikator ditiap tingkatan. Hal ini diwakili dalam bentuk gambar di Gambar 4 dan menggambarkan berbagai tingkat berbeda dari pengaruh Proyek dan hubungan dari dana hibah dengan mitra dan kaitannya dengan Tujuan Akhir Proyek. Diagram tersebut juga menggambarkan alat M&E manakah yang akan digunakan. Kerangka kerja M&E akan terus dikembangkan dan dikaitkan dengan perkembangan lebih lanjut dari sistem MIS proyek (dijadwalkan untuk awal 2004).
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 13
Gambar 3: M:E dan Alat-alat Pelaporan
Logframe Dana Hibah & Pengembangan Kapasitas Logframe ACCESS
Alat-alat M&E Profil Masyarakat Profil
Keorganisasian. Evaluasi Studi Kasus
Profil Mitra Perjanjian Dana
Hibah Proyek (PGA)
Logframe Proyek Individu
Database Kapasitas Database Dana
Hibah Indikator Logframe
Access
Reporting Tools
Laporan Evaluasi
Laporan para Program Officer
Laporan
Perkembangan Mitra (Termasuk Laporan Keuangan)
Laporan Pengembangan Kapasitas/Pe
latihan Rencana
Tahunan Laporan Tiga
Bulanan Laporan Dewan
Penasehat Review
ACCESS Maksud Capaian Kegiatan Masukan
Tujuan ACCESS
Logframe Proyek Mitra Tujuan akhir Maksud
Tujuan akhir Maksud Capaian
Tujuan akhir Maksud Capaian Kegiatan Masukan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 14
Dua kelompok alat yang akan digunakan untuk mengukur perkembangan kegiatan, komponen capaian dan tingkat tujuan. Satu melihat pada tingkat makro (ACCESS, sedangkan lainnya melihat ada tingkat mikro (proyek individu). Keduanya berdasarkan pada sebuah format jenis kerangka kerja logis.
4.1 Matrik Monitoring Perkembangan Proyek
Seperti yang disampaikan diatas, Matrik Monitoring Perkembangan (Lampiran 1) menunjukkan indikator yang dibuat untuk tingkat yang berbeda didalam Logframe. Indikator itu umumnya mengukur perkembangan proses dan sistem yang disusun oleh Proyek. Pelaporan pada indikator ini membutuhkan analisa pengumpulan data dan informasi yang periodik. Matrik itu menggambarkan indikator dan perkembangan hingga saat ini, dimana akan diperbaharui tiap tiga bulan dan disertakan didalam QPR. Indikator itu mengidentifikasi lebih jauh hambatan-hambatan dan menetapkan tindakan, peran dan tanggung jawab dimasa depan. Melihat pada hasil sebuah perangkat indikator hasil yang menghubungkan ke hasil antara dari Proyek digunakan untuk mengukur keluasan hasil yang didapat dan apakah mereka sesuai dengan tujuan dan sasaran.
4.2 Alat Monitoring dan Evaluasi untuk proyek-proyek individu
Seperti disampaikan diatas, tiap proyek individu akan memiliki Logframenya sendiri-sendiri, dimana akan digunakan untuk pelaksanaan M&E oleh organisasi mitra (Lihat Lampiran 2). Pada tingkat proyek individu ini, apakah itu sebuah kegiatan pengembangan masyarakat hasil dari CLAPP, sebuah rencana tindakan kabupaten setelah lokakarya CSI ataukah sebuah kegiatan pengembangan kapasitas, organisasi itu tetap harus mengajukan laporan mengenai kegiatan dihadapkan dengan usulan yang asli. Sebuah format standar telah dibuat untuk membantu didalam membantu pelaporan ini dan disertakan sebagai sebuah lampiran pada panduan operasi (lihat Milestone 7b). Laporan ini juga menyertakan sebuah Logframe dimana indikator yang jelas terbentuk untuk tiap hasil dari proyek. Program officer yang bersangkutan bertanggung jawab untuk menindaklanjuti isu-isu masyarakat/organisasi yang muncul, dan bila sepertinya berdampak pada efektifitas kegiatan, isu itu juga akan dimunculkan dengan manajemen program. Bagi kegiatan dana hibah kecil, dimana biasanya mempunyai jangka waktu kurang dari 3 bulan, yang dibutuhkan hanya sebuah laporan evaluasi/penyelesaian. Proyek yang dilaksanakan oleh LSM/CSO juga akan memuat sebuah rencana evaluasi untuk menggabungkan indikator khusus untuk proyek tersebut dan, bila memungkinkan, sumbangan mereka terhadap sebagian dari indikator hasil dan dampak bagi Proyek. Evaluasi proyek kecil ini akan menyediakan penilaian sementara dari perkembangan dihadapkan pada tujuan Proyek secara keseluruhan, dan lagi terhadap maksud penilaian kesuksesan dari proyek tersebut. Evaluasi paska proyek (12 bulan setelah selesainya proyek) akan terfokus pada keberlanjutan hasil proyek ditingkat masyarakat dan akan memberikan sebuah indikasi dampak dalam hal pemberdayaan masyarakat.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 15
4.3 Alat-alat M&E – Tingkat Tujuan Proyek
Seperti disebut diatas, alat khusus perlu untuk dibuat guna mengukur perkembangan terhadap “tujuan akhir” Proyek. Proyek mengusulkan penggunaan tehnik profil, dengan jalan sebuah snapshot dari situasi yang dilaksanakan secara periodik (pada umumnya tiap enam bulan) dihadapkan pada kriteria standar, guna mendapatkan gambaran situasi berdasarkan wilayah kunci pemberdayaan dan pengentasan kemiskinan. Informasi yang dikumpulkan di snapshot awal akan digunakan sebagai data dasar untuk snapshot berikutnya, menggunakan kriteria dan indikator yang sama, dan akan dilaksanakan oleh staf proyek dan LSM/CSO yang berpartisipasi.
4.4 Alat M&E bagi Mitra dan Masyarakat
Pengembangan masyarakat (yakni pemberdayaan masyarakat); pengembangan dari organisasi perantara (yakni penguatan keorganisasian) serta hubungan LSM dengan masyarakat dalam hal memungkinkan masyarakat untuk tumbuh dan berkembang ditangan masyarakat itu sendiri akan diukur.
4.4.1 Indikator Pemberdayaan Masyarakat Pemberdayaan masyarakat, khususnya pemberdayaan perempuan dan kaum miskin, merupakan sebuah indikator utama dari dampak bantuan ACCESS.Berbagai alat telah dihasilkan guna mengukur dampak ini dengan cara yang partisipatif. Istilah snasphot masyarakat digunakan untuk menggambarkan proses dengan jalan mana “snapshot” periodik dilaksanakan oleh masyarakat guna mengukur situasi saat ini dalam arti partisipasi, perubahan didalam hubungan dan manajemen masyarakat, untuk mendiskusikan isu-isu ini dan bagaimana untuk mendorong perubahan. Snapshot Masyarakat akan dilaksanakan didalam masyarakat dengan menggunakan lima alat yang berbeda. Dibawah ini menyampaikan sebuah garis besar singkat mengenai tujuan dari tiap alat (untuk informasi lengkapnya lihat Lampiran 3). Penilaian Manajemen Organisasi Tujuan dari alat ini adalah untuk menganalisa komposisi, prestasi dan transparansi organisasi yang bertanggung jawab untuk manajemen kegiatan. Alat itu memungkinkan pemeriksaan silang dari persepsi masyarakat (laki-laki, perempuan, kaya dan miskin), dan mendorong mendiskusikan tentang cara untuk meningkatkan/menguatkan organisasi. Alat tersebut juga menilai kemungkinan keberlanjutan dari organisasi itu. Matrik Pembuatan Keputusan (partisipan – kelompok yang berbeda dari laki-laki, perempuan, kaya, miskin) Masyarakat mengidentifikasi dan menganalisa siapakah yang saat ini membuat keputusan tentang kegiatan, mengidentifikasi hambatan pada orang yang berbeda yang sedang terlibat didalam pembuatan keputusan, mengidentifikasi cara untuk mengatasi hambatan tersebut, dan perubahan alur didalam pembuatan keputusan dari waktu-kewaktu. Matrik Partisipasi (partisipan - kelompok yang berbeda dari laki-laki, perempuan, kaya, miskin) Masyarakat mengidentifikasi dan menganalisa siapakah yang saat ini berpartisipasi di kegiatan yang mana, dan diskusikan siapa yang seharusnya terlibat dan memiliki
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 16
akses terhadap pelatihan serta kesempatan lainnya. Alat ini juga mendiskusikan hambatan terhadap partisipasi dan cara untuk mengatasi hambatan tersebut. Diagram Venn (partisipan - kelompok yang berbeda dari laki-laki, perempuan, kaya, miskin) Tujuannya adalah untuk menganalisa interaksi antara individu dan organisasi dan kepentingan relatif mereka didalam melaksanakan kegiatan. Hal itu memungkinkan monitoring kualitas dari hubungan, perubahan selama ini, dan cara untuk meningkatkannya atau hasil yang lebih baik bila perlu. Menutup Kesenjangan (partisipan – pertemuan masyarakat) Tujuannya adalah bagi masyarakat untuk mereview hasil monitoring dan mengidentifikasi serta menganalisa kesenjangan didalam pelaksanaan kegiatan mereka. Hal itu termasuk sebuah diskusi yang difasilitasi mengenai kepuasan masyarakat dengan pendekatan partisipatif yang digunakan, bagaimana cara untuk meningkatkan keadilan, bagaimana untuk mengatasi beberapa isu dan permasalahan yang mungkin muncul, bagaimana peningkatan akan dibuat dan siapa yang bertanggung jawab. Dan juga mendorong diskusi mengenai masa depan dan bagaimana memastikan keberlanjutan.
4.4.2 Indikator Penguatan Keorganisasian Indikator dari Penguatan Keorganisasian dari mitra akan diukur dan dibantu dengan dua cara. Meskipun memakan waktu, direkomendasikan bahwa kedua alat dicobakan selama awal bulan Proyek. Penilaian Atas Diri Sendiri: Alat penilaian atas diri sendiri memiliki kelebihan dan kelemahan. Kekuatan utamanya bahwa memang merupakan sebuah alat pemberdayaan dan pengembangan kapasitas yang kuat, memungkinkan organisasi untuk menentukan kekuatan dan kelemahan mereka sendiri dan kebutuhan pelatihan. Kelemahan utamanya adalah bahwa tidak dapat dipercaya secara obyektif mengukur perubahan selama ini dari bantuan proyek. Beberapa metodologi tersedia untuk digunakan didalam kegiatan penilaian atas diri sendiri. ACCESS telah memilih untuk memakai alat Penilaian Kapasitas Keorganisasian (OCA). Pelatihan fasilitator didalam penggunakan OCA telah diselenggarakan sehingga fasilitator tersebut secara lokal akan tersedia untuk membantu aspek upaya pengembangan kapasitas ini bagi mitra Proyek. Penilaian Proyek oleh staf Proyek mirip konsepnya dengan tehnik profil yang dijelaskan diatas. Hal ini akan melibatkan pelaksanaan “snapshot” secara periodik dari sebuah organisasi untuk mengukur perubahan hasil dari bantuan Proyek. Proyek telah membuat sebuah alat Snapshot Pengembangan Keorganisasian yang akan menyediakan informasi kritis kepada ACCESS dan tiap organisasi mengenai perubahan didalam kebiasaan keorganisasian yang terjadi selama masa sebelumnya. Alat ini dirancang untuk menyediakan sebuah kesempatan pembelajaran yang terstruktur baik bagi organisasi yang terlibat dan ACCESS mengenai bagaimana organisasi mendapatkan manfaat dari kegiatan pengembangan kapasitasnya (CB) dan apakah tingkat pembelajaran dari kegiatan-kegiatan tersebut telah diresapi didalam organisasi. Kerangka Kerja Pengembangan Kapasitas ACCESS mengidentifikasi tiga wilayah kunci tentang perubahan yang perlu untuk mempertahankan kapabilitas
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 17
keorganisasian: filosofi dan etos; sistem keorganisasian dan kapabilitas individu. Perubahan di tiga wilayah ini akan diidentifikasi dan didiskusikan selama proses penilaian. Tujuan utama dari kegiatan penguatan keorganisasian adalah untuk mendapatkan dampak yang positif pada prestasi keorganisasian, yaitu pencapaian yang sukses dari tujuan dan tujuan akhir program. Alat ini, selanjutnya untuk mengukur baik perubahan ditingkat keorganisasian maupun individu serta dampak dari perubahan ini didalam pengembangan dan pelaksanaan proyek. Snapshot OD dilaksanakan dalam enam tahap, dimana disebutkan secara lebih lengkap didalam Lampiran 4. Tahapan tersebut diantaranya:
1. Identifikasi kegiatan pengembangan kapasitas selama tahun sebelumnya 2. Identifikasi wilayah kompetensi keorganisasian yang terpengaruhi melalui
atau oleh kegiatan tersebut 3. Identifikasi perubahan keorganisasian sebagai hasil dari kegiatan
pengembangan kapasitas 4. Identifikasi perubahan terhadap prestasi keorganisasian 5. Identifikasi dan analisa kesenjangan didalam kapasitas kritis keorganisasian
untuk meningkatkan prestasi dan 6. Identifkasi tindakan yang dibutuhkan oleh organisasi selama tahun berikutnya
untuk mengatasi isu-isu ini
5 METODE PENGUMPULAN DAN PELAPORAN INFORMASI
Sesuai dengan prinsip-prinsip panduan M&E, berbagai metode akan digunakan untuk mengumpulkan informasi dari berbagai perspektif. Seperti triangulasi yang akan meningkatkan validitas dan kekayaan informasi yang dikumpulkan. Pelaporan yang jelas mengenai temuan-temuan dari proses M&E sangat penting. Kami telah membuat format untuk laporan tertentu untuk memberitahu berbagai stakeholder proyek yakni, AMC, AusAID, Dewan Penasehat, organisasi mitra dsb. Selama monitoring, masyarakat akan terfokus pada hasil proyek yang menyumbang kepada kesejahteraan yang lebih baik berdasarkan pada indikator yang mereka buat sendiri saat CLAPP. Informasi ini akan memungkinkan kita untuk melihat pada efektifitas Proyek dalam hal tujuannya.
5.1 Alat-alat Pelaporan
Pelaporan yang dihasilkan akan menggunakan berbagai tehnik. Sebagian besar data kualitatif akan berdasarkan pada informasi yang dimasukkan kedalam database proyek. Bila mungkin, media yang berbeda seperti halnya studi kasus dan fotograf akan disertakan untuk menunjukkan gambar yang lebih jelas mengenai perkembangan dan hambatan selama masa pelaksanaan. ERSULA (database proyek) Data base mencatat semua hal rinci mengenai organisasi-organisasi, sejak kontak awal hingga siklus proyek. Database mencatat tanggal ditiap tahap/perkembangan baik siklus proyek maupun ACCESS, dan memungkinkan staf untuk menentukan mana yang memerlukan tindakan perbaikan guna meningkatkan ketepatan dari proses.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 18
Nilai gender dan kemiskinan juga disertakan didalam database. Fokus dari nilai gender dan kemiskinan adalah pada keadilan gender dan sosial sebagai sebuah tujuan, daripada sekedar gender dan kemiskinan sebagai kelompok sasaran. Nilai-nilai tersebut digunakan sebagai sebuah alat manajemen proyek untuk memonitor tingkat keadilan gender dan kemiskinan yang disasar dalam usulan proyek sesuai dengan tujuan dan tujuan akhir ACCESS. Hal tersebut juga memungkinkan manajemen ACCESS untuk menilai dijangka panjang apakah kegiatan-kegiatan , sebagai contoh, ‘pemberdayaan perempuan’ sebagai tujuan utama mereka lebih mencapai di wilayah itu daripada wilayah yang mengidentifikasi pemberdayaan perempuan sebagai sebuah isu sekunder. Database juga menyediakan sebuah mekanisme bagi monitoring kualitas dari perkembangan dan laporan keuangan mitra. Sebuah sistem untuk laporan “pemberian nilai” telah disusun dimana akan memungkinkan perubahan didalam kualitas setelah diukur.
5.1.1 Laporan Tahunan Laporan tahunan (AP) akan dipersiapkan oleh AMC diakhir bulan Maret tiap tahunnya dan akan mengikuti format AusGUIDE. AP akan memuat sebuah review yang direncanakan bagi tahun yang akan datang, dan menyebutkan biaya administratif dan manajemen ditingkat kegiatan.
5.1.2 Laporan Perkembangan Triwulanan Setiap triwulan, Proyek akan menyiapkan sebuah laporan mengenai perkembangan Proyek. Laporan Proyek Perkembangan Triwulanan menceritakan kegiatan-kegiatan Proyek selama triwulan sebelumnya, dengan bagian-bagian dibawah ini: Matrik Monitoring Perkembangan bagi capaian Proyek , isu-isu dan permasalahan dan tindakan lebih lanjut. Laporan Data Base (Jumlah konsep paper yang diterima, dinilai, usulan yang diterima, dinilai, disetujui, Jumlah Persetujuan Dana Hibah Proyek (PGA) yang ditandatangani, Proyek yang selesai, Proyek yang telah dinilai). Daftar Dokumen yang Dihasilkan oleh Proyek selama Masa Pelaporan Jadwal Pendanaan Dana Hibah yang Terbaru Capaian-capaian diperiksa silang dengan Rencana Tahunan dan laporan akan menjelaskan apakah sasaran yang diharapkan seperti yang disebutkan didalam Rencana Tahunan telah dicapai.
5.1.3 Laporan Bulanan ACCESS membuat laporan Bulanan untuk menyediakan informasi yang terbaru baik untuk AusAID maupun GOI kaitannya dengan dana hibah dan penerima dana hibah. Informasi disediakan kaitannya dengan tiap tahap keterlibatan dengan ACCESS, yaitu, konsep paper/usulan yang diterima, sedang dalam perkembangan, diselesaikan, bersama dengan rincian seperti halnya nama organisasi, propinsi, judul kegiatan (yang diusulkan), sektor, dan anggaran.
5.1.4 Laporan Perkembangan Dewan Penasehat ACCESS menyiapkan Laporan Perkembangan Dewan Penasehat untuk presentasi pada Pertemuan Dewan Penasehat 6-bulanan. Laporan ini akan mengikuti bentuk dari Laporan Triwulanan dan akan memberitahu Dewan Penasehat mengenai Perkembangan Proyek. Informasi mengenai pengeluaran, komitmen dimasa depan dan dana yang tersedia akan disediakan.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 19
5.1.5 Laporan Keuangan Para mitra akan diminta untuk mengajukan laporan keuangan triwulanan berdasarkan pada format pelaporan sederhana yang disediakan oleh Proyek dan terperinci didalam Manual Keuangan ACCESS. Staf Proyek akan menyediakan pelatihan yang diperlukan dan bantuan tehnik kepada staf LSM yang relevan guna memastikan bahwa sistem pelaporan dipahami.
5.1.6 Laporan Penyelesaian bagi tiap Proyek Bagi tiap proyek yang telah selesai, kami akan menyiapkan sebuah laporan penjelasan singkat yang memungkinkan adanya sebuah tinjauan dari sejarah proyek hingga evaluasi proyek tersebut. Laporan evaluasi akan disertakan bersama informasi yang disebutkan diatas didalam Laporan Penyelesaian Proyek (Individu).
5.1.7 Laporan Pelatihan Sebuah laporan pelatihan akan dibuat dimana akan menjelaskan tentang kegiatan pelatihan yang dilaksanakan dibawah komponen pengembangan menanggapi kebutuhan pengembangan kapasitas dari LSM-LSM di kabupaten sasaran. Laporan tersebut akan menyampaikan tentang rincian mengenai para pelatih/para fasilitator, topik pelatihan, LSM-LSM dan staf yang terlibat, jangka waktu pelatihan dan isi dari pelatihan, kempetensi yang diharapkan, hambatan dan kesulitan yang dihadapi dan rekomendasi-rekomendasi. Laporan Pelatihan akan dikonsolidasikan dan diringkas didalam Laporan Triwulanan.
5.1.8 Penilaian Kapasitas Keorganisasian/Kelembagaan Kapasitas LSM-LSM yang dibantu oleh Proyek, yaitu pengembangan keorganisasian, efektifitas program, dan bantuan masyarakat dan keberlanjutan, akan dimonitor dan dinilai secara rutin. Alat penilaian kapasitas keorganisasian dan keorganisasian profil akan mengukur pencapaian indikator hasil dan menyediakan sebuah kesempatan bagi LSM yang berpartisipasi menjadi aktif didalam pengidentifikasian capaian dan kelemahan mereka sendiri.
5.1.9 Review Review Internal AusAID dulu mengadakan sebuah review internal pada akhir Tahun 1 mengenai kesinambungan Proyek dan kecukupan rancangan dan cakupan layanan Proyek. Review telah digantikan dengan sebuah misi penilaian in-country berdasarkan keputusan untuk menggabungkan program masyarakat sipil dan sebuah program pengembangan kapasitas yang diperluas kedalam sebuah rancangan ACCESS yang direvisi. Review Eksternal Review Eksternal akan diadakan dua kali selama masa Proyek, pertama pada saat tahun kedua pelaksanaan dan kedua saat triwulan terakhir yang kedua dari Proyek. Review pertama berupa sebuah review yang diorientasikan pada proses difasilitasi oleh seorang fasilitator eksternal yang independen. Seorang wakil GOI akan disertakan sebagai seorang anggota tim review. Serangkaian analisa dan lokakarya/ diskusi kelompok terfokus akan diadakan bersama kelompok sasaran Proyek untuk mengumpulkan kesan tambahan terhadap pendekatan Proyek. Bagian ini dianggap sangat penting untuk direview bila Proyek mampu untuk menyiapkan dan menjalankan sebuah sistem yang efektif bagi penyampaian bantuan untuk pengembangan masyarakat. Dan pula, akan terdapat sebuah review dokumen
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI 20
Proyek, interview yang mendalam dengan informan kunci dan diskusi kelompok terfokus bersama perwakilan masyarakat. Review eksternal kedua dijadwalkan pada triwulan terakhir kedua dari Proyek, yaitu pada saat sebuah rancangan Laporan Penyelesaian Kegiatan akan dipersiapkan, dan akan memuat pilihan-pilihan dan rekomendasi-rekomendasi berkaitan dengan lanjutan bantuan Australia.
5.1.10 Laporan Penyelesaian Kegiatan Sebuah Laporan Penyelesaian Kegiatan (ACR) akan dipersiapkan oleh AMC 6 bulan sebelum akhir masa Proyek. AMC akan mengikuti format AusGUIDE tetapi instruksi khusus berkaitan dengan fokus ACR akan disediakan oleh AusAID 12 bulan sebelum selesainya Proyek.
5.1.11 Evaluasi Akhir Evaluasi Akhir Proyek, difasilitasi oleh seorang fasilitator eksternal, merupakan sebuah review ringkas menyeluruh dari masukan, proses dan capaian Proyek. Evaluasi akhir Proyek akan menjawab isu-isu manajerial dan tehnikal, menilai dan hasil dokumen proyek, menilai proses Proyek (yakni, strategi dan metodologi), mereview keluasan yang dicapai oleh tujuan Proyek, dan apakah kegiatan yang dilaksanakan telah sesuai dengan yang direncanakan. Bahan utamanya akan berupa Logframe Proyek; laporan Proyek termasuk laporan penilaian wilayah dan laporan tehnis lainnya yang dihasilkan oleh Proyek. Evaluasi juga akan melihat logis dari keseluruhan program, dan mereview dampak dari faktor eksternal pada prestasi dan hasil Proyek.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 1
Lampiran 1: Matrik Monitoring Perkembangan
ACCESS Masa Pelaporan:
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang
diperlukan Triwulan ini Awal Tahun
hingga saat ini
Untuk menyumbang pada pengentasan kemiskinan dan penguatan masyarakat sipil didalam fokus wilayah sektoral dan geografis dari Program Kerjasama Pengembangan Australia dan Indonesia
Maksud Untuk mengembangkan dan menerapkan sebuah pendekatan yang efektif pada pengembangan yang adil dan berkelanjutan yang dipimpin oleh masyarakat.
Perluasan terhadap proses yang telah ada untuk program menuju hasil yang adil dan berkelanjutan; seperti yang ditunjukkan oleh studi kasus terpilih, partisipan dan sudut pandang stakeholder
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 2
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Komponen 1: PERENCANAAN DAN PERSIAPAN Untuk merencana dan mengelola sebuah program pengembangan masyarakat dan bantuan masyarakat sipil yang efektif
Aus $ 7 juta dana dibayarkan selama lebih dari 5 tahun sesuai dengan panduan operasional, dalam prioritas sektor dan fokus geografis
Capaian 1.1 Sebuah kantor Proyek didirikan di Bali dan para staf ditunjuk.
Terdapat kantor, program pelatihan dipersiapkan dan dilaksanakan secara tahunan; Staf mampu untuk melaksanakannya
Menyelesaikan deskripsi kerja dan merekrut serta menunjuk staf
Membeli peralatan kantor yang diperlukan
Menetapkan saluran komunikasi dengan AusAID Kedutaan Australia dan para stakeholder
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 3
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Pembuatan, penerapan dan pembaruan manual manajemen (termasuk isu-isu personil)
Capaian1.2 Panduan terperinci dipersiapkan dan diperbarui secara tahunan untuk pengelolaan bantuan dana hibah
Persetujuan AusAID dan GOI atas panduan; Persetujuan atas revisi tahunan seperti yang diperlukan
Rancangan panduan operasi dan dokumentasi pendukung dibuat dan didiskusikan dengan para stakeholder terpilih
Penyelesaian dan persetujuan oleh AusAID atas panduan operasi
Review tahunan atas panduan operasi berdasarkan pada pengalaman dan tanggapan balik selama masa pelaksanaan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 4
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Pengembangan, sosialisasi dan pelaksanaan manual manajemen keuangan
Capaian1.3 Strategi komunikasi terbentuk dan dilaksanakan
Informasi siap untuk disebarluaskan. Hal-hal yang telah dipelajari terdokumentasi dan diproduksi secara tahunan, terdapat website
Pembuatan bahan-bahan promosi proyek (termasuk pembuatan dan revisi peralatan informasi, brosur dan bahan-bahan promosi sementara)
Pengembangan dan pemeliharaan website proyek
Mengkompilasi, mengalihbahasakan dan menyebarluaskan dokumentasi praktik-praktik terbaik
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 5
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Briefing stakeholder dan tanggapan atas strategi komunikasi
Capaian 1.4 Sebuah sistem manajemen informasi terbentuk dan disempurnakan secara rutin untuk mengelola informasi dana hibah
Paling tidak 80% pertanyaan disediakan peralatan informasi dalam waktu dua minggu; laporan status proyek diterbitkan triwulanan
Membuat dan menyempurnakan sebuah sistem tanggapan atas pertanyaan
Membuat dan menyempurnakan database manajemen proyek untuk memelihara dan mencatat seluruh informasi kaitannya dengan manajemen dana hibah
Melatih seluruh staf didalam penggunaan database
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 6
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Memperbarui data secara rutin
Capaian 1.5 Sebuah kerangka kerja yang berkelanjutan dibuat untuk memandu pelaksanaan proyek
Kerangka kerja dibuat dengan unsur-unsur dibawah ini – lingkungan yang memungkinkan, operasi, capaian, hasil, Seluruh staf lapangan mampu menggunakan kerangka kerja sebagai panduan terhadap pelaksanaan
Lokakarya internal untuk menyusun kerangka kerja yang berkelanjutan
Orientasi terus-menerus dan review kerangka kerja
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 7
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 1.6 Penilaian wilayah diselenggarakan untuk menentukan kebutuhan pengembangan dari LSM/CSO di wilayah sasaran
Kebutuhan kapasitas dan pengembangan LSM/Organisasi Berbasis Masyarakat teridentifikasi tiap wilayah sasaran untuk digunakan didalam penilaian proposal
Pembuatan metodologi penilaian
Melaksanakan penilaian yang rutin berdasarkan metodologi yang disepakati
Menganalisa data dan membuat laporan penilaian untuk diajukan ke AusAID dan para stakeholder kunci
Pengembangan yang terus-menerus dan revisi atas strategi proyek berdasarkan atas hasil AA
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 8
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 1.7 Staf Proyek secara efektif membantu dan mengelola kegiatan-kegiatan proyek
Briefing staf dan program orientasi terbentuk dan diterapkan
Program pelatihan staf terbentuk dan diperbarui berdasarkan pada pengalaman pelaksanaan evaluasi prestasi
Review prestasi staf dilaksanakan dan program pelatihan direvisi sesuai kebutuhan
Komponen 2: PENGEMBANGAN KAPASITAS BAGI PENGUATAN KEORGANISASIAN
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 9
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Kapasitas keorganisasian dari LSM/CSO mitra meningkat untuk membantu pengentasan kemiskinan di kabupaten mereka Capaian 2.1 Sebuah kerangka kerja pengembangan kapasitas untuk memandu pelaksanaan terbentuk dan dilaksanakan
Paling tidak 60% dari seluruh organisasi terlibat didalam kegiatan pengembangan kapasitas menunjukkan peningkatan diwilayah seperti halnya aliansi strategis, kepemerintahan, pembelajaran, siklus proyek, responsifitas, manajemen sumber daya. Kerangka kerja pengembangan kapasitas terdokumentasi. Seluruh staf lapangan mampu menggunakan kerangka kerja pengembangan kapasitas untuk memandu pelatihan, pendampingan, monitoring.
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 10
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Lokakarya untuk menghasilkan kerangka kerja pengembangan kapasitas yang menjelaskan unsur-unsur kunci dari lingkungan yang memungkinkan, hasil dan dampak alat-alat penilaian (ODST)
Pelatihan dan pendampingan yang terus-menerus dari penyedia layanan pengembangan kapasitas selama pelaksanaan kaitannya dengan prinsip-prinsip kerangka kerja
Mengadakan kunjungan monitoring rutin ke LSM/CSO guna memberikan tanggapan balik dan bantuan selama masa pelaksanaan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 11
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Menyediakan tanggapan balik pada hasil monitoring untuk memberitahukan perkembangan program pengembangan kapasitas
Dokumen hal-hal yang telah dipelajari tentang pengembangan kapasitas
Capaian 2.2 Masyarakat dan organisasi masyarakat sipil mampu untuk menilai kebutuhan pengembangan kapasitas mereka sendiri
Paling tidak 8 LSM/CSO ditiap propinsi sasaran menerima pelatihan OCA dan melaksanakan strategi pengembangan kapasitas
Rancangan dan mencoba metodologi
Pelatihan fasilitator tentang metodologi OCA
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 12
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
OCA disediakan untuk organisasi terpilih untuk membantu mereka didalam menilai rencana pengembangan dan kapasitas keorganisasian bagi pengembangan kapasitas (pada kelompok kabupaten)
Capaian 2.3 Bantuan pengembangan kapasitas yang disasar disediakan untuk memenuhi kebutuhan LSM/CSO tertentu di kabupaten sasaran.
• Jumlah usulan yang
dinilai.
Membuat sebuah database untuk penyedia layanan pengembangan kapasitas nasional maupun propinsi untuk memfasilitasi identifikasi kualitas penyedia layanan pengembangan kapasitas
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 13
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Penyediaan bantuan tehnis jangka panjang maupun jangka pendek berdasar pada kebutuhan yang muncul
Capaian 2.4 Sebuah program pengembangan kapasitas umum yang memecahkan kebutuhan penguatan kapasitas keorganisasian umum, terbentuk dan dilaksanakan
Paling tidak 120 organisasi bersama stafnya yang dilatih di tiga aspek umum kekuatan keorganisasian.
Penilaian kebutuhan pembelajaran dilaksanakan dan diperbarui secara rutin untuk mengetahui secara pasti prioritas kebutuhan pengembangan kapasitas
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 14
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Sebuah proses untuk pemilihan dan kontrak dari seluruh program GCB diwilayah pengembangan keorganisasian diselenggarakan
Pelatihan dan pendampingan yang terus-menerus mengenai penyedia layanan GCB selama masa pelaksanaan
Mengadakan kunjungan monitoring rutin ke LSM/CSO selama pelatihan guna menyediakan tanggapan balik dan bantuan
Menyediakan tanggapan balik mengenai hasil monitoring menyampaikan pengembangan program pengembangan kapasitas umum
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 15
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 2.5 Kualitas fasilitator yang secara lokal tersedia meningkat
Minimal 5 fasilitator berkualitas ditiap propinsi saat proyek berakhir
Pemilihan fasilitator layanan pengembangan kapasitas yang potensial berdasarkan kriteria seleksi
Membuat dan melaksanakan sebuah program pelatihan berdasarkan pada kebutuhan yang teridentifikasi
Pelatihan dan pendampingan yang terus-menerus terhadap para orang yang dilatih
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 16
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 2.6 Evaluasi pengembangan kapasitas diselesaikan oleh AMC
Semua daerah proyek dikunjungi setelah penyelesaian laporan akhir proyek; Rekomendasi bagi kegiatan CB dimasa depan disediakan oleh AMC dan Dewan Penasehat untuk pertimbangan
Pembuatan proses yang sistematis bagi evaluasi intervensi CB (lihat capaian 4.6)
Pelaksanaan strategi evaluasi CB untuk menyampaikan pengembangan program dimasa depan
Komponen 3: DANA HIBAH BAGI PERENCANAAN PENGUATAN MASYARAKAT DAN PEMBERDAYAAN/ MANAJEMEN
Paling tidak 15 rencana masyarakat diselesaikan dan ditandatangani oleh masyarakat tiap propinsi sasaran
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 17
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Kapasitas masyarakat didalam perencanaan partisipatif dan manajemen kegiatan-kegiatan pengembangan berkelanjutan yang diinisiasi secara lokal meningkat Capaian 3.1 Penilaian yang dipimpin oleh masyarakat dan proses perencanaan (CLAPP) terfasilitasi
Masyarakat terlibat didalam proyek ditunjukkan adanya peningkatan diwilayah seperti halnya partisipasi didalam pembuatan keputusan, membangun modal manusia, sistem manajemen masyarakat 85 % dari organisasi yang berpartisipasi didalam pelatihan CLAPP mampu menggunakan sebuah pendekatan penyertaan gender dan kemiskinan untuk memfasilitasi perencanaan dan penilaian masyarakat
Membuat panduan yang praktis guna memastikan isu-isu gender dan kemiskinan dimasukkan kedalam seluruh perencanaan dan penilaian masyarakat yang dibantu ACCESS
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 18
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Menyediakan bantuan yang intensif kepada LSM/CSO untuk mengembangkan keahlian didalam penyertaan masalah gender dan kemiskinan, partisipasi masyarakat
Capaian 3.2 Dana hibah disediakan bagi kegiatan-kegiatan pengembangan yang diinisiasi secara lokal
Paling tidak 200 PGA kegiatan-kegiatan pengembangan dihasilkan diakhir proyek
Penilaian konsep paper/usulan berdasar pada kriteria seleksi yang transparan dan disetujui
Pertemuan panel penilaian
Persiapan PGA
Orientasi dan briefing mengenai persyaratan laporan keuangan dan perkembangan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 19
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Laporan penyelesaian dipersiapkan (kegiatan maupun keuangan)
Capaian 3.3 Metodologi Indek Masyarakat Sipil (CSI) ada dan bantuan disediakan bagi pengembangan bersifat kerjasama tentang rencana tindakan kabupaten (KAP)
Pelatihan dan bantuan untuk para penilai untuk melaksanakan sebuah pemetaan CSO-CSO yang dipercaya oleh kelompok-kelompok yang terpinggirkan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 20
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Mengadakan lokakarya CSI kabupaten (sepertinya untuk menyertakan isu-isu seperti halnya kepemerintahan yang demokratis, transparansi, advokasi pada isu-isu tertentu, anti korupsi, pemberdayaan perempuan, pendidikan sipil dsb)
Mengadakan lokakarya perencanaan tindakan kabupaten (KAP)
Capaian 3.4 Dana hibah yang disediakan untuk membantu rencana tindakan Kabupaten
Penilaian konsep paper/usulan berdasarkan pada kriteria seleksi yang transparan dan disetujui
Pertemuan penilaian panel
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 21
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Persiapan PGA
Orientasi dan briefing mengenai persyaratan laporan perkembangan dan keuangan
Laporan penyelesaian dipersiapkan (kegiatan dan keuangan)
Capaian 3.5 Proyek dimonitor dan dievaluasi oleh AMC
Membuat strategi untuk monitoring sistematis proyek individu (lihat capaian 4.6)
Staf mengadakan kunjungan monitoring rutin ke daerah proyek untuk menyediakan tanggapan balik dan bantuan selama masa pelaksanaan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 22
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Staf mendokumentasikan hasil monitoring untuk memberitahu lebih jauh pengembangan program pengembangan kapasitas
Komponen 4: KOORDINASI & REVIEW Sebuah sistem bagi peningkatan kualitas dan partisipasi stakeholder tingkat tinggi
Menunjukkan peningkatan didalam kolaborasi para stakeholder terhadap cita-cita masyarakat sipil
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 23
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 4.1 Hal-hal yang telah dipelajari diformulasikan dan dimasukkan kedalam sistem ACCESS
Paling tidak satu konsultasi tahunan diadakan ditiap propinsi bersama pemerintah setempat, para pemimpin masyarakat, lembaga donor
Rekomendasi-rekomendasi
disampaikan kepada Dewan Penasehat dan perubahan yang dibuat terhadap panduan tahunannya
Pertemuan dan konsultasi rutin dengan para stakeholder kunci (termasuk pemerintah setempat, pemimpin masyarakat, lembaga donor lain dsb) guna meningkatkan efektifitas dan efisiensi program
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 24
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Rekomendasi bagi revisi strategi berdasarkan pada hal-hal yang telah dipelajari dari konsultasi yang disediakan kepada Dewan Penasehat
Capaian 4.2 Pertemuan tahunan mitra diadakan dan rekomendasi yang dihasilkan untuk meningkatkan efektifitas
Rekomendasi yang disampaikan kepada Dewan Penasehat dan perubahan yang dilakukan terhadap panduan secara tahunan
Pertemuan sidang tahunan dari LSM/CSO (dan pemerintah setempat) untuk mendapatkan tanggapan balik mengenai sistem dana hibah
Mencatat dan mengalihbahasakan rekomendasi yang muncul dari pertemuan untuk diskusi pada pertemuan Dewan Penasehat
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 25
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 4.3 Rencana tahunan dan QPR disetujui oleh AusAID dan GOI
Proses perencanaan tahunan diselesaikan dan disetujui
Menyiapkan QPR dalam format AusGUIDE untuk diajukan ke AusAID (dan GOI)
Perencanaan tahunan/ lokakarya membangun tim
Menyiapkan rencana tahunan dalam format AusGUIDE untuk diajukan kepada AusAID (dan GOI)
Capaian 4.4 Pertemuan rutin dewan penasehat diadakan dimana rekomendasi-rekomendasi dihasilkan dan disampaikan sesudahnya kepada AusAID untuk persetujuannya
Rekomendasi yang didokumentasikan disampaiakan kepada AusAID untuk pertimbangan dan persetujuan didalam pertemuan enam bulanan
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 26
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Memfasilitasi kunjungan daerah bagi para anggota Dewan Penasehat
Pertemuan enam bulanan Dewan Penasehat diadakan
Rekomendasi dari pertemuan Dewan Penasehat disampaiakn kepada AusAID guna persetujuan
Capaian 4.5 Rekomendasi dibuat dan bantuan diberikan kepada tim review internal.
Dokumen yang menyinggung perkembangan hasil proyek tersedia dengan tepat waktu
Menyiapkan dokumentasi dan bantuan yang diperlukan untuk membantu review eksternal
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 27
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 4.6 Sistem bagi monitoring dan evaluasi terbentuk dan dilaksanakan.
Monitoring sistem pelaporan secara rutin mengenai perkembangan kegiatan, capaian dan masukan; Evaluasi dilakukan secara periodik terhadap tujuan komponen, dan review masa pertengahan dan EOP yang diselesaikan dihadapkan pada tujuan
Kerangka kerja M/E terbentuk
Format dan panduan M/E dipersiapkan
Staf dilatih didalam menggunakan sistem M/E, termasuk pengumpulan informasi, memasukkan data, analisa, menyaring hal-hal yang telah dipelajari dan pelaporan
Sistem M/E direview dan diperbarui secara tahunan berdasarkan pada tanggapan balik
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI - Lampiran 1 28
Deskripsi Proyek Indikator Perkembangan Hambatan Tindakan yang diperlukan
Triwulan ini Awal Tahun hingga saat ini
Capaian 4.7 Sebuah PCR, termasuk pilihan-pilihan dan rekomendasi bagi keberlanjutan bantuan Australia dipersiapkan dan diajukan kepada AusAID
PCR diselesaikan dengan waktu yang ditentukan
Menyiapkan PCR dalam format AusGUIDE untuk diajukan kepada AusAID
ACCESS – MILESTONE 10: KERANGKA KERJA M&E YANG DIREVISI Lampiran 2 29
Lampiran 2: Monitoring Bagi Proyek-Proyek Dana Hibah Individu
ACCESS Intervensi Logis Indikator Capaian
yang secara Obyektif dapat Diverifikasi
Sumber dan Arti Verifikasi
Asumsi-asumsi
Tujuan Keseluruhan Apa tujuan keseluruhan yang akan disumbangkan oleh proyek?
Kunci Indikator apakah yang berkaitan dengan tujuan keseluruhan?
Apa sumber informasi untuk indikator tersebut?
Tujuan Khusus Apa tujuan khusus yang akan dicapai oleh proyek ?
Indikator kuantitatif dan kualitatif apakah yang menunjukkan apakah dan hingga tingkat apakah tujuan khusus proyek tercapai?
Sumber informasi apakah yang ada dan dapat dikumpulkan? Metode apa yang diperlukan untuk mendapatkan informasi ini?
Faktor dan kondisi apakah yang tidak langsung dibawah kontrol proyek langsung, dimana perlu untuk mencapai tujuan ini? Resiko apakah yang perlu dipertimbangkan?
Hasil yang Diharapkan Capaian nyata apakah yang diharapkan untuk mencapai tujuan tertentu? Manfaat dan efek yang diharapkan dari proyek? Peningkatan dan perubahan apakah yang akan dihasilkan oleh proyek?
Indikator apa yang digunakan untuk mengukur apakah dan hingga tingkat apakah proyek mencapai hasil dan dampak yang dibayangkan?
Apa sumber informasi untuk indikator ini?
Faktor dan kondisi eksternal apakah yang harus diwujudkan untuk mendapatkan hasil dan capaian yang diharapkan sesuai dengan jadwal?
Kegiatan Kegiatan kunci apakah yang harus dilaksanakan dan dalam urutan yang seperti apa guna menghasilkan hasil yang diharapkan?
Alat apa yang diperlukan untuk melaksanakan kegiatan-kegiatan ini. Sebagai contoh, personil, peralatan, bahan pendukung, fasilitas oparasional, dsb.
Apa sumber informasi tentang perkembangan proyek?
Prakondisi apa yang diperlukan sebelum proyek mulai? Kondisi apa diluar kontrol langsung proyek harus muncul untuk pelaksanaan kegiatan-kegiatan yang direncanakan?