Membuat Perbedaan: Pemantauan dan Evaluasi Penelitian Kebijakan .. Ingie Hovland Working Paper 281 Hasil penelitian ODI dipresentasikan dalam bentuk awal sebagai baan diskusidan untuk memperole komentar dan saran !orking Paper "#$ $ % P a g e Membuat Perbedaan: Pemantauan dan Evaluasi penelitian kebijakan Ingie Hovland &uli "''( Overseas Development Institute $$$ !estminster )ridge *oad +ondon ,E$(&D -K " % P a g e I,). /(# ' #0''1 #2# 2 Hak 3ipta Overseas Development Institute "''( Hak 3ipta dimiliki sepenun4a ole ODI. ,eluru publikasi ini tidak dapat direproduksi5disertakan ke dalam sistem pen6arian5 atau diuba ke dalam bentuk apapun dan dengan 6ara apapun5 elektronik5 mekanik5 7otokopi5 rekaman atau sebalikn4a5 tanpa ijin tertulis sebelumn4a dari penerbit. Da7tar Isi 1 % P a g e -6apan 8erima Kasi ,ingkatan dan Penjelasann4a*ingkasan Eksekuti7 $ Pendauluan: dampak non9akademik penelitian $.$ :udien 4ang dituju $." Beyond citations $.1 )eberapa de7inisi mengenai dampak $.2 3atatan singkat mengenai level 4ang ada: pro4ek5 program5 dan lembaga $.0 ;aris besar makala ini " Pelajaran 4ang dapat diambil dari pengalaman terkini: )agaimana mengevaluasi lima bidang kinerja pro4ek5 program dan lembaga penelitian kebijakan ".$ )idang Kinerja I: Evaluasi strategi dan ara "." )idang Kinerja II: Evaluasi manajemen ".1 )idang Kinerja III: Evaluasi keluaran ".2 )idang Kinerja I. 3onto Poon Masala 3P!=: :ir dan Mas4arakat di Daera 8angkapan :ir )agan (. 3onto ;antt 6art )agan #. Dalam proses men4usun Peta &aringan untuk sala satu pro4ek 3P!= )agan /. 3onto matrik Keluaran ? Dampak )agan $'. 3onto matrik Keluaran ? Pemangku Kepentingan )agan $$. Model Appreciative Inquiry 09D@ 0 % P a g e )agan $". Pertan4aan9pertan4aan Kajian Paska Pelaksanaan )agan $1. 8iga taap Pemetaan Hasil )agan $2. 3onto Keluaran *O: )agan $0. 3onto Matrik :ktor ? :ktor )agan $>. Model 3:= )agan $(. Model POE8 )agan $#. Kartu +aporan Pengaru Kebijakan II,D -6apan 8erima Kasi Pengarang mengu6apkan terimakasi kepada =red 3arden dan &ames M6;ann ataskomentar9komentar4angsangat membantudalammengkaji makalaini. 8erimakasijugakepadakolegasa4adi ODIatasdiskusi4angsangatberman7aat5 terutama,imonMawell dan &on Aoung. -ntuk in7ormasi lebi lanjut mengenai Kelompok Penelitian dan Kebijakan dalamPembangunan B*:PIDC di ODI5 atau untuk in7ormasi mengenai asil kerja ODI mengenaiPemantauan dan Evaluasi se6ara umum5 silakan kontak &on Aoung5 Direktur Program*:PID5 dengan email j.4oungDodi.org.uk. Ingie Hovland adala Peneliti di kelompok Penelitian dan Kebijakan PembangunanB*:PIDCdiODI. Iabekerjadalambidangkomunikasi5 pemantauandanevaluasisertaubungan antara penelitian dan kebijakan. > % P a g e Istilah dan Singkatan ::* Kajian Paska Pelaksanaan BAfter Action Review):3I:*Pusat Penelitian Pertanian Internasional5 :ustralia BAustralian Centre forInternational Agricultural Research):3PKelompok .egara9negara :7rika5 Karibia dan Pasi7ik BAfrican, Cariean and Pacific group of !tates):IAppreciative Inquiry 3:= Kerangka Penilaian )ersama BCo""on Assess"ent #ra"ework) 3EO Chief $%ecutive &fficer 3;D Pusat Pembangunan ;lobal BCentre for 'loal (evelop"ent)3;I:*Kelompok Konsultati7 Penelitian Pertanian Internasional )Consultative 'roup on International Agricultural Research) 3H,*=Aa4asan Penelitian Pela4anan Keseatan Kanada BCanadian *ealth !ervices Reseacrh #oundation) 3I:8Pusat Pertanian 8ropis Internasional BInternational Centre for +ropical Agriculture) 3PHPProgram Penelitian Paska Panen D=ID )(#I(,s Crop Post-*arvest Research Progra""e) ( % P a g e 3P!= Program 8antangan :ir dan Pangan 3;I:* BC'IAR,s Challenge Progra""e on .ater and #ood) 3*DDepartemen Penelitan Pusat D=ID B(#I(,s Central Research (epart"ent) 3,O Organisasi Mas4arakat ,ipil BCivil !ociety &rganisation)3,PP Program Kemitraan Mas4arakat ,ipil ODI B&(I,s Civil !ociety Partnership Progra""e) 38: Pusat 8eknis Pertanian dan Kerjasama Pedesaan :3P9E-B+echnical Centre for Agricultural and Rural Cooperation ACP-$/) D=IDDepartemen Pembangunan Internasional Inggris B+he /0 (epart"ent for International (evelop"ent) D*3Pusat Penelitian Pembangunan B(evelop"ent Research Centre) E3DPM Pusat Manajemen Kebijakan Pembangunan Eropa B$uropean Centre for (evelop"ent Policy 1anage"ent) EngKa* Program Penelitian dan Pengetauan Keteknikan D=ID B(#I(,s $ngineering 0nowledge and Research Progra""e) E--ni Eropa B$uropean /nion) =:OOrganisasi Pangan dan Pertanian P)) B#ood and Agricultural &rganisation) H8M+ *yperte%t 1ark-up 2anguage I388eknologi In7ormasi dan Komunikasi BInfor"ation and Co""unication +echnology) ID*3 Pusat Penelitian Pembangunan Internasional BInternational (evelop"ent Research Centre) ID,Institut ,tudi Pembangunan B(evelop"ent !tudies Institute) I=P*I +embaga Penelitian Kebijakan Makanan Internasional BInternational #ood Policy Research Institute) II,D +embaga Internasional untuk Pembangunan )erkelanjutan BInternational Institute for !ustainale (evelop"ent) I+:3 Inisiati7 Pembelajaran dan Perubaan Kelembagaan 3;I:* BC'IAR,s Institutional 2earning and Change Initiative) I+*I +embaga Penelitian Peternakan Internasional BInternational 2ivestock Research Institute) # % P a g e I.8*:3Pusat Penelitian dan Pelatian +,M Internasional BInternational 3'& +raining and Research Centre) +8IKelompok Pembelajaran untuk Inovasi B2earning to Innovate 'roup) ME: Pemantauan dan Penilaian B1onitoring and Assess"ent) MEE Pemantauan dan Evaluasi B1onitoring and $valuation) MO< 3ara melakukan : /C5sementara Idampak@ dide7inisikan sebagai keuntungan9keuntungan jangka panjang.PendekatanPemetaanHasil B+he&utco"e1apping)4angdikembangkanoleID*3merupakan sebua model 4ang mem7okuskan pada Iasil Boutco"esC@ 4ang berupaperubaan tingka laku5 dan Idampak@ 4ang merujuk pada tujuan9tujuan jangka panjang.Meskipun demikian5 berbagai tulisan mengenai Pemetaan Hasil seringkali menggunakanistila Iasil@ dan Idampak@ se6ara bergantian sebagai sinonim BEarl5 3arden and ,m4tulo5"''$C. Denganberagamn4a de7inisi 4ang digunakan5 makala ini tidak akan masuk dalamwila4aperdebatanmengenai perbedaanmendasar antaramisaln4aasil dandampak..amun5 de7inisi9de7inisi tersebut diatas dapat digunakan sebagai titik awal untukmende7inisikan istila9istila 4ang ban4ak digunakan5 sebagai berikut7 Strategi dan arah& *en6ana dasar 4ang dijalankan ole pro4ekJprogramJlembagapenelitian untuk men6apai tujuan9tujuan 4ang diinginkan. +anaje"en&)erbagai sistem dan proses 4ang dimiliki olepro4ekJprogramJlembaga penelitian untuk memastikan dilaksanakann4akeseluruan strategi dan diasilkann4a penelitian kebijakan berkualitas9tinggi$( % P a g e Bmisaln4a sistem kajian ole sejawat atau kajian ole pengguna5 jaminan kualitas5lingkaran peren6anaan5 dsbn4aC7 Keluaran (Outputs)& Produk berupa barang atau la4anan 4ang dapat diukur 4angdiasilkan ole suatu pro4ekJprogramJlembaga penelitian Bmisaln4a.orkingPapers,artikel9artikel penelitian5makalapembekalan kebijakanBpolicyriefs)5website5 pertemuan5 kegiatan5 jaringan5 dsbn4a.Pe"anfaatan(Uptake)&*espon langsung teradap pro4ekJprogramJlembagapenelitian Bmisaln4a suatu penelitian disebutkan dalam suatu makala kebijakanpemerinta5 dalamberbagai website5 dia6u dalamsuatu artikel surat kabar5dsbn4aC. ,asil(Outcomes)danda"pak(impacts)&Perubaantingkalaku5 kebijakan5kapasitas danataupraktek9praktek4angterjadi 4angdisebabkan5 baikse6aralangsung maupuntidaklangsung5 ole penelitian Bmisaln4a perubaan dalamimplementasi kebijakan pemerinta5 perubaan praktek kerja praktisi +,M5pengurangan kemiskinan di suatu wila4a tertentu5 penguatan tara7 idupmas4arakat,penguatanketerlibatanmas4arakat dalamproses9proses kebijakan5dsbn4aC. 1.- .atatan singkat "engenai perbedaan le!el& pro)ek/ progra" dan le"baga )agian " makala ini membaas berbagai pendekatan untuk memantau dan mengevaluasipenelitiankebijakan5 berdasarkanpelajarandari pengalamanterbaruberbagai pro4ek5program dan lembaga kebijakan. Pemilian suatu pendekatan Pemantauan dan Evaluasiperlu mempertimbangkan perbedaan antara level pro4ek5 program dan lembaga. .amundisisi lainpendekatan9pendekatan Pemantauan dan Evaluasi 4ang dapat digunakan untuk$# % P a g e level pro4ek5 padasuatutaap5 akantumpangtindidenganpendekatanuntuklevelprogrampenelitiankebijakanKsebagai 6onto5 baikpro4ekmaupunprogramperludiren6anakan dengan suatu 6ara 4ang mempertimbangkan kelompok9kelompok pemangkukepentingan utama5 dampak 4ang diarapkan5 keluaran Boutputs), dsbn4a. Demikian juga5ada tumpang tindi diantara pendekatan9pendekatan Pemantauan dan Evaluasi untuk levelprogramdenganpendekatanpadalevel kelembagaan. -ntukmengklari7ikasi tumpangtindipendekatan9pendekatantersebut5 )agian"akanmengindikasikanlevel Bpro4ek5program5 danJatau lembagaC 4ang paling tepat untuk setiap pendekatan.

1.0 1aris Besar +akalah Makala ini terdiri atas lima bagian. )agian kedua men4ajikan berbagai pendekatan baruuntukmemonitor danmengevaluasi penelitiankebijakanberdasarkanataspengalamanterbaru dari berbagai pro4ek5 program5 dan lembaga penelitian. )agian kedua ini meliputi5antara lain: Bidang Kinerja IE!aluasi strategi dan arah: Kerangka +ogika B2ogfra"eCG :nalisis &aringan ,osial5 &alur9&alur Dampak5 dan Matrik9Matrik Modular5 Bidang Kinerja IIE!aluasi "anaje"en: 8injauan HKela4akan 8eradap8ujuan@G:udit KualitasI2ighter+ouch@G Evaluasi HorisontalG danAppreciativeInquiry7 Bidang Kinerja III # E!aluasi keluaran $output): Evaluasi teradaptulisantulisandanlaporan9laporanpenelitianakademisG evaluasi teradapkertaskerjakebijakandan lembar in7ormasiGevaluasi websiteGevaluasi jaringan kerjaGdan Kajian Paska Pelaksanaan5 $/ % P a g e Bidang Kinerja I%E!aluasi pe"anfaatan: +og Dampak5 )idang9bidang )aruuntuk :nalisis Kutipan5 ,urvei Pengguna. BidangKinerja % E!aluasi hasil $outcome)danda"pak: PemetaanHasil5PengukuranHasil B*:PIDCG PerubaanPalingPentingB1!CCG ,ejara9sejaraPerubaanG ,tudi9studi Episodik B$pisode !tudies). )agian " juga men4ajikan 6atatan mengenai lembaga9lembaga 4ang tela mulaimembangun model9model baru pemantauan dan evaluasi penelitian kebijakan.+embagalembaga tersebut antara lain 3;I:* Btermasuk ,PI:5 I+:35 +8I5 3I:85 I=P*Idan :3I:*C5 D=ID5 E3DPM5 ID*3 dan ODI.In7ormasi lebi lengkap tentang evaluasikelembagaan disajikan dalam +ampiran $.)agian 1 men4oroti beberapa al penting lainn4a 4ang perlu diperatikan dalammengevaluasi keseluruan lembaga Bbukan sekedar mengevalusi suatu pro4ek atauprogramC5 dan )agian 2 merupakan kesimpulan dengan men4ajikan da7tar 6onto96ontoterbaik mengenai 6ara meran6ang pendekatan Pemantauan dan Evaluasi teradaplembaga5 program atau pro4ek penelitian kebijakan. "' % P a g e 2 Pelajaran )ang dapat dia"bil dari pengala"an terkini& Bagai"ana"enge!aluasi li"a bidang kinerja pro)ek/ progra"/ dan le"baga penelitian kebijakan 2.1 Bidang Kinerja I& E!aluasi strategi dan arah )agian ini membaas 6onto96onto pendekatan 4ang tela digunakan untuk memantaudan mengevaluasi seberapa strategis ren6ana dasar dan ara 4ang ditetapkan suatupro4ekJprogramJlembaga penelitian kebijakan dalam men6apai tujuan 4ang diarapkan. 2.11 Logframes 2evel; Pro6ects, Progra""es, Institutions Meskipunmenuai kritik5 log7ramemasimerupakanbentukpemantauandanevaluasi4ang paling ban4ak digunakan dalam pembangunan internasional5 seingga al ini jugatelamempengarui 6ara mengevaluasi penelitiankebijakan. )an4aklembaga donorBmisaln4a D=IDC meminta program penelitian kebijakan membuat suatu log7rame sebagailandasanbagi merekauntukmelaksanakanpemantauandanevaluasi. )agianini akanse6ara ringkas membaas pendekatan log7rame 4ang utu dan memaparkan istilaistiladalam pro4ek atau program penelitian kebijakan5 berdasarkan atas de7inisi9de7inisi 4ang"$ % P a g e digunakan ole ProgramKemitraan Mas4arakat Madani BCivil !ociety PartnershipProgra""e- C!PP) di ODI. Matrik log7rame dapat saja berdiri sendiri7.amun pendekatan logfra"e4ang utu akanmen6akup: B$C analisa masala Bpoon masalaC5B"C poon tujuan Bo6ectives tree)B1CHirarki tujuan Bo6ectives hierarchy),B2C analisis pemangku kepentingan5 dan B0Cpemilianstrategi5 termasukjugakeluaranBoutput)4angdiasilkandanaktivitas4angdijalankan. Produk dari pendekatan analitis ini adala B>C matrik B+og7rameC 4ang se6araringkas memuatapa 4ang ingin dilaksanakan dalam suatu pro4ek5 program atau lembagadanbagaimana 6aran4a5 apa saja asumsi9asumsi utaman4a5 danbagaimana keluaranBoutputC dan asil Boutco"eC 4ang akan dimonitor dan dievaluasi.B$C Pohon +asalah: :nalisis poon masala sebaikn4a dilaksanakan dalam suatu diskusikelompok ke6il beranggotakan enam ingga delapan orang menggunakan kertasflipchartatau sejenisn4a. )erbagai 7aktor perlu ditambakan seiring berjalann4a diskusi.8aappertamaadalamendiskusikandanmen4etujui masalaatauisu4angakandianalisa. Inti masaladituliskandi bagiantengaBpusatCflipchartdanmenjadiIbatang@ poontersebut. )erikutn4a5 pen4ebab serta akibat dari masala inti inidiidenti7ikasi Kdandigambarkansebagai akar9akardibawan4aserta6abang96abangdiatasn4a. Inti latian ini adala berlangsungn4a sebua diskusi ketika terjadipengaturan dan penataan ulang atas berbagai 7aktor tersebut diatas. ,ala satu 6ontoditunjukkan dalam Diagram $ di bawa ini5 dan sebua 6onto lain dijelaskan dalamDiagram >.B"C Pohon 2ujuan: Poon Masala dapat diuba menjadi Poon 8ujuan denganmenguba pandangan mengenai setiap masala menjadi asil9asil positi7 4angdiarapkan Kseola9ola masala itu tela diatasi. Dengan 6ara ini5 akar pen4ebab danakibat dari masalainti diubamenjadi akarsolusi5 seinggadapat dibuat pro4ekkun6i atautitikmasukterpentinguntukmengatasin4a. 8ujuan9tujuanini mungkinlebi tepat disebut sebagai tujuan untuk mewujudkan perubaan. B+iat )agan >C. "" % P a g e B1C ,irarki 2ujuan: 8ujuan 4ang tela diidenti7ikasi diwujudkan menjadi prioritas 4angarusdilaksanakandalamsuatupro4ekatauprogram. Inikemudianmenjadibaanuntuk :nalisisKetersediaan,umberDa4aB#orce#ieldAnalysisC4angmerupakansatu taap sebelumdilakukann4a :nalisis Pemangku Kepentingan atau :nalisis&aringan,osial Buntukin7ormasi lebilanjut mengenai#orce#ieldAnalysis5 liatmisaln4a Hovland5 "''0C. B2C (nalisis Pe"angku Kepentingan: Pemangku kepentingan merupakan seseorang4angmungkindapat memperolekeuntunganataukerugian4angdisebabkanolesuatupro4ekatauprogrampenelitiankebijakan. :nalisis PemangkuKepentinganmengelompokkan pemangku kepentingan ke dalam bagan empat9bidang berdasarkanatas kekuasaan dan kepentingan 4ang dimilikin4a. C +en)usun 3ogfra"e: )agan berikut ini merupakan 6onto log7rame se6ara garis besar.Bagan *. 1aris Besar sebuah logfra"e Ringkasan Indikator(lat %erifikasi $+4E5 (su"si 2ujuan akhir $goal) # 2ujuan $purpose) B8ujuanmengasilkantujuan akirC Keluaran $15 BKeluaran mengasilkan 8ujuanC Keluaran $25 Keluaran $*5 Keluaran $-5 (kti!itas input B:ktivitas mengasilkan keluaranC :da beberapa 6ara mende7inisikan istila9istila dalam log7rame. )erikut ini adala de7inisi istila9istila dalam log7rame 4ang digunakan ole Program Kemitraan Mas4arakat,ipil ODI5 4aitu: "0 % P a g e 8ujuan :kir B'oal); Keseluruan tujuan 4ang ingin di6apai ole suatu pro4ek atau program. 8ujuan BPurpose): Perubaan tingka laku seseorang 4ang dapat diamati Bmisaln4a mitra dari organisasi mas4arakat sipil B3,OC menjadi lebi sering menggunakan asil9asil penelitian 4ang ada. Pro4ek atau program searusn4a mempengarui dan berkontribusi teradap 8ujuan ini5 tetapi tidak bertanggungjawab se6ara langsung teradap ter6apain4a 8ujuan tersebut Bkarena ada sejumla 7aktor penentu lainn4aC. 8ujuan B9tujuanC searusn4adidesain sesuai Hasil dan Dampak 4ang diarapkan dari suatu pro4ek atau program Bliat bagian ".0 berikut ini mengenai Hasil dan DampakC. Keluaran B&utput); Hasil berupa produk dan la4anan 4ang dapat diukur5 4ang diproduksi ole suatu program dan digunakan ole 4ang lain Bmisaln4a +oolkit5 .orking paper5 !ebsite &aringanC untuk men6apai 8ujuann4a. Program bertanggung jawab se6ara langsunguntuk mengasilkan Keluaran Boutput) ini. Kegiatan BActivities); :pa 4ang dilakukan pro4ek atau program untuk mengasilkan Keluaran B&utputsC Bmisaln4a: Kami akan mereview literature5 atau Kami akan mengadakan lokakar4a5 atau Kami akan membangun dan memperkuat ubunganC. Masukan BInput); ,umber da4a keuangan5 teknis dan sumber da4a manusia 4ang diperlukan untuk melakukan kegiatan ini. Mereka dimasukkan dalam baris 4ang sama dengan Kegiatan Bbukan sebaris dengan IndikatorC. *ingkasan B3arrative su""aryC; Pern4ataan deskripti7 mengenai 8ujuan5 Keluaran dan :ktivitas. Indikator )atau indikator 4ang dapat diveri7ikasi se6ara ob4ekti7C: perubaan9perubaan terukur 4ang diperlukan untuk men6apai 8ujuan dan Hasil. Indikator biasan4a memuat al9al spesi7ik seperti kuantitas5 kualitas dan waktu7"> % P a g e Pengukuran indikator berubungan dengan: proses Bmisaln4a 3,O membuat proses kajian internal pada periode taun ?? ingga??CG produk Bmisaln4a 3,O tela mengadopsi suatu strategi tertulis sampai dengan taun??CG danJatau dampak Bmisaln4a sejumla L sta7 3,O melaporkan ubungan 4ang lebi erat dengan pembuat kebijakan dalam taun9taun belakangan ini daripada pada taun sebelumn4aC. :lat dibawa ini menunjukkan sebua 6onto Poon Masala dan Poon 8ujuan 4angdibuat di suatu pro4ek 3P!=. Mereka menunjukkan ubungan antara output log7rame Bdalam Poon 8ujuanC dan dampak akir. 1" % P a g e 11 % P a g e Bagan 6. Contoh Pohon Masalah CPWF: Air dan Masarakat di daerah resapan. Sumber:Douthwaite, et al. (2!: 01203) 12 % P a g e )erbagai kejadian eksternal 4ang penting5 misaln4a berbagai kegiatan atau pertemuan kebijakan kun6i5 searusn4a dimasukkan dalam &adwal Pro4ek. 3onton4a adala 'antt chart berikut ini. Bagan :. .ontoh %antt c&art !u"er; Davies B"''0: "(C 3onto Peta C )o?.$. 3;I:*5 termasuk didalamn4a ,PI:5 I+:35 +8I5 3I:85 I=P*I dan :3I:* 3;I:* tela mengadakan pemantauan dan evaluasi penelitian kebijakan baik di tingkat kelembagaanmaupunse6araspesi7ikdi tingkat pro4ek. Merekamenerbitkansebuabukupanduanmengenaipengukuran kinerja lembaga9lembaga dan program9program penelitian pada taun "''1 Bse6retariat3;I:*5 "''1C serta suatu dokumen peren6anaan pada taun berikutn4a B3;I:* !orking ;roup onPer7orman6e Measurement5 "''2C. )uku pandun ini memaparkan 6onto96onto pengukuran kinerjakelembagaan sektor publik dan swasta5 termasuk didalamn4a Kerangka Penilaian -mum BCo""onAssess"ent #ra"ework8 CA#)4ang digunakan ole -ni Eropa5 4aitu:Balanced !corecards= +otal5uality 1anage"ent=dan I,O /'''. )uku ini juga memaparkan sebua surve4 kualitati7 Bberbasispeer-review) dan pendekatan kuantitati7 untuk mengukur kinerja di sektor pendidikan tinggi. Mereka1> % P a g e menemukan bawa se6ara keseluruan ada dua metode utama untuk menilai kinerja penelitian 4aituanalisis ilio"etrik dan peer review K misaln4a 4ang dilakukan di sektor pendidikan tinggi di Inggrismenggunakan Research Assess"ent $%ercise )RA$)7Kelompok Kerja untuk Pengukuran Kinerja di3;I:* Bte C'IAR .orking 'roup on Perfor"ance 1easure"ent) tidak ingin mengadopsi berbagai model ini begitusaja,namun an4a memili beberapa elemen 4ang sesuai untuk mendesain Siste" PengukuranKinerja 4ang dapat diterapkan di berbagai pro4ekJprogramJlembaga di bawa 3;I:*. )eberapaelemen inti sistim evaluasi ini dipaparkan dalam :pendik $. :da beberapa model inovati7 4ang dapat diuji di berbagai level mulai dari 4ang terluas 4aitu levelsistim5 inggakelevel kelembagaan5 programdanpro4ekdi dalamsistim3;I:*. Padalevelsistim5the C' !cience Councilmendukungthe !tanding Panel on I"pact Assess"entB,PI:Jwww.s6ien6e6oun6il.6giar.orgJa6tivitiesJspiaJinde?.tmlC5 3;I:* melaksanakan Inisiati7 Pembelajaran dan Perubaan Kelembagaan BInstitutional 2earning and Change Initiative8 I+:3CBwww.6giar9ila6.orgC5 serta Pusat Pertanian 8ropis Internasional )International Centre for +ropical Agriculture 8CIA+) mendukung Kelompok Pembelajaran untuk InovasiBthe 2earning toInnovate 'roup82+I)7)erbagai plat7ormdankelompokpraktisi mulai mendukungberbagailembaga5 programdan pro4ek di bawa3;I:*untuk melaksanakan berbagai pendekatanpemantauan dan evaluasi se6ara spesi7ik dalam berbagai penelitian kebijakan mereka. )eberapa 6onto diantaran4a adala Appreciati'e (n)uiry ):6osta dan Doutwaite5 "''0C5 E!aluasi ,orisontal $*orisontal +'aluation) $8iele5 Devau?5 'a"pak B"C ,ebua matrik Keluaran ? Pemangku Kepentingan menilai level pen6apaian pro4ekteradap satu atau lebi pemangku kepentingan atau audien 4ang dituju. ,ebua 6onto rekaan diberikan dibawa ini. Matrik menunjukkan Keluaran ? Pemangku Kepentingan Bkelompok 4ang terdiri atas piak9piak 4ang ingin dilibatkan dalam suatu pro4ekC. -ntuk setiap keluaran5 tanda silang 4ang tersebar pada baris output tergantung pada posisi man7aat keluaran 4ang diarapkan. Matrik ini kemudian dapat dibandingkan dengan distribusi sumber da4a pro4ek 4ang sebenarn4a dalam upa4a melibatkan berbagai kelompok aktor 4ang berbeda. Hal ini bertujuan untuk menilai apaka perlu dilakukan perubaan alokasi sumber da4a dalam pro4ek tersebut. 2' % P a g e Bagan 1?. .ontoh "atrik Keluaran > Pe"angku Kepentingan B1C ,ebua ;antt 6art dapat digunakan untuk berbagai al5 termasuk diantaran4a sebagai suatu matrik 4ang menggambarkan posisi output dari suatu pro4ek teradap kegiatan9kegiatan penting dimasa depan. 3onton4a adala pada bagian &alur Dampak diatas. Menurut Davies5 ;antt 6art paling e7ekti7 digunakan sebagai pendekatan matrik modular jika beberapa matrik digunakan se6ara paralel: @Matrik9matrik tersebut dapat dianggap sebagai bagian dari suatu bangunan5 dimana jika matrik9matrik tersebut dikombinasikan satu sama lain5 akan terbentuk suatu kontruksi 4ang lebi besar dari 4ang suda ada@ B"''0: $(C. :pabila sebua pro4ek atau program penelitian membuat tiga matrik seperti 4ang tela ditampilkan disini5 maka pelaksana penelitian akan dapat menjelaskan beberapa ubungan kun6i dalam pro4ek tersebut: sampai pada tara7 apa keluaran 4ang diasilkan pro4ekJprogram tersebut berkontribusi teradap man7aat 4ang diarapkanG sampai pada tara7 apa keluaran 4ang diasilkan tersebut sesuai dengan audien 4ang ditujuG dan sampai pada tara7 apa keluaran dari suatu pro4ekJprogram berubungan dengan kegiatan9kegiatan penting 4ang akan dilaksanakan Bmisaln4a kegiatan9kegiatan kebijakan atau pertemuan9pertemuan kun6iC. Mereka lalu dapat menilai apaka mereka merasa 6ukup dengan kondisi sekarang atau apaka mereka ingin menguba upa4a9upa4a internal mereka untuk mengasilkan keluaran 4ang lebi baik Bmisaln4a website 4ang lebi baikC atau 2$ % P a g e keluaran 4ang berbeda Bmisaln4a serangkaian pertemuan selain juga publikasipublikasi 4ang di6etakC dalam rangka memperole dampak 4ang diinginkan5 men6apai audien 4ang dituju5 atau terubung dengan kegiatan utama di masa mendatang5 dengan lebi baik. ,elain itu5 diperlukan kerja tim untuk menggabungkan matrik9matrik 4ang dapat ber7ungsi sebagai alat untuk mengklari7ikasi proses9proses 4ang dilaksanakan dalam suatu pro4ek atau program serta untuk men4ediakan sebua ruang untuk melakukan re7leksi mengenai proses 4ang tenga berjalan. 2.2. Bidang Kinerja II& E!aluasi terhadap +anaje"en Dalam bagian ini dibaas 6onto96onto pendekatan 4ang tela digunakan untuk memantau dan mengevaluasi manajemen suatu pro4ekJprogramJlembaga penelitian kebijakan5 misaln4a apaka sistem dan proses 4ang berlangsung didalamn4a memungkinkan diasilkann4a pekerjaan berkualitas tinggi 4ang mendukung terlaksanan4a strategi 4ang tela ditetapkan. 2.2.1 .e'ie/ 01esesuaian dengan Tu#uan0 $@'' pro4ek riset. Evaluasi ole P:*3 di7okuskan pada tiga bidang 4aitu: tata kelola program dan manajemenG kualitas ilmian4aG dan dampakn4a teradap kemiskinan B+8,5 .oragrik dan OPM5 "''0C. Evaluasi bidang tata kelola program dan manajemen merupakan bagian 4ang paling relevan untuk dibaas berikut ini. -ntuk mengevaluasi tata kelola program dan manajemen5 para evaluator mengadopsi pendekatan dasar dengan mengkaji apaka proses 4ang dijalankan dalam program @sesuaidengan tujuan@5 misaln4a apaka proses 4ang terjadi memang sesuai dengan tujuan 4ang tela digariskan5 4aitu pengurangan kemiskinan5 penguatan tara7 idup5 pengembangan kapasitas5 ali kealian dan mempengarui berbagai aktivitas. -ntuk menjawab pertan4aan mengenai apaka proses 4ang berlangsung dalam program tersebut @sesuai dengan tujuan@5 tim evaluasi perlu menggabungkan kajian dokumen dengan wawan6ara men4eluru. Mereka mewawan6arai seluru manajer D=ID dan manajer program. Mereka mengkaji proses peren6anaan dandokumen peren6anaann4a5 termasuk juga logfra"es dan dokumen9dokumen strategis lainn4aG mereka mengamati struktur manajemen5 terutama proses pembuatan keputusan5 komunikasi5 pelaporan5 pemantauan dan manajemen sumber da4a 4ang dimiliki dan manajemen keuangan. Melalui pendekatan wawan6ara dan kajian seperti ini5 mereka dapat membandingkan antara proses 4ang benar9benar dilaksanakan dengan 4ang din4atakan dalam tujuan program tersebut. )o? ". Department 7or International Development BD=IDC -K D=ID Inggris tela melaksanakan berbagai pemantauan dan evaluasi penelitian kebijakan. )eberapa diantaran4a mengasilkan pedoman bagi pro4ek9pro4ek penelitian 4ang didanain4a Kkususn4a 4ang didanai ole Central Research (epart"ent B3*DC D=ID. Dalam panduan pemantauan dan evaluasi 4ang diterbitkan untuk seluru pro4ek penelitian 4ang didanai 3*D5 mereka menekankan pentingn4a penggunaan log7rame 4ang disertai indikator9indikator 21 % P a g e ,M:*8 B,pesi7ik5 Measurable5 :ttainable5 *elevant and 8imingC. +aporan9laporan taunan Bjugalaporan keuangan per enam bulananC seluru pro4ek penelitian 4ang dilaporkan kepada D=ID arusla berdasarkan pada log7rame 4ang tela dibuat sebelumn4a. Kar4a lebi inovati7 4ang tela dilakukan D=ID adala evaluasi 4ang dilaksanakan ole piak luar teradap program9program penelitian D=ID. 8iga 6onto diantaran4a adala evaluasi ,trategi Penelitian ,umber Da4a :lam B+8,5 .oragri6 dan OPM "''0C 4ang baru saja dibaasG evaluasi Program Pengetauan dan penelitian 8eknik B$ngineering 0nowledge and Research )$ng0aR) B:rnold5 3ourt5 ,tro4an dan Aoung5 "''0CG dan evaluasi Program Penelitian 8anaman Paska Panen BCrop Post-*arvest Research Progra""e8 CP*PC dalam kerangka IKemitraan untuk Inovasi@ B)arnett5 "''>C. Program EngKa* dievaluasi ole ODI dan 8e6nopolis5 dari segi e7ekti7itas5 kualitas5 relevansi5 pen4ebaran asil5 peman7aatan serta dampakn4a. Evaluasi dilakukan dengan 6ara melakukan kajian teradap dokumen9dokumen dan data pro4ek5 survei menggunakan kuesioner dengan para pimpinan pro4ek5 wawan6ara dengan sta7 D=ID5 kajian pro4ek se6ara independen5 kunjungan lapangan5 dan kajian atas aspek komunikasi. Melalui pendekatan "ulti#di"ensi ini5 mereka dapat memperjelas adan4a berbagai kekurangan dalam program namun sekaligus juga mengungkap berbagai keberasilan program dalam al ubungan dan sinergi 4ang seringkali terabaikan. Evaluasi teradap pro4ek @Partnersip 7or Innovation@ 3PHP5 dilakukan menggunakan pendekatan +he Policy Practice7 Evaluasi ini didasarkan pada ,istem Inovasi .asional B3ational !yste"s of Innovation83!I) 4ang memusatkan penilaian pada dua pertan4aan 4aitu apaka dan bagaimana berbagai pro4ek tersebut berkontribusi teradap keberasilan inovasi. Evaluasi bisa dilakukan melalui kunjungan dan wawan6ara untuk mengumpulkan in7ormasi dikumpulkan mengenai: Hubungan 4ang terjadi di seputar pro4ek Bpara mitra dan pemangku kepentingan5 kualitas kemitraanCG berbagai potensi 4ang mendukung keberasilan pro4ek5 termasuk juga makala9makala ilmia5 koalisi5 peman7aatan5 perubaan5 serta dampakG model peman7aatan pro4ekG apaka penggunaan pendekatan kemitraan 4ang diterapkan D=ID mengasilkan perubaan teradap pro4ek9pro4ek 4ang dilaksanakanG dan apa pelajaran 4ang dapat diambil serta dibagi diantara sesama sta7 pro4ek. Melalui penekanan pada .,I5 evaluasi dapat 22 % P a g e menggambarkan pentingn4a berbagai ubungan5 sistem dan kondisi 4ang memungkinkan berjalann4a suatu pro4ek5 serta seberapa jau mereka mampu berkontribusi teradap dan menjadibagian e7ekti7 dari lingkungan ini5 seingga asil 4ang di6apai ole suatu pro4ek dapat benar9benar diman7aatkan. 2.2.2. Audit 1ualitas2Lig&ter Touc&23 1un#ungan 4ara A&li 2evel; Proyek, Progra", 2e"aga Istila I&aminan Kualitas@ tela menjadi bagian dari bidang Pemantauan dan Evaluasi belakangan ini. -ntuk in7ormasi mengenai proses penjaminan kualitas 4ang baru9baru ini dikembangkan di )ank Dunia5 -.DP dan Danida5 liat Haden B"''0C. )agian ini akan memaparkan proses penjaminan Kualitas di sebua universitas di Inggris. -niversitas di Inggris se6ara periodik dievaluasi berdasarkan pada output penelitian 4ang diasilkan5 dengan menggunakan metode Research Assess"ent $%ercise B*:EC. .amun demikian mereka juga se6ara periodik dinilai berdasarkan proses internal 4ang terjadi untuk menentukan apaka mereka masi tetap bisa dimasukkan sebagai lembaga penelitian publik5 4ang memberikan kontribusi pengetauan dan kealian kepada maasiswa dan publik se6ara lebi luas. Penilaian ini dilaksanakan ole +embaga Penjamin Kualitas Pendidikan 8inggi B5uality Assurance Agency for *igher $ducation 8 F::C. F:: bertujuan untuk menilai proses manajemen dalam universitas itu sendiri5 proses pembuatan keputusan5 dan proses penjaminan kualitas. Pertan4aan9pertan4aan kun6i digunakan untuk menentukan apaka proses9proses tersebut tela mengikuti standar4ang arus diterapkan ole sebua lembaga penelitian 4ang beroperasi dalam ruang publik. Pendekatan 4ang diambil untuk menjawab pertan4aan ini disebut sebagai audit kelembagaan lighter touch, BF::5 "''>C. Komponen inti pendekatan ini5 sebagaimana 20 % P a g e 4ang tela diterapkan di,6ool o7 oriental and :7ri6an ,tudies B,O:,C di +ondon5 adala sebagai berikut: ,O:, memiliki Komite &aminan dan :udit Kualitas B5uality Audit and Assurance Co""iteee BF::3C sendiri5 4ang mengkoordinir proses 4ang tela berlangsung. ,O:, men4erakan dokumen5 4ang disebutMakala Pembekalan Kelembagaan BInstitutional Briefing paperC beserta dokumen9dokumen pendukungn4a5 kepada F::3. Dokumendokumen tersebut digunakan untuk menunjukkan proses9proses dan sistem 4ang ada di ,O:, untuk melaksanakan pemantauan internal mereka sendiri. Organisasi maasiswa juga turut terlibat dalam pembuatan dokumen tersebut. F::3 lantas membentuk suatu kelompok akademisi Bempat orangC untuk mengunjungi ,O:, selama dua kali. Kunjungan pertama mereka merupakan sutau Ikunjungan pembekalan Briefing visitC@ selama tiga ari5 untuk memperole suatu gambaran men4eluru dan mempertimbangkan seluru dokumen 4ang diserakan serta bertemu dengan manajer senior dan perwakilan maasiswa. Pada akir kunjungan5 mereka menentukan dua departemen untuk di Iaudit mundur se6ara mendalam Btrail audit)@ dalam kunjungan berikutn4a. Kunjungan kedua merupakan kunjungan utama dan berlangsung selama lebi dari seminggu. Evaluator men6ari in7ormasi mengenai bagaimana ,O:, tela melakukan pemantauan dan evaluasi internal teradap dua departemen tersebut BDi ,O:,5 pemantauan internal ini dilakukan melalui proses review dalam Departemen itu sendiri danprogram didalamn4aC. Evaluator kemudian menilai apaka proses ini tela dilaksanakan dan dimenej dengan baik dan men4eluru Brigorous). Mereka mengkaji dokumen5 4ang kusus berubungan dengan kedua departemen5 juga serangkaian wawan6ara dengan dosen5 sta7 dan maasiswa di dua departemen tersebut. ,elama kunjungan utama mereka5 mereka juga menilai berbagai aspek kelembagaan 4ang mungkin relevan. Pada akir proses mereka akan memberikan keputusan 4ang menunjukkan apaka merekasangat 4akin Bkurang 4akin atau sama sekali tidak 4akinC5 ataupun memberikan rekomendasi lain 4ang di4akini akan meningkatkan proses evaluasi internal 4ang lebi baik di 7akultas tersebut. 2> % P a g e &adi5 pendekatan evaluasi sema6am ini memberikan tanggungjawab lebi besar kepada lembaga penelitian itu sendiri5 karena lembaga arus mampu menunjukkan kemampuann4a dalam melakukan proses pemantauan dan evaluasin4a sendiri. Di lain piak5 kunjungan para ali memberikan kesempatan kepada lembaga untuk melakukan re7leksi dan menjawab pertan4aan9pertan4aan n4ata mengenai proses 4ang tela dilakukann4a5 dan juga memberikan kesempatan untuk melakukan berbagai perubaan danperbaikan.)o? 1. +he $uropean Center for (evelop"ent Policy 1anage"ent BE3PDMC +he $uropean Centre for (evelop"ent Policy 1anage"ent BE3PDMC di Maastri6t baru9baru inimelaksanakan pemantauan dan evaluasi teradap lembaga se6ara keseluruan 4ang dilakukan ole evaluator eksternal BMatter5 Mwai5 ,e7uke dan ,eri775 "''>C. Evaluasi dilaksanakan ole sebua tim 4ang terdiri atas empat orang5 beranggotakan dua ali dari Eropa Btermasuk ketua timCdan dua dari :3P Bkeduan4a dari :7rikaC. -ntuk detail evaluasi5 liat :pendik $. Dalam al asil evaluasi mereka sendiri5 E3PDM terlibat dalam Inisiati7 13s -ni Eropa Bwww.tree96s.netC. Inisiati7 13s ini merupakaninisiati7 bersama antara para pimpinan Evaluasi untuk Kerjasama Eksternal5 negara9negara anggota -ni Eropa dan Komisi Eropa5 dalam rangka: mengeksplorasi dan mengukur peran 4ang ditetapkan ole Maastri6t 8reat45 4aitu Coordination, Co"ple"entarity dan Coherence )>Cs), dalam kebijakan dan pelaksanaan kerjasama pembangunan -ni EropaG danmenentukan seberapa jau al ini tela diterapkan dalam praktek dan apa dampakn4a. Organisasi 4ang terlibat diantaran4a adala kementerian )elgia5 Peran6is5 &erman5 Irlandia5 Inggris5 ,wedia5 )elanda5 Komisi Eropa5 E3DPM5 dan 3onta6tivit4 Bsebua organisasi 4ang bergerak dalam bidang 8eknologi Komunikasi dan In7ormasiC. Inisiati7 4ang dilakukan melalui serangkaian studi evaluasi ini diperkirakan akan mengasilkan bukti5 pelajaran 4ang dapat diambil serta rekomendasi untuk memperkuat kualitas dan e7ekti7itas bantuan pembangunan Eropa Bsebagai 6onto5 liat E3DPM dan I3EI5 "''0C. 2( % P a g e E3DPM juga menerapkan inisiatif Peli6an& ,ebua Plat7orm untuk Pembelajaran dan Komunikasi berbasis )ukti untuk Perubaan ,osial. Inisiati7 Peli6an merupakan suatu kelompok "ailing list 4ang akti7. Pertan4aan utama 4ang dibaas dalam kelompok ini adala: bagaimana kita dapat belajar lebi ban4ak lagi dari apa 4ang kita lakukan sementara pada saat bersamaan memiliki dampak 4ang sebesar mungkin teradap proses9proses perubaan sosial dimana kita terlibat didalamn4a -ntuk in7ormasi lebi lanjut5 kunjungi www.dgroups.orgJgroupsJpeli6anJinde.67m 3ookie8estedP8*-E. 2.2.! +'aluasi *orisontal3 1un#ungan kolega untuk pem5ela#aran 5ersama Le'el3 4royek6 program6 Lem5aga ,uatu pendekatan evaluasi 4ang dalam beberapa al ampir sama dengan audit kualitas kelembagaan 4ang digunakan ole universitas9universitas di Inggris tela diterapkan sebagaiper6ontoan dalam beberapa pro4ek 3;I:*. Pendekatan ini disebut sebagai Ievaluasi orisontal@ B8iele5 Devau5 C memaparkan se6ara ringkas pengalaman mereka dalam melaksanakan pendekatan ini5 sebagai berikut: IPengalaman kami menunjukkan bawa 7aktor97aktor berikut ini sangatla penting bagi suksesn4a suatu evaluasi oriOontal: Penentuan waktu lokakar4a BevaluasiC dilakukan ketika metodologi penelitian tela 6ukup berkembang 4ang memungkinkan pelaksanaan review5 namun metodologi inibelum benar9benar selesai seingga masi memungkinkan perbaikan atau modi7ikasi.Evaluator 4ang berkunjung arus dipili se6ara ati9ati seingga dapat dipastikan bawa mereka memiliki beragam perspekti75 6ukup pengetauan dan pengalaman5 dan diliat sebagai Isejawat@ daripada Iatasan.@ =asilitasi 4ang baik diperlukan untuk men6iptakan situasi saling per6a4a5 untuk memusatkan peratian para peserta mengenai metodologi 4ang direview5 serta untukmengatur supa4a 6ukup waktu tersedia. ,ejumla kriteria evaluasi arus dide7inisikan dengan jelas. Presentasi dan kunjungan lapangan disiapkan dengan matang seingga evaluator memiliki 6ukup in7ormasi untuk memaami metodologi 4ang tenga digunakan.@ 2.2., Appreciati'e (n)uiry 2evel; proyek ) hanya proyek 6angka pan6ang), progra", le"aga )hanya le"aga yang leih kecil, atau hanya seagian dari le"aga) Appreciative Inquiry merupakansuatu metode evaluasi dari dalam dan pembelajaran berdasarkan pada asumsi mengenai pentingn4a belajar seban4ak mungkin dari kesuksesan2/ % P a g e didapatkan selain juga belajar dari kegagalan. Metode ini pertama kali dikembangkan pada taun $/#'5 dan tela diuji6obakan di Pusat Internasional untuk Pertanian 8ropis 4ang tera7ilisi dengan 3;I:* BC'IAR-affiliated International Center for +ropical Agriculture )CIA+) B:6osta dan Doutwaite5 "''0C. Appreciative Inquiry biasan4a dilaksanakan melalui lokakar4a selama tiga ari Batau bisa juga lebi singkatC dengan mengikutsertakan sta79sta7 lembaga5 dan melalui lima taapan. Bagan 11. +odel Appreciati'e (n)uiry A0#'@ !u"er; :6osta dan Doutwaite B"''0: "C $. 'efinisi& perjelas aspek9aspek kusus kelembagaan 4ang akan menjadi 7o6us pengamatan7 Dalam lokakar4a Appreciative Inquiry 3I:85 ada tiga tema 4ang dipili5 4aitu: BiC Meningkatkan inovasiG BiiC Hubungan kerjasamaG dan BiiiC Komunikasi 4ang e7ekti7 serta berbagi pengetauan 4ang dimiliki. ". Pene"uan $(iscoveryC: ,etiap sta7 saling mewawan6arai satu sama lain untuk men4ampaikan 6erita mengenai waktu terbaik 4ang dialamin4a selama bekerja di lembaga atau program tersebut. +okakar4a Appreciative Inquiry 3I:85 menggunakan pertan4aan9pertan4aan berikut ini B:6osta dan Doutwaite5 "''0: 0' % P a g e 1C: a. Meningkatkan inovasi : &ika anda melakukan re7leksi teradap waktu 4ang tela anda lalui5 apa saja titik pun6ak Bhighpoints) 4ang tela membawa pada peningkatan inovasiM Pili sala satu titik pun6ak Bhighpoint), 4aitu ketika anda merasa paling baagia dan paling bersemangat, ketika anda merasa melakukan pekerjaan 4ang kreati75 berman7aat5 dan berarti serta benar9benar dapat membuat suatu perubaan. :pa 4ang anda lakukan5 apa 4ang baik menurut anda5 siapa saja 4ang terlibat dan apa 4ang tela anda 6apaiM b. Hubungan Kerjasama: Dapatka anda mengidenti7ikasi dan menjelaskansuatu skenario 4ang menunjukkan aspek9aspek positi7 kerja sama dalam men4elesaikan sesuatu. ,iapa dan apa saja 4ang terlibat5 mengapa ini berjalan5 apa 4ang anda lakukan dan apa 4ang dilakukan orang lainM 6. Komunikasi e7ekti7 dan berbagi pengetauan; dalam 3I:85 apa saja perbedaan tipe9tipe komunikasi antara satu lokasi geogra7is dengan 4ang lainM :pa 4ang menurut anda merupakan komunikasi paling e7ekti7M Kapan al itu terjadiM ,iapa dan apa saja 4ang menjadi bagian dari tipe komunikasi terbaik tersebutM Mengapa komunikasi e7ekti7 baik bagi anda sendiri dan juga untuk meningkatkan inovasiM =okus pada titik pun6ak Bhighpoints) dimaksudkan untuk menjaukan pikiran dari masala dan kekurangan5 seingga dapat memusatkan pada kesempatan dan asset 4ang dimiliki. &ika seseorang mulai dapat melakukan re7leksi atas 6erita96erita titik pun6ak Bhighpoint) 4ang dialamin4a, mereka akan mulai dapat memikirkan mengenai apa saja sumber da4a5 kesempatan dan ubungan 4ang berkontribusi teradap pen6apaian tersebut. !awan6ara ditujukan untuk menggali 6erita dan bukan sekedar memperole pendapat5 karena jalinan 6erita akan berman7aat sebagai materi dasar untuk pembelajaran. 0$ % P a g e ,etela melakukan wawan6ara se6ara berpasangan5 para peserta berkumpul dalam kelompok ke6il dan membaas berbagai temuan kun6i5 tema dan Ikutipan berarga Bge"sC@ dari wawan6ara 4ang dilakukann4a. 8ema umum 4ang mun6ul lalu dibaas kembali dalam kelompok. 1. I"pian& Para sta7 diminta memba4angkan sebua skenario masa depan ketika pengalaman9pengalaman highpoint 4ang sekarang ini dialamin4a dalam suatu lembaga atau program seola9ola tela menjadi al 4ang biasa pada 0 atau $' taunmendatang. )agaimana mereka akan mendeskripsikan dan menjelaskan al ini kepada misaln4a wartawanM &awaban para peserta didiskusikan dalam kelompok9kelompok ke6il dan tema umum 4ang mun6ul lalu dipresentasikan kembali dalam kelompok besar. 2. 'esain& ,ta7 diminta untuk berpikir mengenai perubaan 4ang diperlukan dalam institusi atau program untuk men6apai skenario masa depan 4ang ideal. Dalam kelompok9kelompok ke6il5 mereka mem7ormulasikan jawaban9jawabann4a dalam bentuk I-sulan Menantang Bprovocative propositions),7 Provocative propositions merupakan pern4ataan a7irmati7 dan tegas5 dalam present tense5 4ang didasarkan ataspengalaman kolekti7 kelompok5 meskipun bertentangan dan menggo4ang kondisi 4ang ada Bstatus quo)7 -sulan searusn4a berubungan dengan tema 4ang tela dipili dan lalu dibaas dengan kelompok. 0. 2ujuan (khir: Ini merupakan 7ase terakir ketika evaluasi dan pembelajaran diwujudkan menjadi ren6ana dan tindakan n4ata. ,eperti apa ren6ana tersebut dan siapa 4ang dipili untuk melakukann4a5 tergantung pada lembaga atau program 4angbersnagkutan. &ika pendekatan ini tela berjalan baik5 dan sta7 tela termotivasi ole impian dan provocative propositions 4ang dibuatn4a5 berarti mereka juga akan termotivasi untuk memasukkan perubaan ke dalam agenda mereka sendiri. Pendekatan Appreciative Inquiry paling tepat digunakan di lembaga ke6il5 atau sebagai alatreview jangka menenga pada level program. +okakar4a Appreciative Inquiry dapat 0" % P a g e dilakukan se6ara regular dan akan sangat berman7aat untuk mendorong buda4a pembelajaran. :6osta dan Doutwaite B"''0: 1C men4atakan: pada akirn4a5 akan terliat bawa :I tela benar9benar dijalankan ketika Iappreciative eyes@ semakin sering digunakan dibandingkan pada waktu sebelumn4a.@ 2.* Bidang Kinerja III& +enge!aluasi Keluaran $Output) )agian ini membaas 6onto96onto pendekatan 4ang tela digunakan untuk memantau danmengevaluasi output 4ang diasilkan ole suatu pro4ekJprogramJlembaga penelitian kebijakan. &utput dipaami sebagai suatu asil dari suatu pro4ekJprogramJlembaga penelitian 4ang dapat diukur Bmisaln4a working paper5 artikel jurnal5 website5 pertemuan5 kegiatan5 jaringan5 dsbn4aC. 2.!.1 -enge'aluasi artikel"artikel akademis dan laporan"laporan penelitian (kriteria kualitas ilmia&) 2evel; Proyek, Progra", 2e"aga Evaluasi program penelitian *.**, 4ang didanai ole D=ID B+8,5 .oragri65 dan OPM5 "''0C sebagaimana disebutkan diatas Bdalam bagian mengenai *eview IKesesuaian dengan 8ujuan@C5 mengamati tiga bidang. )idang kedua dari ketiga bidang tersebut adalaIkualitas ilmia@. Pengukuran kualitas ilmia teradap asil dari $.>'' pro4ekpro4ek penelitian dibawa $' program *.**,5 terlalu dipusatkan pada 6ara96ara penilaian akademis 4ang konvensional7 Dalam laporann4a mereka men4ebutkan: Kualitas ilmia meliputi aspek9aspek 4ang berubungan dengan pembuatan ipotesis 4ang benar5 ketepatan input ilmia5 metodologi dan proses penelitian5 serta output dan outco"e penelitian. -kuran penilaian kualitas ilmia 4ang paling ob4ekti7 dan paling umum digunakan adala kualitas publikasi dalam jurnal 4ang tela direview.01 % P a g e 3onto ini menunjukkan bawa meskipun program9program penelitian kebijakan mungkin tidak ingin mengadopsi kerangka atau mode penilaian akademik 4ang terlalu berat, namun kriteria akademik tertentu masi dapat digunakan untuk mengevaluasi output tertentu K misaln4a artikel jurnal atau laporan9laporan penelitian. Kriteria 4ang digunakan dalam evaluasi *.**, ter6antum di bawa ini. ,ekelompok ali diminta untuk memberikan penilaian individual mengenai output penelitian 4ang diasilkan5 berdasarkan pada kriteria9kriteria berikut ini5 dengan memberikan nilai $ Btidak adaJ palingburukC ingga $' Bterban4akJterbaikC untuk setiap penelitian. Kriteria I0ualitas Il"iah, B+8,5 .oragri6 dan OPM5 "''0: $$C: ,eberapa besar kontribusi suatu program teradap pengetauan baruG ,eberapa kreati7 suatu program menggunakan pengetauan 4ang ada dalam konteks 4ang baruG 8ingkat program tersebut dalam al inovasi dan pengambilan9risiko keilmuan5 evaluasi disertai dengan komentar mengenai pro4ek 4ang inovati7 maupun 4ang tidakG Menunjukkan pemaaman mengenai pengetauan terbaru dari berbagai sumber Bjurnal5 buku5 in7ormasi berbasis webC termasuk juga literature dari negara berkembang, baik 4ang berbaasa Inggris maupun tidakG +evel pen6apaian ilmia 4ang diarapkan sebagaimana tela di6antumkan dalam log7rame Bpro4ek9pro4ek utama5 output pada level programCG +evel kontribusi pro4ek dan program teradap pengembangan kapasitas keilmuan di kalangan akademisi di negara9negara berkembangG Pengembangan ubungan kelembagaan jangka panjang antara lembaga9lembaga dari Inggris dengan lembaga9lembaga di negara9negara berkembangG 02 % P a g e 8ingkat pen4ebaran pengetauan 4ang diasilkan ole suatu program: o 8eradap mas4arakat ilmia Bdalam jurnal 4ang direview ole sejawat5 jurnal tanpa review sejawat5 berbasis web5 media lain)= o 8eradap audien kebijakan negara berkembangG o 8eradap outreach services di negara berkembangG o 8eradap pengguna akir Bpetani5 nela4an5 dsbn4aC di negara berkembangG o 8eradap lembaga9lembaga donor internasional. 2.!.2 -enge'aluasi makala& ke5i#akan dan makala& pem5ekalan ke5i#akan 2evel; proyek, Progra", 2e"aga Makala kebijakan dan makala pembekalan kebijakan searusn4a dinilai menggunakan kriteria 4ang berbeda dengan artikel dalam jurnal akademik. Makala kebijakan ditujukanse6ara kusus untuk menampilkan bukti9bukti sebagai pen4okong in7ormasi bagi suatu kebijakan. Makala pembekalan kebijakan ditulis dengan tujuan 4ang sama5 an4a saja lebi pendek Bsekitar $9> alamanC. Aoung dan Fuinn B"''"C men4ebut bawa makala kebijakan dan makala pembekalan 4ang berkualitas memiliki tiga komponen inti: BiC menjelaskan inti persoalan iiC memberikan pilian solusi5 termasuk juga solusi 4ang dipili ole penulis makalaG dan BiiiC memuat kebijakan 4ang direkomendasikan.Evaluasi teradap makala kebijakan dan makala pembekalan kebijakan, 4ang meliputi ketiga komponen tersebut diatas5 dapat dijabarkan sebagai berikut: BiC Menilai apaka makala kebijakan atau makala pembekalan kebijakan sejak awal tela menunjukkan se6ara jelas permasalaan 4ang dibaas. ,earusn4a klaim atas sesuatu disertai ole bukti 4ang mendukungn4a. ,earusn4a 00 % P a g e argumen juga disampaikan dengan koeren5 misaln4a dalam al9al berikut iniBAoung dan Fuinn5 "''"C: a. Kejelasan sub9judul dan nomor. Misaln4a bagian pendauluan jangan an4adiberi label IPendauluan@G tapi arus disertai penjelasan singkat tentang label tersebut7b. Kalimat pembuka dari setiap bagian membawa pada argumen 4ang ingin disampaikan. 6. Kalimat pertama Batau terakirC dari setiap paragra7 menunjukkan alpaling penting. d. Pen4ampaian se6ara e7ekti7 dan muda dimengerti Bseingga pemba6a 4ang an4a akan memba6a selintas masi dapat memaamin4aC7 e. 8ulisan 4ang koeren. Hal9al tersebut memiliki satu kesamaan tujuan5 4aitu untuk memungkinkan seseorang memba6a makala se6ara sekilas namun masi dapat men4erap keseluruan argumen 4ang disampaikan. BiiC menilai apaka makala kebijakan atau makala pembekalan kebijakan memaparkan dengan jelas solusi9solusi 4ang ditawarkan. Pilian9pilian kebijakan searusn4a dipaparkan dan dibandingkan sejelas mungkin5 dengan penekanan lebi lanjut teradap pilian kebijakan 4ang direkomendasikan. Dalam elemen pilian9pilian kebijakan5 penaseat kebijakan perlu menunjukkan kealiann4a dan memberikan argumen 4ang mendukung pilian kebijakan 4ang direkomendasikann4a. Mengingat bawa ilmu kebijakan searusn4a berorientasi pada masala dan tujuan 4ang ingin di6apai5 makala kebijakan merupakan kesempatan untuk membuktikan 0> % P a g e bawa rekomendasi 4ang diberikan merupakan suatu solusi praktis atas permasalaan 4ang tela dipaparkan5 dan dengan demikian memberikan suatu kontribusi 4ang berman7aat bagi pembuatan kebijakan dan komunitas kebijakan se6ara umum. BAoung dan Fuinn5 "''"C. BiiiC Menilai bagian penutup dan rekomendasi. )an4ak pemba6a an4a akanmemba6a bagian ini5 dengan pendauluan atau ringkasan eksekuti7. Dengan demikian sangatla penting bawa bagian ini merangkum keseluruan makala se6ara jelas bagi para pemba6an4a. Pertan4aan9pertan4aan dalam bagian ini termasuk BAoung dan Fuinn5 "''"C: a. :paka bagian ini men4impulkan bagian utama dari studi 4ang dilakukanM b. :paka rekomendasi diberikan se6ara logis dalam beberapa bagian serta dipaparkan dengan jelasM 6. :paka rekomendasi tela ditulis se6ara e7ekti7M d. :paka bagian penutup benar9benar tela membuat pemba6a merasa bawamakala tersebut tela komplitM 2.!.! +'aluasi ter&adap 7e5site 2evel; Proyek, Progra", 2e"aga Pusat Penelitian dan Pelatian +,M Internasional BInternational 3'& +raining and Research Center8 I3+RAC) di O?7ord tela membuat pedoman mengenai 6ara mengevaluasi website 4ang bertujuan untuk mengkomunikasikan penelitian kepada audieninternasional B8a4lor "''$C. I.8*:35 dengan dana D=ID5 mengevaluasi penggunaan delapan website untuk men4ebarkan asil penelitian kebijakan mengenai isu 0( % P a g e pembangunan perkotaan. BKedelapan website tersebut adala: Co""unity (evelop"ent !ociety http;88co""-dev7org, $uropean 3etwork for !ustainale /ran and Regional (evelop"ent Research www7european-association7org8ensure, *aitat in (eveloping Countries www7foru"haitat7polito7it, 'loal (evelop"ent Research Center www7gdrc7org, 3etwork Association of $uropean Reseacrhers on /ranisation in the !outhwww7naerus7org, Resource for /ran (esign Infor"ation www?7rudi7net8rudi7ht"l, /nited 3ations International $nviron"ental technology Center www7unep7or76p, (#I(-/ranisation www7loro7ac7uk8garnet8/ran0aR8(#I(-0AR-/RBA37ht"l7) 8im evaluasi memutuskan untuk melakukan evaluasi atas kualitas kun6i 4ang berubungandengan berbagai komponen dari setiap website. Komponen9komponen tersebut5 antara lainB8a4lor "''$:"C: (rsitektur 4ang merujuk pada struktur website dan logika ubungan antar alaman7 Komponen ini diamati untuk menilai navigasi dalam website tersebut Bnavigaility). 2eknologi merujuk pada isu mengenai kualitas kode dan ketepatan teknologi 4ang digunakan. Komponen ini dinilai dalam kaitann4a dengan bagaimana kemudaan Baccessile) dan ketersediaan Bavailale) website ini bagi audien internasional 4angmemiliki perbedaan kapasitas dan ketersediaan teknologi piranti lunak dan piranti keras. 2a"pilan merujuk pada tampilan website dan isu tata letak Blayout) dan ditampilkann4a Bdisplay) tulisan dan gambar.Isi merujuk pada kualitas5 akurasi5 kemudaan untuk diba6a5 relevansi dan ketepatan waktu ditampilkann4a tulisan dan gambar5 dan seberapa muda interaksi antar pengguna dapat terjadi. Strategi merujuk pada seberapa mampu website memenui tu6uan yang telah ditetapkan untuk men6apai audien atau pasar 4ang dituju. 0# % P a g e +anaje"en berubungan dengan sumber da4a manusia dan keuangan 4ang ditampilkan dalam website7 Komponen9komponen ini dipaparkan dengan lebi detail dalam makala ini. 8im evaluasimenggunakan beberapa metode berikut ini untuk menjawab pertan4aanpertan4aan evaluasi: &servasi; )eberapa pertan4aan evaluasi dapat dijawab ole evaluator dengan menelusuri website tersebut5 dengan memperatikan se6ara kusus struktur direktorin4a, dokumen 4ang dapat diundu dan I"eta-tags@ Bkata kun6i 4ang dapat mempromosikan sebua website dalam mesin pen6ari Bsearch engines)7 Auto"ated +ests; Evaluator melakukan serangkaian auto"ated tests, termasuk validator H8M+ BH4perte?t Mark9up +anguageC5 4ang tersedia gratis dari ttp:JJvalidator.w1.orgJG 8es teradap kompatibilitas teknologi dengan browser kusus5 menggunakan alat analisis website IDr H8M+@G :nalisis teradap sebua wepage 4ang tersedia gratis di www".imagiware.6omJG 3ek status link di setiap website, menggunakan Lenu@s +ink ,leut di ttp:JJ6ompletel47reeso7tware.6omJG 8es untuk mengukur waktu undu di setiap ho"e page K menggunakan modem "#.''' baud K menggunakan alat analisis website gratisan Boy, www.6as.org. 8es penggunaan B/saility +ests); Pengujian teradap pengguna dengan mengerjakan tugas9tugas 4ang tela ditentukan dianggap sebagai sala satu metodeterbaik untuk mengevaluasi website. -ntuk mengevaluasi delapan website5 lima sta7 I.8*:3 menjadi sukarelawan untuk men4elesaikan suatu tugas 4ang disusun dalam bentuk kuesioner. 8ujuann4a adala untuk men6atat berapa klik pada "ouse diperlukan untuk memperole suatu in7ormasi tertentu. :ngka ini lantas dibandingkan dengan jumlak klik minimum 4ang diperlukan untuk memperole in7ormasi tersebut. 0/ % P a g e !urvei Pengguna; ,urvei online 4ang dilaksanakan untuk mengumpulkan in7ormasi mengenai pro7il dan pengalaman pengguna dari berbagai negara BinternasionalC. !urvey terhadap pengelola we )A .e"aster !urvey); Para pengelola website tersebut diminta men4elesaikan sebua kuesioner singkat mengenai data log-file website mereka Bmisaln4a jumla pengunjung, permintaan data5 pengunjung 4ang unik5 dsbn4aC5 serta sejumla isu dalam organisasi. +elephone Interviews; ,uatu wawan6ara semi terstruktur dilaksanakan dengan sala satu anggota dari setiap tim website untuk memperole pemaaman mengenai proses 4ang berlangsung dalam organisasi untuk memili dan mengaudit isi website. 2.!., +'aluasi Jaringan 2evel; Proyek +embaga Internasional untuk Pembangunan )erkelanjutan BInternational Institute for !ustainale (evelop"ent8II!() tela membuat berbagai panduan mengenai 6ara mengevaluasi Ijaringan pengetauan Bknowledge network)@ B3ree65 "''$C. II,D mende7inisikan Iknowledge networks, sebagai jaringan 4ang bertujuan untuk berbagi in7ormasi dan men6iptakan pengetauan baru5 memperkuat kapasitas penelitian dan komunikasi diantara para anggota jaringan5 dan mengidenti7ikasi serta mengimplementasikanstrategi untuk se6ara langsung melibatkan para pembuat kebijakan5 mengubungkann4a dengan proses kebijakan 4ang tepatserta pelaksanaann4a. Hal tersebut merupakan tipe9tipe jaringan 4ang ingin dikembangkan ole pro4ek atau program. )agaimana jaringan9jaringan tersebut dapat dievaluasiM Menggunakan komponen9komponen dari berbagai metode peren6anaan serta pemantauan dan evaluasi5 termasuk anilisis ,!O8 Bkekuatan9kelemaan9kesempatan9an6amanC5 analisis>' % P a g e Kerangka +ogika Blogical fra"ework analysisC5 dan Pemetaan Hasil B&utco"e 1apping), II,D tela membuat tiga taapan evaluasi jaringan: B$C Peren6anaan: digunakan pada awal aktivitas jaringan5 untuk merekam ren6ana kerja5 piak9piak 4ang berkepentingan )mitra dan pemangku kepentinganC5 serta indikator9indikator perubaan 4ang diinginkan untuk pro4ek atau program kerja utama maupun untuk jaringan se6ara keseluruan. 3ree6 B"''$:$>9""C memaparkan se6ara detail tabel 4ang dapat digunakan dalam 7ase peren6anaan. )eberapa pertan4aan kun6i 4ang digunakan antara lain::pa 4ang dapat disumbangkan ole para anggota5 atau diterima anggota dari jaringanM B"C Pe"antauan: jurnal kemajuan. 3ree6 B"''$C men4arankan digunakann4a jurnal kemajuan sebagai 6ara terbaik untuk men6atat dan merekam aktivitas9aktivitas dan pembentukan jaringan 4ang tenga berlangsung. ,etiap anggota jaringanmemiliki sebua jurnal untuk menuliskan kegiatan utaman4a5 masukan 4ang diterima ataupun berbagai kegiatan menarik lainn4a. :ktivitas9aktivitas 4ang dituliskan tidak perlu dinilai tapi perlu dibaas bersama5 misaln4a setiap 6atur wulan dengan koordinator jaringan. B1C E!aluasi: Evaluasi taunan memungkinkan jaringan untuk menilai apaka komponen9komponen 4ang membentuk jaringan berada pada jalur 4ang benar5 apaka asil9asil 4ang diarapkan tela ter6apai5 dan apaka perlu ada pen4esuaianteradap kegiatan 4ang dilakukan5 tujuan5 ren6ana kerja dan asil akir 4ang diarapkan. Evaluasi meliputi perkembangan kegiatan 4ang dituliskan dalam jurnal untuk merekam kemajuan dengan peratian kusus teradap aktivitas 4ang berasil maupun 4ang tidak berasil5 serta berbagai 6erita menarik atau mun6uln4a kesempatan9kesempatan 4ang tak terduga. 3ree6 B"''$: "09"(C memaparkan suatu 6onto 4ang lebi detail. >$ % P a g e Evaluasi taunan searusn4a digunakan untuk menilai apaka se6ara keseluruan jaringanini benar9benar potensial. 3ree6 B"''$C men4arankan beberapa pertan4aanpertan4aan berikut ini: :paka jaringan terubung se6ara e7ekti7 dengan proses9proses kebijakan 4ang relevanG apaka terjadi peningkatan level pengakuan dan pengaru teradap jaringan and anggota9anggotan4a dalam lingkaran iniM :paka keanggotaan dalam jaringan meningkatkan nilai tamba teradap asil kerjapara anggotan4a5 dan memungkinkan terlaksanan4a suatu pekerjaan baru bersama 4ang mungkin tidak akan terjadi jika tidak ada jaringanM :paka ada pertukaran dan pengembangan kapasitas diantara para anggota jaringanM 2.!.8. 1a#ian 4aska 4elaksanaan (After Action re'ie/s) 2evel; Proyek Kajian Paska Pelaksanaan BAfter Action Review8AAR) merupakan metode sederana untukmenilai suatu tugas atau aktivitas 4ang tela dilaksanakan B*amalingam5 "''>C. Dalam pro4ek penelitian kebijakan5 metode ini dapat digunakan untuk mengevaluasi misaln4a sebua pertemuan atau a6ara. Hal ini dapat dilakukan dengan mengumpulkan seluru tim untuk mendiskusikan suatu kegiatan atau a6ara dalam suasana penu keterbukaan dan keterusterangan. Penerapan Kajian Paska Pelaksanaan se6ara sistematis dan tepat di berbagai program atau lembaga dapat mendukung terjadin4a perubaan organisasional. Metode ini selain dapat menguba pembelajaran bawa9sadar menjadi pengetauan implisit5 juga dapat membantu men6iptakan keper6a4aan antar sesama anggota tim serta mengatasi rasa takut berbuat sala.:pabila diterapkan dengan benar5 Kajian Paska >" % P a g e Pelaksanaan dapat menjadi bagian penting dalam sistem pembelajaran dan motivasi internal. :da beragam 6ara untuk melakukan Kajian Paska Pelaksanaan. Metode ini memusatkan pada aspek kesederanaan seingga mun6ul ban4ak potensi untuk melakukan uji 6oba teradap proses 4ang berlangsungG juga menemukan 6ara96ara terbaik 4ang sesuai bagi timsekaligus sesuai dengan materi 4ang dikaji. Keseluruan proses arus sesederana mungkin dan semuda mungkin untuk diingat. .amun esensi dari Kajian Paska Pelaksanaan adala keterlibatan seluru kelompok 4ang relevan untuk se6ara bersamasama memikirkan sebua pro4ek5 kegiatan5 a6ara atau tugas5 dan membuat pertan4aanpertan4aan sederana seperti di bawa ini. Bagan 12. Pertan)aan#pertan)aan Kajian Paska Pelaksanaan Pertan4aan8ujuan :pa 4ang searusn4a terjadiM :pa 4ang sebenarn4a terjadiM Mengapa terjadi perbedaanM Pertan4aan9pertan4aan tersebut memberikan pemaaman bersama atas al9al 4ang tengadikaji. =asilitator semestin4a mendorong dan memusatkan diskusi di seputar pertan4aanpertan4aan tersebut. Eksplorasi lebi mendalam arus dilakukan jika terjadi pen4impangan dari ren6ana semula.:pa 4ang berasilM :pa 4ang tidakM MengapaM Pertan4aan ini memun6ulkan re7leksi atas keberasilan dan kegagalan sepanjang pelaksanaan pro4ek5 kegiatan5 a6ara atau tugas. Pertan4aan Imengapa@ dapat memberikan pemaaman tentang akar pen4ebabkegagalan dan keberasilan. >1 % P a g e -ntuk selanjutn4a5 apa 4ang perludiperbaikiMPertan4aan ini bertujuan untuk mengidenti7ikasi rekomendasi9rekomendasi 4ang spesi7ik dan dapat diterapkan. =asilitatormeminta anggota9anggota tim untuk memberikan rekomendasi 4ang langsung dan jelas5 dapat di6apai5 dan berorientasi pada masa depan. Metode 8injauan Kembali BRetrospect) mengikuti 7ormat Kajian Paska Pelaksanaan5 tetapimen6akup pertan4aan 4ang lebi detail berikut ini: 8arget apa 4ang ingin di6apaiM :pa ren6ana untuk men6apai target tersebutM )agaimana perubaan terjadi selama pro4ek berjalanM :pa 4ang berjalan dengan baik dan mengapaM :pa 4ang semestin4a bisa berjalan lebi baik lagiM .asiat seperti apa 4ang ingin anda berikan teradap diri anda sendiri apabila anda diberi kesempatan untuk kembali berada pada situasi seperti saat anda memulai pro4ek iniM :pa saja Bdua atau tigaC pembelajaran 4ang paling penting 4ang ingin anda bagi dengan anggota tim lainn4aM :paselanjutn4a 4ang akan anda lakukan terkait dengan pro4ek iniM >2 % P a g e Dapatka anda memikirkan suatu 6erita 4ang merupakan ringkasan pengalaman anda bekerjadalam pro4ek iniM :pa 4ang arus suda kita pelajari dari pro4ek ini setaun dari sekarangM :paka ada pelajaran untuk anda pribadiM Poin9poin utama dan tip9tip praktis B*amalingam5 "''>C: 8empelkan pertan4aan9pertan4aan pada lembaran9lembaran flipchart sebelum sesi berlangsung5 lantas jawaban dituliskan pada lembaran9lembaran tersebut setela diskusi berlangsung. +embaran 4ang suda lengkap dapat dipasang di sekeliling ruangan5 sebagai pengingat akan kemajuan 4ang tela di6apai . Peserta arus akti7 berpartisipasi5bukanla pendengar pasi7.=asilitator arus men4iapkan pertan4aan9pertan4aan 4ang terara dan mungkin arus menan4akann4a pada beberapa orang. Pertan4aan dapat diajukan baik kepada individu maupun keseluruan tim. Mekanismetim merupakan 4ang paling ideal5 akan tetapi apabila saran9saran tidak ban4ak mun6ul5 7asilitator dapat berkelilingruangan dan meminta setiap peserta untuk men4ebutkan satu al 4ang berjalan baik dan satu al 4ang tidak berjalan baik. &ika terdapat kendala9kendala baik keterbukaan maupun waktu5akan sangat berguna jika 7asilitator mengawali dengan mengumpulkan ide9ide setiap individu5 kemudian mendiskusikann4a dalam kelompok. Idealn4a5 satu orang 4ang tidak terlibat dalam diskusi ditugaskan sebagai pen6atat jalann4a diskusi. Hal ini akan memudakan untuk menangkap proses pembelajaran dengan lebi baik.>0 % P a g e *ekomendasi 4ang dapat dilaksanakan arus dibuat sejelas dan sespesi7ik mungkin. Misaln4a5Kajian Paska Pelaksanaan 4ang dilakukan setela diadakan suatu lokakar4a merekomendasikan al berikut ini: IPerlu waktu lebi ban4ak untuk memaami peserta@. Kajian Paska Pelaksanaan 4ang lebi baik akan merekomendasikan sesuatu 4ang lebi spesi7ik seperti IMembuat kontak dengan perwakilan dari lembaga 4ang mengorganisir lokakar4a dan menan4akan tentang lingkup peserta sebelum meren6anakan suatu lokakar4a@.Para peserta Kajian Paska Pelaksanaan semestin4a men6akup seluru anggota tim. ,eorang 7asilitator arus ditunjuk untuk membantu men6iptakan suasana keterbukaan5 mendorong diskusi5 dan menarik kesimpulan mengenai pembelajaran 4ang tela berlangsung.Kajian Paska Pelaksanaan arus dilakukan sesegera mungkin ketika para anggota tim masi ada dan ingatan mereka masi segar. ,angat disarankan bawa pada taap awal peren6anaan5Kajian Paska Pelaksanaan tela digabungkan dalam aspek9aspek kun6i selama berlangsungn4a pro4ek5 kegiatan5 atau a6ara atau penugasan5 meskipun pelaksanaann4a akandiselesaikan pada taap akir. Kajian Paska Pelaksanaan dapat dilaksanakan di manapun5 dengan durasi 4ang berbeda. Misaln4a5 Kajian selama $0menit dapat dilakukan setela lokakar4a seari. ,ementara5 pertemuan 4ang lebi lama dapat dilakukan untuk mere7leksi proses pengembangan strategise6ara men4eluru pada suatu organisasi besar. 2.- Bidang Kinerja I%& E!aluasi Pe"anfaatan )agian ini membaas 6onto96onto pendekatan 4ang tela digunakan untuk memonitor dan mengevaluasi peman7aatan suatu pro4ekJprogramJlembaga penelitian kebijakan5 misaln4a seberapa jau penelitian9penelitian dan rekomendasi9rekomendasin4a digunakanole piak lain. Peman7aatan disini dide7inisikan sebagai respon langsung teradap >> % P a g e pro4ekJprogramJlembaga penelitian Bmisaln4a penelitian tersebut dia6u dalam suatu makala kebijakan pemerinta5 ter6antum di berbagai website5 dia6u dalam sebua artikelsuratkabar5 dan sebagain4aC. 2.,.1 Log $ampak ((mpact Logs) 2evel; Proyek, Progra" Dalam Kelompok Penelitian dan Kebijakan Pembangunan BResearch and Policy in (evelop"ent 'roup8RAPI() di ODI5 +og Dampak digunakan untuk merekam data mengenai respon langsung 4ang dipi6u ole output penelitian5 4ang pada akirn4a data iniakan menjadi baan evaluasi teradap program. Hal ini bukanla suatu 6ara 4ang sistematis untuk menganalisa persepsi penggunaG namun merupakan suatu 6ara untuk menangkap masukan 4ang bersi7at kualitati7 dan non9sistematis mengenai output penelitian 4ang jika tidak di6atat mungkin pada akirn4a akan ilang7 Karena +og Dampak berlangsung lebi lama5 e7ek kumulati7 4ang ter6atat akan sangat berman7aat untuk menilai dimana dan bagaimana pro4ek atau program tela memi6u respon langsung5 seingga dapat menjadi dasar dalam memili pro4ekJprogram masa depan. 2.,.2 Area"area 5aru untuk Analisis 1utipan 2evel; Proyek, Progra", 2e"aga ,uatu 6ara 4ang lebi sistematis untuk men6ari respon langsung teradap output penelitian adala menggunakan pengukuran kutipan namun dalam bentuk 4ang lebi luas.,ebagaimana tela dibaas pada bagian pendauluan5 alat pemantauan dan evaluasi utamadalam program penelitian kebijakan bukanla kutipan akademik konvensional dam jurnal9>( % P a g e jurnal 4ang tela melalui proses kajian review. .amun demikian5 analisis kutipan akademik mungkin dapat digabungkan dengan berbagai pengukuran kutipan 4ang baru Bterutama jika ada output akademik tradisional 4ang arus dievaluasiC. 3onton4a adala 4ang dikembangkan ole ;rant +ewison di 3it4 -niversit45 +ondon. Menurut +ewison B"''0C5 enam tipe dokumenJtulisan berikut ini dapat digunakan untuk menganalisa dan merekan dampak output penelitian kebijakan: !tandar Internasional5 misaln4a 4ang dipublikasikan ole -ni Eropa. ,ebagian besar standar ini dapat ditemukan di internet. (oku"en-doku"en kei6akan pe"erintah7 Pedo"an-pedo"an operasional 4ang diterbitkan ole lembaga9lembaga pemerinta atau asosiasi pro7essional5 termasuk juga pedoman9pedoman 4ang diterbitkan ole +,M. 1anual pelatihan, dan dalam beberapa kasus5 buku teks. Artikel-artikel surat kaar7 .esite7 Menggunakan mesin pen6ari untuk memperole re7erensi mengenai output penelitian kebijakan di website lainn4a5 termasuk penelitian tersebut disebutkan ataudia6u di sebua website5 adan4a link ke website program penelitian5 atau link ke dokumen 4ang dapat diundu. Ketika melaksanakan analisis kutipan5 ada beberapa taapan 4ang bisa dilakukan5 tergantung seberapa men4eluru analisis 4ang diperlukan: taap pertama adala dengan men6ari dokumen9dokumen dan tulisan dalam da7tar tersebut5 mengumpulkan dan mengitung kutipan atas program penelitiann4a sendiridan outputn4a5 dan men4usunn4a ke dalam sebua tabel. ># % P a g e 8aap kedua adala mengumpulkan kutipan teradap pesaing utama atau pemain penting lain di bidangn4a5 untuk membandingkan dan menilai level kutipann4a sendiri dibandingkan 4ang lainn4a. 8aap ketiga adala menggabungkan pengitungan kutipan dengan beberapa penilaian kualitati7. Misaln4a5 +ewison B"''0: $0"#C men4atakan bawa dia6un4a suatu penelitian kebijakan dalam artikel surat kabar dapat dianalisa dan dievaluasi lebi jau menggunakan kriteria berikut ini: seberapa mendalam penelitian tersebut dia6u dalam artikel tersebutG seberapa besar dan terkenal artikel surat kabar tersebutG apa nada 4ang digunakan Boptimisti65 netral5 kritisCG dan bagaimana sirkulasi suratkabar tersebut serta pro7il sosial ekonomi pemba6an4a. 2.,.! ur'ei 4engguna 2evel; Proyek, Progra", 2e"aga ,uatu 6ara proakti7 untuk mengumpulkan in7ormasi mengenai berbagai tanggapanteradapoutput penelitian adala dengan melaksanakan surve4 teradap pengguna penelitian7 ,ebagai suatu alat pemantauan dan evaluasi penelitian 4ang tela lama digunakan5 survei ini tidak akan dibaas se6ara mendalam disini. .amun demikian5 perlu di6atat bawa ada beberapa variasi survei pengguna mulai dari upa4a pengumpulan data berbasis kuesioner skala besar ingga 7okus group skala ke6il. Penggunaan 7okus group dalam beberapa kasus Bmisaln4a untuk mengevaluasi website atau makala kebijakanC seringkali merupakan alternati7 4ang tepat daripada kajian ole sejawat Bpeer review) karena 6ara ini mungkin lebi akurat untuk menggali persepsi dan reaksi para pengguna daripada Ipara ali@.

>/ % P a g e 2.0 Bidang Kinerja %& E!aluasi hasil akhir $outcome) dan da"pak )agian ini membaas 6onto96onto pendekatan 4ang tela digunakan untuk memantau dan mengevaluasi asil dan dampak pro4ekJprogramJlembaga penelitian kebijakan. Hasil dan dampak disini dide7inisikan sebagai perubaan tingka laku5 pengetauan5 kebijakan5 kapasitas danJatau 6ara pelaksanaan karena adan4a kontribusi penelitian5 baik se6ara langsung maupun tidak langsung Bmisaln4a suatu perubaan dalam implementasi kebijakanpemerinta5 perubaan 6ara kerja para praktisi +,M5 penurunan kemiskinan di wila4a tertentu5 penguatan tara7 idup5 penguatan input mas4arakat madani teradap proses9proseskebijakan5 dsbn4aC. 2.8.1 4emetaan *asil (But6o"e +apping5 2evel; Proyek, Progra" Pemetaan Hasil merupakan suatu alat Pemantauan dan Evaluasi 4ang dikembangkan ole Pusat Penelitian Pembangunan Internasional BInternational (evelop"ent research Centre8I(RCC BEarl5 3arden dan ,m4tulo5 "''$C. Metode ini mem7okuskan Pemantauan dan Evaluasi pada taap peren6anaan sebua pro4ek atau program5 dan jika diikuti sepenun4a dapat menjadi mekanisme evaluasi 4ang sangat berman7aat. Pendekatan ini menguba pandangan bawa Pemantauan dan Evaluasi dilakukan Iteradap@ suatu pro4ekatau program5 menjadi sebalikn4a5 4aitu se6ara akti7 melibatkan tim dalam mendesain kerangka pemantauan dan ren6ana evaluasi serta mendorong pelaksanaan pemantauan internal sepanjang pelaksanaan pro4ek.Metode ini terbukti berasil karena adan4a penekanan se6ara eksplisit teradap huungan dan peruahan7 :spek kun6i 4ang menjadi 7okus metode ini adala5 sebagai berikut: (' % P a g e Perubaan 8ingka +aku: Iasil akir@ suatu program penelitian dide7inisikan sebagai perubaan tingka laku5 ubungan5 akti7itas atau tindakan seseorang5 kelompokdan organisasi 4ang langsung berkaitan dengan program7 Hasil akir ini dapat se6ara logika terkait dengan kegiatan 4ang dilaksanakan ole suatu program5 meskipun tidak berarti disebabkan se6ara langsung ole aktivitas tersebut. 1itra +erkait )Boundary Partners); Individu9individu5 kelompok5 dan organisasi 4ang berinteraksi langsung dan memiliki kesempatan untuk mempengarui suatu program. ,ebagian besar akti7itas akan mengasilkan asil akir 4ang lebi dari satu karena adan4a mitra terkait 4ang lebi dari satu.Kontribusi& Pemetaan Hasil tidak dapat digunakan untuk mengklaim pen6apaian dampak9dampak pembangunan5 karena metode ini mem7okuskan pada kontribusi suatu program teradap asil. Pada akirn4a asil ini mungkin juga akan meningkatkan dampak pembangunan K namun demikian ubungan 4ang terjadi tidakla selalu merupakan ubungan langsung sebab dan akibat. Metodologi ini unik karena 4ang dinilai bukanla terjadin4a perubaan suatu keadaan itu sendiri Bmisaln4a perubaan kebijakan5 pengurangan kemiskinan5 atau menurunn4a kon7likC namun 4ang ditekankan adala perubaan tingka laku5 ubungan5 tindakan atau aktivitas seseorang5 kelompok dan organisasi 4ang terkait se6ara langsung dengan programpenelitian. Dengan kata lain5 Pemetaan Hasil mengembangkan suatu visi mengenai kemajuan 4ang lebi baik atas manusia5 sosial5 dan lingkungan 4ang ingin didukung ole suatu programG seingga Pemantauan dan Evaluasi lantas dipusatkan teradap 7aktor97aktor dan aktor9aktor 4ang terkait langsung dengan program tersebut. Pemetaan Hasil tidak mengabaikan pentingn4a perubaan suatu keadaan Bmisaln4a air 4ang lebi bersi atau ekonomi 4ang lebi kuatC namun sebalikn4a meliat bawa setiap perubaan 4ang terjadi atas suatu keadaan akan disertai perubaan tingka laku7 Pemetaan asil dilakukan dalam tiga taap5 sebagaimana digambarkan berikut ini.($ % P a g e Bagan 1*. 2iga 2ahap Pe"etaan ,asil !u"er; Earl5 3arden dan ,m4tulo B"''$C B$C tahap perta"a/ (ntentional $esign6 membantu suatu program untuk membangun konsensusmengenai perubaan9perubaan level makro 4ang ingin di6apai serta meren6anakan strategi 4ang akan digunakann4a. Ini membantu menjawab empat pertan4aan: MengapaM B:pa visi 4ang mendasari suatu programM= ,iapaM B,iapa mitra 4ang terkait dengan program tersebutMG :paM B:pa perubaan 4ang ingin di6apaiMG dan )agaimana B)agaimana program dapat berkontribusi teradap proses perubaanMC. B"C tahap kedua/ pe"antauan hasil dan kinerja/ memberikan suatu kerangka untuk pemantauan terus menerus teradap tindakan9tindakan 4ang dilaksanakan dlaam suatu program dan kemajuan para mitra menuju pen6apaian asil akir. Hal ini terutama (" % P a g e didasarkan pada self-assess"ent 4ang dilakukan se6ara sistematis. Ini merupakan alat pengumpulan data atas elemen9elemen 4ang diidenti7ikasi dalam taap Intentional Design5 4aitu: suatu I&urnal Hasil@ Bpenanda kemajuanCG suatu I&urnal ,trategi@ Bpeta strategiCG dan suatu I&urnal Kinerja@ Bpelaksanaan kegiatanC. B1C tahap ketiga/ Peren6anaan E!aluasi/ membantu program mengidenti7ikasi prioritas 4ang arus dievaluasi dan mengembangkan suatu ren6ana evaluasi. Proses untuk mengidenti7ikasiperubaan9perubaan pada level makro dan mendesain kerangka pemantauan dan ren6ana evaluasi diarapkan lebi partisipati75 kapanpun memungkinkan keterlibatan seluru pemangku kepentingan5 termasuk juga mitra terkait. Dengan sendirin4a al ini merupakan sebua alat penting untuk membangun ubungan5 dan dapat mendorong rasa memiliki di masa mendatang serta mendorong penggunaan asilpenelitian. )o? 2. Pusat Penelitian Pembangunan Internasional BID*3C ID*3 di Kanada merupakan sala satu pionir dalam bidang evaluasi penelitian kebijakan5 terutama dengan dikembangkann4a pendekatan Pemetaan Hasil BEarl5 3arden dan ,m4tulo5 "''$C Bdijabarkan dalam bagian diatasC. Pemetaan Hasil mem7okuskan pada ubungan antar aktor serta terjadin4a perubaan dalam ubungan dan tingka laku aktor 4ang terlibat. Dalam melakukan penilaian internal5 ID*3 menerapkan siste" e!aluasi tak terpusat $ID*3 Evaluation -nit5 "''0G "''>C 4ang memusatkan pada aspek peman7aatan BPatton5 "''"C. -ntuk in7ormasi lebi detail mengenai sistem evaluasi ini5 liat :pendik $. 2.0.2 .A4($ Outcome Assessment 2evel; proyek (1 % P a g e RAPI( &utco"e Assess"ent B*O:C merupakan bagian dari Proses dan Kemitraan untuk Perubaan kebijakan ProMiskin BProcess and Partnership for Pro-Poor Policy Change8 PPPPC) 4ang dilaksanakan dengan +embaga Penelitian 8ernak Internasional BInternational 2ivestock research Institute8 I2RI) 4ang tera7iliasi dengan 3;I:* dan *:PID di ODI B+eksmono5 et al5 "''>C. Pro4ek PPPP3 berupa4a untuk mengidenti7ikasi dan melembagakan penelitian inovati7 serta mekanisme dan pendekatan pembangunan 4ang membawa pada kebijakan pro9poor. Pro4ek ini merupakan suatu tanggapan teradappentingn4a pemaaman atas berbagai proses dan mekanisme pembuatan kebijakan dengan tujuan untuk memberikan rekomendasi 4ang dapat meningkatkan dampak I+*I dan mitran4a. *O: didasarkan atas elemen9elemen dalam Pemetaan Hasil5 dan didesain sebagai suatu metodologi pembelajaran untuk menilai kontribusi kegiatan dan penelitian 4ang dilakukan suatu pro4ek teradap perubaan kebijakan ataupun lingkungan kebijakan. Metode ini 7leksibel dan visual seingga dapat digunakan untuk memetakan perubaan 4ang terjadi dalam pro4ek maupun di sekitarn4a5 serta dapat digunakan bersamaan dengan metode evaluasi pro4ek atau program lainn4a. 8aap9taap kun6i *O: awaln4a didesain sebagai berikut: $. Memaparkan lingkungan kebijakan pada akir pro4ekG ". Memaparkan lingkungan kebijakan pada awal pro4ekG 1. Mengidenti7ikasi aktor9aktor utama dalam pembuatan kebijakan atau agen perubaanG 2. Diantara agen perubaan tersebut5 mengidenti7ikasi mitra terkait 4ang mendukung terjadin4a perubaan dan 4ang mempengarui lingkungan kebijakanG 0. Memaparkan tingka laku mitra terkait mendukung terjadin4a perubaan dalam lingkungan kebijakan atau kebijakanG (2 % P a g e >. Memaparkan tingka laku mitra terkait pada awal pro4ekG (. Memetakan perubaan9perubaan kun6i dalam tingka laku setiap mitra terkait sejak awal pro4ekG #. Memetakan perubaan9perubaan kun6i dalam lingkungan internal pro4ek termasuk perubaan organisasional5 output dan perubaan tingka laku sepanjang periode 4ang samaG /. Memetakan pengaru9pengaru eksternal termasuk tindakan9tindakan mitra strategis dan 7a6tor97aktor luar lainn4a selama periode 4ang samaG $'. menetukan level dampakJ pengaru pro4ek teradap perubaan tingka laku mitra terkait=$$. Menentukan level dampakJpengaru dari pengaru luar teradap perubaan tingka laku mitra terkait dan perubaan pro4ekG $". Membuat kesimpulan 4ang tepat dari asil wawan6ara mendalam dan mengukur bagaimana suatu pro4ek memberikan kontribusi n4ata teradap lingkungan kebiajkanG $1. Menuliskan laporan. :waln4a5 taapan $ ingga $$ endak di6apai dalam suatu lokakar4a dengan para pemangku kepentingan utama untuk dapat mengasilkan tabel 4ang sama seperti tabel 4angditampilkan di bawa ini. .amun demikian5 setela beberapa diskusi dengan para peneliti5 mun6ul kepriatinanmengenai minimn4a kemampuan beberapa peserta lokakar4a 4ang kurang memiliki in7ormasi mengenai metodologi pelatian untuk memaami metodologi *O: dan mengikutijalann4a diskusi. :kirn4a diputuskan bawa lokakar4a awal dengan sta7 dan advokat dari organisasi9organisasi kemas4arakatan 4ang terkait dengan pro4ek tidak akan mengikuti taap9taap tersebut se6ara ketat7 ,ebalikn4a5 berbagai teknik pelatian digunakan untuk mengumpulkan in7ormasi 4ang diperlukan seingga dapat diperoleoutput *O: sesuai 4ang diarapkan. (0 % P a g e Bagan 1-. .ontoh Butput RBA !u"er; +eksmono5 et al. B"''>C. Dalam lokakar4a *O:5 taap9taap berikut ini tela dilaksanakan: $. (eskripsi "engenai lingkungan kei6akan pada awal dan akhir suatu proyek7 Peserta diminta untuk menuliskan pada kartu mengenai perubaan apa 4ang menurut mereka tela terjadi dalam suatu sektor peternakan produk susu skala ke6il di Ken4a dalam beberapa taun terakir. Kartu9kartu tersebut lantas (> % P a g e dikelompokkan menurut kategori9kategori berikut ini: perubaan organisasional5 perubaan kebijakan5 perubaan praktis dan perubaan tingka laku. ". !tudi 0asus Proyek (airy !kala 0ecil )!"allholder (airy Pro6ect )!(P)7 Manajerpro4ek dari kementerian terkait memaparkan mengenai sejara5 organisasi dan aktivitas9aktivitas pro4ek ini.1. Identifikasi 6adwal proyek !(P, konteks kei6akan dan factor-faktor eksternal7Peserta dibagi dalam beberapa kelompok: a. Kelompok $ B,ta7 ,DPC membuat jadwal pro4ek dan mengidenti7ikasi kegiatan 4ang akan dilaksanakan serta perubaan kun6i 4ang diinginkanG b. Kelompok " Bpeserta lainC diminta membuat Ideskripsi mendalam@ mengenai konteks kebijakan 4ang terkait dengan produksi dairy skala ke6il di Ken4a saat ini dan pada taun $//>G serta mengidenti7ikasi berbagai kegiatan eksternal 4ang mempengarui perubaan lingkungan kebijakan tersebut7 2. Identifikasi pe"ain-pe"ain kunci7 Peserta diminta untuk memberikan nama semuapemain kun6i dalam pengembangan sektor dairy skala ke6il di Ken4a. Mereka kemudian diminta memili tiga al 4ang menurut mereka akan memiliki dampak paling besar pada sektor dairy skala ke6il tersebut5 serta menuliskan alasan9alasann4a pada kartu berwarna Kkuning untuk pilian pertama5 ijau untuk piliankedua dan biru untuk pilian ketiga. Kemudian nilai setiap pemangku kepentingandiitung5 dimana satu kartu kuning bernilai tiga poin5 kartu ijau dua poin dan kartu biru satu poin. 0. (eskripsi "engenai tingkah laku aktor uta"a7 Peserta dibagi kedalam beberapa kelompok untuk membaas se6ara spesi7ik siapa saja kelompok pemangku kepentingan 4ang ada5 serta menuliskan tingka laku mereka sekarang5 tingka laku pada taun $//>5 serta poin9poin kun6i saat terjadin4a perubaan Itingka (( % P a g e laku dan sikap@ antara periode $//> ingga sekarang dan kemudian menuliskann4a dalam lembaran9lembaran kartu. Pada bagian belakang kartu tersebut dituliskan alasan pen4ebab perubaan tingka laku tersebut5 dan apa 4angmerupakan dampak dari suatu perubaan 4ang terjadi. Kartu9kartu tersebut lantas ditempelkan di dinding. >. Peserta di"inta untuk "elihat seluruh faktor yang terte"pel di dinding dan "encari apakah ada kaitan diantara faktor-faktor terseut7 ,etiap kaitan 4ang teridenti7ikasi diubungkan menggunakan seutas benang5 kemudian alasan mengapa kedua 7aktor tersebut saling berkaitan lalu di6atat. Kartu9kartu tersebut dan ubungan 4ang terbentuk dipro4eksikan ke dinding 4ang lain menggunakan Power Point. Karena tidak 6ukup waktu untuk men4elesaikan akti7itas ini pada ari keduaG kelompok 4ang lebi ke6il men4elesaikan peta tersebut pada ari berikutn4a. (. Identifikasi isu-isu 4ang arus ditindaklanjuti menggunakan wawan6ara mendalam dengan pemain kun6i. Dengan demikian5 lokakar4a berasil memproduksi tabel 4ang sama dengan 6onto diatasseingga in7ormasi penting mengenai pro4ek dapat dikumpulkan. :da beberapa temuan dan pengalaman penting 4ang arus di6atat dari proses menerapkan*O: dalam lokakar4a9lokakar4a: Perlu diketaui sejak awal siapa 4ang akanberpartisipasi dalam lokakar4a: latar belakang mereka5 ekspektasi mereka5 ubungan mereka dengan pro4ek5 dan agenda mereka5 karena al ini akan memudakan proses 7asilitasi dan memungkinkan peren6anaan kegiatan lokakar4a 4ang lebi baikG (# % P a g e Peserta 4ang turut serta dalam lokakar4a searusn4a tidak beruba K seseorang 4ang tidak dapat mengadiri lokakar4a se6ara keseluruan searusn4a tidak diundang5 karena perubaan peserta akan mengambat kemajuan lokakar4a dan mengganggu jalann4a diskusi kelompok ke6ilG Para peserta arus memaami konsep kebijakan5 tingka laku dan sikap supa4a dapat mengidenti7ikasi perubaan dalam kebijakan se6ara akurat. =asilitator searusn4a memastikan bawa para peserta memiliki pemaaman ini sebelum memulai aktivitas berikutn4a. Keterlibatan sta7 pro4ek dalam peren6anaan lokakar4a dan proses 7asilitasi sangatla berguna untuk mem7okuskan kegiatan 4ang dilakukan5 dan juga memungkinkan mereka memperole Ipemaaman baru@ dengan adan4a pern4ataan dan komentar dari peserta5 4ang mendorong pemaaman lebi baik mengenai pro4ek tersebut. Peren6anaan perlu dilakukan untuk mengindarkan suatu diskusi kelompok besar BplenaryC 4ang panjang dan berlarut9larut terutama ketika mengidenti7ikasi ubungan antara kegiatan9kegiatan utama. +atar belakang setiap peserta searusn4a di6atat seingga mereka dapat dikelompokkan dalam kelompok 4ang terdiri atas aktor9aktor kun6i 4ang bervariasi untuk mendiskusikan kaitan antara berbagai 7aktor5 dalam kelompok9kelompok ke6il. Kelompok dapat dibagi duaG satu kelompok membi6arakan kaitan antara pro4ek dan lingkungan eksternal5 termasuk kegiatan9kegiatan 4ang paling mempengarui5 sementara kelompok lain mendiskusikan kaitan antara aktor9aktor kun6i lain dengan kegiatan9kegiatan kun6ilainn4a. 3ara lain adala dengan memberikan tiga benang warna kepada masing9masing pesertaG biru untuk menggambarkan akibat langsung dari pro4ekG ijau untuk menggambarkan akibat 4ang ditimbulkan ole aktor9aktor kun6iG dan mera untuk mewakili akibat 4ang mun6ul dari lingkungan eksternal. Peserta diminta menggunakan benang9benang tersebut untuk mengubungkan dua kegiatan utama dan menuliskan mengapa keduan4a terkait satu sama lain. (/ % P a g e Hasiln4a lantas dibaas dalam sesi plenary. Menuliskan laporan arian dan mempersiapkann4a untuk lokakar4a pada ari berikutn4a akan sangat berman7aat untuk mem7okuskan diskusi pada ari kedua. 2.8.! 4eru5a&an 4aling ignifikan (-ost ignificant 9&ange) 2evel; proyek, progra", le"aga Pendekatan Perubaan Paling ,igni7ikan B+he "ost significant change81!C) terdiri dari pengumpulan 6erita96erita mengenai perubaan signi7ikan B!CC 4ang terjadi5 serta seleksi se6ara sistematis atas bagian terpenting dari 6erita tersebut ole panel 4ang terdiri atas pemangku kepentingan atau sta7. Dengan men6atat5 mengumpulkan5 mengkaji dan memili6erita perubaan signi7ikan tersebut5 seluru sta7 di berbagai level akan lebi men4adari berbagai dampak 4ang diasilkan dari sebua lembaga5 program atau pro4ek 4ang sedang berjalan. Peratian 4ang ter7okus sema6am ini dapat mendorong suatu bentuk pemantauan se6ara tidak langsung dan terus menerus teradap pekerjaan 4ang dilakukan. 1!C juga memberikan pemaaman 4ang lebi baik mengenai apaka dan bagaimana suatu pro4ek5 program dan lembaga men6apai tujuann4a. ,elain itu5 1!C juga mengasilkan materi promosi BPulic Relation) 4ang berarga bagi suatupro4ek5 program dan lembaga. 1!C merupakan teknik 4ang populer5 dan beberapa adaptasi tela dilakukan5 pembaasann4adapat diliat dalam makala Davies dan Dart B"''>C.Penjelasan umum mengenai proses M,3 adala sebagai berikut:#' % P a g e $. Bagai"ana "e"ulai dan "eningkatkan "inat: +angka pertama dalam 1!C biasan4a adala memperkenalkan 1!C kepada berbagai pemangku kepentingan dan mengembangkan minat dan komitmen mereka untuk terlibat.". Penentuan aspek peruahan yang diharapkan: +angka berikutn4a adala mengidenti7ikasi aspek perubaan 4ang akan dipantau. +angka ini meliputi identi7ikasi perubaan apa 4ang diarapkan terjadi pada pemangku kepentingan 9misaln4a5 IPerubaan dalam Keidupan ,eseorang@. Perubaan ini tidak dide7inisikan setepat mungkin seperti indikator kinerja5 tetapi sengaja dibuat longgar5 supa4a dapat dide7inisikan ole para pengguna sebenarn4a.1. Penentuan periode pelaporan: +angka ketiga adala menentukan seberapa sering pemantauan teradap perubaan tersebut dilakukan.2. Pengu"pulan cerita Peruahan !ignifikan: 3erita mengenai Perubaan ,igni7ikan dikumpulkan dari sta7 di semua program atau lembaga. 3erita dikumpulkan dengan 6ara menan4akan pertan4aan sederana: I,epanjang bulan lalu5 menurut pendapat anda5 apa perubaan paling signi7ikan 4ang terjadi sebagai asil dari pekerjaan 4ang anda lakukanM Pada awaln4a tersera responden untuk mengalokasikan 6eritan4a di kategori perubaan 4ang mana. .amun responden juga didorong untuk men4ampaikan alasan mengapa merekamenganggap suatu perubaan tertentu sebagai perubaan paling signi7ikan. 0. Pe"ilihan cerita paling signifikan: Keseluruan 6erita lantas dianalisis dan disaring melalui irarki kewenangan 4ang ada dalam suatu program atau lembaga. ,etiap tingkatan irarki mengkaji satu seri 6erita 4ang dikirim kepada mereka ole tingkatan dibawan4a dan memili satu 6erita perubaan 4ang dianggap paling signi7ikan dari setiap domein.,etiap kelompok kemudian mengirim 6erita terpili ke tingkat irarki 4ang lebi tinggi5 jumla 6erita akan terus berkurang melalui proses 4ang sistematis dan transparan. >. /"pan alik hasil proses pe"ilihan: ,etiap kali 6erita dipilli5 kriteria 4ang digunakan dalam pemilian di6atat and diin7ormasikan kembali kepada semua piak 4ang tertarik5 seingga setiap pengumpulan dan pemilian 6erita pada putaran berikutn4a dibekali #$ % P a g e dengan umpan balik dari putaran sebelumn4a. Organisasi se6ara e7ekti7 men6atat dan men4esuaikan ara peratiann4a K serta kriteria 4ang digunakan untuk mengukur suatu kegiatan atau program. (. Pengu"pulan cerita dala" suatu doku"en: ,etela proses ini berjalan untuk jangka waktu tertentu5 misaln4a satu taun5akan diasilkan sebua dokumen 4ang berisi seluru 6erita 4ang terpili pada tingkatan tertinggi dari organisasi selama periode waktu tersebut dari setiap domein perubaan. 3erita96erita tersebut dilengkapi dengan alasan pemiliann4a. Dalam al 6erita96erita ini berasal dari suatu pro4ek atau program5 pen4andang dana diminta menilai 6erita dari koleksi dokumen tersebut dan memili sala satu 4ang paling mewakili arapan mereka mengenai asil 4ang diarapkan dari pro4ek 4ang dibia4ai. Mereka juga diminta untuk mendokumentasikan alasan pemiliann4a. In7ormasi ini lantas diumpan9balikkankepada manajer. #. 4erifikasi cerita: :pabila diinginkan5 6erita 4ang dipili kemudian dapat diveri7ikasi dengan 6ara mengunjungi lokasi terjadin4a peristiwa 4ang disebutkan. :da dua tujuan veri7ikasi 4aitu: Menge6ek bawa 6erita tela terdokumentasi se6ara akurat dan jujur5 serta memberikan kesempatan untuk mengumpulkan in7ormasi lebi detil mengenai peristiwa9peristiwa 4ang dianggap sangat penting. :pabila kunjungan ini dilakukan setela sekian lama waktu kejadian5 kunjungan ini juga dapat memberikan kesempatan untuk meliat apa 4ang terjadi setela peristiwa tersebut didokumentasikan. /. 0uantifikasi: :pabila diinginkan5 proses kuanti7ikasi dapat dilakukan dalam dua taap. Pada saat 6erita mengenai perubaan pertama kali disebutkan5 in7ormasi kualitati7 maupun kuantitati7 dapat dimasukkan kedalamn4a. Kemungkinkan kedua adala dengan mengkuanti7ikasi sejau mana tingkat perubaan di suatu lokasi juga berlangsung di lokasi lain dalam satu periode waktu tertentu.$'. !econdary Analisis dan "eta-"onitoring: 8aap selanjutn4a adala memantau sistem pengawasan itu sendiri5 diantaran4a dengan 6ara meliat siapa 4ang berpartisipasi dan bagaimana mereka mempengarui isi5 serta menganalisis seberapa sering perubaanperubaan tersebut dilaporkan.#" % P a g e $$. Revisi !iste": 8aap terakir adala merevisi ran6angan dari proses Perubaan Paling ,igni7ikan dengan mempertimbangkan apa 4ang suda dipelajari sebagai asil langsung dari penggunaan dan dari analisis atas penggunaan metode ini. ,ala satu 6onto dari koleksi 6erita !C adala Persepsi dan Ken4ataan: ,ebua antologiJkumpulan 6erita tentang pengalaman pengukuran dampak BPerceptions and Practice; An anthology of i"pact assess"ent e%perienceC B,a46e and .orris5 "''>C. Parapenulisn4a tidak se6ara eksplisit menggunakan pendekatan 1!C5 tetapi mereka mengumpulkan 6erita tentang perubaan9perubaan penting dalam pro4ek Pusat 8eknis Pertanian dan Kerjasama Pedesaan Bthe +echnical Centre for Agricultural and Rural Cooperation ACP-$/ )C+AC5 dan menuliskann4a dalam bentuk narasi. Dalam al ini5 6erita ber7ungsi sebagai alat pembelajaran maupun sebagai kesempatan 38: untuk berbagi pengalaman dengan piak lain. 2.8., e#ara& (no'asi 2evel; Proyek, Progra" Pendekatan 4ang sama dengan M,3 adala merekam ,ejara Inovasi. Metode ini tela dikembangkan ole pusat Internasional untuk Pertanian 8ropis BInternational Centre for +ropical Agriculture8CIA+) 4ang tera7iliasi dengan 3;I:* BDoutwaite dan :sb45 "''0C. ,ala satu tujuan utama penelitian kebijakann4a adala untuk memungkinkan inovasi pedesaan5 namun demikian masi sulit untuk memantau dan mengevaluasi tingkat pen6apaian tujuan pro4ek dan program penelitian tersebut. Mereka menemukan bawa menuliskan dan menganalisa sejara inovasi ketika al tersebut terjadi5 sangatla berman7aat sebagai alat pembelajaran dan evaluasi. +angka pertama dalam merekam sejara inovasi adala dengan pembuatan ti"eline sejara inovasi ole orang9orang 4ang tela terlibat dalam inovasi tersebut5#1 % P a g e berdasarkan atas ingatan mereka masing9masing dan dokumen 4ang tersedia. Perlu di6atat bawa untuk merekam sejara inovasi5 arus jelas apa inovasi atau perubaan 4ang ingin direkam. Proses mempersiapkan 6atatan sejara ini dapat menstimulasi diskusi5 re7leksi dan pembelajaran diantara para pemangku kepentingan. Para peserta lalu men4usun dua atau lebi matrik 4ang men6antumkan aktor9aktor 4ang terlibat dalam 7ase97ase 4ang tela dituliskan dalam jadwal, supa4a dinamika ubungan 4ang beruba ini dapat diliat. 3onto matrik :ktor ? :ktor adala sebagai be